User-centered development of a pedestrian assistance system using end-to-end learning
| dc.contributor.advisor | Hellwich, Olaf | |
| dc.contributor.author | Qureshi, Hasham Shahid | |
| dc.contributor.grantor | Technische Universität Berlin | |
| dc.contributor.referee | Hellwich, Olaf | |
| dc.contributor.referee | Glasmachers, Tobias | |
| dc.contributor.referee | Siebert, Felix Wilhelm | |
| dc.date.accepted | 2023-02-23 | |
| dc.date.accessioned | 2023-02-28T18:06:37Z | |
| dc.date.available | 2023-02-28T18:06:37Z | |
| dc.date.issued | 2023 | |
| dc.description.abstract | The goal of this dissertation is to develop an assistance system for supporting road crossing among older pedestrians. In order to accomplish this, a curb detection algorithm has been proposed from the pedestrians point of view. Curb detection plays a significant role in road detection and obstacles avoidance among other safety related variables. However, it also presents significant challenges such as the small size of the detection target as well as obstacles and different structures of the curb. To tackle these problems, two sensors were selected, a Camera and a distance sensor; a light based Radar. These were fused using the end-to-end learning approach. The convolutional neural network was designed to process the images acquired from the mono camera by filming the curb and its surroundings. The artificial neural network was selected to process the data of the distance sensor acquired in the form of arrays from the 16 channels of the sensor. A prototype was developed for data collection and testing purposes. It consists of a structure carrying both sensors mounted on a walker. The data from both sensors were collected with multiple factors taken into consideration, such as, weather, light conditions and, approaching angles. For the training of algorithms, an end-to-end learning approach was designed where the complete image or array was labeled as the hazardous scenario or not rather than labeling the individual pixels or features in the acquired data. The networks were trained and the features from the parallel networks were concatenated and given as the input to the fully connected layers to train the complete network. The experimental results show an accuracy of more than 99% with the designed end-to-end learning approach. Both sensors are relatively inexpensive and in fusion together are able to efficiently accomplish the task of detecting the curb stone from the pedestrian’s point of view. To alarm the user of the potentially hazardous scenario, a vibrotactile interface was developed which is connected wirelessly with the the machine that also control the sensors. In this dissertation, a prototype was developed to detect the potentially hazardous situations for the older pedestrian’s while walking on the street. An algorithm with end-to-end learning approach to fuse two heterogeneous sensor was successfully designed and the alarms generated from the algorithm were transmitted to an interface module to alert the user. | en |
| dc.description.abstract | Das Ziel dieser Dissertation ist die Entwicklung eines Assistenzsystems, dass ältere Zufußgehende bei der Straßenquerung unterstützt. Dazu wurde ein Algorithmus ausgearbeitet, der den Bordstein aus Perspektive der älteren Zufußgehenden erkennt. Die Borsteinerkennung ist essenziell, um die Straße zu identifizieren und kann darüber hinaus zur Vermeidung anderer Hindernisse und sicherheitsrelevanter Objekte beitragen. Die Herausforderung dabei ist die geringe höhe der Bordsteine, deren unterschiedliche Struktur und andere im Weg befindliche Objekte. Zur Lösung dieser Probleme wurde mit einer Kamera und einem lichtbasierten Abstandssensor auf zwei Detektionswerkzeuge zurückgegriffen, die mit Hifle des End-to-End Learnings fusioniert wurden. Das Convolutional Network wurde entwickelt, um die von der Monokamera beim Filmen des Bordsteins und seiner Umgebung aufgenommenen Bilder zu verarbeiten. Das künstliche neuronale Netz wurde ausgewählt, um die Daten des Abstandssensors zu verarbeiten, die in Form von Arrays aus dessen 16 Kanälen vorliegen. Ein Prototyp wurde für die Datenerfassung und zu Testzwecken entwickelt. Dieser besteht aus einer Halterung, die an einem Rollator befestigt wurde und an der die beiden Sensoren angebracht wurden. Zu Trainingszwecken wurden die Daten beider Sensoren unter Berücksichtigung verschiedener Faktoren wie beispielsweise Wetter, Lichtverhältnissen und Annäherungswinkel an den Bordstein erhoben. Um den Algorithmus zu Trainieren wurde eine End-to-End Learning entwickelt, bei dem die gesamten Bilder bzw. Arrays und nicht etwa einzelne Pixel gelabelt wurden. Die Netzwerke des jeweiligen Sensors wurden trainiert und anschließend miteinander verkettet, um so das gesamte Netzwerk zu trainieren. Die experimentellen Ergebnisse attestieren dem verwendeten End-to-End Learning eine Genauigkeit von mehr als 99%. Beide Sensoren sind kostengünstig und können im Zusammenspiel den Bordstein aus Perspektive der älteren Zufußgehenden erkennen. Um die Nutzenden vor potenziellen Gefahren zu warnen, wurde eine vibrotaktile Schnittstelle entwickelt, die drahtlos mit dem Assistenzsystem und der Technik, die die Sensoren steuert, verbunden ist. Im Rahmen der vorliegenden Dissertation wurde ein Prototyp entwickelt, der potenzielle Gefahren für ältere Zufußgehende erkennt. Dazu wurde erfolgreich ein Alogrithmus mit End-to-End learning entwickelt, der zwei heterogenen Sensoren fusioniert und mit einem Schnittstellenmodul verknüpft, um die Nutzenden zu warnen. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/18252 | |
| dc.identifier.uri | https://doi.org/10.14279/depositonce-17045 | |
| dc.language.iso | en | |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | |
| dc.subject.ddc | 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::005 Computerprogrammierung, Programme, Daten | |
| dc.subject.other | deep learning | en |
| dc.subject.other | image processing | en |
| dc.subject.other | sensor fusion | en |
| dc.subject.other | end-to-end learning | en |
| dc.title | User-centered development of a pedestrian assistance system using end-to-end learning | en |
| dc.type | Doctoral Thesis | |
| dc.type.version | acceptedVersion | |
| dcterms.rightsHolder.reference | Deposit-Lizenz (Erstveröffentlichung) | |
| tub.accessrights.dnb | free | |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Technische Informatik und Mikroelektronik::FG Computer Vision & Remote Sensing | |
| tub.publisher.universityorinstitution | Technische Universität Berlin |