Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-1831
Main Title: Eine digitale Emulationsplattform für pulscodierte neuronale Netze mit adaptiven Synapsengewichten
Translated Title: Digital Emulation Platform for Pulse Coded Neural Networks with Adaptive Synaptic Weights
Author(s): Hellmich, Heik Heinrich
Advisor(s): Klar, Heinrich
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: German
Language Code: de
Abstract: Die Simulation von großen pulscodierten neuronalen Netzen für die Evaluation einer biologisch motivierten Bildverarbeitung ist auf Einprozessor-Systemen, wie PCs oder Workstations, immer noch sehr zeitineffizient. Entsprechend den Beobachtungen in der Biologie verarbeiten pulscodierte neuronale Netze Informationen anhand von Pulsen und zeichnen sich durch die Fähigkeit aus, sich während der Verarbeitung äußeren Reizen anzupassen. Diese Anpassungsfähigkeit gilt als Lernprozess und setzt voraus, dass sich die Gewichte von Netzwerkverbindungen (Synapsen) zwischen Netzwerkelementen (Neuronen) dynamisch verändern können. Den größten Flaschenhals während der Simulation stellt der sequentielle Zugriff auf den Speicher von dynamischen Netzwerkparametern (Membranpotentiale und adaptive Synapsengewichte) dar, der für die Berechnung der Neuronenzustände notwendig ist. In dieser Arbeit wird ein neuartiges Architekturkonzept und die Entwicklung einer digitalen Emulationsplattform für die Simulationsbeschleunigung von pulscodierten neuronalen Netzen vorgestellt. Diese Emulationsplattform repräsentiert die erste Experimentierplattform für ein pulscodiertes Neuronenmodell mit adaptiven Synapsengewichten für den ganzheitlichen Bildverarbeitungsprozess. Bei dieser Plattform stehen die Evaluation der Netzwerkdynamik und die Bereitstellung einer hohen Flexibilität bei der Implementierung im Vordergrund. Die Architektur der Emulationsplattform realisiert ein effizientes Kommunikationsprotokoll zwischen der parallelen Berechnung von Netzwerktopologien und Neuronenzuständen und basiert auf einem noch nicht existierenden Hardware/Software-System. Dieses Hardware/Software-System nutzt zum einen die Datenparallelität durch die Bereitstellung mehrerer Prozessor-Elemente und zum anderen die funktionale Parallelität durch die Realisierung eines Multiprozessor-Systems aus. Die Besonderheit des verwendeten Neuronenmodells ist, dass die Detektion von Bildmerkmalen, wie Flecken oder Kanten, auf der Basis von adaptiven Synapsengewichten erfolgt. Durch die kontinuierlich durchzuführende Adaption der Synapsengewichte, verschärfen sich die Flaschenhals-Probleme der limitierten Speicherbandbreite und der durchzuführenden Rechenoperationen während der Simulation. Diese Flaschenhals-Probleme werden durch eine verteilte Speicherarchitektur und eine parallele Implementierung des notwendigen numerischen Integrationsverfahrens für die Neuronenzustandsberechnung gelöst. In dieser Arbeit wird gezeigt, dass für die Anforderungen an eine digitale Emulation von pulscodierten neuronalen Netzen programmierbare applikationsspezifische Schaltkreise in Form von FPGAs am besten geeignet sind. Die Vorteile heutiger FPGA-Technologien bestehen neben der Kostenwirksamkeit für Prototypen-Entwürfe und der Flexibilität aufgrund der Rekonfigurierbarkeit vor allem in der hohen Integrationsdichte, der ausreichend hohen Performanz bezüglich der realisierbaren Operationsfrequenzen und der hinreichend nutzbaren Speicherbandbreite. Im Rahmen dieser Arbeit wurde eine Prototypen-Platine für die digitale Emulationsplattform entworfen, die auf drei FPGAs der Typen Virtex-II und Virtex-II Pro von Xilinx basiert. Die für die Emulation parallel nutzbaren Speicher auf der Prototypen-Platine bestehen aus sechs SDRAM-Bausteinen und zwölf SRAM-Bausteinen, die insgesamt eine Speicherbandbreite von 2,6 GB/s zur Verfügung stellen. Die implementierte Architektur der Emulationsplattform ermöglicht bei einer Taktfrequenz von 50 MHz einen maximalen Beschleunigungsfaktor von 30 für eine spärliche Vernetzungsstruktur und einen maximalen Beschleunigungsfaktor von 8 für eine dichte Vernetzungsstruktur im Vergleich zu durchgeführten Simulationen auf einem Einprozessor-System in Form eines Linux-PCs (2,4 GHz Pentium-IV-Prozessor von Intel mit 1 GB RAM Arbeitsspeicher).
The simulation of pulse-coded neural networks for the evaluation of biology-oriented image processing performed on general-purpose computers, e. g. PCs or workstations, is still very time-consuming and inefficient. According to observations in the biology pulse-coded neural networks process information with pulses and are characterised by the ability to adapt themselves to outside stimuli during processing. This ability for adaptation is known as learning process. For the purpose of learning it is required that weights of network connections (synapses) between network elements (neurons) are able to alter dynamically. The main bottle-neck during the simulation is the sequential access to the memory of dynamic network parameters (membrane potential and adative synaptic weights). This memory access is necessary for the computation and update of the neuron states. In this thesis a novel architectural concept and the development of a digital emulation platform are introduced that is intended for the simulation acceleration of pulse-coded neural networks. This emulation platform represents the first experimental platform of a pulse-coded neuron model with adaptive synaptic weights for the integral image processing. The platform is distinguished by the evaluation of various network dynamics and by the provision of high flexibility for the implementation. The architecture of the emulation platform realises an efficient communication between the parallel computation of network topologies and neuron states and is based on an unreported hardware/software-system. This hardware/software-system exploits on the one hand the data parallelism by providing multiple processing elements and on the other hand the functional parallelism by the realisation of a multi-processor system. The specific characteristic of the neuron model is that the detection of image features, e. g. spots and edges, is performed on the basis of adaptive synaptic weights. Because of the continuous adaptation of synaptic weights that has to be carried out during the simulation the bottle-necks of limited memory bandwidth and of necessary calculation steps are giving rise to a more negative impact on the simulation performance. These bottle-neck problems are solved by a distributed memory architecture and a parallel implementation of the numerical integration method required for the computation of neuron states. The work in this thesis reveals that the requirements on a digital emulation platform for pulse-coded neural networks are best met with programmable application specific integrated circuits in the form of FPGAs. The advantages of FPGA technolgies are cost effectiveness for prototype designs and flexibility due to reconfigurability. However, the main benefits offered by today’s FPGA technologies are the capability for very large scale integration circuits, adequate operation speed performance and the realisation of sufficiently usable memory bandwidth. In the context of this thesis a prototyping printed circuit board for the emualtion platform was manufactured that incorporates three FPGA devices of the type Virtex-II and Virtex-II Pro from Xilinx. The parallel accessible memory for the digital emulation on the printed circuit board consists of six SDRAM devices and twelve SRAM devices that provide an overall memory bandwidth of 2.6 GB/s. The implemented architecture of the emulation platform operates at a frequency of 50 MHz. It is evaluated that the emulation platform achieves a maximum acceleration factor of 30 for a sparsely connected network and a maximum acceleration factor of 8 for a dense connected network compared to performed software simulations on a stand-alone Linux-PC (2.4 GHz Pentium-IV-Processor from Intel and 1 GB RAM of main memory).
URI: urn:nbn:de:kobv:83-opus-18210
http://depositonce.tu-berlin.de/handle/11303/2128
http://dx.doi.org/10.14279/depositonce-1831
Exam Date: 26-Mar-2008
Issue Date: 16-Apr-2008
Date Available: 16-Apr-2008
DDC Class: 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Subject(s): Adaptive Synapsengewichte
Digitale Emulation
Hardware/Software-System
Pulscodierte Neuronale Netze
Simulationsbeschleunigung
Adaptive Synaptic Weights
Digital Emulation
Hardware/Software-System
Pulse-Coded Neural Networks
Simulation Acceleration
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Technische Informatik und Mikroelektronik » Publications

Files in This Item:
File Description SizeFormat 
Dokument_48.pdf11.69 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.