Automatische Bilderkennung ist heute weit verbreitet: Es gibt Computerprogramme, die mit großer Zuverlässigkeit Hautkrebs diagnostizieren, selbstfahrende Autos navigieren oder Roboter steuern. Bisher beruhte das alles auf der Auswertung von Bilddaten, wie sie von ganz normalen Kameras geliefert werden – und das ist aufwändig. Insbesondere wenn die Zahl der aufgenommenen Bilder pro Sekunde hoch ist, entsteht rasch eine Datenmenge, die kaum bewältigt werden kann.

An der TU Wien ging man daher nun einen anderen Weg: Aus einem speziellen 2D-Material entwickelte man einen Bildsensor, der darauf trainiert werden kann, bestimmte Objekte zu erkennen. Der Chip selbst stellt ein lernfähiges, künstliches neuronales Netz dar. Die Daten müssen also erst gar nicht ausgelesen und von einem Computer verarbeitet werden, sondern der Chip selbst gibt Auskunft darüber, was er gerade sieht – und zwar innerhalb von Nanosekunden. Die Arbeit wurde nun im Fachjournal „Nature“ präsentiert.

Lernende Hardware

Neuronale Netze sind künstliche Systeme, die ähnlich funktionieren wie unser Gehirn: Nervenzellen sind mit vielen anderen Nervenzellen verbunden. Wenn eine Zelle aktiv ist, kann das die Aktivität der benachbarten Nervenzellen beeinflussen. Genau nach diesem Prinzip funktioniert auch künstliches Lernen am Computer: Ein Netz von Neuronen wird digital simuliert, die Stärke mit der ein Knotenpunkt dieses Netzes den anderen beeinflusst, wird so lange verändert, bis das Netz das gewünschte Verhalten zeigt.

„Typischerweise werden die Bilddaten zuerst Pixel für Pixel ausgelesen und dann am Computer verarbeitet“, sagt Thomas Müller. „Wir hingegen integrieren das neuronale Netz mit künstlicher Intelligenz direkt in die Hardware des Bildsensors. Damit erfolgt die Objekterkennung um viele Größenordnungen schneller als bisher.“

Der Chip wurde an der TU Wien entwickelt und hergestellt. Er basiert auf Photodetektoren aus Wolframdiselenid – ein ultradünnes Material, das nur aus drei Atomschichten besteht. Die einzelnen Photodetektoren, die „Pixel“ des Kamerasystems, sind alle mit einer kleinen Zahl von Ausgangs-Elementen verbunden, die das Ergebnis der Objekterkennung liefern.

Lernen durch variable Empfindlichkeit

„In unserem Chip können wir die Empfindlichkeit jedes einzelnen Detektorelements gezielt einstellen – also die Art, wie sich das Signal, das ein bestimmter Detektor aufnimmt, auf das Ausgangssignal auswirkt“, erklärt Lukas Mennel, Erstautor der Publikation. „Dafür müssen wir einfach nur ein lokales elektrisches Feld direkt am Photodetektor anpassen.“ Diese Anpassung erfolgt von außen, mit Hilfe eines Computerprogramms. Man kann zum Beispiel mit dem Sensor verschiedene Buchstaben aufnehmen und die Empfindlichkeiten der einzelnen Pixel Schritt für Schritt verändern, bis ein bestimmter Buchstabe immer genau zu einem korrespondierendem Ausgangssignal führt. So wird das neuronale Netz im Chip konfiguriert – mit stärkeren und schwächeren Verbindungen.

Ist dieser Lernprozess abgeschlossen, wird der Computer nicht mehr benötigt. Das neuronale Netz kann nun alleine arbeiten. Wird dem Sensor ein bestimmter Buchstabe präsentiert, erzeugt er innerhalb von 50 Nanosekunden das antrainierte Ausgangssignal – zum Beispiel ein Zahlencode, der für den Buchstaben steht, den der Chip gerade erkannt hat.

Objekterkennung, wenn es schnell gehen muss

„Unser Test-Chip ist momentan noch klein, aber man kann die Technologie problemlos hochskalieren, je nachdem, welche Aufgabe man lösen möchte“, sagt Thomas Müller. „Prinzipiell könnte man den Chip auch darauf trainieren, Äpfel von Bananen zu unterscheiden, wir sehen aber dessen Einsatz eher bei der Durchführung wissenschaftlicher Experimente oder anderen spezialisierten Anwendungen.“

Die Technologie ist überall dort sinnvoll einsetzbar, wo extrem hohe Geschwindigkeit gefragt ist: „Von der Bruchmechanik bis zur Teilchendetektion – in vielen Forschungsbereichen werden kurze Ereignisse untersucht“, sagt Thomas Müller. „Oft muss man nicht alle Daten über dieses Ereignis aufzubewahren, sondern eine ganz bestimmte Frage beantworten: Breitet sich ein Riss von links nach rechts aus? Welches von mehreren möglichen Teilchen ist gerade vorbeigeflogen? Genau für solche Einsatzzwecke eignet sich unsere Technologie ausgezeichnet.“

Originalpublikation

L. Menneli et al., Ultrafast machine vision with 2D material neural network image sensors, Nature (2020), DOI: 10.1038/s41586-020-2038-x, öffnet eine externe URL in einem neuen Fenster

Kontakt

Prof. Thomas Müller
Institut für Photonik
Technische Universität Wien
Gußhausstraße 27–29, 1040 Wien
T +43-1-58801-38739
thomas.mueller@tuwien.ac.at

Aussender:
Dr. Florian Aigner
PR und Marketing
Technische Universität Wien
Resselgasse 3, 1040 Wien
T +43-1-58801-41027
florian.aigner@tuwien.ac.at