FG Elektronik und Informatik (FAEL)

Die Fachgruppe Elektronik und Informatik (FAEL)
Die Fachgruppe Elektronik und Informatik (FAEL)

Wir bringen Ingenieure aus den Bereichen Elektronik, Elektrotechnik und Informatik zusammen.

Wir fördern den Kontakt und den Austausch von Know-how mit ausgewählten Weiterbildungen, Firmenbesuchen, Fachveranstaltungen und Studienreisen. Bei diesen Anlässen treffen sich Gleichgesinnte; von jungen, innovativen Studienabgänger bis zu erfahrenen, gut vernetzten Spezialisten.

Als firmenunabhängige Organisation pflegen wir den Kontakt zu Hochschulen, Behörden und Partnerorganisationen. So sind wir in der Lage, unseren Mitgliedern immer aktuelles Wissen und hochstehende Anlässe zu bieten.

Wir publizieren regelmässig technische Artikel und Ingenieurrätsel. Es würde uns freuen, wenn wir Ihren Ehrgeiz wecken und Sie für die Rätsel begeistern können! Viel Spass...

Sie haben einen Veranstaltungsvorschlag zu einem spannenden Thema oder zu einer Firma? Melden Sie sich bei uns! Wir freuen uns immer über Feedback.

angle-left Fehler mit der MPI-Separation weitgehend direkt eliminieren
zurück zur Übersicht

Fehler mit der MPI-Separation weitgehend direkt eliminieren

Für diverse Anwendungen werden zunehmend 3D-Time-of-Flight (ToF)-Kameras eingesetzt. Jedoch stellt die Multi Path Interference (MPI) für das ToF-Verfahren eine signifikante Fehlerquelle dar. Mit den hier beschriebenen Multi-Layer-ToF-Verfahren können genau diese Interferenzen den Informationsgehalt der 3D-Aufnahme erheblich erhöhen.
3D-ToF-Verfahren mit CW-Modulation

Autor: Jonas Gutknecht

3D-Sensorik ist in vielen Anwendungsbereichen eine entscheidende Technologie für die Zukunft und schreitet in grossen Schritten voran. Für die dreidimensionale Erfassung der Szene hat sich aufgrund der hohen Datenrate und des einfachen Aufbaus die 3D-ToF-Kamera in vielen Anwendungen bewährt. Ein Nachteil dieser Technologie besteht in der Anfälligkeit gegenüber MPI. Durch eine Analyse der 3D-Punktwolke kann dieser Effekt teilweise unterdrückt werden.

Verschiedene Lösungansätze untersucht

Im Rahmen einer Masterarbeit am Institute of Signal Processing and Wireless Communications (ISC) an der ZHAW School of Engineering wurden, in Zusammenarbeit mit dem Schweizer Sensorhersteller ESPROS Photonics Corporation, verschiedene Lösungsansätze für die MPI-Problematik untersucht. Durch ein geeignetes Messverfahren und Auswertung kann MPI nicht nur unterdrückt, sondern auch die einzelnen Signalpfade separiert werden. Dieser zusätzliche Informationsgehalt ermöglicht dem 3D-ToF-Verfahren neue Anwendungsgebiete.

3D-ToF-Messprinzip

Für die dreidimensionale Erfassung einer Szene können verschiedene Kamerasysteme verwendet werden. Neben Triangulations- und Stereokamera-Systemen hat sich das ToF-Messprinzip in vielen Anwendungsbereichen etabliert. Das ToF-Messprinzip ist in der Abbildung 1 symbolisch dargestellt. Die zu vermessende Szene wird mit moduliertem Licht (Tx) beleuchtet. Dieses optische Signal wird von den Objekten in der Szene reflektiert (Rx) und durch die 3D Kamera demoduliert. Für jedes einzelne Pixel wird die Signallaufzeit tToF zwischen Senden des Signals und Empfangen der Reflexion gemessen und mit bekannter Lichtgeschwindigkeit die Objektdistanz d bestimmt. Gängige 3D-ToF-Kameras erreichen eine Distanzauflösung von unter 1 Zentimeter, was aufgrund der hohen Lichtgeschwindigkeit eine Zeitauflösung von weniger als 70 ps voraussetzt.

Für das ToF-Messprinzip können verschiedene Modulationen verwendet werden. Die Pulsmodulation verwendet einen kurzen Lichtimpuls und misst direkt die Signallaufzeit, was eine hohe Bandbreite der Modulation und Demodulation voraussetzt. Wird hingegen eine Continuous Wave (CW)-Modulation verwendet, kann die Signallaufzeit indirekt über die Phasenlage bestimmt und die benötigte Bandbreite reduziert werden. Jedoch ist die CW-Modulation anfälliger gegenüber MPI.

MPI-Problematik

In vielen realen Anwendungsbereichen ist die Annahme eines einzelnen Signalpfades pro Pixel nicht realitätsgetreu. Beispielsweise treten in folgenden Situationen im gleichen Pixel mehrere Reflexionen über unterschiedliche Signalpfade auf und resultieren somit in MPI:

  • Befinden sich halbtransparente Objekte im Field of View (FoV), treten Reflexionen sowohl von diesen Objekten als auch vom Hintergrund auf.
  • Entlang von Kanten können Reflexionssignale sowohl von der vorderen als auch der hinteren Oberfläche auf dasselbe Pixel abgebildet werden.
  • Befinden sich hoch reflektierende Objekte in Kameranähe, kann das gesendete Licht über mehrere Reflexionen als Streulicht innerhalb der Linse auf die ganze Sensorfläche verteilt werden.

Durch die Überlagerung mehrerer CW-modulierter Signale unterschiedlicher Phase und Amplitude entsprechen die gemessenen Werte keiner realen Objektdistanz und resultieren in erheblichen Messfehlern. In den obigen Abbildungen sind reale Messdaten einer Szene, mit einem Netz mit Maschenweite 1 Zentimeter in 2.4 Metern und einer Wand in 8.0 Meter Distanz zu einer Kamera vom Typ DME 660 von ESPROS, ersichtlich. Obwohl in jedem Pixel beide Reflexionssignale empfangen werden, entspricht die gemessene Distanz keiner der beiden realen Objektdistanzen.

Verschiedene Methoden zur MPI-Separation

Die Phase der einzelnen Reflexionssignale ist neben der Objektdistanz und der Lichtgeschwindigkeit auch von der Modulationsfrequenz des ausgesendeten Lichts abhängig. Durch die Abtastung der Szene mit unterschiedlichen Modulationsfrequenzen kann pro Pixel ein komplexer Messvektor aufgespannt werden. Die diskreten Spektralanteile dieses Messvektors sind durch die Amplituden und Signallaufzeiten der einzelnen Signalpfade definiert.

Die MPI-Separation besteht somit im Wesentlichen aus mehreren Messungen mit unterschiedlichen Modulationsfrequenzen und anschliessender Schätzung der diskreten Spektralanteile für jedes einzelne Pixel. Im Rahmen dieses Projektes wurden 14 Modulationsfrequenzen im Bereich von 10 MHz bis 36 MHz verwendet und drei verschiedene Methoden zur Schätzung der Spektralanteile getestet.

Die Prony-Methode

Mit der Prony-Methode können die einzelnen Signalpfade in einer geschlossenen Form und somit mit geringem Rechenaufwand aus dem Messvektor bestimmt werden. Für ideale Simulationsdaten erreicht diese Methode die beste Performance. Hingegen weist die Prony Methode eine hohe Sensitivität gegenüber den in realen Messdaten enthaltenen stochastischen und systematischen Messfehlern auf.

Der Orthogonal Matching Pursuit

Der Orthogonal Matching Pursuit (OMP)- Algorithmus wird im Bereich der Sparse Approximation verwendet und approximiert in wenigen Iterationsschritten das Messsignal mit einer Linearkombination einzelner Einträge eines Dictionary. Diese Methode separiert auch mit realen Messsignalen die einzelnen Signalpfade zuverlässig. Wird diese Methode auf die Messung gemäss obigen Abbildungen angewendet, werden wie erwartet in jedem Pixel die beiden Objekte in 2.4 Metern und 8.0 Metern Distanz detektiert (siehe Abbildungen unten). Voraussetzung für die Separation mit der OMP-Methode ist eine minimale Distanzdifferenz der einzelnen Objekte von ungefähr 2.7 Metern, abhängig von der Modulationsbandbreite und den Signalamplituden der einzelnen Reflexionen.

Die Particle Swarm Optimization

Mit dem Particle Swarm Optimization (PSO)- Algorithmus wird der definierte Lösungsraum mit einer grossen Anzahl einzelner Partikel abgesucht. Das Verhalten dieser Partikel ist dem in der Tierwelt bekannten Schwarmverhalten nachempfunden, wie es beispielsweise in Fischschwärmen auftritt. Auch mit dieser Methode können die einzelnen Signalpfade selbst bei nicht idealen Messdaten separiert werden. Jedoch erfordert diese Methode einen hohen Rechenaufwand und resultiert durch die stochastische Komponente der PSO-Methode in beträchtlichem Rauschen.

Die drei Methoden im Vergleich

Der Performance-Vergleich aller drei Methoden wurde anhand synthetischer und realer Messdaten durchgeführt. In der Tabelle unten sind die über mehrere Pixel gemittelten absoluten Distanzfehler von zwei verschiedenen Benchmark Messungen ersichtlich, wobei der Distanzfehler der Messung ohne MPI-Korrektur jeweils 100 Prozent entspricht. Mit der Prony-Methode kann dieser Fehler um bis zu 94 Prozent, mit der PSO-Methode um bis zu 92 Prozent und mit der OMP-Methode gar um bis zu 96 Prozent reduziert werden.

  Streulicht Scharfkantige Objekte
Messung @10MHz 1.32 m (100%) 1.75 m (100%)
Prony 0.17 m (13%) 0.10 m (6%)
OMP 0.07 m (5%) 0.07 m (4%)
PSO 0.11 m (8%) 0.16 m (9%)

Realtime Demonstrator

Basierend auf den Erkenntnissen des Performance-Vergleiches wurde ein Demonstrator mit der OMP-Methode realisiert, mit welchem die MPI-Separation in Echtzeit veranschaulicht werden kann. Dieser Demonstrator wurde zugunsten der Flexibilität in der Scriptsprache Python geschrieben und ist somit relativ langsam im Vergleich zu kompilierten Programmiersprachen. Mittels Parallelisierung der MPI-Separierung kann ein Bildausschnitt mit 4k Pixel mit einer Framerate von knapp 5 Frames pro Sekunde verarbeitet werden. Mit einer effizienteren Programmiersprache und weiteren Optimierungen könnte dieser Wert deutlich erhöht werden.

Fazit

Statt die durch MPI verursachten Fehler mit einer Analyse der 3D-Punktwolke zu unterdrücken, können diese Fehler mit der MPI Separierung weitgehend direkt eliminiert werden. Zudem steigt der Informationsgehalt der Aufnahmen, da pro Pixel mehrere Objektdistanzen detektiert werden können. Dies erweitert den Anwendungsbereich mit Multi-Layer-Szenen wie etwa mit halbdurchlässigen Objekten oder Gittern und ermöglicht den Einsatz der 3D-ToF-Kameras bei schwierigen Verhältnissen wie beispielsweise starkem Streulicht.

Vorstandsliste

  • Michael Giger
    e-Plattformverantwortlicher
    FG Elektronik und Informatik
    E-Mail

  • Michael Giger
    Präsident
    FG Elektronik und Informatik
    E-Mail

  • René Gisler
    Vorstandsmitglied
    FG Elektronik und Informatik
    E-Mail

  • Roland Grimmer
    Vorstandsmitglied
    FG Elektronik und Informatik
    E-Mail

  • Thomas Hauser
    Mitgliederverantwortlicher
    FG Elektronik und Informatik
    E-Mail

  • Theodor Klossner
    Vorstandsmitglied
    FG Elektronik und Informatik
    E-Mail

  • Heinz Mathis
    Vorstandsmitglied
    FG Elektronik und Informatik
    E-Mail

  • Michael Pichler
    Quästor
    FG Elektronik und Informatik
    E-Mail

  • Oliver Schlösser
    Aktuar
    FG Elektronik und Informatik
    E-Mail

  • Oliver Schlösser
    1. Vizepräsident
    FG Elektronik und Informatik
    E-Mail

Präsident

Michael Giger
Dipl.Ing.FH/STV

079 473 60 40
fael@swissengineering.ch

 

Social Media

Folgen Sie uns auf  LinkedIn, Facebook oder Twitter!

 

Postadresse

Fachgruppe Elektronik und Informatik
8000 Zürich

16. FAEL Herbstseminar "Künstliche Intelligenz"

Mi. 03. November 2021, 17:15 Uhr
 

Künstliche Intelligenz ist kein neues Thema. Viele Strukturen von künstlichen neuronalen Netzen stammen aus den 80er Jahren. Interessanterweise wurde diese Phase rückwirkend als Renaissance bezeichnet, weil die erste Konferenz zum Thema "Artificial Intelligence" bereits 1956 stattfand. Das jetzige Aufflammen ist also sozusagen die dritte Welle. Ein entscheidender Meilenstein waren dabei die sog. "Convolutional Neural Networks" vor etwa 10 Jahren. Ausserdem erlauben grosse Netzwerke mit riesigen Datensätzen heutzutage ein sehr umfangreiches Training entsprechender Algorithmen. Dabei erstrecken sich die Einsatzgebiete auf eigentlich alle Wissenschaftbereiche. An unserem Herbstseminar werden ausgewiesene Experten die Chancen und Risiken der künstlichen Intelligenz aufzeigen.

Übersicht aller vergangenen Herbstseminare

Südkorea

Vom 15. bis 23. Oktober 2022 wird die „Swiss Engineering Fachgruppe Elektronik und Informatik“ Universitäten und Unternehmen sowie geschichtlich wesentliche Orte besuchen, welche einen Einblick in das Erfolgsmodell des Landes ermöglichen: Wie ist es diesem einstmals bitterarmen Agrarland gelungen, zur elft-grössten Wirtschaftsmacht der Welt aufzusteigen?

Die Reiseleitung erfolgt durch Theodor und Jutta Klossner. Die Fachliche Leitung liegt in den Händen von Prof. Dr. Patrick Ziltener, Universität Zürich. Prof Ziltener ist ein ausgesprochen anerkannter Asienkenner und vermittelt den Reiseteilnehmern interessantes Hintergrundwissen.

Reiseunterlagen und Anmeldung finden Sie unter www.studienreisen.tech.

Übersicht aller Studienreisen