Systementwicklungsprojekt
| Thema: |
Aktionserkennung in Videobildern durch Bewegungsklassifizierung in der Raum-Zeit Dimension - Video Based Action Recognition through Space-Time Motion Classification |
| Bearbeiter: |
Franziska Meier Christian Potthast |
| Betreuung: | Jan Bandouch |
| Themensteller: | Prof. Michael Beetz, PhD |
Beschreibung:
In diesem Projekt soll ein Softwaresystem entwickelt werden, welches darauf trainiert werden kann, vorgegebene Aktionen in Videobildern automatisch zu erkennen. Denkbar ist es z.B., Personen zu erkennen, die an einer Kamera vorbeigehen, und dabei die Bewegung (gehen, laufen, hüpfen, kriechen) automatisch zu bestimmen.
Vorgehensweise:
Um komplexe Bewegungen klassifizieren zu können, reicht die
zweidimensionale räumliche Information in Einzelbildern nicht aus. Aus diesem
Grund ist es sinnvoll, die zeitliche Dimension in der Bewegung bei der Klassifizierung
mitzuberücksichtigen. In einem noch recht jungen Ansatz werden dazu die Formen
sogenannter Space-Time-Shapes mit gesammelten Trainingsdaten der zu erkennenden
Bewegungen verglichen. Space-Time-Shapes entstehen, wenn man die Umrisse von Personen
in der zeitlichen Dimension miteinander verschmelzen lässt (siehe Bild). Die Umrisse wiederum
können durch einfache Hintergrundsubtraktion gefunden werden.
Um den Vergleich der dreidimensionalen Umrisse in angemessener Zeit zu ermöglichen,
müssen repräsentative Features extrahiert werden, die ein möglichst diskriminierendes Ähnlichkeitsmaß zwischen unterschiedlichen Bewegungsformen liefern sollen.
Solche Features können z.B. durch das Lösen der Poisson-Gleichung gewonnen werden (Details dazu finden sich im weiter unten angegebenen Paper). Es ist aber auch denkbar, eigene Features auszuprobieren. Ist ein Ähnlichkeitsmaß
bestimmt, so kann die Zuordnung von beobachteten Bewegungen zu vorher trainierten Bewegungen anhand der Distanzen zwischen den Ähnlichkeitsmaßen erfolgen.
![]() Raum-Zeit Umrisse von Bewegungen |
Weitere Informationen:
Der Projektvorschlag basiert auf Forschungsarbeiten am Weizmann Institute. Die Projektseite findet sich hier. Dort findet sich auch die passende Publikation: "M. Blank, L. Gorelick, E. Shechtman, M. Irani and R. Basri: Actions as Space-Time Shapes. ICCV 2005.", sowie mehrere Beispielvideos.
Erforderliche Kenntnisse:
- gute Kenntnisse in OOP vorzugsweise C++, Java
- Grundkenntnisse in der GUI Programmierung mit Qt oder Fltk
- Grundkenntnisse in der Bildverarbeitung (z.B. Vorlesung Bildverstehen)
...und/oder die Motivation, sich in neue Bereiche einzuarbeiten.


















