Forschung

Viele Anwendungen wie die Interpretation von Straßenräumen für das autonome Fahren erfordern die Lösung verschiedener Aufgaben auf Grundlage digitaler Bilder. Die zu extrahierenden Informationen spiegeln dabei typischerweise verschiedene Aspekte identischer Objekte der physischen Welt wieder. Dieses Wissen um bestehende Korrelationen zwischen den Tasks kann ausgenutzt werden um die einzelnen Tasks effizienter und mit höherer Genauigkeit lösen zu können.

Monokulare Tiefenschätzung

Die Erstellung von Tiefenkarten ist essentiell für zahlreiche Anwendungen, wie z.B. autonomes Fahren oder Augmented Reality. Typischerweise werden diese aus Stereobild-Paaren oder mit Hilfe von aktiven Sensoren (wie z.B. LiDAR oder RGB-D Kameras) generiert. Angelehnt an die monokulare Tiefenwahrnehmung des Menschen, widmet sich dieses Projekt hingegen der Schätzung von Tiefenkarten aus Einzelbildern mittels künstlicher neuronaler Netze.

Dieses Projekt beschäftigt sich mit der Erstellung von vollständigen und hochauflösenden 3D Gebäudemodellen aus Bildsequenzen von Micro Aerial Vehicles (MAVs). Neben der Rekonstruktion und Georeferenzierung von 3D Gebäudeaußenmodellen, soll ebenfalls das Gebäudeinnere aus unabhängigen Innenflügen modelliert werden. Eine automatische Registrierung von Gebäudeinnen- und außenmodellen ermöglicht die Erstellung von LOD-4 Gebäudemodellen.

In diesem Projekt sollen Methoden zur Landnutzungs- und Landbedeckungsklassifizierung mit Hilfe von Convolutional Neural Networks entwickelt werden. Trainingsdaten werden quasi-automatisch aus frei verfügbaren Geodaten (OpenStreetMap) und multispektralen Sentinel-2 Bildern gewonnen.

Die Sicherheit von autonomen Fahrsystemen ist stark abhängig von einer vorausschauenden Fahrweise der autonomen Fahrzeuge. Ziel dieses Projekts ist es, die Fähigkeit des menschlichen Gehirns zukünftige Ereignisse zu prädizieren, nachzubilden. Mit Hilfe aktueller Methoden der Computer Vision und des maschinellen Lernens werden auf Grundlage von beobachteten Bildsequenzen zukünftige Bildfolgen eines Videos generiert, aus denen Vorhersagen zum Verkehrsgeschehen abgeleitet werden. Die vom System gelernten Merkmale werden zudem genutzt um Verkehrsumgebungen und Aktionsmuster von Verkehrsteilnehmern zu modellieren und analysieren.

Die Modellierung von Verkehrsinfrastrukturen wird immer wichtiger, insbesondere seit autonome Fahrsysteme Teil der nahen Zukunft zu sein scheinen. Im Zuge dieses Projekts werden Algorithmen zur Prozessierung von Kameraaufnahmen aus Fahrzeugen entwickelt um alle verkehrsrelevanten Objekte, wie z.B. Verkehrsteilnehmer und Infrastrukturelemente, zu erfassen. Ergänzend zu den Informationen aus Bodenaufnahmen werden Luftbilder genutzt um Gruppenverhalten zu analysieren und das Verkehrsgeschehen vorherzusagen.

Traditionelle Methoden zur Klassifizierung der Bodenbedeckung konzentrieren sich auf spektrale und texturelle Merkmale. Besonders Nutzpflanzen ändern dabei ihre spektrale Signatur über die Zeit auf eine charakteristische Art und Weise. Durch künstliche Long Short-Term Memory neurale Netze können diese multi-temporale Vegetationscharakteristiken gelernt und zur Klassifikation genutzt werden.

Die 3-dimensionale Modellierung von Städten bietet die Grundlage wichtiger Entscheidungsfragen für Stadt-, Verkehrs- und Umweltplanungen. Moderne satellitengetragene SAR Sensoren, wie TerraSAR-X, Tandem-X und COSMO-Skymed liefern globale metergenaue Daten in hoher zeitlicher Auflösung, welche durch neuartige Algorithmen im Bereich von InSAR für die Rekonstruktion von urbanen Gebieten verarbeitet werden sollen.  

Ziel des Projekts ist die Entwicklung eines Überwachungs- und Frühwarnsystems für Cyanobakterienblüten und die Erforschung von Faktoren, die die Bildung, Toxizität und den Kollaps schädlicher Algenblüten beeinflussen. Die bei Feldkampagnen gewonnenen optischen Daten werden für Inversionsstudien und zur Validierung von Fernerkundungsdaten verwendet.

Die S-5P-Mission widmet sich der Überwachung der atmosphärischen Zusammensetzung. Ausgestattet mit dem TROPOMI mit vier Spektrometern, die den UV-VIS-NIR-SWIR Teil des Sonnenspektrums abdecken, können eine Reihe von Spurengase und atmosphärischen Komponenten bestimmt. Die hohe räumliche Auflösung von TROPOMI dient zudem der Erhöhung von wolkenfreien Pixel und ermöglicht damit die Berechnung von troposphärischen Spurengasen für größere Gebiete.

TUM-DLR Multimodal Benchmark
IBims1
Mavmap
fields RNN
Single-Image Super Resolution for Multispectral Images
3D Localization and Motion Estimation of PSI
Realtime 3D-Reconstruction from Image Sequences
4D-SAR
Automated Vehicle Tracking in Aerial Images
DeSecure
IGSSE "Dynamic Earth"
Exupéry
Interpretation of People Trajectories from Image Sequences
Monitoring of Volcanic SO2 Emissions
Radar Simulation for Understanding Spaceborne SAR Images
IGSSE "Safe Earth"
Tracking of Vehicles in Complex Large Urban Environments
Straßenextraktion aus digitalen Luftbildern
SVD for Persistent Scatterer Interferometry
Tomopolis
IGSSE "4D City"