Monokulare Tiefenschätzung

Die Erstellung von Tiefenkarten ist essentiell für zahlreiche Anwendungen, wie z.B. autonomes Fahren oder Augmented Reality. Typischerweise werden diese aus Stereobild-Paaren oder mit Hilfe von aktiven Sensoren (wie z.B. LiDAR oder RGB-D Kameras) generiert. Angelehnt an die monokulare Tiefenwahrnehmung des Menschen, widmet sich dieses Projekt hingegen der Schätzung von Tiefenkarten aus Einzelbildern mittels künstlicher neuronaler Netze.

Neuartige Fehlermetriken

Zur qualitativen Beurteilung solch prädizierter Tiefenkarten werden bisher ausschließlich visuelle Vergleiche und globale Fehlermetriken herangezogen, die jedoch keine Aussage über die lokalen geometrischen Eigenschaften der Tiefenkarten zulassen. Aus diesem Grund stellen wir eine Reihe neuer, geometrisch interpretierbarer Metriken vor, die sich auf folgende Qualitätskriterien von Tiefenkarten konzentrieren:

  • Genauigkeit und Vollständigkeit von Tiefensprüngen
  • Planarität und Orientierung ebener Objekte
  • Distanz-abhängige Beurteilung

iBims-1 RGB-D Datensatz

Die Anwendung unserer neuen Fehlermetriken setzt einen hochqualitativen RGB-D Referenzdatensatz voraus. Mithilfe eines eigenes hierfür konstruierten Aufnahmesystems einer Spiegelreflexkamera und eines terrestrischen Laserscanners können dichte, hochauflösende, akkurate und rauscharme RGB-D Bildpaare geniert werden. Diese weisen scharfe und verdeckungsfreie Tiefensprünge, sowie rauschfreie planare Oberflächen auf, welche Grundvoraussetzungen für unsere Fehlermetriken darstellen.

Dieses Setup wurde zur Erstellung unseres neuen Testdatensatzes iBims-1 (independent Benchmark images and matched scans - version 1) für monokulare Tiefenschätzung verwendet. 

Weitere Informationen zu unserem Datensatz finden sich auf dieser Projektseite.

Publikationen

  • Koch, Tobias; Liebel, Lukas; Fraundorfer, Friedrich; Körner, Marco: Evaluation of CNN-based Single-Image Depth Estimation Methods. arXiv preprint arXiv:1805.01328, 2018 mehr…