Auf einen Blick

Forschungsprojekt

Smart Multicodal Graphics Search

Fachbereich

Design Informatik Medien

Leitung

Prof. Dr. Adrian Ulges

Beteiligte

Markus Eberts

Ansprechpartner Forschungsförderung

Susanne Korzuch

Projektpartner

Hochschule Fulda

Laufzeit

05.2016 - 04.2017

Finanzierende Institution oder Auftraggeber

Forschung für die Praxis

Projektbeschreibung

Im  Laufe  der  letzten  Jahre  lässt  sich    getrieben  durch  höhere  Netzwerkbandbreiten  und  die Verbreitung  leistungsstarker  mobiler  Endgeräte    ein   rasantes  Wachstum  weltweiter  Bild- und  Videobestände  verzeichnen.  Im  Zuge  dieser  Entwicklungen  ist  u.a. das  Forschungsfeld  der inhaltsbasierten  Bild  und  Videosuche entstanden,  mit  der  Zielsetzung,  ähnlichkeitsbasiert  Bilder bzw.  Videos  in  großen  Datenbanken  zu  lokalisieren.  Anwendungsfelder  dieser  Technologie reichen  von  der  mobilen  Suche nach  Produkten und der Verwertung umfangreicher Bildarchive bis hin  zur  Aufspürung  von  Urheberrechtsverletzungen  (vgl.  Google’s  ​Content  ID)  oder  von  illegalem Bildmaterial. Gleichzeitig  erfährt  die  3D-Modellierung/Rekonstruktion  und Echtzeit-3D-Darstellung von Objekten mit   neuen  APIs  wie  WebGL  und Anwendungsbereichen  wie  3D-Druck  immer  weitere  Verbreitung und  hat  nun,  neben  klassischen  Anwendungsfeldern  in  Computeranimation  und  CAD,  auch  den ConsumerBereich  erreicht.  Ähnlich  wie  bei  der  Bildsuche  ist  hier  das  Retrieval  von  geeigneten 3D-Modellen  und   deren  Austausch  und  Integration  über   verschiedene Anwendungsplattformen hinweg  von  großem  Interesse.  Eine  offene  Fragestellung  besteht  dabei  jedoch  vor  allem  in  der Verknüpfung  der  Modalitäten  “Bild”  und  “3D-Modell”:  Kann  zu  einem  gegebenen  Foto  oder Screenshot  aus  einer  Menge  von  3D-Modellen  automatisiert  jenes  gefunden  werden,  das  dem Anfragebild  zugrunde  liegt?  Und  lassen   sich  umgekehrt  Bilddatenbanken  oder  das  Internet  mit einem 3DAnfragemodell nach jenen Bildern durchsuchen, die aus dem Modell entstanden sind? Eine  solche  multicodale  Suche,  also  eine  Suche  per  Bild  /  3D-Modell  nach  3D-Modell  /  Bild,  soll daher  Gegenstand  des  Vorhabens  SMULGRAS sein. Sie bietet gegenüber einer rein bildbasierten Suche  (deren  Bilder  sich  etwa  aufgrund  unterschiedlicher  Perspektiven,  Texturierung  und/oder Beleuchtung z.T. deutlich unterscheiden) u.a. das Potential einer höheren Genauigkeit. SMULGRAS  vereinigt  interdisziplinäre  Expertise  in  den  Bereichen  interaktive  3D-Computergrafik im  Web  (Prof.  Dr.  Y.  Jung,  Hochschule  Fulda)  und  inhaltsbasierte  Bildsuche  (Prof.  Dr.  A.   Ulges, Hochschule  RheinMain),  und  stellt  in  Zusammenarbeit   mit  den   beiden  Partnern  aus  der angewandten  Forschung  sowie  dem Anwendungspartner ​IntelligentGraphics GmbH einen direkten Anwendungsbezug  her.  Darüber  hinaus  eröffnet  sich  über  das  Thema  multicodale   Suche  eine Reihe  innovativer Anwendungsmöglichkeiten   im  Kontext  des  TrendThemas  “Industrie   4.0”,  von der  passgenauen,  bildbasierten  Suche  in  Produktkatalogen  bis  hin  zur  Aufspürung  von ProduktPiraterie.  Hier  soll  SMULGRAS  auch  den  Grundstein  für  ein  weiterführendes Forschungsvorhaben in Zusammenarbeit mit den Partnern Fraunhofer IGD und DFKI legen.