Fraunhofer-Institut digitaliseert mensen

Fraunhofer HHI heeft een camerasysteem ontwikkeld waarmee personen voor een perfect driedimensionale indruk worden gefilmd. Kern van dit systeem is een stereocamera. Net zoals de mens met zijn twee ogen neemt deze de persoon op met twee objectieven.

Stereoscopisch kijken leidt er toe dat afstanden goed kunnen worden ingeschat omdat beide ogen uit een iets andere hoek naar een object kijken. Hierdoor ontstaat een driedimensionale indruk.

Om een persoon uit alle richtingen gedetailleerd te kunnen opnemen, gebruikt het onderzoeksinstituut thans meer dan dertig camera’s in. Daarbij neemt iedere camera maar een deel van de persoon op. De uitdaging is de afzonderlijke camerabeelden zodanig te laten samensmelten dat een realistisch totaalbeeld ontstaat.

Elk gebaar weergeven

Behalve de cameratechniek hebben de onderzoekers ook algoritmes ontwikkeld, die uit de stereoscopische camerabeelden zeer snel diepte-informatie kunnen extraheren. Deze zijn nodig om de 3D-gedaante van een opgenomen persoon te berekenen. Tot slot genereert de computer uit de camerabeelden een virtueel model van de mens, die vervolgens in de scene kan worden ingebracht.

De gegenereerde 3D-oppervlaktestructuur van de persoon geeft daarbij veel details weer. Zo kunnen bijvoorbeeld vouwen in de kleding of karakteristieken in het gezicht worden waargenomen. Hierdoor werkt die model qua uiterlijk en beweging natuurlijk en realistisch.

Het samenvoegen van de 3D-informatie uit de verschillende camerabeelden duurt maar een paar seconden – dan is de illusie perfect. Het systeem draagt de driedimensionale dynamische modellen snel over naar Virtual Reality. Een mens kan zich bij de opnamen binnen de daarvoor bestemde ruimte vrij bewegen. Het virtuele evenbeeld geeft elk gebaar en elke beweging realistisch weer.