Maart 2020 zijn we, in samenwerking met NPO innovatie, een onderzoek gestart naar de
potentie van de Looking Glass: een holografische display die het mogelijk maakt om holografische content te bekijken en er mee te interacteren.
Dit onderzoek heeft totaal 3,5 maand in beslag genomen. Drie enthousiaste stagiairs uit Lichting 3 (Ralph, Julian en Colin) en een senior (Ruben) hebben parttime onderzoek gedaan.
Ons startpunt was de onderzoeksvraag:
“Wat zijn de mogelijke toepassingen van de Looking Glass voor de toekomst van TV?”
We hebben gekozen om het onderzoek te richten op 3 gebieden: volumetric video, interactie en de relatie met een tweede scherm (laptop). De uitkomst van dit onderzoek is opgeleverd in twee verschillende prototypes en dit onderzoeksdocument.
Het onderzoek is uitgevoerd met verschillende experimenten:
1. Hoe werkt hand tracking op de Looking Glass?
2. Heeft het bekijken van photogrammetry op de Looking Glass een toegevoegde waarde?
3. Kun je stereoscopische 360 video bekijken op de Looking Glass?
4. Welke engine gaan we gebruiken om op te ontwikkelen voor de Looking Glass?
5. Kun je foto’s en video’s met diepte-informatie bekijken op de Looking Glass?
6. Op welke manier kan een kind interacteren met een kinderserie d.m.v een character?
7. Op welke manier kan de Looking Glass aanvullende 3d informatie geven op een tv programma?
8. Wat zijn de mogelijkheden van volumetric video op de Looking Glass?
Hieronder hebben we de conclusies van het onderzoek samengevat.
Geïnteresseerd in het hele onderzoek? Download dan helemaal onderaan het hele rapport.
Prototype 1: Breintje (experiment 6)
Voor dit specifieke experiment wilden we kijken of het mogelijk zou zijn om de interactie op de Looking Glass te koppelen aan een actie op een browser op bijvoorbeeld je laptop of smart tv. Wat als je de Looking Glass als een soort afstandsbediening kunt gebruiken, maar de media tegelijk ook thematisch laat aansluiten op elkaar? We hebben gekozen voor een jonge doelgroep, omdat de educatieve toepassing ons een uitdaging leek. Daarnaast is het voor kinderen misschien leuker én logischer om een interactie aan te gaan met een character, dan met een afstandsbediening.
We hebben een eigen personage in het leven geroepen: Breintje. Het kind geeft Breintje een item, wat er voor zorgt dat op een ander scherm de bijbehorende aflevering wordt gestart. Een mogelijke toepassing zou kunnen zijn dat de Looking Glass gebruikt zou kunnen worden om een de aflevering te starten via chromecast op bijvoorbeeld een tv.
Bij dit concept kun je Breintje een object geven door middel van hand tracking. Wanneer Breintje het object vastpakt, verandert de omgeving waarin Breintje zich bevindt. Vervolgens wordt er vanuit Unity contact gemaakt met een server, deze draait al lokaal op de computer. Vervolgens maakt de server contact maakt met de browservenster die open staat op de Looking Glass, hierop start de bijbehorende aflevering.
Prototype 2: Klokhuis, zoek het uit! (experiment 7)
Na het voorgaande onderzoek met Breintje, werden wij ook nieuwsgierig of het ook mogelijk zou kunnen zijn om vanaf je laptop een actie op de Looking Glass te triggeren, precies het omgekeerde proces dus. Voor dit specifieke experiment hebben wij de koppeling gemaakt met de webserie van Klokhuis, zoek het uit!
In Klokhuis, zoek het uit! wordt elke aflevering in een korte video uitleg gegeven over een bepaald onderwerp. Bij de aflevering over de werking van de hersenen leek het ons van toegevoegde waarde om ook werkelijk deze hersenen in 3D te kunnen zien. De getoonde content op de Looking Glass is 3d en kan dus meer laten zien dan de platte video in de browser.
Bij het Klokhuis concept start je allereerst in een browservenster de video. Op een bepaald vaststaand punt/tijdstip in de video start op de Looking Glass een browser venster met daarop een pre-rendered video van hersenen die draaien. Deze content klopt qua timing met het onderwerp wat op dat moment behandeld wordt in de video.
Samenvatting belangrijkste conclusies
Verschil tussen 3d content en fake 3d
Tijdens het onderzoeken kregen we een steeds beter besef van de manier waarop de Looking Glass diepte laat zien. Zo kwamen wij erachter dat er een verschil is tussen 3d en fake 3d content. Met fake 3d bedoelen wij een object wat er 3d uitziet, maar eigenlijk een platte video is met diepte informatie. In het Klokhuis prototype (experiment 7) gebruiken wij een pre-rendered filmpje met een 3d distort. Als je deze platte video bekijkt op de Looking Glass, ziet dit eruit alsof de hersenen 3d zijn.
Pre-Rendered 3d is heel makkelijk te bekijken op Looking Glass
Door een video met diepte informatie een 3d distort te geven, kun je heel eenvoudig pre-rendered 3d video’s bekijken op de Looking Glass. Deze video’s kun je vanuit iedere mediaplayer bekijken op de Looking Glass en dan krijgt het diepte. Dit betekent dat je heel makkelijk content kunt verspreiden (webplayer) en kunt afspelen, zonder dat het de computer zwaar belast.
Unreal nog niet bruikbaar
Helaas is Unreal momenteel nog niet geschikt als engine voor de Looking Glass, er kan dus momenteel het beste in Unity developed worden.
Vooral aanvulling op bestaande media
De prototypes die gebouwd zijn tijdens dit onderzoek zijn vooral aanvullingen op bestaande media. Wij zien in de huidige vorm nog niet echt een toepassing die standalone zou kunnen werken in plaats van bijvoorbeeld tv.
• Standalone executable op Looking Glass naar ander scherm
Er draait op de Looking Glass een applicatie, die via een lokale server een video start op een ander scherm. In ons prototype voor Breintje (experiment 6), was dit op de gekoppelde laptop. Dit zou ook gekoppeld kunnen worden aan een smart tv of chromecast.
• Browser naar Looking Glass
Er wordt in de browser een video gekeken en op een bepaald moment start op de Looking Glass aanvullende 3d content. In ons prototype voor Klokhuis, zoek het uit! (experiment 7) was dit een 3d model van hersenen. Wij zien dit onderzoek als een verkenning van deze nieuwe technologie en medium. We hopen dat deze technologie en het medium verder ontwikkeld zullen worden, zodat de mogelijke toepassingen nog relevanter worden. De potentie van het medium is overduidelijk. Het kan nu al gebruikt worden als een tweede scherm, maar ook als een soort Intuïtieve manier om met content te interacteren.
De nieuwere editie van de Looking Glass ziet er al veelbelovend uit. Deze is een stuk groter en een standalone device, en hierdoor meer te gebruiken zoals een reguliere tv. We kijken er naar uit om met nieuwere versies van dit medium aan de slag te kunnen en uit te bouwen.
Geïnteresseerd in het hele onderzoek? Download dan hier het hele rapport.