Bepaalde games doen dit al, bijvoorbeeld Beat Saber. Streamers die dit spelen laten zichzelf vanuit een derde persoon zien. De toeschouwer ziet dan niet alleen de game die gespeeld wordt, in dit geval Beat Saber, maar ziet ook de moeite die een speler moet doen om het spel goed te kunnen spelen.

VR-producten zijn vaak ervaringen die maar voor één of enkele mensen geschikt zijn. Het is soms lastig om een goede presentatie of representatie te geven van een bepaald product of ervaring. Meekijken kan wel, maar dat is vrijwel altijd vanuit eerstepersoonsperspectief. Een toeschouwer ziet wat de VR-speler ziet. Toch mis je dan als toeschouwer de context en wil je een interessantere kijkervaring.

De oplossing vindt zich in Mixed Reality Capture. Een blend van de virtuele en echte realiteit. Hierbij staat de VR-speler voor een green screen. Op dit greenscreen wordt dan de game geprojecteerd, waardoor het voor een toeschouwer lijkt alsof de VR-speler zich werkelijk in de game bevindt.

Het project VRoemVRoem had dit als insteek. Om niet alleen een ervaring te maken die leuk was voor een speler, maar vooral ook voor een toeschouwer. Hiervoor hebben we gekeken naar verschillende mogelijkheden om een ervaring met Mixed Reality te realiseren. Zo is er een vanuit Oculus een API die dit mogelijk maakt. Ook heeft de Unreal Engine hier een framework voor. Uiteindelijk zijn we uitgekomen bij het gebruik van Liv. Deze software development kit bood uiteindelijk het beste gebruiksgemak en heeft goede cross-platform mogelijkheden tot implementatie.

Deze technieken hebben we toegepast in een prototype; de racegame VRoemVRoem. In VRoemVRoem bestuur je met je VR-controller een auto waarbij je verschillende obstakels moet ontwijken.

Denk aan een kat die achter een laser aanjaagt, maar dan in VR met een auto. 

Ondanks dat VRoemVRoem een goed experiment was in het gebruik van Mixed Reality Capture, bood dit een ander dilemma. Voor wie maak je uiteindelijk de VR-ervaring? Zo waren er bepaalde keuzes die voor de VR-speler een toegevoegde waarde hebben, maar voor de toeschouwer saai zijn om naar te kijken. Voor een toeschouwer is het bijvoorbeeld relevant en leuk als de speler grote bewegingen moet maken. Dit ziet er leuk uit, de speler doet echt moeite voor iets. Daarentegen zijn deze bewegingen voor de speler soms ongemakkelijk, of is er vanuit user experience een beter optie die vervolgens voor een toeschouwer weer minder interessant is om naar te kijken. 

Het project heeft uiteindelijk voldoende inzicht en ervaring gegeven in het gebruik van Mixed Reality Capture. Los van de design keuzes maakt het gebruik van mixed reality capture een ervaring direct interessanter om naar te kijken. Iets wat we binnen het lab nu vaker kunnen gebruiken en toepassen.