MIMIC

Lieve allemaal,

Mijn laatste week is ingegaan hier in Zwitserland. Ik heb er eigenlijk wel een heel dubbel gevoel bij. Ik kijk al weken uit naar mijn terugkeer, omdat ik graag bij Berit, mijn familie en vrienden ben. Aan de andere kant is dit wel een fantastisch land, mijn werk is leuk, mijn collega’s zijn gezellig. Ik zal het hier echt wel missen. Buiten begint het echt al lente te worden en de vogels laten dit merken. Onder het genot van een mooi lente fluitconcert zit jullie dan ook te schrijven nu.

De afgelopen weken bestonden voornamelijk uit het afmaken van mijn werk, in het bijzonder mijn programma genaamd “ MIMIC ”. MIMIC staat voor Music, Immersion, Motion capture, Interaction en Cave. Eigenlijk is CAVE ook weer een afkorting voor Cave Automatic Virtual Environment.
Het is me gelukt om een applicatie te schrijven wat gebruik maakt van 4 onderdelen, muziek, bewegingsdetectie, visualisatie en physics tussen de gebruiker en objecten in de applicatie.
Muzikaal gezien zijn er uiteindelijk 4 kanalen beschikbaar die elk hun eigen muziek bron doorgeven, in mijn geval is dat een mp3-tje. Per kanaal kan de muziek dan nog door de gebruiker worden gemanipuleerd. Dit gebeurt live terwijl de gebruiker in de CAVE staat. Ik heb 6 manipulaties geïmplementeerd. De 6 manipulaties zijn, een laagband filter, een hoogband filter, een echo, een distortion, een chorus en een flange. De laatste twee worden in de volgende links toegelicht.

Chorus: http://en.wikipedia.org/wiki/Chorus_effect
Flange: http://en.wikipedia.org/wiki/Flanging

3 effecten worden met een eenvoudige aan/uit switch gebruikt en 3 door in de CAVE bepaalde bewegingen te maken. De aan/uit switch is een visueel geprojecteerd object in de virtuele ruimte die de gebruiker door hem “aan te raken” kan omzetten. De 3 bewegingen zijn armenwijd, raak met je rechterhand je voeten aan, raak met je linkerhand je voeten aan. Tot slot maakt het muzikale gedeelte nog gebruik van de 5.1 surround sound in de CAVE, hierdoor lijkt het ook alsof het geluid wat uit een virtuele speaker links in beeld komt ook daadwerkelijk uit deze speaker komt.
De bewegingdetectie volgt (real-time) 4 sensoren van op gebruiker. De sensoren zijn kleine rode ledjes die ieder met een unieke frequentie knipperen. Hierdoor worden ze uniek herkent in de CAVE door 7 camera’s. Om de locatie van een object te bepalen zijn 3 camera posities nodig, om er voor te zorgen dat je als gebruiker zelf niet in het beeld staat gebruiken we er wat meer. 4 boven je ons hoofd en 3 op de grond. In mijn applicatie worden, zoals gezegd, 4 sensoren gebruikt, voor je linkerhand, rechterhand, linkervoet en rechtervoet. Hiermee “stuur” je 4 virtueel geprojecteerde objecten in de CAVE “aan”, twee handen en twee schoenen. Doordat je alleen maar twee handen en twee schoenen ziet lijkt het alsof je zelf in de virtuele ruimte staat en niet alsof je een poppetje aan het besturen bent, zoals een marionet. Dit zogenaamde “1st person perspective” was een van mijn eerste keuzes om de beleving te vergroten, net als de locatie van het geluid bij de speakers dat ook dient te doen. In het muzikale gedeelte vertelde ik over armwijdte. Dit wordt dus eenvoudigweg bepaald door de ruimtelijke afstand te bepalen tussen de twee sensoren op de handen van de gebruiker. Wanneer deze afstand groter is dan een gestelde waarde wordt het bijbehorende geluidseffect aangezet of uitgezet. Een leuk weetje is nog dat het systeem waar we mee werken een totaal van 64 sensoren tegelijk real-time kan volgen.
De visualisatie vindt plaats in een CAVE. Een CAVE is volgens definitie een 6 of meer wandige ruimte waar op elke wand een deel van de virtuele wereld wordt geprojecteerd. In ons geval werken we met een zeer goedkope versie van deze definitie. In het VRLab hebben ze namelijk een CAVE gebouwd van “huis-tuin-en-keuken” materiaal zoals projectieschermen, beamers en computers die gewoon in de winkel te koop zijn. Dit voorkomt een hoop kosten en geeft toch de mogelijkheid om veel te experimenteren op dit gebied. De CAVE waar ik mee gewerkt heb, heeft dan ook maar 4 wanden, grond, voor, links en rechts. In de CAVE staat men in mijn applicatie in een bar, nee vb-ers niet de Vestingbar. Om de gebruiker heen ziet hij 4 speakers en 4 lp’s, a.k.a. platen, of vinyl, 12 eenvoudige switchen en 3 voetswitchen. Het geheel is opgedeeld in een set voor het linker- en rechterscherm en 2 voor de het voorste scherm. De zij schermen zijn iets kleiner dan het voorscherm en dus was er minder ruimte beschikbaar. Ik had eerst in totaal 6 geluidskanalen, maar dit werd veel te vol. De 3 voetswitches geven toegang tot de extra geluidsmanipulatie, zoals hierboven beschreven. Deze kan de gebruiker dus alleen omzetten door hem met zijn voeten “aan te raken”. De andere interactie objecten, de lp’s en de eenvoudige switchen, worden met handen bediend.
Dit brengt me meteen bij de physics. Hoe raak je nu immers een object aan wat in werkelijkheid niet eens bestaat? Hiervoor wordt een begrip “collision detection” gebruikt. Een commercieel beschikbaar product gemaakt door Ageia is zo vriendelijk om mij van algoritmes te voorzien die voor mij berekenen wanneer de handen of voeten een ander object, bijvoorbeeld een lp, aanraken. In feite heb ik hiervoor kleine kubussen beschreven en deze “om” de objecten geplaatst. De code van Ageia vertelde mij dan wanneer er twee kubussen elkaar aanraakte en op basis daarvan geef ik bijvoorbeeld muziek kanaal 1 de opdracht zijn mp3 af te spelen. De algoritmes van Ageia kunnen worden gebruikt voor veel complexere natuurkundige berekeningen en dit opent dus ook een heel nieuw onderzoeksgebied. Denk bijvoorbeeld aan het toepassen van krachten op een virtueel object. In mijn applicatie zou dit betekenen dat de gebruiker ook daadwerkelijk voelt dat hij een lp aanraakt, en ja op een veel kleinere schaal wordt dit ook al gedaan. Ik heb dit ook even mogen doen, zie een van de foto’s.
Dus lieve lezer, het bij elkaar brengen van muziek, bewegingsdetectie, visualisatie en physics hebben er toe geleid dat een gebruiker in de CAVE kan genieten van:
MIMIC –”a Musical Immersive experience, based on Motion capture Interaction for the Cave”
En laat dit nou net de titel van mijn presentatie zijn voor komende donderdag.

Mijn laatste week zal bestaan uit het maken van mijn presentatie en het afmaken van de codes / commentaar. En dan ben ik als alles goed gaat zaterdag in de loop van de avond weer in Den Haag.

Tot slot heb ik natuurlijk nog wat foto’s van de afgelopen tijd. Een paar zijn van het Olympisch museum waar Berit en ik twee weken leden zijn geweest.

Misschien dat ik nog een laatste melding maak op dit weblog en anders tot snel, want ik kom weer naar huis! In ieder geval wil ik iedereen heel erg bedanken voor de lieve berichten en de steun uit Nederland.

Liefs uit Lausanne,

Ruben