Een danser tast de ruimte af en componeert zo muziek.
Klanken die worden opgeroepen liggen besloten in vooraf bepaalde locaties,
Zo is de componist ook de choreograaf en de danser tegelijk de musicus.
Alle media in één discipline. Doordat de performer in de fysiek lege ruimte
een imaginair landschap in klank en beeld oproept en vorm geeft door middel van handelingen
wordt de toeschouwer meegenomen in een meeslepende ervaring.
Antonin Artaud benoemde deze totale onderdompeling in zijn theater manifesten. In 1938.
Mensen uit engelstalige landen noemen het nu een immersive media experience.
Het idee; beweging van een performer in een ruimte, vertalen in klanken en beelden.
Ontstaan uit verlangen om mijn elektronische klanken direct te creëren vanuit een gebaar.
Met de dynamiek van mijn dans in te grijpen in de klankopwekking van mijn synthesizer.
Immersive Media in 2021 verwijst vooral naar Virtual Reality, Augmented Reality, Mixed- en eXtended Reality. Dat zijn vrij algemene termen voor een nieuwe industrie die volop in ontwikkeling is.
In die Industrie wordt Virtual Reality beschreven als; “de discipline die gebruik maakt van een nieuwe beeldtaal, waarbij het mogelijk is een intense 3D ervaring te hebben via beeld en geluid. Met behulp van software, vaak een game engine zoals Unity of UE4, wordt een wereld gecreëerd waarin de gebruiker kan opgaan, Met behulp van (hand)controllers, waarmee de de 3d wereld kan worden veranderd, wordt de gebruiker er onderdeel van, om het nog intenser te kunnen beleven.”
In die Industrie wordt Virtual Reality beschreven als; “de discipline die gebruik maakt van een nieuwe beeldtaal, waarbij het mogelijk is een intense 3D ervaring te hebben via beeld en geluid. Met behulp van software, vaak een game engine zoals Unity of UE4, wordt een wereld gecreëerd waarin de gebruiker kan opgaan, Met behulp van (hand)controllers, waarmee de de 3d wereld kan worden veranderd, wordt de gebruiker er onderdeel van, om het nog intenser te kunnen beleven.”
Bij een Kolmans Cube installatie is de onderliggende techniek een optisch systeem dat beweging detecteert en daar informatie uit haalt. Bijvoorbeeld de locatie en snelheid van een hand in een ruimte. Met die informatie kunnen processen geactiveerd worden zoals het oproepen van beelden en klanken.
Uiteraard kunnen die processen gezien worden als scripts die, afhankelijk van de plek waar ze geactiveerd worden, ook andere beslissingen, zoals een verhaallijn, in gang zetten.
Een VR headset kan dan een inkijk geven in zo’n vooraf geproduceerde wereld van digitale content.
Hoe die wereld zich ontvouwd is deels vooraf in productie bepaald en deels afhankelijk van de handelingen van de bezoeker. Wanneer dit proces ook afgebeeld wordt op projectieschermen kunnen andere bezoekers dit mee beleven, als ware het een performance.
Ik heb Kolmans Cube altijd gezien als de ultieme controller, juist omdat je geen hardware in je handen houdt maar de processen primair aanstuurt vanuit je eigen lijf. De informatie waarmee de processen gestuurd worden hoeft niet beperkt te zijn tot ‘triggers op basis van locatie of snelheid’ binnen de architectuur van een virtuele ruimte. Want daarin valt het Kolmans Cube interface al samen met de gangbare VR tech.
Het is ook een optisch systeem dat middels een neuraal netwerk implementatie Artificieel Intelligent kan leren.
Kolmans Kube is the development of the idea to see the body as the instrument to play and control electronic music. The movements of a danser create the music!
This idea originated in 1985 when I was a student in Art school. It took a few years to realize. I was pondering the idea of using video and wondered if it was feasible to translate the horizontal lines of the videoimage into frequencies and use Frequency modulation as in my DX7 synthesizer to create electronic sounds. Together with technician Andries Lohmeijer, I entered the TARt festival organized by the University Twente early 1987. After this idea was selected from roughly 80 submissions, Andries had built a realtime working prototype from scratch in 8 weeks time. We won the first price! A voyage began, and since that first presentation this work has been presented in cities and different countries.
The initial performances turned into a theatre play and interactive Video Art installations and then turned into an instrument for children with learning disabilities.
In the mid nineties it was presented on fairs in London and Brussels as a business presentation for companies like Coca Cola and Masterfoods (Twix).
In a Pilot project the interface was tested and presented for innovative ways of learning language i.g. the grammar of Dutch for NT2 course members, Dutch as second language students.
At the Cinekid Festival children could create and play their own drawings in a virtual world and thus realize their own creations as interactive video characters.
Since the Kinect appeared in 2010 and more specifically since the Kinect was hacked, projects were published on You tube with a striking similarity to many of the early projects presented as Kolmans Kube since 1987. That's why I decided to put up this portfolio. I am currently producing new work.