<<

Do You mind?

Eine Installation von Timo Friedl, Stephan Stahl und Markus Matteucci

Die Installation "do you mind" soll aufzeigen, welchen Einfluss unser Unterbewusstsein auf Entscheidungen im Alltag hat. Welche Rolle spielen Erinnerungen und Erfahrungen im Bezug auf unseren Freien Willen?


Inhaltsverzeichnis

  1. Ausgangssituation
  2. Interaktive Medieninstallation "Do you mind?"
  3. Konzeption
    1. Ziel der Installation
    2. Umsetzung
    3. Raumaufbau
    4. Interaktionsablauf
    5. Zuschauer
  4. Technische Umsetzung
  5. Vorführung - Tag der Medien
  6. Verbesserungen
    1. Konzeptionell
    2. Technisch
  7. Ausblick
    1. Weitere Ziele und Ideen
    2. Mögliche Gefahren

Ausgangssituation

Anlässlich der Veranstaltung „Interaktive Medieninstallationen“ im Sommersemester 2009 an der Hochschule Furtwangen sei eine Installation mit dem Leitmotiv „Transforming Mirror(s)“ zu verwirklichen. Entlang dieser Aufgabenstellung entstand die Idee einen „Spiegel des Unterbewusstseins“ zu kreieren und in Form der gegebenen Möglichkeiten umzusetzen.

Interaktive Medieninstallation "Do you mind?"

Die Installation „Do You Mind?“ soll sich mit (Bild-)Eindrücken und den daraus resultierenden Reaktionen des Unterbewusstseins des Benutzers beschäftigen. Ziel ist es Bildabfolgen zu kreieren und zu präsentieren, die lediglich vom Unterbewusstsein „gesteuert“ werden, um zu verdeutlichen, dass der „freie Wille“ des Benutzers nicht immer frei, sondern durchaus im Unterbewusstsein verankert ist. Die Installation soll daher der „Spiegel unseres Unterbewusstseins“ sein, der nicht explizit vom Benutzer selbst gesteuert werden kann, sondern seinen individuellen Verlauf nimmt, abhängig von den Reaktionen des Unterbewusstseins auf die Bildeindrücke.

Konzeption

Ziel der Installation

Die Interaktion zwischen Benutzer und Installation soll mit der Installation hinterfragt und auf eine neue Weise definiert werden: Geht man bei Interaktion zunächst von physischer Aktivität und den daraus resultierenden Reaktionen des Systems aus, wird dies in der Installation „Do You Mind?“ in psychische Aktivität umgewandelt. Das System soll auf Reize des Benutzers reagieren, die lediglich über den Hautwiderstand übermittelt werden. Der Benutzer ist daher nicht mehr auf mechanische Vorgänge (beispielsweise das Betätigen eines Eingabegeräts) und damit verbundene physische Aktivität angewiesen, und kann – auf ihm bisher unbekannte Weise – bewegungslos mit dem System interagieren. Die Kontrolle der Installation und dessen Bildabfolge obliegt hier nicht zwangsweise nur dem Benutzer: Je nach Einstiegsbild des Systems können hier durchaus (Bild-)Pfade durchlaufen werden, über die der Benutzer nicht zwangsweise immer die Kontrolle hat. Die entsprechende Reizbefriedigung des Benutzers resultiert aus seinen bisherigen Erfahrungen und den daraus gewonnenen Schlussfolgerungen; sofern das System auf „sensible Erfahrungen“ des Benutzers anspielt, wird hier ein Pfad durchlaufen, über den sich der Benutzer im Zweifelsfall nicht bewusst ist. Im Idealfall wird aufgrund des Startbildes, der angezeigten Bilder, den Assoziationen des Benutzers und seiner unbewussten Auswahl, eine Bildabfolge erzeugt, mit welcher sich der Benutzer auf irgendeine Weise identifizieren kann, sich also in der Sequenz "widerspiegelt".

Aufbau der Installation

Um dem Benutzer eine private Atmosphäre zu gewährleisten, soll der Raum so weit wie möglich abgedunkelt werden. Für die Installation werden alle 3 Leinwände benötigt. Vor den Leinwänden werden ein Teppich, ein bequemer Sessel – auf dem der Benutzer Platz nehmen kann – sowie ein Beistelltisch platziert, auf dem der Benutzer private Gegenstände (bspw. Uhr, Geldbeutel, etc.) ablegen kann. Um die private Atmosphäre zu unterstreichen wird auf dem Tisch eine Kerze platziert. Um den Benutzer auch akustisch von seiner Außenwelt abzuschotten, setzt der Benutzer Kopfhörer mit Entspannungsmusik auf. Zusätzlich zur eingespielten Musik werden akustische Schwebungen erzeugt, die entspannend auf den Benutzer wirken sollen. Der oben beschriebene Aufbau soll dem Benutzer das Gefühl des „Ankommens“ in einer heimischen Umgebung suggerieren, in der er sich völlig zurücklehnen und entspannen kann, um ihm sämtliche Anspannungen zu nehmen, welche die Ergebnisse des Hautwiderstands verfälschen könnten.
Damit die Technik sich der Aufmerksamkeit des Benutzers entzieht, agiert der Operator direkt hinter dem Benutzer. So kann dieser auf den Benutzer optimal reagieren ohne dass dieser es selbst mitbekommt.




Geplante Umsetzung

Die Installation soll zur Präsentation in dem Labor, das dem Projektteam zur Verfügung gestellt wurde, aufgebaut werden. Die Entwicklung und Testphase wird außerhalb des Hochschulgebäudes stattfinden. Für die Installation wird ein Gerät zur Messung des Hautwiderstands – ähnlich einem Lügendetektor – benötigt. Um Bildabfolgen anzuzeigen wird die Bilddatenbank der Seite Flickr.com verwendet, um möglichst individuelle Abfolgen und Eindrücke zu kreieren. Diese Bilder sollen dem Benutzer auf Leinwänden präsentiert werden. Das Zeitintervall und die Menge der gezeigten Bilder muss entlang der Testphase verifiziert werden. Auf die Bilder wird per „Tags“ zugegriffen, die bereits von Nutzern der Community von Flickr.com definiert wurden. Sofern der Benutzer auf ein Bild anspringt, werden ihm weitere Bilder mit semantisch verwandten Tags präsentiert. Da Bilder zumeist mehrere Tags besitzen, sind Sackgassen bezüglich der "Tag-Armut" ausgehebelt. Weiterhin soll der Raum, in dem sich die Installation befindet, eine „private“ und intime Atmosphäre schaffen, um den Benutzer von Fremdeinflüssen fern zu halten. Es wurden weiterhin Möglichkeiten in Betracht gezogen, die es dem Benutzer erlauben, sich zu entspannen und komplett auf die Interaktion mit dem System einzulassen: Eine bequeme Sitzmöglichkeit wird dem Benutzer zur Verfügung gestellt; der Versuchsaufbau wird verschiedene Sinustöne im Niedrigfrequenzbereich akustisch abstrahlen um Schwebungseffekte zu erzeugen.

Ablauf der Interaktion

Der Benutzer nimmt auf dem Sessel Platz und hat den direkten Blick auf die aktive Leinwand 2 (Mitte) gerichtet. Über einen Fingerclip wird sein Hautwiderstand aufgezeichnet. Dem Benutzer werden die drei aktuellsten Bilder von Flickr zugespielt. Jedes Bild wird einzeln jeweils x Sekunden eingespielt. Die Tags des Bildes mit dem größten Ausschlag des Hautwiderstands werden als Basis für weitere Bilder benutzt. Sofern das Bild über den Hautwiderstand bestimmt wurde, wird es erneut in den Vordergrund gebracht, und anschließend auf Leinwand 1 (linke Flanke) portiert, auf welcher der Ablauf der Bilder des Benutzers gespeichert wird. Anhand der resultierenden Tags des ausgewählten Bildes werden dem Benutzer weitere Bilder eingespielt, und erneut der Hautwiderstand gemessen. Die Tags der neu zu ladenden Bilder werden zusammen mit dem Logo der Installation auf Leinwand 3 (rechte Flanke) festgehalten und sowohl dem Benutzer als auch den Zuschauern präsentiert. Der Focus des Benutzers soll allerdings nach wie vor auf Leinwand 2 liegen. Somit entstehen individuelle Bildabfolgen entlang den Emotionen der Benutzer auf die Bilder. Zwischen drei Bildern, also einer Sequenz, wird eine kurze optische Pause in Form einer Weißblende – eine Art „Lichtblitz“ – eingespielt, um durch Neutralisierung der Wahrnehmung die Bildergebnisse nicht zu verfälschen.

Die Rolle der Zuschauer während der Installation

Hinter dem Benutzer soll Platz für Zuschauer bestehen. Diese sollen den Benutzer nicht irritieren, jedoch die Bildabfolgen, den Hautwiderstand sowie das aktuell eingespielte Bild beobachten können. Eine direkte Interaktion der Zuschauer mit dem System erfolgt nicht zwangsweise, um den Benutzer nicht zu irritieren. Es steht den Zuschauern allerdings frei, den Benutzer – auf welche Art auch immer – zu beeinflussen und somit die Ergebnisse zu „verfälschen“.

Technische Umsetzung

Hardware

Im Folgenden wird die verwendete Hardware für die Installation beschrieben:

Software

Im Folgenden wird die verwendete Software beschrieben:

  • Sprache: Flash, AS3
  • IDE: FlashDevelop
  • Protokoll zwischen MakeController und PC
    Als Protokoll für den Datenaustausch zwischen dem MakeController und dem PC kam das OSC Protokoll (Open Sound Control) zum Einsatz.
    MakingThings bietet hierzu fertige Klassen für alle möglichen Programmiersprachen mit. So auch für Flash:
    MakingThing OSC Flash Tutorial
  • Schnittstelle zwischen System und Flickr
    Als Schnittstelle zu Flickr bietet Adobe selbst eine AS3 API an:

    as3flickrlib
    Um sich die Flickr API "per Hand" live zu erfahren: Flickr API
  • Brainwave Generator
    Brainwave Generator ist ein Programm welches Binaurale Klänge / Geräusche erzeugt. Binaural bedeutet, dass beide Ohren jeweils mit unterschiedlichen Soundquellen versorgt werden. Legt man beispielsweise auf den linken Stereo-Kanal einen Sinuston von 30Hz und auf den rechten Kanal einen Sinuston mit einer Frequenz von 35Hz nimmt der Mensch eine Schwebung von 5Hz wahr (35Hz - 30Hz = 5Hz). Diese Frequenz nimmt nun Einfluss auf unser Nervensystem und somit auf unsere Wahrnehmung. Je nach Wahl der resultierenden Frequenz werden im Gehirn unterschiedliche Frequenzen erzeugt, welche den natürlichen Bewusstseinszustand des Probanden beinflussen. In unserem Versuchsaufbau hatten wir es mit resultierenden Frequenzen im Theta-Wellen Bereich zu tun, welche einen schlafartigen Zustand erzeugen sollten, um so die meditative Stimmung und die Erfolgsquote unserer Installation zu erhöhen.

Programm Aufbau

Grobe Skizze

Als grober Aufbau des Systems und dessen Bezüge zu äußeren Quellen und zum Benutzer soll folgende Skizze dienen:



Wichtig hierbei ist die Beziehung zwischen Benutzer (User) und seinem Unterbewusstsein (Mind). Beide sind voneinander abgekoppelt - der Mind ist dem Benutzer sozusagen vorgeschaltet und übernimmt die Kommunikation mit dem System. Dieser Sachverhalt findet sich in dem Ausruck "Passive Interaktion" wieder.

Grober Programmaufbau


Phasenbeschreibung

Den Ablauf des Programms übernimmt die Klasse MindBootFlow. Der Ablauf ist in 4 unterschiedliche States (oder Phasen) unterteilt, welche fortlaufend nacheinander abgearbeitet werden.


  1. Phase - Intro
    Hier wird lediglich der Sound gestartet und ein Logo angezeigt. Überschreitet das Signal einen Schwellwert ist dies Zeichen dafür, dass nun ein Benutzer anwensend ist - Phase 2 wird eingeleitet.
  2. Phase - Start (Begin)
    In dieser Phase wird der Taktgeber für das Laden der Bilder initialisiert und nach einer vorgegebenen Zeit (wenige Sekunden) die nächste Phase eingeleitet.
  3. Phase - Tracking
    Dies ist die Phase in der sich das Programm die meiste Zeit befindet:
    Beim ersten Eintritt in diese Phase verwenden wir einen Start-Tag, in unserem Fall war dies "flower". Nun werden auf Basis dieses Tags die ersten 3 Bilder von Flickr geladen. Dabei werden Instanzen der Klasse FlickrImage erstellt, welche selbst sicherstellt, nötige Informationen von Flickr zu laden (Bildinformation, Tags, Beschreibung, Titel).
    Wenn ein FlickrImage vollständig geladen ist fügt es sich selbst dem ImageRoller hinzu. Hat dieser 3 Bilder in seinem Pool beginnt der ImageRoller die Bilder nacheinander anzuzeigen.





    Zu Beginn der Anzeigephase jedes FlickrImages greift dieses einen Startwert des Signals ab, welcher dann mit dem Wert zum Ende der Anzeigephase verglichen wird und als Differenz von FlickrImage gespeichert wird. Wurden so alle 3 Bilder angezeigt, ist es möglich, die (relativen) Signal Peaks der einzelnen Bilder miteinander zu vergleichen. Eines dieser Bilder hat den relativ höchsten Peak im Vergleich zu den anderen Bildern und dient somit als Ausgangslage für das Laden der neuen Bilder von Flickr.





    Das ausgewählte Bild wird dem ImageArchiv hinzugefügt, welches die vom Unterbewusstsein des Benutzers ausgewählten Bilder auf dem linken Screen Nummer 1 anordnet. Ist dieser Platz voll, leitet das ImageArchiv Phase 4 des Bootflows ein, und das System wird neugestartet.
    Wir befinden uns nun wieder am Anfang von Phase 3 - Tracking.
  4. Phase - Restart
    Das Archiv wird geleert und wir beginnen wieder mit einem von System vorgebenen Starttag.

Signalverarbeitung

Der MakeController hat einen A/D Wandler der Spannungen im Bereich von 0 und 3,3 V mit 10Bit quantisiert. Folglich hätten wir 1024 Stufen, die uns zur Programmierung zur Verfügung stehen. Der Lügendetektor liefert eine analoges Signal, welches sich jedoch zwischen 0 und 2V befindet. Damit geht uns in etwa ein Drittel des Bereichs verloren. Wir erhalten also in etwa Werte zwischen 0 und 700.

Bildsemantik

Bei einem Projekt dieser Art stellt sich die Frage wie die Semantik aufgebaut werden soll. Nach langem Probieren hat sich folgendes Verfahren etabliert:
Als erstes werden Bilder mit einem Start-Tag geladen, dieser ist vom System vorgegeben. Beispiel: "flower". Wurden alle Informationen zu den Bildern geladen werden diese angezeigt und eines ausgewählt. Zur Generierung des Such-Strings für die nächste Anfrage werden zuerst "Verwandte Tags" zu dem zweiten Tag des ausgewählten Bildes (nature) geladen. Ein verwandter Tag zu "nature" wäre beispielsweise "earth". Der Suchstring setzt sich dann folgendermaßen zusammen:
<RELATED_TAG_FLOWER> OR IMAGE_TAGS[0]
Also wird für die weitere Suche verwendet: earth OR flower
Auf diese Weise haben wir größtenteils ausgeschlossen dass der Benutzer in semantischen Sackgassen landet. Dieser Mechanismus kann "von Hand" auf der Webseite der FlickrAPI nachvollzogen werden.

Download + Hinweise

Hier kann der Source-Code von "do-you-mind" heruntergeladen werden. An dieser Stelle muss beachtet werden, dass die Software ohne die nötige Hardware (MakeController, Analoge Quelle) keinerlei Sinn ergibt. Deshalb wurde der Source-Code dahingehend verändert, dass das Signal des Benutzers simuliert wird. Somit ist keinerlei Interaktion möglich und der Quellcode dient hauptsächlich für eventuelle Folgeprojekte.

http://webuser.hs-furtwangen.de/~tfriedl/imi/doyoumind.zip


Vorführung - Tag der Medien

Am Tag der Medien wurde die Installation erstmalig ausgestellt. Die Ergebnisse wurden in Form einer Filmdokumentation festgehalten; diese teilt sich in zwei Teile auf: Die Konzeption und den Entstehungsprozess (Teil 1), und die Benutzer- bzw. Zuschauerreaktionen (Teil 2). Dies ist im Sinne der Umsetzung relevant, da die Dokumentation der Konzeption die 2-Minuten-Marke nicht überschreiten soll. Die Impressionen vom „Tag der Medien“ sind daher unabhängig vom Konzeptionsteil zu betrachten; sie sollen die Eindrücke der Probanden und Zuschauer repräsentieren.



Verbesserungen

Anhand gesammelter Erfahrungen und Mithilfe der User- und Zuschauer-Interviews wurden wertvolle Erkenntnisse gewonnen. Unter anderem stellte sich heraus, dass das Konzept und der Aufbau kleinere Schwächen hatten, die man noch verbessern könnte.

Konzeptionelle Verbesserungen

Das Konzept sah keine Zeitbegrenzung bei der Benutzung der Installation des Users vor. Der User interagierte so lange er wollte mit dem System, bzw. bis er durch einen Anderen abgelöst wurde; somit fühlten sich manche Benutzer teilweise etwas hilflos. Das Konzept sollte einen Rahmen vorgeben, in dem der Benutzer vom System sowohl einen Einstiegspunkt, als auch einen Ausstiegspunkt zur Verfügung bekommt.


Desweiteren müsste diskutuiert werden inwiefern sich Finger-Clip-Sensoren mit einem meditativen Setting widersprechen. Dieses Manko sollte mit Sensoren im Kopfhörer kompensiert werden, welche auch den Vorteil hatten, dass nur noch ein Interface nötig war. Jedoch stellte sich diese Lösung kurz vor Präsentation zwar als technisch einwandfrei, aber sehr unangenehm heraus. So wurde erneut auf die Finger-Clips zurückgegriffen.


Die Kontakte des Sensors waren teilweise zu eng am Finger des Benutzers angebracht, so dass diese teils als unangenehm empfunden wurden. Hier hätte – auch während der Ausstellung der Installation – besser kommuniziert werden sollen, dass es den Benutzern jederzeit freisteht, die Fingerclips eigenhändig zu lockern bzw. „festzuschnallen“. Das Konzept sollte sich von vornerein noch besser auf den User einstellen, und das Setting sollte sich noch besser auf diesen einlassen.

Technische Verbesserungen

  • In der Testphase lief das Programm mit einer Auflösung von 800 x 200 flüssig. Nutzt man die TripleHead im Labor mit einer Auflösung von 2400 x 600 ist ein deutlich höherer Rechenaufwaqnd nötig. Es kam zu Unterbrechnungen des kontinuerlichen Anzeigeflusses (es ruckelte). Mit einem leistungsstärkeren PC und/oder durch Auslagerung eines Teils der Berechnungen (Effekte, Tweens) auf die Grafikkarte könnte man diesem Problem entgegenwirken.
  • Signal
    Leider konnten wir die theoretisch 700 Quantisierungsstufen nicht nutzen, da der Lügendetektor sich mit seiner Ausgangsspannung immer an einer bestimmten Schwelle befinden musste, um signifikante Änderungen des Hautwiderstandes feststellen zu können. Somit kamen wir leider lediglich nur auf 150 bis 200 Quantisierungsstufen.
    Aus diesem Grund musste der Operator ständig währrend der Anzeigepausen nachjustieren, um den Detektor innerhalb der Schwelle zu halten.
    Diesem Problem könnte entgegengewirkt werden, wenn
    • es möglich wäre sensiblere Sensoren zu nutzen, wie sie in der Medizin vorkommen.
    • ein Detektor zur Verfügung stünde, der die A/D Wandlung erstens vorsieht und zweitens integriert.

Ausblick

Weitere Ziele und Ideen

Denkbar wäre mithilfe der nötigen Technik, beispielsweise einem mehrkanäligen EEG, dem User nicht nur eine neutrale und unwertbare Betroffenheit im Bezug auf ein Bild, sondern wertbare Reaktionen (ja / nein oder gefällt / gefällt nicht) abzugewinnen. Damit wäre es möglich subjektiver auf die Bewertung durch das Unterbewusstsein des Benutzers einzugehen. Dies ermöglicht einen weitaus offeneren Handlungsspielraum. Beispielsweise könnten vermehrt Bilder angezeigt werden, welche den Benutzer negativ aufwühlen. Interessant wäre es nun festzustellen und zu evaluieren, bis zu welchem Grad der Benutzer dieses Spiel freiwillig mitmacht, und wieviele "positive" Bilder nötig sind um den Benutzer an der Stange zu halten.

Mögliche Gefahren

Da durch das System eventuell auch gewisse Dinge an die Oberfläche treten können, welche vielleicht vom Benutzer bisher verdrängt wurde, könnte im Extremfall einetiefe emotionale Betroffenheit mit psychischen Folgen auftreten.
Stelle man sich desweiteren vor, der Benutzer sei unfreiwillig an das System angeschlossen, so tun sich schnell ethische Fragen auf.