-The work shown engages with the conception and realization of the human-computer interaction (HCI-) sound installation 'Isidor' which gives the user the possibility to conduct a virtual string quartet. The control system appears via a leap motion camera (motion tracking) and a clearly arranged user interface (GUI) implemented on a touch screen. Emanating from the GUI parameters as volume, soli and mutes, room impressions, tonal pitches (Hz), moods (emotional), the changing of instrumental player positions and the punctual launch from a certain position are possible. The leap motion camera acts like a translator from the conductor movements of the user's digital workable control data. Therefor working in real time is essential for tempo changes. The Max/MSP-object Bachscore is accountable for the score implementation. MIDI data is transferred to VST-instruments which eventually are responsible for the acoustic sound. Max/MSP patches connect the different elements: Leap motion tracking, DMX light control, graphics and Bachscore to an interactive sound installation.
I. EINLEITUNG
Mimiken des menschlichen Ko¨rpers, die Auswirkungen auf
das Klangbild haben oder sogar Kla¨nge erzeugen ko¨nnen.
‘Sonic’ bedeutet ‘(akustischer) Schall’, wa¨hrend ‘Gesture’ auf
die menschliche Komponente, die Ko¨rper- bzw.
Ausdrucksbewegung hinweist [
Abbildung 2. Technischer Aufbau Isidor
Softwareseitig wird eine vorprogrammierte MIDI-Datei mittels dem Max/MSP-Objekt Bachscore interpretiert, in Partiturdarstellung angezeigt und an VST Instrumente weitergeleitet, die Kla¨nge generieren. Die Leap Motion Kamera erfasst dirigatsa¨hnliche Handbewegungen des Nutzers, welche in einem separaten Max/MSP-Patch in Beats Per Minute (BPM) umgerechnet werden. An diesen Prozess ist auch die DMXSteuerung angebunden, die durch farbiges Licht zusa¨tzlich zum Ho¨rerlebnis ein optisches Feedback u¨ber die aktuelle Geschwindigkeit des Stu¨ckes gibt und, in Folge dessen, die Stimmung intensiviert und das Nutzererlebnis um eine visuelle Ebene erweitert. Den Großteil der Steuerungen u¨bernimmt der Rezipient u¨ber das Graphical User Interface (GUI). Ein zentraler Hauptbildschirm ohne Subscreens ermo¨glicht schnellen und intuitiven Zugriff mittels Touch-Steuerung auf folgende Funktionen: Transport (Play, Pause), Ausdruck bzw. Lautsta¨rke jedes Instruments (gekoppelt an Note-On Expression), Mute-Funktion fu¨r jeden Spieler, Raumeindru¨cke (Studio/Dry, Small Hall, Big Hall), tonale Stimmung (in Hz), sogenannte “Moods” (bspw. w u¨tend, verschlafen, vorsichtig), Positionsa¨nderungen der Instrumentalisten sowie das punktuelle Abspielen ab einer gewu¨nschten Position durch “Tap” mit dem Finger in die Partiturdarstellung.
chestra” in Wien aufgestellt. Sie ist im ‘Haus der Musik’
stationiert, einem Zentrum der musikalischen
Kulturbewahrung und -vermittlung. Die Herren Borchers, Samminger und
Mu¨hlha¨user behaupten mit ‘Personal Orchestra’ die erste
Klanginstallation geschaffen zu haben, die es dem Nutzer
ermo¨glicht, eine Audio-/Videoaufnahme in Echtzeit dirigieren
zu ko¨nnen. Bei dem verwendeten Material handelt es sich
nicht, wie bei Isidor, um verarbeitete MIDI-Daten, sondern
um eine “echte” Tonaufnahme der Wiener Philharmoniker. Die
Beeinflussung von Tempo, Lautst a¨rke und Instrumentation ist
durch Motion Tracking einer Infrarotkamera ohne ho¨rbare
Artefakte, die durch Time Stretching entstehen ko¨nnen, mo¨glich.
Hierbei sei jedoch angemerkt, dass die Tempovariation nur
in einem eingeschra¨nkten Rahmen umsetzbar ist. Wie bereits
erwa¨hnt, wurden alle Stu¨cke aufgenommen und mittels
Timestretching offline in verschiedenen Tempi gerendert. Bei
einer Tempoa¨nderung durch den Nutzer werden die passenden
Audiodateien abgerufen und u¨berblendet. U¨berschreitet ein
Nutzer die Grenzen des geringsten oder ho¨chsten
vorgerenderten Tempos, ha¨lt die Wiedergabe an und der virtuelle
Konzertmeister beschwert sich humoristisch u¨ber die Anstrengungen
des Dirigenten. Ein weiterer Unterschied zu Isidor besteht
darin, dass auch Videodaten abgespielt werden. Diese sind,
wie das Audiomaterial, vorher aufgezeichnet und werden in
Echtzeit u¨berblendet [
Inspiration fu¨r die vorliegende Arbeit wurde weiters in
der Klanginstallation “Effektorium” gefunden. Die seit 2014
im Leipziger Mendelssohn-Bartholdy Museum beheimatete
Installation erlaubt es Nutzern ebenfalls, in die Rolle eines
Dirigenten zu schlu¨pfen und ein virtuelles Orchester anzufu¨hren.
Sa¨ulenfo¨rmige Lautsprecher mit Display stehen stellvertretend
fu¨r ausgewa¨hlte Musikergruppen im Raum. Die Leap
Motion Kamera erfasst die Dirigatsgesten, deren ausgewertete
Informationen mittels eines Max/MSP-Patches in Verbindung
zu Ableton Live stehen. Die Audio-Workstation beheimatet
Audiodateien, die in Echtzeit durch Timestretching auf das
vorgegebene Tempo gedehnt bzw. gestaucht werden [
Auch im Alltag geschieht in ju¨ngerer Vergangenheit
vermehrt Datengewinnung und -verarbeitung via Kinect oder
Leap Motion-Technik. Kieran Flay widmete sich 2015 einer
Gegenu¨berstellung dieser zwei Arbeitsmittel in Bezug auf die
Verbindung von Gestikverarbeitung und digitalen
Audiosystemen. Flay vergleicht die Technologien vor allem in Bezug
auf die Parameter Durchfu¨hrbarkeit, Nutzen und
Funktionalita¨t. Als weitere Option fu¨r gestikgesteuerte Systeme wird
auf Smart TVs (Lautsta¨rkesteuerung, Schnittstellenwechsel,
Menu¨- bzw. Browsernavigation) oder Remidi Gloves (ein
Handschuh mit Bluetooth-MIDI-Steuerung) verwiesen [
die dem Benutzer ein subjektives Kontrollgefu¨hl verleiht und versta¨ndlich sowie intuitiv handhabbar ist. Um einen Einblick in den Stand der Forschung und a¨hnliche Projekte zu erhalten, wurde eine State Of The Art-Recherche durchgefu¨hrt. Die Ergebnisse gaben einen Rahmen vor, in dem sich das Projekt bewegen wu¨rde. Anschließend w a¨hlten die Autoren Technologien und Interfaces aus, welche die Umsetzung mo¨glich machen. Aus dem weiteren Arbeitsfortschritt entstand ein Prototyp, der im Rahmen einer Ausstellung aufgebaut und von Besuchern ausprobiert werden konnte. Das verbale Feedback der Probanden wurde im Nachhinein eingearbeitet und das Installationsdesign dadurch optimiert.
IV. SIGNALFLUSS
entwickelt. Herausgebracht von Cycling74 ist MAX eine graphische Entwicklungsoberfl a¨che, mit der vornehmlich akustische und audiogenerative Projekte umgesetzt werden ko¨nnen. Zur grafischen Notendarstellung wurde die frei zuga¨ngliche, externe Max/MSP-Library “Bach” einbezogen 1. BachScore ist ein Freeware Programm, dass von den Komponisten Andrea Agostini und Daniele Ghisi entwickelt wurde. Es handelt sich dabei um ein umfangreiches, traditionelles Notationssystem fu¨r Max/MSP. Da der Hauptfokus auf der klassischen Notation, Analyse und Komposition innerhalb der Programmierumgebung liegt, ist eine Anwendung als grafische Partitur nach Aussage der Entwickler eher unu¨blich und entsprechend (noch) nicht im vollem Maße implementiert.
Der strukturelle Aufbau (siehe Abb. 2) la¨sst sich am einfachsten anhand der vorprogrammierten MIDI-Datei verfolgen. Die ersten fu¨nf Spuren des Files werden per Bach.Score grafisch im GUI dargestellt, wa¨hrend die Spuren sechs bis neun akustisch wiedergegeben werden. Jegliche Interaktion mit der graphisch angezeigten Partitur sendet wiederum Informationen an den wiedergebenden Score. Um akustische Informationen ausgeben zu ko¨nnen, werden die MIDISteuerdaten an einen Sampler (in diesem Falle Native Instruments’ KONTAKT-Factory Library) mit den vier Software Instrumenten (VSTi: Standard Soloinstrumente Violine, Viola und Cello) weitergegeben, wodurch vier Audiosignale generiert werden.
Diese VSTi ko¨nnen eine gemeinsame A¨nderung der akustischen Stimmung (Pitch: Standard = Kammerton a bei 440Hz) aus einem Wahlmen auf der graphischen Benutzeroberfl a¨che heraus erfahren. Die vier Audiostreams durchlaufen eine Folge von Matrizen, um sie auf die sechs vorhandenen, physikalischen Ausga¨nge zu routen. Diese Matrizen ko¨nnen wiederum vom Nutzer durch die GUI beeinflusst werden (MuteFunktion, Lautsta¨rke jeder Stimme, Verra¨umlichung, etc.). Zum besseren Versta¨ndnis ist die dynamische Tempogestaltung separat zu betrachten. Ausgangspunkt hierfu¨r ist das Motion Tracking der Leap-Motion-Kamera. Ihre ausgegebenen Werte werden auf BPM-Werte umgerechnet und dann auf einen Multiplikator fu¨r die Masterclock skaliert (genaue Besprechung an spa¨terer Stelle).
Der BPM-Wert wird auch an die DMX-Steuerung weitergegeben. Dadurch wird die Farbwahl der Scheinwerfer der Installation bestimmt. Neben der Temposteuerung durch die Leap Motion Kamera ko¨nnen auch direkt u¨ber die GUI die sogenannten “Moods”, voreingestellte Kombinationen aus Tempo, Lautsta¨rke und Artikulation, ausgewa¨hlt werden.
Va, Vc) werden zuallererst an alle vier Frontkana¨le gesendet. Dort gelangen sie in eine Matrix, die je nach Eingangswert (1-4) genau ein Signal ausgibt. Diese Eingangswerte sind voreingestellt und ko¨nnen dann in der GUI u¨ber ein abfragendes Array getriggert werden (genaue Besprechung folgt), wonach jeweils nur ein Wert an genau einer Position vorkommen kann. Die Stimmen werden also in ihrer Position direkt getauscht.
AUX-Schiene, die in ein Reverb-Plugin speist. Das Ausgangssignal jedes Frontkanals wird dort hinein gesendet und die Signale summiert, ehe sie verhallt werden. Dabei werden die Einga¨nge nach Position gewichtet (Bsp.: Linker Kanal im linken ReverbMix deutlich sta¨rker vertreten als der Rechte Kanal; die Abstufung erfolgt in jeweils 3dB Schritten). Das generierte Summensignal wird abgegriffen und durch das in Max/MSP integrierte algorithmische Hall-PlugIn ‘Gigaverb’ fu¨r jeden Kanal einzeln prozessiert. Das Raumsignal wird abschließend mit dem trockenen Direktschall-Signal summiert (Diffusschall -6dB zu Direktschall) und an den physikalischen Output weitergeleitet.
In den ru¨ckwertigen Kana¨len (“Rear”), die zur besseren Simulation eines ra¨umlichen Ho¨rerlebnisses beno¨tigt werden, kommen die Ausgangssignale der Vorderkana¨le, also die urspru¨nglichen Inputs, an. Diese werden miteinander summiert, wobei die beiden diagonal gegenu¨berliegenden Kana¨le je um 3dB abgeschwa¨cht werden. Die Verra¨umlichung erfolgt ebenso u¨ber Gigaverb und entspricht immer exakt demselben Preset der Verra¨umlichung der Frontkana¨le.
Um der Ausbreitungsgeschwindigkeit von Schall im Raum Rechnung zu tragen, werden die Outputsignale der Rearkana¨le zeitlich verzo¨gert. Da die Verra¨umlichung durch Gigaverb algorithmisch geschieht, wird der Zeitfaktor des Delays der Rearkana¨le an die jeweilige Nachhallzeit des ku¨nstlichen Raumes angepasst. Idealerweise sollte die Delayzeit dabei den Zeitraum, in dem beim Nutzer die reale Erstreflektion der Frontsignale an der ru¨ckwa¨rtig raumabschließenden Wand eintrifft, nicht u¨bersteigen.
VST-Instrumente das Klangerlebnis hinsichtlich Ortbarkeit und Klangqualita¨t bedeutend verbessern.
Schaltung ist das Verhalten der wechselnden Positionierung der Eingangssignale (V1, V2 etc.), denen die statischen Kana¨le 1-4 gegenu¨bergestellt sind. Um dem Nutzer das Stummschalten einzelner Instrumente, egal an welcher Position, zu ermo¨glichen, mu¨ssen die Eingangssignale bereits gekappt werden, bevor sie einem Kanal zugewiesen werden. Dazu durchla¨uft jedes der vier Inputsignale vor dem Kanalrouting eine weitere Matrix. Diese hat jeweils zwei Inputkana¨le, die sich zur einfachen Versta¨ndlichkeit als Hot und Cold bezeichnen lassen. So liegt an einem Input der Matrix das jeweilige Inputsignal (bspw. V1, V2) an, am Anderen kein Signal (“Stumm”).
Nachdem die Verra¨umlichung aller AUX-Schienen durch die Ausgangssignale der Frontkana¨le, also erst zu einem spa¨teren Zeitpunkt im Routing, erfolgt, ist also sichergestellt, dass das Stummschalten eines jeweiligen Instrumentes (= Inputsignales) auch im Raumsignal, sowie den Rearkana¨len stattfindet.
Tempoa¨nderungen implementiert werden. Problem dabei ist, dass diese A¨nderungen bereits im Vorfeld bzw. vor dem Abspielen der jeweiligen Position definiert werden mu¨ssen. Dabei kann das Tempo zu jedem Taktbeginn per Notenwert in BPM (“Viertelnoten in 120 BPM”) definiert werden, wobei eine fließende A¨nderung des Tempos zum na¨chsten Takt per accelerando und ritardando mo¨glich ist. Da das Konzept von Isidor jedoch verlangt, Tempoa¨nderungen auch in Echtzeit zu ermo¨glichen, wird die Masterclock angegriffen, welche die La¨nge eines Taktes in Samples angibt und somit einen absoluten Zeitwert bietet, der moduliert werden kann.
Dabei muss die aktuelle Geschwindigkeit des Stu¨ckes durch die gewu¨nschte (neue, durch das Dirigat bestimmte) BPM-Zahl dividiert werden, um den korrekten Multiplikator fu¨r die Masterclock zu erhalten (Bsp: 130 BPM Originaltempo zu 130 BPM anliegendes Tempo = Multiplikator 1).
Kontrolle (d.h. gu¨ltig fu¨r alle vier Instrumente) in der
Stimmung hinsichtlich des Referenztons variiert werden. Zur
Auswahl stehen die internationale Standardstimmung auf
440Hz, die historische Stimmung auf 415Hz, die klassische
Stimmung auf 430Hz und die Wiener Stimmung auf 466Hz.
Die A¨nderung der Tonho¨he geschieht durch die Pitch
Bend-Funktion des VST-Instrumentes. Problematisch dabei
ist die Umrechnung von Hertz auf Cent auf linearer Basis,
da sich die Tonho¨he logarithmisch verha¨lt. Na¨herungsweise
la¨sst sich fu¨r den relevanten Frequenzbereich um 440Hz ein
Verha¨ltnis von rund +/- 4Cent pro einem Hertz Verstimmung
annehmen [
Midinoten ist festzustellen, dass eine strikt notationsgetreue MIDI-Programmierung fu¨r die klassische Notendarstellung (Partitur) unumga¨nglich ist, die akustische Wiedergabe dieser Programmierung allerdings u¨blicherweise als sehr statisch und unrealistisch wahrgenommen wird (beispielsweise ergeben u¨berlappende Midinoten einen fl u¨ssigeren U¨bergang und damit einen besseren Legato-Eindruck).
Aus diesem Grund wird ein Midifile verwendet, das aus insgesamt neun Einzelspuren besteht. Die ersten vier Spuren entsprechen einer exakten, notationsgetreuen Programmierung fu¨r die visuelle Darstellung jeder einzelnen Stimme. Die fu¨nfte Spur ist fu¨r die Darstellungsbreite des Partiturfensters notwendig, worauf im Punkt “Darstellung der Partitur” nochmals konkret Bezug genommen wird. Die verbleibenden vier Spuren werden an den Sampler weitergeleitet und akustisch umgesetzt.
Darstellung der Partitur: Eine seitenweise Darstellung mittels Bach.Score ist zum aktuellen Zeitpunkt (noch) nicht mo¨glich.
Als Workaround werden daher in Isidor vier Bach.ScoreInstanzen genutzt. Die Instanz, die tatsa¨chlich abgespielt wird und Daten an den Sampler weitergibt, arbeitet versteckt im Hintergrund. Drei weitere Instanzen bilden untereinander positioniert die in der GUI sichtbare Partitur. Jede der drei Instanzen entspricht dabei einem Notensystem mit je 2 Takten.
Entsprechend der eben diskutierten Umsta¨nde werden nur die ersten fu¨nf Spuren grafisch wiedergegeben.
Prinzipiell folgt die Ansicht in Bach.Score immer dem Playmarker, also der aktuellen Abspielposition. Nachdem die grafischen Instanzen allerdings als passiv (“nicht abspielend”) verstanden werden ko¨nnen, wird das ha¨ndische Umbla¨ttern mo¨glich.
Bei Bach.Score-Instanzen kann die Position des Playmarkers u¨ber die Message inscreenpos X.Y bestimmt werden, wobei X den Schlag angibt; der Taktbeginn entspricht dem XWert 0, wa¨hrend Y die Taktzahl angibt. Da insgesamt sechs Takte gleichzeitig zu sehen sind (zwei pro Instanz), werden bei jeder anliegenden grafischen Score-Instanz beim Bla¨ttern je 6 Takte zur aktuellen Position dazu addiert. Demnach springt die oberste Instanz von Takt 1 zu 7, von 7 zu 13, ... wa¨hrend die mittlere Instanz von 3 zu 9, von 9 zu 15, ... und das unterste System von Takt 5 zu 11, 11 zu 17, ... springt. Damit nicht u¨ber den Start- und Endpunkt hinaus gebla¨ttert werden kann, wurden fu¨r die Positionswerte per Clip-Objekt Grenzen definiert. Sind diese Werte erreicht, kann keine weitere Addition bzw. Subtraktion erfolgen.
Damit dieses Prinzip eines besta¨ndigen Sprunges der Ansichtsposition um sechs Takte u¨berhaupt mo¨glich ist, muss sichergestellt werden, dass pro Score-Instanz (also Notensystem) immer genau gleich viele Takte dargestellt werden und diese, auch aus grafisch-a¨sthetischen Aspekten, stets gleich groß sind. Die dargestellte Breite eines Taktes l a¨sst sich in Bach per Default nicht einstellen. Dadurch erkla¨rt sich die Notwendigkeit einer “Ansichtsspur” (Spur 5) in der programmierten MIDI-Datei. Diese Spur entha¨lt einen - im Vergleich zum restlichen Notenmaterial - sehr geringen Notenwert, der konstant wiedergegeben wird. Im vorliegenden Fall entspricht Von einer zuerst angedachten Lo¨sung, u¨ber das Bild des dies einem Notenwert von zweiunddreißigstel Noten. Die Instruments in einen Subscreen mit erwa¨hnten Kontrollen beno¨tigte Breite zur graphischen Darstellung dieser zwei- zu gelangen, wurde abgesehen, um die Kontrollelemente auf unddreißig Einzelnoten, welche kontinuierlich ist, erm o¨glicht einem Blick ersichtlich zu behalten und eine Verschachtelung somit das Festlegen einer generellen Taktbreite. Da diese Spur des Interfaces zu vermeiden. So soll es dem User auch einzig und allein zu diesem Zweck beno¨tigt wird, ist sie im einfacher gemacht werden, die Lautsta¨rkenverha¨ltnisse der GUI durch ein weißes Viereck u¨berdeckt, um dem User nur Stimmen im Blick zu behalten und eine mo¨gliche Quelle fu¨r die vier ho¨rbaren Instrumente im Notensystem anzuzeigen. Verwirrungen (bspw. versteckte Mute-Buttons) ausgeschlossen
Das Springen zu einer Position durch Touch-Befehl auf den werden. jeweiligen Takt basiert auf demselben Prinzip wie das Bla¨ttern. Eine weitere Entscheidungsgrundlage fu¨r die Anordnung Wiederum werden “Inscreenposition”-Werte ausgegeben. Die- ohne Subscreens war im Lauf der Entwicklung der Installation se werden an der jeweiligen grafischen Score-Instanz ausgele- das Festlegen des verwendeten Touch-Bildschirmes. Hier sei sen und an die abspielende Instanz weitergegeben, die dadurch erwa¨hnt, dass viele dieser Entscheidungen bei der Umlegung direkt zum entsprechenden Takt springt und die Wiedergabe auf andere Systeme und Kontrolleinheiten (bspw. Smartphone, an der gewa¨hlten Position startet. Tablet) u¨berdacht bzw. angepasst werden ko¨nnten. B. Grafik und Design In den Kontrollen fu¨r alle Instrumente (Room, Moods, Pitch) sind die Auswahlmenu¨s mit Toggle-Buttons ausgefu¨hrt.
Aus verschiedenen Entwu¨rfen fu¨r die grafische Benutzero- Interessanter ist die Positionsauswahl der Instrumente; hier berfl a¨che wurde eine Lo¨sung ausgewa¨hlt, die auf drei Spalten gibt es eine Matrix, in der man fu¨r jede Stimme zwischen basiert: Kontrollen fu¨r alle Instrumente, Kontrollen fu¨r Einzel- Links, Halblinks, Halbrechts und Rechts entscheiden kann. instrumente und Kontrollen fu¨r die Partiturdarstellung. Beim Umsetzen einer Stimme tauscht diese den Platz mit dem Instrument an der jeweils neuen Position. Urspru¨nglich war angedacht, die Positionen mit 4 Monitoren, die jeweils unter den Front-Lautsprechern stehen, optisch darzustellen.
Davon wurde abgesehen und stattdessen eine kleine, bildliche Darstellung jedes Instrumentes u¨ber der PositionsauswahlMatrix eingefu¨gt, die der Sitzordnung folgt. Hierbei war der Gedanke, dem Benutzer, wenn er nicht auf die Kontrolleinheit sieht, so wenig optische Reize wie mo¨glich zu geben, damit der Fokus nicht vom Ho¨rerlebnis abgelenkt wird.
Fu¨r die DMX-Steuerung wurde ein Interface der Firma “Enttec” (DMX USB Pro) verwendet, welches eine Kommunikation via USB ermo¨glicht. Dazugeho¨rig wurde das Max/MSP-Objekt dmxusbpro der Firma Nullmedium2 benutzt, um direkt aus Max/MSP Daten schicken zu ko¨nnen. Die Lichtsteuerung folgt, wie Eingangs erwa¨hnt, dem aktuellen Abspieltempo des Stu¨ckes. Die BPM-Zahl wird abgegriffen und je nach deren Wert in Bereichen von 20 BPM einer Farbe Abbildung 3. Grafisches User Interface von Isidor zugeordnet. Die Grenzen liegen nach unten hin bei 30 BPM, nach oben hin werden alle Werte u¨ber 180 BPM derselben Farbe zugeordnet. Die U¨bergange zwischen den Farbbereichen geschehen fließend innerhalb von zwei Sekunden.
Wie bereits erwa¨hnt, geschieht sa¨mtliche grafische Umsetzung innerhalb von Max/MSP. Als Bildschirm und Kontrolloberfl a¨che dient ein 24-Touch LCD der Firma “Ilyama” (ProLite
B2483HS-B1).
eine bildliche Darstellung des Instruments, dessen Namen, einen Fader fu¨r die Lautsta¨rke des Instruments sowie einen Button um die Stimme stumm zu schalten. Auf der linken Seite der Instrumentenabbildung gibt es außerdem ein Wahlmen, in dem die Artikulation des Spielers (Legato, Staccato, Pizzicato, Tremolo) ausgesucht werden kann.
Hierbei sei angemerkt, dass der Volumefader nicht den Pegel des Ausgangssignals moduliert, sondern den MIDIControl- Change Expression des VSTi ansteuert. Dementsprechend wird nicht nur beispielsweise die Lautsta¨rke verringert, sondern auch die musikalische Artikulation angepasst (geringere Expression fu¨hrt zu geringerem Druck des Bogens auf die Saiten, was in einem weicheren Klangbild resultiert), wodurch ein deutlich realistischeres und natu¨rlicheres Klangbild erzeugt wird.
Durch den konstanten, technologischen Fortschritt entstehen laufend neue Wege zur Human-Computer-Interaction. Die auf diese Art entwickelten Schnittstellen ero¨ffnen dem Nutzer viele Mo¨glichkeiten. So verschieden die Technologien, so verschieden sind auch die Steuerungsdaten, welche fu¨r die Interaktion verwendet werden ko¨nnen. Zusa¨tzlich zu haptischer 2http://www.nullmedium.de, 04.09.2017 und Sprachsteuerung ko¨nnen auch Kamerasysteme Daten ermitteln. Zwei Produkte, die oft fu¨r das Tracking von Ko¨rperund Bewegungsdaten benutzt werden, sind die Xbox Kinect und die Leap Motion Kamera. Nach ausfu¨hrlichen Vergleichen der Spezifikationen der zwei Kameras wurde aufgrund der besseren Einsatzfa¨higkeit im vorliegenden Kontext die Leap Motion Kamera verwendet.
Die Leap Motion Kamera kam 2013 mit dem Ziel auf den Markt, kleinste Bewegungen in sehr geringer Entfernung erfassen zu ko¨nnen. Wa¨hrend die Xbox Kinect Daten in einem sehr weiten Bereich von 0,5 - 3,5m abgreifen kann, ist der verwendbare Radius der Leap Motion mit 0,25 - 0,5m viel kleiner. Da dies jedoch fu¨r das Installationsdesign kein Problem darstellt, da nur das Tracking der Ha¨nde wichtig ist, fiel die Entscheidung zu Gunsten der Leap Motion Kamera. Auch die deutlich ho¨here Aufl o¨sung, welche Bewegungsa¨nderungen in hundertstel Millimetern erfassen kann, galt als Entscheidungsgrundlage.
Abbildung 4. Leap Motion Kamera
die das zu trackende Objekt beleuchten, welches durch zwei Infrarotkameras erfasst wird. Die Daten werden softwareseitig verarbeitet und in ein 3D-Modell der Ha¨nde umgewandelt. In der Software vorgegebene Bewegungsabla¨ufe machen es mo¨glich, verschiedene Bewegungen als Gesten zu erkennen (Swipe, Circle) oder das Tracking auf beliebige Weise einzuschra¨nken (z.B. Tracking eines Fingers).
Die Tracking-Daten werden durch die eigene Software der Leap Motion Kamera erfasst. Mit Hilfe des Leap Motion Software Developer Kit und zweier Erweiterungen fu¨r Max/MSP konnten die Bewegungskoordinaten in Max abgegriffen werden. In Isidor wurde aufgrund besserer Isolationsmo¨glichkeiten die Leap Motion Erweiterung des “IRCAM” (Institut de Recherche et Coordination Acoustique/Musique) benutzt.
Nach einigen Versuchen stellte sich heraus, dass die beste Methode fu¨r die Umwandlung von Dirigatsgesten das Tracken der Palm-Position in der Ho¨he (X-Achse) ist. Um nur diese Daten zu erhalten, wird der Datenstrom, in dem alle Daten vorhanden sind, gefiltert und nur die extrahierten Daten weiterverarbeitet.
Abbildung 5. Leap Motion Gesten-Tracking
werden, welche Hand getrackt werden soll. Die so erhaltenen Daten werden nun interpretiert und in ein Tempo (BPM) umgewandelt, das, wie bereits erwa¨hnt, als Multiplikator fu¨r die Masterclock weiterverwendet wird.
che sich zwischen 0 und 400 befinden, auf einen kleineren Wert (0-1) skaliert. Da das Projekt urspru¨nglich fu¨r Mac OS angedacht war, wurde in der Ursprungsversion fu¨r das Feststellen einer Richtungsa¨nderung der Palm Position (oben/unten, entsprechend der klassischen Dirigatsgesten) das J.Delta- Objekt aus der Jamoma Libary verwendet, das grundsa¨tzlich die ersten drei Ableitungen einer Funktion berechnet. Durch den Umstieg auf ein Windows-Betriebssystem wurde dies jedoch aufgrund der fehlenden Implementierung unmo¨glich.
Daten in ein tfb- (Trigger-Float-Bang) Objekt geschickt, welches jede neue Koordinate speichert. Bekommt das Objekt einen neuen Input werden die beiden Werte subtrahiert und somit verglichen. Ist das Ergebnis negativ, findet eine Richtungsa¨nderung statt. Jede negative Zahl wird an ein Change-Objekt weitergegeben, welches dafu¨r sorgt, dass keine Koordinate doppelt verwendet wird. Jeder Negativwert lo¨st nun einen Bang aus, der in ein Timer-Objekt geschickt wird, welches die vergangene Zeit zwischen zwei Bangs misst.
Um von einem Zeitwert auf einen BPM-Wert zu kommen, wird das Ergebnis des Timer-Objekts durch 60000 dividiert.
Um zu extreme Temposchwankungen zu verhindern, wird der mo¨gliche BPM-Bereich auf 30-200 Schla¨ge pro Minute festgelegt. Ein Slide-Objekt sorgt dafu¨r, dass zwischen den Tempowerten interpoliert wird, was zu einem kontinuierlichen Tempowechsel fu¨hrt. Um abschließend einen ganzzahligen BPM-Wert zu erhalten wird die errechnete Tempoinformation mit einem Round-Objekt gerundet.
Herausforderungen in der Programmierung stellte das Ersetzen des J.Delta-Objektes in der Windowsumgebung dar.
Eine gute U¨bertragbarkeit der dirigierten Tempoinformation, um ein mo¨glichst realistisches und steuerbares Erlebnis fu¨r den Nutzer zu ermo¨glichen, ist aufgrund des subjektiven Empfindens und dessen Ausdruck, anhand von Sensibilita¨t des Trackings bzw. Feststellung des Zeitpunktes des tatsa¨chlichen “Schlages”, sehr schwer erreichbar.
VI. TESTLAUF gemischten Alters und Geschlechts und zu rund 70% Prozent Um den Prototypen der Installation echten Rezipienten Besucher der Ausstellung, wa¨hrend die restlichen 30% andere zum Test zur Verfu¨gung zu stellen, wurde die Klanginstalla- Ausstellende, Universita¨tsmitarbeiter oder Studenten des ZKM tion “Isidor” im Rahmen der “nextgeneration 7.0” im Zen- waren. Eine schriftliche Erkla¨rung lag bereit; viele Besucher trum fu¨r Kunst und Medien in Karlsruhe ausgestellt. Der konnten dennoch anfa¨ngliche Beru¨hrungsa¨ngste mit der InstalMax/MSPPatch lief auf einem Macbook Pro (13z, Late 2011) lation erst nach einer perso¨nlichen Einfu¨hrung u¨berwinden. auf dem Betriebssystem Windows 7. Als Audio-Interface Die Reaktionen der rund 40 Probanden kann man als zum wurde ein Saffire Liquid 56 benutzt, u¨ber dessen Outputs gro¨ßten Teil positiv beschreiben. Viele Besucher sch a¨tzten vor sechs Studiomonitore des Typs Genelec 1032B angesteuert allem die Mo¨glichkeit der Temposteuerung durch das Dirigat, wurden. Alle Filter an den Lautsprechern waren deaktiviert, gaben aber auch an, dass sie sich noch nicht absolut in die Gain-Regler waren alle auf den selben Wert eingestellt. Kontrolle des Tempos fu¨hlten. Alle Touch-gesteuerten KonAuch die Outputs des Saffire Liquid 56 spielten alle auf trollmo¨glichkeiten (Lautsta¨rke, Position, Room, ...) wurden demselben Pegel aus; sa¨mtliche Mischung geschah daher problemlos und mit Wohlwollen entgegengenommen. Auch ausschließlich in Max/MSP. Als Lichter wurden zwei PAR56 das User Interface wurde als u¨bersichtlich und optisch anLED-Scheinwerfer benutzt, die mit dem Laptop u¨ber das Ent- sprechend empfunden. Die Autoren wurden von einem Protec DMX USB Pro verbunden waren. Als Kontrolloberfl a¨che banden, der als Pa¨dagoge arbeitet, auf das große Potenzial diente der 24-Touchscreen der Firma Ilyama (Modell ProLite angesprochen, welches er in der Installation bezu¨glich BilB2483HS-B1). Auf der Oberkante des Bildschirms lag die dungsmo¨glichkeiten fu¨r Kinder sieht. Leap Motion Kamera. VII. HERAUSFORDERUNGEN
Beim Testaufbau wurde versucht, den Aufbaudimensionen (siehe Abb. 1) so weit wie mo¨glich zu entsprechen.
Aufgrund der Dimensionen des Raumes, in dem aufgebaut wurde, war dies jedoch nicht ausnahmslos mo¨glich. Die beiden a¨ußeren Frontlautsprecher standen in ca. 2 m Entfernung voneinander, der Zuho¨rer befand sich in ungefa¨hr 2,5 m Entfernung von den Frontlautsprechern in mittiger Position.
Die ru¨ckwertigen Lautsprecher standen innerhalb eines Meters zum Ho¨rer, also sehr nahe im Vergleich zu den Idealdimensionen. Dieser Nachteil wurde durch zeitliche Verzo¨gerung und Lautsta¨rkenanpassung der Rear-Kana¨le auszugleichen versucht.
Die wohl gro¨ßte Herausforderung ist es, ein f u¨r den Nutzer nachvollziehbares, kontrollierbares und spannendes Erlebnis zu kreieren. Ziel der Installation ist es, sowohl fu¨r Laien als auch fu¨r Personen mit fachspezifischem Hintergrundwissen ansprechend gestaltet und versta¨ndlich zu sein. Dazu ist es notwendig, dass alle Elemente reibungslos miteinander kommunizieren.
Dies ist die grundlegende Herausforderung fu¨r die Entwicklung der Installation. Es gilt, ein System zu schaffen, welches mehrere Elemente und Schnittstellen miteinander verbindet und eine Kommunikationsbasis schafft. Die Auswahl der zu verwendenden Technologien spielte dabei eine wichtige Rolle. Von Anfang an stellte sich die korrekte Detektion der Tempodaten und die darauffolgende Tempomanipulation als schwierig heraus. Hier ist es notwendig, eine feine Abstimmung zwischen der Technik und der Wahrnehmung des Rezipienten herzustellen. Fu¨r ein bestmo¨gliches Nutzerlebnis sollte jeder Benutzer das Gefu¨hl haben, er wa¨re in vollkommener Kontrolle u¨ber die Installation.
Abbildung 6. Aufbau im Rahmen der “nextgeneration 7.0” im Zentrum f u¨r Kunst und Medien (ZKM) in Karlsruhe
handelte es sich um den Aufnahmeraum eines Tonstudios des ZKM, dementsprechend waren die akustischen Begebenheiten sehr gu¨nstig und die Charakteristik des Raumklanges als trocken zu bezeichnen. Der Raum hatte eine Gesamtfl a¨che von ungefa¨hr 25m2 bei einer Ho¨he von rund 3 Metern.
Die Installation war zwei Tage lang zuga¨nglich und konnte von Besuchern getestet werden. Die Versuchspersonen waren
nes virtuellen Streichquartetts mittels MIDI-gesteuerten VSTInstrumenten und Tracking von Dirigatsgesten mittels Leap Motion Kamera. Nach der Konzeption und einem Testlauf sowie Nachbesserungen kann gesagt werden, dass die Installation fu¨r den Benutzer in Bezug auf subjektives Kontrollempfinden, Handhabung und Vergnu¨gen eine zufriedenstellende Erfahrung ist. Vor allem das klangliche Ergebnis durch den Einsatz von VST-Instrumenten und DSP ist aufgrund seiner Variabilita¨t hinsichtlich Tempo, Anschlagsdynamik, Raumklang, etc. sehr befriedigend und bietet im Vergleich zu a¨hnlichen Installationen, welche mit aufgenommenem Audiomaterial arbeiten, große Weiterentwicklungsm o¨glichkeiten. Der Benutzer kann mit einem leicht zu verstehenden Interface in viele Parameter eingreifen und bekommt umgehendes, audiovisuelles Feedback. Entwicklungspotenzial gibt es nach wie vor in der Feinabstimmung, bspw. des Motion Trackings beim Dirigat. Da es sich bei der Installation um ein sehr reaktives System handelt, ist der Bedarf nach Feinjustierung naturgegeben sehr hoch, da jeder Eingriff viele verschiedene Parameter, vor allem hinsichtlich des Kontrollgefu¨hls, beeinflusst.
IX. AUSBLICK
die Autoren vor allem in der Leap Motion Technologie. Die
Nutzer, beide Ha¨nde simultan zu erfassen und verschiedene Gesten zu erkennen. Die zweite Hand ko¨nnte somit dazu benutzt werden, andere Parameter anzusteuern - entsprechend dem Dirigat bspw. die Dynamik des Stu¨ckes. Wie bereits zuvor erwa¨hnt, wurde von Probanden die Mo¨glichkeit des Einsatzes der Installation fu¨r Bildungszwecke, speziell fu¨r Kinder, angemerkt. Letztlich bleibt auch die
Installation, da die Projektgruppe mit den Entwicklern von Bach in Verbindung trat und einige Anmerkungen und Anregungen mo¨glicherweise in zuku¨nftigen Versionen von Bach beru¨cksichtigt werden ko¨nnten, was in der weiteren Entwicklung Wege ebnen wu¨rde. Um ein Beispiel zu nennen, wu¨rde die Mo¨glichkeit, MIDI Control Changes in Bach verarbeiten zu ko¨nnen, große Verbesserungspotenziale f u¨r die realistische
Grundlagen fu¨r weiterfu¨hrende Forschungen geschaffen zu haben.
LITERATUR