Im Rahmen der Vision des ligeti zentrums verfolgt dieses Projekt das Ziel, eine Brücke zwischen den Künsten und Wissenschaften zu schlagen. Im Mittelpunkt steht ein Roboter, der in der Lage ist, Musik anhand definierter Parameter in eine bildliche Darstellung zu interpretieren. Das Projekt verbindet die mechatronischen Aspekte des Ingenieurwesens – den Bau des Roboters, die Entwicklung der Elektronik für Sensoren und Aktoren sowie die Programmierung der Steuerung – mit der Theorie der Musikanalyse und -interpretation. 

Bisher wurde ein Roboterarm entwickelt, der sich in einer Ebene über eine Leinwand bewegen kann. Am Ende des Arms ist ein drehbarer Pinsel befestigt, dessen Ausrichtung angepasst werden kann. Zudem lässt sich der Pinsel heben und senken, um den Druck auf die Leinwand zu regulieren. In sechs Kammern befinden sich Wasser und Farbe – darunter die drei Grundfarben sowie Schwarz und Weiß –, die gemischt werden können, um eine nahezu unbegrenzte Farbpalette zu erzeugen. 

Die Steuerung des Roboters basiert auf verschiedenen musikalischen Parametern, wie Tempo, Lautstärke, Klangfarbe, Genre und Stimmung, die mit bestimmten Steuerungsparametern des Roboters – etwa Geschwindigkeit, Farbe, Druck und Form – verknüpft wurden. Eine Weiterentwicklung des Systems könnte in folgende Richtungen gehen: So könnten beispielsweise Zeichnungen, die Kinder beim Hören von Musik anfertigen, als Grundlage für einen maschinellen Lernalgorithmus zur Steuerung des Roboters dienen. Auch die Integration von Tänzer:innen in die Interpretationsschleife der Musik, um den Roboter mittels Gesten zu steuern, wäre ein vielversprechender Ansatz. 

Diese unterschiedlichen Ansätze führen zu verschiedenen Steuerungsalgorithmen und damit zu vielfältigen Bildkompositionen. In interaktiven Workshops mit Kindern wurden mit dem Roboter „um die Wette gemalt“, die entstehenden Werke interpretiert und miteinander verglichen. Durch den Abgleich der Ergebnisse und Prozesse mit denen menschlicher Musikinterpretation soll ein tieferes Verständnis für die Art und Weise gewonnen werden, wie Menschen Musik visuell umsetzen. 

Kontaktperson: Dr. Ornella Tortorici - ornella.tortorici@tuhh.de 

Das Haptic Lab ist mit verschiedenen Systemen und Sensoren für das Motion Tracking ausgestattet. Eines davon sind die Qualisys Miqus-Kameras, die präzise Bewegungen von Objekten oder Körpern (bis zu 0,5 mm Bewegungsgenauigkeit) mit geringer Latenz (5 ms) dank kleiner Tracker erfassen können. Das Haptic-Labor ist mit 7 dieser Kameras ausgestattet, die leicht die Größe des Production Labs im ligeti zentrum abdecken. Bisher hat das Team mit Inertial-Tracking-Technologien gearbeitet, die die Erfassung von Gesten und grundlegenden Bewegungen mit IMUs (Inertial Measurement Units) ermöglichen. Diese Technologien können zum Beispiel im Zusammenhang mit Menschen mit Behinderungen eingesetzt werden. 

Kontaktpersonen: Dr. Mohammad Sadeghi - mohammad.sadeghi@uhh.de, Dr. Ornella Tortorici - ornella.tortorici@tuhh.de 

Die mechanische Impedanz ist eine dynamische Eigenschaft, die eine entscheidende Rolle dabei spielt, wie ein System auf Vibrationen reagiert. Sie wird als das Verhältnis zwischen der auf ein System ausgeübten Kraft und der Geschwindigkeit, mit der das System auf diese Kraft reagiert, definiert. Im Wesentlichen beschreibt die mechanische Impedanz nicht den Widerstand eines Körpers gegen Vibrationen, sondern vielmehr seine Reaktion darauf – abhängig von seinen spezifischen Eigenschaften.

Ein Verständnis der mechanischen Impedanz der Hand ist essenziell, um zu untersuchen, wie die Hand mit verschiedenen Systemen wie Werkzeugen, Steuerungen oder Benutzeroberflächen interagiert. Die Messung dieser Impedanz erfordert detaillierte Analysen und präzise Messungen, was häufig aufwendig und zeitintensiv ist. Dabei müssen umfassende Daten darüber erfasst werden, wie die Hand auf unterschiedliche Kräfte und Geschwindigkeiten reagiert – ein Prozess, der unter normalen Bedingungen als mühsam und ermüdend empfunden werden kann. Daher besteht die Notwendigkeit, diese Messungen in eine ansprechende und motivierende Aktivität zu verwandeln, um sowohl die Motivation der Teilnehmenden als auch die Genauigkeit der erhobenen Daten zu verbessern. 

Gamification bietet hier einen möglichen innovativen Ansatz: Durch die Integration spielerischer Elemente in nicht-spielerische Kontexte können Routineaufgaben ansprechender und unterhaltsamer gestaltet werden. Die Anwendung von Gamification-Prinzipien kann die Messung der Handimpedanz von einer monotonen Aufgabe in eine motivierende Erfahrung verwandeln. Echtzeitmessungen könnten direkt das Spielgeschehen beeinflussen, was eine interaktive Dimension schafft und somit den Beteiligungswillen der Teilnehmenden steigert. Auch die Entwicklung eines Multiplayers ist denkbar, wodurch die Messung der mechanischen Impedanz der Hand nicht nur effektiver, sondern auch zu einer bereichernden Erfahrung werden kann. 

Kontaktpresonen: Ali Elnwegy - ali.el-nwegy@tuhh.de, Juliana Lüer - juliana.lueer@tuhh.de, Dr. Ornella Tortorici - ornella.tortorici@tuhh.de, Prof. Dr. Thorsten A. Kern - t.a.kern@tuhh.de

Der Tastsinn dient nicht nur dazu, die physischen Grenzen des eigenen Körpers wahrzunehmen, sondern auch dazu, die unmittelbare Umgebung sowie die darin enthaltenen Objekte und deren Eigenschaften zu analysieren. Bereits unsere Vorfahren mussten in der Lage sein, Strukturen wie die Oberfläche von Früchten und Blättern durch Berührung zu unterscheiden, um deren Reife oder Essbarkeit zu bestimmen – etwa eine pelzige Beere zwischen glatten Früchten zu erkennen. Ebenso ermöglicht der haptische Sinn das Erkennen potenziell gefährlicher Strukturen, wie etwa eine stachelige Schale, sodass sie vorsichtig angefasst werden muss, um trotz der Dornen an den wertvollen Inhalt zu gelangen. 

Kutanes Feedback bietet eine einzigartige Möglichkeit, Informationen zu vermitteln und geht über herkömmliche auditive und visuelle Methoden hinaus. Es zeichnet sich durch seine Direktheit und Individualisierbarkeit aus, da es Nutzenden ermöglicht, Informationen durch gezielte taktile Reize zu erhalten, die an persönliche Vorlieben und spezifische Kontexte angepasst werden können. Aufgrund seiner multidimensionalen Natur besitzt kutanes Feedback ein hohes Maß an Ausdruckskraft: Durch unterschiedliche Texturen, Druckstärken und Vibrationsmuster lassen sich sowohl komplexe Informationen als auch emotionale Nuancen übermitteln. Diese Eigenschaften machen es zu einem vielversprechenden Werkzeug zur Verbesserung von Nutzererfahrungen und zur Schaffung immersiver und nuancierter Interaktionen. 

Um kutanes Feedback gezielt bereitzustellen, ist eine Form der Aktuierung erforderlich, die taktile Empfindungen erzeugt. In unserem Haptik-Labor stehen verschiedene Aktuatoren zur Verfügung, die sich in Größe, Leistung und haptischem Empfinden unterscheiden. Sie lassen sich in zwei Hauptkategorien einteilen: Eccentric Rotating Motors (ERM) und Linear Resonating Actuators (LRA). ERMs sind einfache Gleichstrommotoren, die eine grundlegende Steuerung von Frequenz und Intensität ermöglichen. LRAs hingegen arbeiten ähnlich wie Lautsprechertreiber und benötigen eine spezifische Ansteuerung. Sie bieten eine präzisere Kontrolle, da Frequenz und Intensität unabhängig voneinander reguliert werden können. Diese Flexibilität macht LRAs besonders reaktionsfähig gegenüber Eingabesignalen und ermöglichten eine differenzierte haptische Wahrnehmung. Beide Aktuatoren erzeugen unterschiedliche Vibrationscharakteristika, die gezielt eingesetzt werden können, um spezifische Formen von kutanem Feedback zu vermitteln. Durch eine strategische Kombination dieser Aktuatoren lassen sich vielseitige und informative taktile Reize gestalten. 

² Kern, T. A., & Hatzfeld, C. (2022). Motivation and application of haptic systems. In Engineering Haptic Devices (pp. 3-33). Cham: Springer International Publishing. 

Kontaktpersonen: Juliana Lüer - juliana.lueer@tuhh.de, Ali Elnwegy - ali.el-nwegy@tuhh.de, Prof. Dr. Thorsten A. Kern - t.a.kern@tuhh.de