Forschungsprojekte

• Network of Artificial Interactive Musical Actors (naima)

  Im Projekt naima entsteht ein modulares Software-System, das innovative Mensch-KI-Interaktionsszenarien ermöglicht. Dafür werden spezifische Datensätze erstellt und KI-Modelle für die Analyse, Interpretation und Generierung von Musik trainiert. Ziel ist es, eine technische Open-Source-Basis für vielseitige ko-kreative Anwendungen zu fördern.

  GitHub-Repository

  Publikationen

  Trump, Sebastian/Lunt, Alexander (2025): Sonic Map Explorer – Ein Emergentes Interface Zur Live-Interaktion Mit KI-Musiksystemen. In: Mensch und Computer 2025 - Workshopband, https://dl.gi.de/handle/20.500.12116/46825.

  Lunt, Alexander/Trump, Sebastian (2023): Latent Space Explorer. Interactive Rhythm Generation through Musical Actions. In: Proceedings of the 4th Conference on AI Music Creativity. https://aimc2023.pubpub.org/pub/zgc5j7ha.

• RoboPercussion

  RoboPercussion erforscht die Integration von Künstlicher Intelligenz in die musikalische Praxis mithilfe hybrider Musikinstrumente wie Kleinpercussion und Stabspielen mit Fokus auf grundlegenden musikalischen Ausdrucksformen, der Klangfarbenvielfalt und der Rolle physischer Interaktion. Die KI steuert robotische Aktoren, analysiert den musikalischen Kontext und generiert darauf aufbauend eigenes musikalisches Material. Ziel ist es, neue Ansätze für Mensch-Maschine-Interaktionen in der Musik zu entwickeln und Erkenntnisse über die Potenziale von KI in der improvisatorischen Kollaboration zu gewinnen. 

  Publikationen

  Trump, Sebastian (2024): RoboPercussion. Ein Projekt mit Orff-Instrumenten und Künstlicher Intelligenz am KI-Labor der Hochschule für Musik Nürnberg. In: Orff – Kunst und Pädagogik 5(1).

• MOTION.KI

  MOTION.KI untersucht, wie KI-gestütztes Echtzeit-Feedback das Erlernen musikalischer Bewegungsgesten unterstützen kann. Auf Grundlage der an der Hochschule entwickelten Music Motion Tools entstehen browserbasierte Anwendungen, die Körperbewegungen mit einer Kamera erfassen und unmittelbar visuell und akustisch rückmelden. Im Mittelpunkt steht ein Grundlagenkurs für Schlagtechnik und Dirigieren, der Präsenzunterricht mit selbstständigem Üben verbindet. Ergänzend wird bewegungsgestützte Klangsteuerung für die Elementare Musikpraxis erprobt. Gemeinsam mit Lehrenden und Studierenden werden die Werkzeuge didaktisch gestaltet und hinsichtlich ihres Lernmehrwerts evaluiert. Ziel ist, musikalische Koordination, nonverbale Kommunikation und selbstgesteuertes Lernen zu fördern. Software und Lehrmaterialien sollen als Open Source und freie Bildungsressourcen zugänglich werden.

  Kooperationsprojekt mit der Friedrich-Alexander-Universität Erlangen-Nürnberg (Prof. Dr. Johannes Hasselhorn) und der Hochschule für Musik Würzburg (Prof. Michael Forster).

  MOTION.KI wird im Rahmen des Programms „Lehren und Lernen mit KI: NewNormal KI“ durch das Bayerische Staatsministerium für Wissenschaft und Kunst gefördert.

• Global Grooves

  Global Grooves war ein Projekt im Rahmen der Internationalen Woche 2026 und untersuchte, wie rhythmische Materialien unterschiedlicher musikalischer Praktiken durch Datenauswahl, Transkription und KI-basierte Transformation neu interpretiert werden. Die interaktive Installation verbindet eine geografisch strukturierte Sammlung manuell transkribierter Rhythmen mit einem auf diesen Daten angepassten KI-Modell und dem robotisch erweiterten Instrumentarium von RoboPercussion. Über eine Weltkartenoberfläche lassen sich Variationen und Übergänge zwischen rhythmischen Materialien erkunden, die anschließend auf akustischen Schlaginstrumenten erklingen. Im Mittelpunkt stehen die kreativen Möglichkeiten dieser Transformationen sowie die Frage, wie musikalische Vielfalt in Datensätzen und generativen Systemen repräsentiert wird. Die entstehenden Rhythmen werden dabei als künstlerische Neuinterpretationen verstanden, nicht als authentische Wiedergabe musikalischer Traditionen.

• HIGH-M (Human Interaction assessment and Generative segmentation in Health and Music)

  Internationales Kooperationsprojekt zwischen der Hochschule für Musik Nürnberg, der Technischen Hochschule Würzburg-Schweinfurt, der University of Jyväskylä, dem RITMO Centre for Interdisciplinary Studies in Rhythm, Time and Motion (Oslo) und dem Cambridge Institute for Music Therapy Research (CIMTR).

  Ziel des Projekts ist die Entwicklung eines interdisziplinär informierten Machine-Learning-Modells, das musikalische Interaktion im Rahmen musiktherapeutischer Improvisation automatisiert analysiert und klassifiziert. Das Tool wird einerseits als diagnostisches Instrument in der klinischen Musiktherapie und andererseits als Forschungswerkzeug zur weiteren Erforschung musikalischer Interaktion entwickelt. Durch die vergleichende Analyse der generierten Datensätze können somit Spezifika musikalischer Interaktion u.a. von Personengruppen mit depressiver Erkrankung oder künstlicher Kreativitäten quantifiziert werden.

• Spirio Sessions

  Kooperationsprojekt im Rahmen des LEONARDO – Zentrum für Kreativität und Innovation mit Prof. Dr. Korbinian Riedhammer und Prof. Dr. Martin Ullrich

  Im Zentrum von Spirio Sessions steht der Hybridflügel Steinway Spirio|r, ein selbstspielender Flügel, der als Schnittstelle für die Mensch-KI-Interaktion dient. Studierende konnten sich darin bei der Entwicklung verschiedener generativer KI-Technologien und in der künstlerischen Erprobung dieses Interaktionsszenarios beteiligen.

  Publikationen

  Agchar, Ismael/Baumann, Ilja/Braun, Franziska/Perez-Toro, Paula Andrea/Riedhammer, Korbinian/Trump, Sebastian/Ullrich, Martin (2024): A Survey of Music Generation in the Context of Interaction. arXiv. http://arxiv.org/abs/2402.15294.

  Trump, Sebastian/Agchar, Ismael/Baumann, Ilja/Braun, Franziska/Riedhammer, Korbinian/Siemandel, Lea/Ullrich, Martin (2021): Spirio Sessions: Experiments in Human-Machine Improvisation with a Digital Player Piano. Proceedings of the 2nd Joint Conference on AI Music Creativity. Graz.

  Presse (Auswahl)

  WDR: Music ex machina: Künstliche Intelligenz in der klassischen Musik

  SWR2 Wissen: Wenn Computer komponieren – Können Maschinen kreativ sein?