Der TU Wien Chor als Deepfake

Wir haben ein ganz besonderes Musikvideo für euch: Ein Deepfake-Chorvideo, erstellt aus unbewegten Fotos.

Sänger_innen des TU Wien Chors sind in Portraitaufnahmen zusammengeschnitten in einer 3x5 Matrix zu sehen.

Deepfake Video des TU Wien Chors

Chorgesang ist während einer Pandemie schwierig. Aber mit Hilfe technischer Tricks haben wir es geschafft, unsere  Fans in diesem Jahr ganz ohne Ansteckungsgefahr zu unterhalten. Am 2. Juli fand unser erstes virtuelles Chorkonzert statt - zum Nachhören und -sehen unter  https://www.youtube.com/watch?v=DfFYnHzJAZc, öffnet eine externe URL in einem neuen Fenster 

Deepfake bringt Bewegung ins Foto

Nun haben wir ein ganz besonderes Chorvideo mit „Deepfake“-Technologie erstellt. Dabei werden gewöhnliche unbewegte Fotos verwendet, um daraus bewegte Gesichter zu erstellen – mit Lippenbewegungen, die perfekt zum Gesang passen. Eine Person wird beim Singen gefilmt, und die Gesichts- und Mundbewegungen werden digital auf die unbewegten Fotos übertragen. Sogar Zeichnungen oder Stofftiere kann man damit virtuell zum Singen bringen, wie das Video beweist:
https://interkultur.tv/tu-wien-chor-austria-2/, öffnet eine externe URL in einem neuen Fenster 

„Für uns als Chor der TU Wien ist es natürlich besonders passend, wenn wir Kunst und Technologie zusammenführen“, sagt unser Chorleiter Andreas Ipp. Er selbst verwendet am Institut für Theoretische Physik der TU Wien maschinelles Lernen, um die Geheimnisse des Quark-Gluon-Plasmas zu entschlüsseln – dabei handelt es sich um einen exotischen Materiezustand, der kurz nach dem Urknall das Universum dominierte. „Und maschinelles Lernen steckt auch hinter der Deepfake-Technologie, die wir für unser Video verwendet haben“, erklärt Andreas.

Daumen drücken beim INTERKULTUR Video Award für das beste virtuelle Chorvideo 

Bis zum 30. Juni 2020 konnten Chöre ein bisher unveröffentlichtes Video beim Online-Wettbewerb von INTERKULTUR einreichen. Wir haben unsere Deepfake-Version von “Some Nights” in der Kategorie “Chöre a cappella” eingeschickt. Die Gewinner werdem am 15. Juli 2020 veröffentlicht. Wir sind gespannt auf das Urteil der Jury!