Meister der Mimik

Bernd Bickel erweckt die Gesichter von Hollywood-Figuren zum Leben. So realistisch, dass er dafür den Technik-Oscar erhielt. Im Talk gewährt der IT-Forscher einen Blick hinter die Kulissen der Computer-Filmkunst.

So genau wie Prof. Bernd Bickel kennen wohl nur wenige das Gesicht von Hollywood-Größen wie Josh Brolin und Co. Rein beruflich, natürlich! Gemeinsam mit drei Kollegen ist dem Vorarlberger IT-Forscher eine oscarreife Meisterleistung gelungen, die in Hollywood für Aufsehen sorgt. Mit ihrem ​„Medusa Performance Capture System“ ermöglichen sie die besonders realitätsnahe und detailreiche digitale Nachbildung von Gesichtern in Bits und Pixeln. 

Und die ist am Filmset gefragt wie nie, wenn Schauspieler animierten Figuren ihre Mimik leihen. Denn was wäre etwa Angelina Jolie als ​„Maleficent“ ohne Blumenfeen und deren zauberhafte, digitale Erscheinung? Bernd Bickels System sorgt dafür und lässt animierte Figuren nahezu echt durch Blockbuster wie ​„Avengers“, ​„Fluch der Karibik“ oder ​„Star Wars“ fegen. Wie es sich anfühlt, einen ​„Technik-Oscar“ im Büro stehen zu haben, warum seine Forschung die Kommunikation revolutionieren könnte und wie bereits ein winziges Detail das gesamte Gesicht verändert, verrät der IT-Professor im Science Talk.

Sie haben mit drei Kollegen 2019 von der Academy of Motion Picture Arts and Sciences den ​„Technik-Oscar“ („Tech­nical Achievement Award“) verliehen bekommen. Wie fühlt es sich an, diesen Preis zu erhalten?
Es ist natürlich eine große Auszeichnung und riesige Freude. Als die offizielle Press Release rauskam, konnte ich es gar nicht glauben. Es gab ein großes Galadiner in ­Beverly Hills mit vielen Ansprachen, und die Verleihung unserer Auszeichnung wurde sogar bei der großen Oscar-Gala gezeigt. Das Schönste an dieser Auszeichnung für uns ist aber, dass es eine Anerkennung ­unserer langjährigen Arbeit ist. Mit dem Technik-Oscar wird ja nicht ein bestimmter Film oder eine einzelne Leistung ausgezeichnet, sondern eine grundlegende Technik, die großen Einfluss auf die Filmbranche hat. Dieser Preis ist eine tolle Auszeichnung für uns als Team! 

Ausgezeichnet wurde das ​„Medusa Performance Capture System“. Kurz gesagt übertragen Sie damit menschliche ­Mimik auf animierte Figuren. Wie darf man sich das vorstellen?
Prinzipiell kann man sich dieses System als eine Art Gesichtsscanner vorstellen, der das Gesicht einer Person digitalisiert. Geometrie, Form, Bewegung, Besonderheiten etc. eines Gesichts werden bis ins kleinste Detail aufgenommen und in die digitale Welt kopiert. Darauf aufbauend können ­digitale Animationen gestaltet werden. Man kann Gesichter verändern, altern lassen und vieles mehr. Und das Ganze wirkt am Bildschirm dann dennoch realistisch. Das ist die Kunst. Denn darum geht es – Empathie beim Zuseher zu ermöglichen.

Die Mimik des eigentlichen Schauspielers ist also auch bei animierten Rollen von großer Bedeutung?
Auf jeden Fall! Unser System kam zum ersten Mal am Set von ​„Maleficent“ zum Einsatz. Darin spielt Angelina Jolie eine dunkle Fee. Und damit sie sich auf der Kinoleinwand in diese verwandelt, saß sie auf ­einem Stuhl, umringt von acht Kameras, die ihre gesamte Mimik mit unserem System aufgenommen haben. Diese Aufnahmen waren dann die Basis, um sie digital in dieses Fabelwesen zu verwandeln. Genau wie sich all die anderen Schauspieler in Blumenfeen und andere Fantasiewesen verwandelten. Es war auch für uns faszinierend, live vor Ort zu sehen, wie unser System funktioniert und wie realistisch das Ergebnis ist. Heute kommt unser System in vielen Hollywood-Produktionen zum Einsatz. Der Prozess ist immer gleich. Es wird ein digitales Modell des Schauspielers erstellt, das dann von Hand oder via Helmkamera animiert wird. Mit der Helmkamera können sich die Schauspieler frei durch die Szenen bewegen. Manchmal erfahren wir erst, wenn der Film fertig ist, wo unser System überall eingesetzt wurde. Das ist immer wieder ein schöner Moment.

Wie wichtig sind minimale Details bei der Animation von Gesichtern?
Um ein menschliches Gesicht digital nachzubauen, zählt jedes Detail. Wie öffnet sich der Mund beim Sprechen, wie lange kleben die Lippen aufeinander, wie bewegen sich die Augen beim Blinzeln, welche ­Poren sind sichtbar etc.? Wir Menschen ­haben einen exakten Sensor, wenn es um Gesichtserkennung geht. Ganz unbewusst erkennt unser Gehirn, wenn in einem ­Gesicht etwas unnatürlich ist. Wenn nur ein winziges Detail, ein minimaler Abstand, ­eine Bewegung nicht stimmt, wirkt es ­sofort künstlich auf uns. Wir sind irritiert und können keine Empathie zu der ­Figur aufbauen. Daher ist es so wichtig, dass ­unser System die Mimik des Schauspielers so realistisch wie möglich kopiert und digi­tal weiterentwickelt. 

Kunst und Wissenschaft – wie wichtig ist das Zusammenspiel dieser beiden Welten in Ihrem Beruf?
Diese beiden Bereiche hängen ganz stark zusammen. Gerade bei meiner Arbeit bei Disney in der Schweiz hat sich das oft ­gezeigt. Ich war in der Abteilung Research für die ​„Wissenschaft hinter der Magie“ ­zuständig. Und da war es oft so, dass Filmschaffende Ideen hatten, die die Technik umsetzen sollte. Oder Künstler haben die Technik derart kreativ genutzt, dass sich wieder Neues ergeben hat. Die Technik ­inspiriert die Kunst und umgekehrt. 

Sie haben sich bereits in Ihrer ­Master-Arbeit mit der Modellierung von Gesichtern beschäftigt. Was hat Sie daran fasziniert?
Ich bin eigentlich durch Zufall in dieses Gebiet reingerutscht. Als Informatikstudent habe ich ein Praktikum in den USA gemacht. Dabei ging es darum, einen Gesichtsscanner zur medizinischen Anwendung zu entwickeln. Konkret sollte eine Software programmiert werden, um Operationen von Gaumenspalten zu optimieren. Wo muss welcher Schnitt gesetzt werden, ­damit die Mimik nach der Operation möglichst natürlich wirkt? Dabei wurde mir wirklich bewusst, in wie vielen Bereichen das Thema Gesicht relevant ist – von der Medizin bis zur Filmindustrie. 

Trotz internationaler Erfolge arbeiten Sie jetzt wieder in Österreich, am IST Austria in Klosterneuburg. Was hat Sie wieder in die Heimat gezogen?
In unserem Bereich ist der eigentliche ­Arbeitsplatz nicht so wichtig. Wir arbeiten unabhängig vom Arbeitsort international vernetzt, gerade die USA sind da ein wichtiger Partner. Und als sich für mich die Möglichkeit ergab, am IST Austria zu arbeiten, musste ich diese Chance einfach nutzen. Ich habe von Disney in der Schweiz nach Klosterneuburg gewechselt und bin wirklich froh, Teil dieses jungen Forschungsinstituts sein zu können. Es gibt hier bereits über 60 Forschungsgruppen von Life Sciences über Informatik bis Ma­thematik, die tolle Arbeit leisten. Die Infra­struktur ist top, und es ist für mich der per­­fekte Ort, um zu forschen und zu lehren. 

Sie sind am IST Austria auch als Professor tätig. Wie haben die Pandemie-Lockdowns Ihren Blick auf Digital Learning verändert?
Mein Unterricht findet seit Monaten hauptsächlich virtuell statt. Die Studenten sind alles Informatiker, insofern sind sie mit der Materie vertraut. Der Vorteil ist, dass man aktuell auf tolles internationales Kursmaterial zugreifen kann. Die persönliche Interaktion fehlt aber natürlich, und es ist ganz wichtig, dass die Kurse gut strukturiert sind und die individuelle Betreuung nicht zu kurz kommt. Allgemein wird gerade jetzt ganz deutlich, dass unsere aktuellen Kommunikationsmittel definitiv ausbaufähig sind. 

Wie könnte die ideale Kommunikation der Zukunft funktionieren?
Im Virtual-Reality-Bereich passiert momentan sehr viel. Größen wie Apple oder Facebook arbeiten bereits an neuen Lösungen. Virtuelle Schulen, digitale Konferenzen … in all diesen Bereichen spielt das menschliche Gegenüber eine große Rolle. Für mich ist dabei die spannende Frage, wie man digitale Avatare auf ein Level ­heben kann, sodass sie nicht mehr künstlich wirken. Wie kann man einen digitalen Lehrer so kreieren, dass die Schüler zu ihm eine empathische Beziehung aufbauen können? Wie schaut das Smartphone der Zukunft aus? Kann ich damit fotorealistisch meine Familie treffen? In aktuellen Forschungsprojekten arbeiten wir gerade daran, Systeme zu bauen, die eine realistische Darstellung von Gesichtern ermöglicht. Mit guter Hardware ist es ja jetzt schon möglich, digitale Charaktere realitätsnah zu kreieren. Ziel wäre es, das auch im breiten Anwendungsbereich – etwa mit Webcams – zu ermöglichen. 

Ihre Arbeit kennen Millionen von Menschen. Stört es Sie eigentlich, dass Ihr Name nicht so bekannt ist?
Auf keinen Fall! Ich arbeite sehr gern im Hintergrund und bin unendlich froh, dass man mich auf der Straße nicht erkennt!

Ihr persönlicher analoger Ausgleich?
Wir haben vor ein paar Jahren ein altes Haus gekauft, wo einiges zu reparieren ist. Dieses handwerkliche Tun ist mein Ausgleich zur Arbeit vor dem Computer. 

Vielen Dank für das Gespräch!

Herr der Medusa

Bernd Bickel wurde 1982 in Feldkirch geboren und studierte an der renommierten ETH in Zürich Informatik. Bei einem Praktikum in den USA wurde sein Interesse an der digitalen Modellierung von Gesichtern 
geweckt. Dabei ging es um die Simulation von Operationen im Bereich der Kiefer- und Gesichtschirurgie. Seine Dissertation in Computerwissenschaften 2010 wurde mit der ETH-Medaille für hervorragende Dissertationen gewürdigt.

Nächste Karrierestation war die Schweiz-Niederlassung von Disney, wo er bis 2014 in der Abteilung Research für ​„die Wissenschaft hinter der Magie“ sorgte. In dieser Zeit entwickelte er mit drei Kollegen das ​„Medusa Performance Capture System“, das 2019 mit dem ​„Technical Achievement Award“ (gern auch Technik-Oscar genannt) ausgezeichnet wurde. Das System kam zum ersten Mal in ​„Maleficent“ mit Angelina Jolie zum Einsatz, mittlerweile findet es bereits in über 20 Produktionen Verwendung. Seit 2014 ist Bickel Assistant Professor am Institute
of Science and ‑Technology (IST) Austria in Klosterneuburg, wo er forscht und lehrt. Der Computerwissenschaftler lebt mit seiner Frau und seinem Sohn in Niederösterreich. ist​.ac​.at