Wie Ubisoft-Toronto die Zukunft des Performance-Capturing nutzt

2012 hat Ubisoft Toronto ein 2500 m2 großes Performance-Capture-Studio eröffnet, um bei der Entwicklung des ersten Spiels in diesem Studio, Splinter Cell: Blacklist, mitzuhelfen. Sieben Jahre - und viele Spiele - später hat das Studio die Arbeiten an seinem neuen, 3600 m2 großen, hochmodernen Performance-Capture-Studio abgeschlossen. Um mehr über die neuen Räumlichkeiten zu erfahren und wie sie den Entwicklern helfen, filmischere und ausgefeiltere Spiele zu entwickeln, haben wir mit Performance Capture Director Tony Lomanaco gesprochen.

Credit: Lauren Green

Was hat ein Performance Capture Director zu tun?

Tony Lomonaco: Als Performance Capture Director überwache ich alle Bereiche, die unsere Abteilung umfasst. Wir beteiligen uns an Ubisoft-Produktionen, unter anderem in Form von Castings, Fotogrammetrie (Scannen der Gesichter, Kleidung und Ausstattung der Charaktere), Voice-Over, F&E und Tools-Entwicklung, Budgetierung und natürlich Performance-Capturing und Datenverarbeitung aller Gesichts- und Körperdaten von unseren Aufnahmen. Wir arbeiten auch eng mit dem Cinematic-Team zusammen, um unsere Geschichten zum Leben zu erwecken. Ich bin bei Ubisoft, seit wir vor acht Jahren die erste Bühne errichtet haben und das Team noch sehr klein war. Damals haben wir uns nur um Motion-Capture- (Mocap) und Performance-Capture-Aufnahmen (Pcap) gekümmert. Keine Castings, keine Daten, keine Scans, kein Voice-Over. Jetzt übernehmen wir all diese Dienste für unsere Produktionsabteilungen und sind zu einem Team von mehr als 35 Leuten angewachsen!

__Warum hatte Ubisoft Toronto Bedarf an einem neuen Performance-Capture-Studio? __

TL: Wir freuen uns wirklich sehr, dass wir zur nächsten Phase in der Entwicklung unserer Performance-Capture-Arbeit bei Ubisoft Toronto übergehen können. Wir sind weit gekommen, seit wir 2012 unsere erste Bühne in Betrieb genommen und unser erstes Spiel, Splinter Cell: Blacklist, aufgenommen haben. Es hat viele Fortschritte in der Technologie und eine wachsende Nachfrage nach Pcap-Aufnahmen gegeben.

Unsere Investition in eine größere Performance-Capture-Bühne bedeutet für uns, dass wir die Qualität unserer Arbeit auf eine neue Stufe heben können. Es ermöglicht uns, flexibler und innovativer zu sein, um noch bessere und immersivere Spiele für unsere Spieler zu erschaffen.

Wir haben unsere Ausrüstung überholt und können jetzt mit jeder Standardbildwiederholrate aufnehmen und allen Produktionsanforderungen gerecht werden, sei es für Kino, Fernsehen oder Spiele. Bei unserem früheren Setup waren wir auf 29,97 Bilder pro Sekunde beschränkt. Unser Team hat unter Verwendung modularer, dem Industriestandard entsprechender Kameraschienen unseren Bedürfnissen angepasste 4k-Referenzkameras gebaut, um sie an verschiedene Hilfsgeräte, wie Kräne und Kamerawagen, anzupassen. Alles ist jetzt vollständig kabellos, damit unsere Kameraleute und Tonassistenten mehr Bewegungsfreiheit haben.

__Ubisoft Toronto besaß bereits ein kleineres Pcap-Studio, was ist der Vorteil von zusätzlichem Platz? Was könnt ihr in einem größeren Studio machen, was in dem kleineren nicht möglich war? __

TL: Unsere Decke ist jetzt doppelt so hoch wie die in unserem ersten Studio, was es uns ermöglicht, kompliziertere Stunts aufzunehmen. Als unser Setup stand, haben wir keine Zeit verloren - Gleich am ersten Aufnahmetag im neuen Raum haben wir uns aus 10 Meter Höhe abgeseilt.

Dank der größeren Bühne haben wir mehr Möglichkeiten, ausgefeiltere Szenen aufzunehmen und insgesamt größer zu planen. Der zusätzliche Raum ermöglicht es uns, ganze virtuelle Sets aufzubauen - anstatt sie aufzuteilen und zwei getrennte Aufnahmen zu machen. Wir haben die Flexibilität, alles in einem Durchgang aufzunehmen. Wir verwenden außerdem Technologien wie VR und AR, um eindringlichere Erlebnisse zu erschaffen und sie für unsere Darsteller und Regisseure besser zu visualisieren.

Durch die größere Bühne können wir auch größere Ausrüstung heranschaffen, z. B. einen 7,5-m-Technikkran. Dadurch können wir unsere kreative Vision in größerem Maßstab einfangen, etwa in Form einer Rundumaufnahme an Londons berühmten Piccadilly Circus in Watch Dogs: Legion mithilfe unserer virtuellen Kamera.

Für das ungeübte Auge: Ein Pcap-Studio sieht aus wie ein großer offener Raum. Was ist nötig, um ein Performance-Capture-Studio zu bauen? Was unterscheidet ein gutes Pcap-Studio von einem schlechten?

TL: Abgesehen vom Gebäude selbst gibt es so viel, was hinter den Kulissen passiert, aber von niemandem wahrgenommen wird. Jeder Aspekt unserer Aufnahmen ist timecode-synchronisiert, was aus mehreren Gründen beim Performance-Capturing entscheidend ist, vor allem für den Bearbeitungsprozess. Unser Nachbearbeitungsprozess beruht auf präzise synchronisierten Daten - Gesicht, Audio, Mocap, Video - die zu unseren Video-Editoren geschickt werden, die daraus eine bearbeitete Version unserer Videosequenz zusammenschneiden. Sobald sie von unserem Cinematic Director genehmigt ist, verwenden wir den Timecode der Bearbeitung, um die Daten zu sortieren. Wir erzeugen einen Haufen Daten pro Woche, deshalb haben wir eine Menge angepasster Skripts und Software, die einen großen Teil der Nachbearbeitung automatisieren.

Aber das Wichtigste, das was man unbedingt braucht, wenn man das beste Performance-Capture Studio bauen will, ist ein herausragendes Team. Es ist unmöglich, so etwas auf die Beine zu stellen, ohne das talentierteste, engagierteste und innovativste Team der Welt. Ein großes Dankeschön an unseren Capture-Manager, Brad Oleksy, und das Team. Es ist ihre harte Arbeit, die es uns ermöglicht, das zu tun, was wir tun und in dieser Qualität.

Und was ist mit dem Gebäude an sich?

TL: Die meisten Performance-Capture-Bühnen werden in umfunktionierten Räumen errichtet, was auch auf unser erstes Studio zutraf. Aber unser neues Studio wurde von Grund auf neu entworfen und speziell auf die Bedürfnisse des Performance-Capturing ausgerichtet. Es ist ein Gebäude innerhalb eines Gebäudes, in dem die inneren Wände und der Boden von den Außenwänden und dem Fundament isoliert sind. Es ist also vollständig von der Außenwelt getrennt.

Das innere Gebäude ruht auf 5-cm-Würfeln, die aus einem speziellen Gummigemisch hergestellt und in einem Abstand von 1,20 m voneinander platziert wurden. Dadurch entsteht ein Luftpolster zwischen dem Fundament und dem Boden des Innenraums, wodurch es zu einer echten Tonbühne mit Weltklasse-Akustik wird.

Bild: Lauren Green

Gibt es einen Unterschied zwischen Performance Capture und Motion Capture? Was entsteht durch Performance Capture, ohne dass es die Spieler vermutlich ahnen?

TL: Manche benutzen Pcap und Mocap synonym, aber es gibt eindeutig einen Unterschied zwischen beiden Techniken. Im allgemeinen bedeutet Mocap, dass nur die Körperbewegungen des Darstellers erfasst werden, während bei Performance Capture noch mehr hinzukommt. Bei Pcap werden sowohl die Körperbewegungen, als auch das Gesicht und die Sprache erfasst.

„Mocap“ ist das Wort, das normalerweise benutzt wird und es hat sich sogar zu einer eigenen Kunstform entwickelt. Bei Ubisoft capturen wir mehr als nur Bewegungen - wir capturen die Gesamtdarstellung. Performance Capture oder Pcap ist inzwischen ein geläufiger Begriff in der Industrie. Wir benutzen weiterhin beide Begriffe, aber sie haben eine sehr unterschiedliche Bedeutung.

Wie hat sich Performance Capture dank der technischen Fortschritte in den letzten Jahren entwickelt?

TL: Technik war schon immer das Kernstück von Mocap und Pcap und heute ist sie wichtiger denn je. Da unser Performance-Capture-Studio wachsende Datenmengen erzeugt - mehr als ein Terabyte pro Woche an Mocap-, Referenzkamera-, Kopfkamera- und Audio-Daten - müssen wir einen Weg finden, diese Daten besser zu pflegen und sie effizienter an unsere Künstler weiterzugeben. Hier ein Beispiel: In einigen Fällen profitieren wir von den Möglichkeiten des Machine Learnings, um Daten zu verarbeiten und schneller an unsere Animatoren weiterzureichen, damit diese an den Animationen für unsere Spiele feilen können.

Auf dem Set benutzen wir unsere Game-Engines, um die Darstellungen innerhalb unserer virtuellen Umgebungen zu visualisieren. Eine Herangehensweise, die für besseren Kontakt und bessere Interaktion zwischen Darstellung und Umgebungselementen sorgt.

__Was sind deiner Meinung nach die nächsten Schritte in der Entwicklung der Performance-Capture-Technologie? __

TL: Wir erfassen die Bewegungen bereits sehr gut, aber ich bin schon gespannt, wie sich die Technik weiterentwickeln wird, um noch mehr Feinheiten in den Gesichtsausdrücken zu erfassen und noch glaubhaftere digitale Menschen zu erschaffen. Im Moment benutzen wir Kopfkameras (HMCs), um die Gesichtsdarstellung zu erfassen, aber in der Zukunft wäre es wirklich toll, wenn es eine Technik gäbe, die diese Kameras überflüssig machte. Dann könnten wir die Schauspieler von der HMC-Hardware befreien und ihre Darstellung auf eine neue Qualitätsstufe heben.