Come Ubisoft Toronto intende sfruttare il futuro del performance capture

Nel 2012, Ubisoft Toronto ha inaugurato uno studio di oltre 700 mq dedicato al performance capture, essenziale per lo sviluppo del suo primo gioco, Splinter Cell: Blacklist. Sette anni e molti giochi più tardi, la costruzione del nuovo studio di performance capture da oltre 1.000 mq è completata e rappresenta un vero gioiello. Per conoscere meglio come una simile risorsa potrà aiutare gli sviluppatori a dare vita a giochi migliori e più spettacolari, abbiamo parlato con Tony Lomonaco, Performance Capture Director.

Foto di: Lauren Green

Di cosa si occupa un Performance Capture Director?

Tony Lomonaco: In veste di Performance Capture Director, supervisiono tutte le sezioni di cui è composto il nostro reparto. Forniamo supporto alle produzioni di Ubisoft, il che include casting, fotogrammetria (scansione di volti, vestiti e arredi di scena), voci fuori campo, ricerca e sviluppo, strumenti di sviluppo, gestione del budget e, naturalmente, performance capture ed elaborazione di tutti i dati di volti e corpi registrati. Inoltre lavoriamo a stretto contatto con il team responsabile delle sequenze cinematografiche, essenziali per dare vita alle nostre storie. Sono in Ubisoft fin dall'apertura dello studio di performance capture, otto anni fa, a quel tempo il nostro team era piuttosto ridotto. Allora ci occupavamo unicamente di motion capture (mocap) e performance capture (pcap). Non si effettuava il casting, non c'erano gestione dei dati, scansioni, voci fuori campo. Ora curiamo anche tutta questa serie di servizi per i vari team di produzione e siamo più di 35 persone!

__Perché Ubisoft Toronto ha sentito la necessità di costruire un nuovo studio di performance capture? __

TL: L'idea di dare ufficialmente il via alla prossima fase dell'evoluzione del performance capture in Ubisoft Toronto ci emoziona. Abbiamo fatto davvero tanta, tanta strada dai tempi del primo studio del 2012 e del primo gioco, Splinter Cell: Blacklist. La tecnologia ha fatto passi da gigante e la richiesta per il performance capture è cresciuta sensibilmente.

Investire in un teatro di performance capture più grande ci consente di innalzare la qualità del lavoro a un nuovo livello, di essere più flessibili, di essere più innovativi, di creare in definitiva dei giochi più emozionanti per i nostri giocatori.

Abbiamo rivisto l'intero allestimento, il che ci permette ora di registrare utilizzando qualsiasi standard di frame rate e assecondare così ogni necessità: cinema, televisione, giochi. Il setup precedente ci limitava a 29,97 frame al secondo. I nostri tecnici hanno assemblato un setup di telecamere 4K mobili utilizzando un sistema di binari modulari standard che ci permettono di sfruttare, tra gli altri, gru e dolly. Ora funziona tutto senza cavi, il che permette agli operatori delle telecamere e ai microfonisti di muoversi con maggiore libertà.

Foto di: Lauren Green

__Ubisoft Toronto aveva già a disposizione uno studio di performance capture più piccolo, cosa vuol dire avere più spazio? Quali sono i vantaggi concessi dall'avere un teatro più grande? __

TL: L'altezza è il doppio rispetto a quella del teatro che avevamo, il che ci permette di realizzare stunt più complessi. Appena è stata completata la costruzione ci siamo messi subito al lavoro: il primo giorno nel nuovo teatro abbiamo girato una scena a 10 metri di altezza!

Più spazio vuol dire avere più opzioni e opportunità per realizzare scene più elaborate e fantasiose. Un volume più significativo consente di inserire set virtuali interi, piuttosto che ridursi a dividerlo in due set e a fare riprese diverse. Ora possiamo registrare tutto in un unico momento. Utilizziamo anche tecnologie come la realtà virtuale e la realtà aumentata per creare esperienze più coinvolgenti e fornire maggiori informazioni e visualizzazioni tanto ai performer quanto ai registi.

Un teatro più grande ci permette di usare attrezzatura più voluminosa, come gru telescopiche da quasi 10 metri che donano un senso della scala differente e di maggiore impatto. Si può vedere nella ripresa di Piccadilly Circus in Watch Dogs: Legion, in cui utilizziamo delle telecamere virtuali.

__Per i meno esperti, uno studio di performance capture somiglia molto a un grosso open space. Cosa vuol dire costruire uno studio per il performance capture? Quali sono le differenze tra un buono studio e un pessimo studio?
TL: Al di là dell'edificio in sé, c'è molto altro dietro le quinte che di solito non vede nessuno. Tutto ciò che viene registrato è sincronizzato, il che è fondamentale per il performance capture per svariati motivi. Soprattutto per il montaggio. Tutta la fase di post-produzione si appoggia a dati sincronizzati: dati dei volti, dell'audio, del motion capture, dei video. Tutto viene inviato ai tecnici di montaggio che assemblano un montaggio della sequenza. Una volta che il Cinematic Director approva il tutto, utilizziamo il timecode per dare un ordine ai dati. Ogni settimana generiamo moltissimi dati e quindi abbiamo programmi e software personalizzati che automatizzano gran parte della fase di post elaborazione.

Ma quello che non può mancare se si vuole costruire il miglior studio di performance capture è una grande squadra. Non c'è assolutamente modo di realizzare qualcosa di paragonabile a questo senza una squadra di talento, appassionata, coraggiosa. Voglio quindi ringraziare Brad Oleksy, il nostro Capture Manager, e l'intero team. È grazie al loro duro lavoro se possiamo fare quello che facciamo e se possiamo farlo così bene.

E invece per quanto riguarda l'edificio?

TL: La maggior parte dei teatri per il performance capture nascono recuperando spazi già esistenti ed è stato anche il caso del nostro vecchio teatro. Ma questo nuovo studio è stato realizzato da zero appositamente per il performance capture. In pratica è un edificio ricavato all'interno di un altro edificio, con le mura interne e il pavimento che sono isolati dalle mura perimetrali e dalle fondamenta. Insomma, è totalmente isolato dal mondo esterno.

L'edificio interno si appoggia a cubi di un composto gommoso di 5 cm, posti a circa un metro di distanza tra di loro, il che crea una sorta di camera d'aria tra le fondamenta e il pavimento. Questo ci permette anche di avere un'acustica incredibile.

Foto di: Lauren Green

Ci sono differenze tra performance capture e motion capture? Ci sono elementi realizzati con il performance capture che i giocatori non sospetterebbero mai?

TL: Alcuni passano senza problema dal mocap al pcap, ma c'è indiscutibilmente una differenza. Di base il mocap si riferisce semplicemente al registrare i movimenti del corpo del performer, mentre il performance capture va oltre e registra anche le espressioni del volto e la voce.

Si è sempre utilizzato il termine "mocap" e ormai è considerato una forma d'arte. In Ubisoft registriamo più del semplice movimento, registriamo una vera e propria performance integrale. Performance capture, o pcap, è il termine che ormai è stato universalmente adottato nel settore. Utilizziamo entrambi i termini, ma hanno implicazioni differenti.

L'evoluzione tecnologica ha cambiato il performance capture negli ultimi anni? Come?

TL: La tecnologia è sempre stata alla base di mocap e pcap, oggi più che mai. Ogni settimana generiamo oltre un terabyte di dati, dati relativi al mocap, alle telecamere mobili, alle telecamere da indossare, all'audio. Per questo dobbiamo trovare un modo per gestire al meglio i dati e per trasmetterli ai nostri artisti. Per fare un esempio, in alcuni casi utilizziamo il machine learning per elaborare e trasmettere i dati più velocemente ai nostri animatori, così che possano poi perfezionare le animazioni che si vedono nei giochi.

Sul set utilizziamo gli engine di gioco per visualizzare le performance all'interno degli ambienti virtuali, un approccio che assicura maggiore coerenza e precisione nelle interazioni tra i performer e gli elementi dell'ambiente.

__Cosa vedi nel futuro del performance capture? __

TL: Già oggi riusciamo a registrare i movimenti del corpo in maniera molto precisa, quello che mi interessa è vedere come la tecnologia permetterà di cogliere al meglio le espressioni del volto, così da rendere ancora più credibili gli umani digitali. In questo momento utilizziamo telecamere attaccate alla testa (head-mounted camera o HMC) per registrare le espressioni, ma in futuro mi piacerebbe veder scomparire del tutto la necessità di utilizzare le HMC. In questo modo gli attori avrebbero maggiore libertà e anche le performance ne trarrebbero vantaggio.