L’animazione in Motion Capture Live integrata negli eventi dal vivo con Unreal Engine 5.1 rappresenta uno dei lati più innovativi della tecnologia.
Gli sviluppi tecnologici a disposizione degli eventi live sono sicuramente una delle risorse più innovative implementate negli ultimi anni. L’interazione con il pubblico e il relativo intrattenimento decretano la buona riuscita di un evento, e proprio per questo sono diverse le scelte creative che gli organizzatori di eventi live integrano nei loro show.
L’ultimo evento a cui abbiamo partecipato ci ha dato modo di percepire il potenziale di queste nuove tecnologie e il modo in cui possono dare un valore aggiunto agli eventi e al pubblico.
Motion Capture Live: come abbiamo animato live due avatar digitali
L’ultima idea creativa di Màgina, consulente di gruppi nazionali e internazionali nella progettazione e gestione di eventi di comunicazione, e Mezcal Agency, content factory creativa nell’ambito della comunicazione digitale, è stato uno show interamente animato in Motion Capture, con due attori protagonisti nelle vesti di due personaggi in stile cartoon che, proiettati sul palco, interagivano in tempo reale con il presentatore.
Due set up di Motion Capture composti da: tuta Xsens per il tracking dei movimenti del corpo, guanti Manus Meta per l’animazione delle mani e Apple ArKit per il face tracking. I due personaggi erano quindi animati a 360°, dai movimenti del corpo all’espressività di entrambi i volti.
I due personaggi, modellati e personalizzati con Character Creator 4 dal team di WondAR, sono stati in seguito inseriti in un environment digitale di Unreal Engine 5.1 e predisposti all’animazione di Xsens.
Come per qualsiasi evento live è stata inserita una regia anche per i due protagonisti 3D. Sei inquadrature tra cui primi piani, piani americani e figure intere si sono alternati durante l’evento.
Le potenzialità di queste tecnologie attribuiscono agli eventi live un valore aggiunto, che permette di considerare l’inserimento di opzioni creative che non sarebbero realizzabili senza questi set up.
L’interazione con il presentatore, in questo caso, è stato l’esempio di come tutto ciò si possa perfettamente integrare con il live, e come ci sia potenzialmente modo di creare dinamiche interattive anche con il pubblico che assiste a un evento di questo tipo.
Motion Capture Live: intervista a Rob Budde
Presentati ai lettori del nostro blog, qual’è il tuo background?
Il mio background è un percorso lungo, che ha inizio in Olanda con la scuola di teatro con specializzazione in regia teatrale e televisiva. Vado a stringere al massimo la mia storia professionale/creativa che passa per il teatro di sperimentazione, documentari e programmi live in tv (Olanda), assistenza alla regia nel cinema, organizzazione di grandi eventi dal vivo a ideazione e realizzazione di eventi esperienziali per le aziende.
Ultimamente mi occupo, con la mia agenzia Màgina, di eventi creativi, spesso all’interno di congressi, di comunicazione e di presentazione di nuovi concetti e lancio di nuovi prodotti. La mia passione è l’evento dal vivo, direttamente per e con il pubblico, gli ospiti, dove l’esperienza emozionale è la chiave di accesso all’attenzione e al coinvolgimento emotivo e intellettuale del pubblico.
Quale è stato il tuo primo approccio alla motion capture?
Ho sempre avuto una grande passione per l’applicazione creativa della visual technology, dai primi esperimenti ormai decenni fa, con telecamera live in uno spettacolo teatrale, al video mapping, alle proiezioni olografiche interattive, all’uso della tecnologia del cinema in chiave interattiva e dal vivo con la motion capture.
Cinque anni fa abbiamo, su intuizione di un nostro amico coreografo, iniziato ad applicare questa tecnologia in una convention annuale di una grande azienda farmaceutica, usando attori che potevano interagire in diretta con i relatori sul palco attraverso degli avatar, proiettati su grande schermo. L’inserimento di questa esperienza emotiva ha fortemente stimolato i partecipanti alla convention ed ha aumentato notevolmente il livello di attenzione e di apprendimento del pubblico.
L’inserimento del dialogo interattivo tra realtà sul palco e realtà virtuale (avatar) permette di commentare la tematica dal punto di vista di una terza persona, di una (finta) collega nel pubblico, o di uno specialista del settore (giornalista-scienziato) in modo sorprendente, accattivante, brillante, comico. Con l’inserimento di queste tecnologie riusciamo a potenziare la forza comunicativa dell’evento.
Un’altra applicazione della “visual and sensorial technology” si può trovare come strumento ‘didattico’ nella formazione esperienziale e training professionale. Lo strumento della AR/ VR e l’uso dell’avatar tramite la motion capture sono molto utili negli incontri di formazione, dove si lavora sulle competenze come consapevolezza, relazioni interpersonali, ascolto e reattività.
Queste tecnologie permettono di sperimentare i comportamenti nella sicurezza di una simulazione della realtà dove il partecipante può provare diversi stili di gestione e di comportamento senza farsi del male (siamo in una realtà diversa).
Gli attori che scegli per questi tipi di show, credi che debbano avere una particolare capacità recitativa per rendere l’idea del personaggio sul grande schermo?
Gli attori che lavorano con la motion capture devono avere una grande capacità di improvvisazione, saper entrare immediatamente nel personaggio e essere preparati per intervenire con cognizione di causa dell’argomento. In più devono avere un buon controllo dell’espressione mimica, corporea e facciale, visto che il campo di azione fisica è molto limitato.
Questa è la seconda volta che collabori con wondar studios, quali sono i progressi fatti negli ultimi due anni?
La collaborazione con i professionisti di WondAR Studios è stata una delle motivazioni per le quali abbiamo continuato su questa strada. La tecnologia della motion capture viene applicata soprattutto nella realizzazione di video e film.
La sfida di portare la tecnologia in situazioni dal vivo, cioè dove non è possibile elaborare le immagini in post produzione è stata accolta dalla WondAR con grande passione e professionalità. Dalle prime produzioni dal vivo, dove i risultati erano in ogni caso molto soddisfacenti, si è visto un enorme salto in avanti, grazie all’uso di una nuova tuta e guanto che ha migliorato di molto la fluidità dei movimenti.
Ma è soprattutto grazie al programma Unreal Engine 5 che abbiamo visto un miglioramento sul lip sync che risulta adesso molto più naturale e sciolto, oltre alla migliore gestione e risoluzione dell’illuminazione e del render live.
Hai in mente qualche nuovo progetto da realizzare con le tecnologie di WondAR Studios?
Sono molto contento della collaborazione tra Màgina e WondAR Studios. La professionalità e la creatività di Paolo & company mi stimola molto. Vorrei aprire nuovi percorsi di applicazione dove le nuove realtà possono regalarci lo stupore, la bellezza e la creatività che servono oggi ancora di più, per entrare in un futuro affascinante, attrattivo e, perché no, aumentato.