La fotogrammetria per i videogiochi
Nell'ultimo decennio, i modelli e gli ambienti dei personaggi in CGI e nei videogiochi hanno fatto passi da gigante, non solo a causa degli aggiornamenti hardware, ma anche per l'adozione di tecnologie di digitalizzazione come la fotogrammetria, capace di trasformare foto e video in bellissimi modelli 3D. Nel seguente articolo portiamo questo argomento sotto i riflettori, spiegando ogni dettaglio, dai passaggi del flusso di lavoro alla prospettiva di utilizzare la scansione 3D come alternativa.
Introduzione
Un videogioco su uno smartphone
Prima di affrontare le sue applicazioni, potresti chiederti: cos'è la fotogrammetria?
In breve, il processo prevede la cattura fotografica di immagini sovrapposte di un oggetto bersaglio da diverse angolazioni. Identificando i punti sovrapposti in queste fotografie e garantendo la coerenza del posizionamento, della lunghezza focale e della distorsione della fotocamera, è possibile ottenere le loro coordinate, triangolare dove si trovano in uno spazio 3D e replicarli come modelli 3D.
Nel mondo dei videogiochi, la fotogrammetria viene sempre più spesso utilizzata per catturare e riprodurre oggetti di scena, luoghi e persino volti di attori. Grazie a questa tecnologia, gli sviluppatori non solo sono in grado di costruire mondi con grafica fotorealistica, ma possono farlo a una velocità inimmaginabile se li creassero manualmente.
Prima di poter sfruttare la fotogrammetria, gli artisti grafici dovevano spesso partire da zero per creare queste risorse 3D, spesso scendendo a compromessi per bilanciare l'estetica con le restrizioni del gameplay e dei tempi di consegna.
I tradizionali metodi di progettazione "white box", in cui la scrittura del codice doveva essere continuamente testata man mano che il gioco si sviluppava attorno ad essa, era di esito incerto: era impossibile valutare i sistemi prima che il progetto iniziasse a prendere forma. Al contrario, utilizzando la fotogrammetria, gli studi di giochi possono ora catturare e caricare modelli per creare dei "world kit" in anticipo. Ciò aiuta gli sviluppatori a essere meglio preparati e a rispettare i tempi previsti.
Nel corso di questo articolo analizzeremo i singoli passaggi del flusso di lavoro che gli sviluppatori intraprendono per rendere tutto questo possibile. Approfondiremo anche le diverse tecnologie che è possibile implementare e valuteremo i potenziali vantaggi di ciascun approccio.
Come viene utilizzata la fotogrammetria nei videogiochi?
Considerando l'elevata fedeltà grafica e i brevi cicli di lancio che stanno alla base del successo nel settore dei videogiochi, i vantaggi dell'adozione della fotogrammetria sono chiari. Per questi motivi, questa tecnologia sta rapidamente diventando lo standard del settore. Ma come funziona in pratica l'intero processo?
Come in una qualsiasi altra applicazione di fotogrammetria, il flusso di lavoro inizia con un oggetto catturato da varie angolazioni, in un modello lineare, simile a una matrice, con ogni fotografia che si sovrappone completamente alla successiva. Quando si trovano a catturare oggetti di grandi dimensioni, gli sviluppatori possono iniziare il processo di scansione scattando foto a 360o, prima di restringere il campo visivo per avvicinarsi e catturare dettagli più piccoli. Ma è generalmente più facile utilizzare dispositivi a lungo raggio, in quanto sono più adatti a questo tipo di applicazione.
La fotogrammetria utilizzata nell'industria dei videogiochi. Fonte immagine: smns-games.com
Detto questo, raggiungere questi risultati è più facile a dirsi che a farsi, e gli studi di gioco devono affrontare una lunga serie di insidie per assicurarsi di ottenere modelli completi della giusta forma e proporzioni. In primo luogo, gli sviluppatori devono considerare quali attrezzature utilizzare. Se si utilizza una fotocamera ad alta risoluzione sarà necessario assicurarsi che le foto si sovrappongano.
Quando si utilizza un dispositivo LiDAR (Light Detection and Ranging), bisognerà anche considerare di cosa è fatto l'oggetto. Se questo è di un materiale retro-riflettente, ad esempio, è probabile che la sua superficie rifletta la luce contro il ricevitore dello scanner con una perdita di segnale minima. D'altro canto, se l'oggetto è lucido o opaco, sarà più complicato digitalizzarlo.
Punto Chiave
Grazie alla sua collaudata efficacia nei rilevamenti per costruire mappe topografiche, la fotogrammetria si sta dimostrando uno strumento utile per gli sviluppatori di videogiochi che creano ambienti 3D.
Una volta affrontati questi problemi e catturate una serie di misurazioni sovrapposte, gli sviluppatori devono elaborarle utilizzando un programma come Adobe Photoshop. Ciò consente di modificare aspetti come l'illuminazione e le ombre in modo che i modelli finali corrispondano al tono del gioco per cui sono destinati. Una volta corretto il colore, i modelli vengono spesso esportati in programmi come RealityCapture, dove le immagini possono essere allineate in una nuvola di punti e trasformate in una mesh 3D strutturata.
I modelli iniziali possono in seguito essere "retopologizzati", un processo che prevede la riduzione del numero totale di poligoni dei modelli in modo da riprodurli più facilmente nel gioco. Infine, una volta che le informazioni memorizzate in queste mesh 3D sono state convertite in file di texture, le loro superfici possono essere modificate in diversi modi per renderle più realistiche.
Puoi combinarle con delle "maschere" per aggiungere effetti visivi, per esempio ombre e usura, e persino utilizzare procedure o mappe di texture per simulare meglio le geometrie degli oggetti, prima di esportarli in motori di gioco popolari come l’Unreal Engine.
Migliora il tuo flusso di lavoro con la fotogrammetria AI
Una novità di Artec Studio, la fotogrammetria AI segue molti degli stessi passaggi del flusso di lavoro e semplifica l'intero processo. Carica qualsiasi set fotografico o video e Artec Studio si occuperà del resto. Si inizia con una ricostruzione sparsa, in cui il software crea un modello iniziale con cui gli utenti possono sperimentare. In seguito si tratta semplicemente di regolare la casella di confine del modello e premere il pulsante di ricostruzione ad alta densità.
Questo genera una mesh 3D realistica in tempo reale, ed è possibile vederla "crescere" davanti ai propri occhi. Naturalmente, la mesh risultante dovrà comunque passare attraverso tutte le stesse fasi di texturizzazione e post-elaborazione di quelle create con la normale fotogrammetria. Ma la fotogrammetria AI offre alcuni vantaggi unici: è aperta ai dati-immagine acquisiti da praticamente qualsiasi dispositivo (anche da uno smartphone) e offre un realismo incredibile e una precisione relativamente elevata, conferendole ulteriori applicazioni al di fuori dei videogiochi.
Un altro dei punti di forza della piattaforma è la sua versatilità hardware. Artec Studio è compatibile con i dati di scaner 3D LiDAR, laser e a luce strutturata, quindi ha il potenziale per combinare i set di dati più disparati e offrire dettagli senza precedenti.
Esempi di fotogrammetria nei videogiochi
La fotogrammetria è una tecnologia in evoluzione, ma non del tutto una novità. Il processo è stato a lungo implementato nel controllo di qualità e nel rilevamento topografico, ma si è affermato nei videogiochi solo di recente. Uno dei primi grandi studi ad abbracciare veramente la fotogrammetria è stato DICE, uno sviluppatore svedese incaricato di riavviare il popolarissimo franchise di Star Wars: Battlefront nel 2015.
Di fronte a strettissimi tempi di rilascio, alla richiesta di un gameplay a 60 FPS e alla necessità di fare i conti con una nuova generazione di console, DICE aveva diverse sfide davanti a sé. Tuttavia, lo studio voleva creare un mondo che fosse fedele al suo materiale di partenza. Per raggiungere questo obiettivo, lo sviluppatore ha scavato negli archivi per pescare oggetti di scena dai film originali di Star Wars, prima di modellarli in 3D con la fotogrammetria.
Personaggi dei videogiochi DICE di Star Wars Battlefront. Fonte immagine: battlefront.fandom.com
Utilizzando questo approccio, DICE è stato in grado di dimezzare il tempo necessario per digitalizzare ogni risorsa rispetto al suo titolo precedente, Battlefield 4. Inoltre, il lavoro svolto dallo studio gli ha permesso di sviluppare un "kit di costruzione di livelli" composti da oggetti di scena, modelli di personaggi e scenari di Star Wars, che hanno costituito la base del gioco finale. DICE ha anche scoperto che il suo approccio gli ha permesso di stabilire un flusso di lavoro molto prima del lancio del gioco, permettendogli di anticipare le scadenze interne.
Non appena i vantaggi di questo flusso di lavoro sono venuti alla luce, molti altri videogiochi di successo sono stati costruiti in modo simile. Per il suo rilancio del franchise Call of Duty Modern Warfare nel 2019, Infinity Ward ha scoperto che poteva utilizzare i dati raccolti tramite fotogrammeria per eseguire un processo di "piastrellatura" che migliorava la risoluzione dei dettagli delle superfici.
Punto Chiave
La fotogrammetria non viene utilizzata solo per costruire ampi ambienti 3D, ma molti dei suoi componenti interni, tra cui oggetti di scena, fogliame e modelli di personaggi.
Nel corso dello sviluppo, lo studio ha continuato a sperimentare. In alcuni casi, i membri del team sono stati scansionati come base per modelli di cadaveri e hanno persino utilizzato scanner pilotati da droni per catturare ambienti più grandi. Dimostrando come la fotogrammetria consente la rapida creazione di modelli di oggetti di scena, scenari, pistole, veicoli e personaggi, il progetto è diventato un esempio lampante dell'avanzamento tecnologico nel campo dei videogiochi.
Software di fotogrammetria per CGI e videogiochi
In precedenza in questo articolo abbiamo menzionato RealityCapture, ma non è l'unico software di fotogrammetria che ti consente di creare modelli 3D per videogiochi con un alto livello di precisione. Lo sviluppatore di giochi leader del settore Electronic Arts (EA), ad esempio, è noto per utilizzare PhotoModeler. Utilizzando la funzionalità Idealize del software, è possibile rimuovere le distorsioni delle lenti durante l'elaborazione. Questo rende molto più facile creare sfondi di giochi e animazioni nitidi che corrispondono meglio al materiale di partenza.
Il programma dispone anche di un algoritmo automatico di generazione di nuvole di punti che produce modelli con texture altamente accurate che possono essere esportate nel popolare formato CAD. Detto questo, il programma non è strettamente pensato per la fotogrammetria. Di conseguenza, al software manca il flusso di lavoro automatizzato photo-to-solid dei suoi concorrenti.
Fotogrammetria di un'auto in RealityCapture
Per coloro che cercano programmi progettati per la digitalizzazione di paesaggi mozzafiato, Unity offre SpeedTree. Utilizzando qualsiasi cosa, dagli strumenti artistici 3D agli algoritmi di generazione procedurale, il software consente di ricreare fedelmente la vita vegetale. Non sorprende quindi che sia stato adottato da campioni di videogiochi come Bungie e Ubisoft.
Parlando di soluzioni simili, Agisoft offre Metashape, un software di modifica di modelli 3D in grado di elaborare dati di immagini elaborati, acquisiti sia da vicino che a distanza. Utilizzato più spesso nella ricerca, nel rilevamento, nella difesa piuttosto che nello sviluppo di videogiochi, la funzione di auto-calibrazione del programma e il supporto multi-camera lo rendono un'opzione allettante per coloro che digitalizzano oggetti complessi o creano grandi ambienti 3D.
Tuttavia, ci sono alcuni inconvenienti nell'utilizzo degli attuali pacchetti di fotogrammetria. Molti sono disponibili "a livelli", in alcuni casi gli utenti scopriranno di dover eseguire un aggiornamento a pagamento per accedere a determinate funzionalità. In altri programmi possono mancare del tutto le funzionalità necessarie. Ciò rende più duri i requisiti di ingresso per i nuovi utenti, in quanto scarica su di loro la responsabilità di sapere quali pacchetti supplementari gli serviranno per un determinato progetto.
Fotogrammetria di un mancubus, un mostro presente nel classico dei videogiochi Doom
Se stai cercando un software più ampio e accessibile, vale anche la pena dare un'occhiata ad Artec Studio. Sebbene sia meglio conosciuto per l'elaborazione di dati acquisiti tramite scanner 3D, l'ultima versione introduce anche la fotogrammetria AI. Come accennato in precedenza, questa funzionalità all'avanguardia democratizza e amplia il fascino dell'acquisizione di dati 3D.
Sfruttando la potenza dell'intelligenza artificiale, la tecnologia consente agli utenti di creare modelli 3D ragionevolmente accurati dal punto di vista geometrico ed eccezionalmente realistici con qualsiasi foto o video. La fotogrammetria AI cattura anche oggetti con superfici complesse, traslucide, lucide e prive di dettagli. Ciò rende i modelli risultanti perfetti per l'industria dei videogiochi, dove l'aspetto è tutto.
Punto Chiave
Un buon software è vitale per la costruzione di mondi 3D, e la scelta del programma spesso determina il modo in cui le immagini acquisite possono essere raccolte e presentate nel gioco.
La funzionalità Pilota Automatico del programma rende più facile che mai per i nuovi arrivati ottimizzare la qualità dei modelli, permettendo di scegliere l'algoritmo di elaborazione dei dati più efficace tramite poche caselle di controllo.
Inoltre, con la funzione di photo-texturing di Artec Studio, gli utenti possono migliorare la nitidezza del colore del modello applicando texture alle scansioni 3D partendo da fotografie ad alta risoluzione. La fotogrammetria indipendente da tecnologia consente di catturare oggetti e paesaggi di grandi dimensioni, nonché di utilizzare immagini acquisite da droni, aprendo la porta all'animazione su larga scala.
La scansione 3D come alternativa
La fotogrammetria è senza dubbio uno strumento per la creazione di modelli di videogiochi molto capace, ma anch'essa ha i suoi limiti. L'accuratezza delle risorse 3D risultanti dipende dalla risoluzione delle macchine fotografiche utilizzate per fotografare l'oggetto bersaglio. Condizioni meteorologiche variabili, oltre a problemi di calibrazione, angolatura e ridondanza, possono portare alla creazione di modelli non dettagliati. Inoltre, come ci si può aspettare, catturare e combinare immagini sovrapposte richiede molto tempo. Questi problemi sollevano la domanda: esiste un metodo di modellazione 3D più efficiente?
World War 3: sviluppo in fase avanzata di un personaggio dopo la scansione con Artec Leo e Space Spider, una pistola Glock 17 scansionata con Artec Space Spider, scansioni del viso realizzate con Artec Leo
Chiunque cerchi di accelerare il processo di creazione di modelli 3D per i videogiochi dovrebbe prendere in considerazione l'adozione della scansione 3D. Con un'impressionante velocità di scansione fino a 44 fotogrammi al secondo, i dispositivi all'avanguardia come Artec Leo offrono agli utenti abituati alla fotogrammetria un nuovo mezzo per accelerare il loro flusso di lavoro.
In passato, lo studio The Farm 51 ha raggiunto proprio questo obiettivo. Utilizzando Artec Leo insieme a un altro scanner 3D, Artec Space Spider, lo sviluppatore è riuscito a creare modelli incredibilmente realistici per il videogioco World War 3. Dismettere la scansione fotogrammetrica utilizzata per sviluppare i suoi titoli precedenti, ha permesso all'azienda di generare ogni personaggio, veicolo e modello di arma per il suo sparatutto online in poche ore.
Il gameplay di World War 3 e la revisione di una fase iniziale di una scansione dei personaggi con Artec Leo
Anche il popolare franchise di videogiochi per Xbox Hellblade presenta modelli 3D a corpo intero creati tramite la scansione Artec 3D. Sviluppato dallo studio Ninja Theory, di proprietà di Microsoft, con la tecnologia di motion capture, il gioco presenta una replica sbalorditiva dell'attrice Melina Juergens. Grazie all'impressionante flessibilità e precisione fornite da Artec Eva, lo sviluppatore non solo è riuscito a rendere il personaggio realistico, ma anche a progettarlo con pelle e muscoli che si muovevano come quelli di una persona reale.
Al giorno d'oggi, le dimensioni non sono un ostacolo alla modellazione 3D. Con Artec Micro II, puoi creare versioni digitali di piccoli oggetti, catturando dettagli complessi con una risoluzione fino a 40 micron, prima di utilizzarli per popolare i tuoi mondi di gioco. Dall'altra parte dello spettro, lo scanner a lungo raggio Artec Ray II consente di scansionare in 3D oggetti enormi, persino un intero elicottero di salvataggio, se necessario. Con questa tecnologia che continua a trovare nuove applicazioni di modellazione su larga scala, chi può dire che non possa essere utilizzata per trasportare tali veicoli nel regno virtuale?
Prendiamo ad esempio il team di Creative Mesh. Utilizzando sia Leo che Ray II, lo sviluppatore ha creato un DLC incredibilmente realistico per Farming Simulator, uno dei giochi più amati dai giocatori su PC. Lo sviluppatore ha anche catturato di tutto, dai veicoli agli aerei, e persino aree più ampie. Le possibilità offerte dall'acquisizione di dati 3D sono davvero infinite.
Un modello 3D di un MD-902 e l'elicottero in fase di scansione 3D con Artec Leo
Combinare la fotogrammetria con la scansione 3D
Un'altra opzione è quella di utilizzare la fotogrammetria insieme alla scansione 3D. Ciò potrebbe tradursi nella cattura di una scena più ampia con la fotogrammetria, quindi nella digitalizzazione dei singoli elementi all'interno di quest'area utilizzando uno scanner 3D professionale. Poiché la fotogrammetria funziona praticamente con qualsiasi set di foto, puoi anche utilizzare droni, catturare scene del mondo reale e ricrearle in forma di videogiochi anche su vasta scala.
Quando si uniscono fotogrammetria e set di dati di scansione 3D, Artec Studio è sempre un passo avanti. Non solo consente la combinazione di dati mesh completamente diversi, ma è dotato di una funzione di foto-texturing, in modo da poter applicare a mano le texture ai modelli.
Quando si tiene conto della fotogrammetria AI, Artec Studio offre davvero il meglio di entrambi i metodi: scansione 3D, fotogrammetria o entrambe, se l'applicazione lo richiede.
Conclusioni
Alla luce delle applicazioni pratiche di cui sopra, è chiaro che sia la fotogrammetria che la scansione 3D stanno aiutando a spingere i confini nel settore della grafica videoludica. Poiché ogni campione di incassi viene costruito utilizzando diverse tecniche di scansione 3D, al momento non esiste una soluzione universale che possa essere sempre implementata per creare modelli per un determinato videogioco, ma Artec Studio si sta avvicinando a questo ideale!
Invece, gli studi si trovano a dover scegliere tra diversi pacchetti hardware e software, alcuni progettati specificamente per lo sviluppo di giochi e altri costruiti per applicazioni più ampie. Nel scegliere tra queste diverse opzioni, gli sviluppatori devono considerare fattori come il tipo di ambienti che vogliono ricreare nel gioco, così come la fedeltà grafica che vogliono per gli oggetti nel loro mondo virtuale.
Fortunatamente per tali creatori, la crescente adozione della fotogrammetria e della scansione 3D nei giochi ha portato al lancio di prodotti che soddisfano le esigenze più diverse. La comprovata capacità delle varie tecnologie di riprodurre fedelmente oggetti di tutte le forme e dimensioni, pronti per essere caricati, modificati e integrati in mondi virtuali, la rende una soluzione ideale per accelerare lo sviluppo di nuovi giochi all'avanguardia. Con l'intelligenza artificiale che minaccia anche di automatizzare il processo di modellazione 3D, le funzionalità come la fotogrammetria AI sono una gradita aggiunta agli strumenti a disposizione degli sviluppatori.
Considerando quanto detto sopra, è un momento emozionante per la fotogrammetria e la scansione 3D nell'industria della CGI e dei videogiochi: sarà affascinante vedere come questa tecnologia continuerà a guidare l'innovazione in queste applicazioni e oltre.
Leggi anche questo
I modelli 3D sono ovunque. Sono dietro ogni oggetto fisico che incontriamo e sono ampiamente utilizzati in vari settori. In questa guida tratteremo i metodi di modellazione 3D più popolari, dalla progettazione di un modello da zero alla digitalizzazione di un oggetto fisico con uno scanner 3D.
Altre informazioni da
Il centro di apprendimento
La fotogrammetria è il processo di acquisizione di misurazioni affidabili partendo da fotografie. Ci ha accompagnato in diverse forme per secoli e ha persino contribuito a plasmare la nostra comprensione della superficie terrestre. Oggi, svolge un ruolo vitale in molti settori. Quindi, ecco un resoconto per darvi un'idea generale di cosa si tratta e di come funziona.
Negli ultimi tempi, le barriere che un tempo rendevano la fotogrammetria inaccessibile al vasto pubblico, principalmente il prezzo e il tipo di tecnologia, stanno andando a scomparire. Ciò ha permesso un'adozione più diffusa, incentivando lo sviluppo di software migliori, con più funzionalità e con una maggiore facilità di utilizzo. Andiamo a scoprire le migliori soluzioni disponibili. Affronteremo i seguenti temi: compatibilità, prezzi, vantaggi e svantaggi e altri dettagli importanti per aiutarti a sondare il terreno se sei alla ricerca di una soluzione per le tue esigenze di fotogrammetria.
Il processo di creazione di un modello 3D inizia con lo scegliere lo strumento giusto. Questa scelta dipende principalmente dallo scopo del modello 3D, in altre parole, da come hai intenzione di usarlo. Alcuni degli strumenti più popolari includono la scansione 3D e la fotogrammetria, e questo articolo vuole aiutarti a scegliere l'opzione migliore per il tuo progetto specifico, oltre che spiegarti quando possono essere usati insieme.