Tecnologie di realtà virtuale per la formazione medica cambiano il modo in cui si insegna medicina
Le tecnologie 3D e VR stanno diventando sempre più popolari nelle industrie di tutto il mondo e stanno diventando particolarmente diffuse nel settore sanitario grazie alla loro precisione, facilità d'uso e versatilità. Uno dei clienti di lunga data di Artec, IMA solutions, è stato coinvolto in un entusiasmante progetto che presenta una combinazione delle ultime novità nel campo della scansione 3D e della realtà virtuale e cerca di modificare significativamente il modo in cui la medicina viene praticata e insegnata.
Università Medica di Montpellier
Tutto è iniziato dalla ricerca di due chirurghi del laboratorio di anatomia urbana della Montpellier Medical University, M.D, Ph.D. Guillaume Captier e M.D Mohamed Akkari, che cercavano di risolvere alcune difficoltà nell'insegnare agli studenti di medicina. Le lezioni richiedevano l'uso di cadaveri e, sebbene questo fosse un modo efficace per apprendere l'anatomia umana, sorgevano spesso problemi di disponibilità e costi dei cadaveri. Effettuare dissezioni su corpi di defunti è piuttosto costoso e gli studenti di medicina inesperti non eseguono sempre una dissezione adeguata al primo tentativo, spesso danneggiando o addirittura distruggendo più cadaveri.
Dopo un'attenta valutazione delle opzioni disponibili, è stata presa la decisione di progettare un'applicazione di dissezione 3D altamente accurata e in tempo reale, che avrebbe consentito agli studenti di fare pratica e raggiungere uno standard accettabile prima di analizzare i cadaveri reali, consentendo inoltre agli insegnanti di adottare un un metodo di insegnamento completamente nuovo ed efficace. Questa versatile applicazione, unica nel suo genere, sarà anche in grado di funzionare in modalità esame per verificare il livello di conoscenza degli studenti, permettendo loro di affinare le loro abilità mediche senza dover utilizzare cadaveri reali.
Per garantire che i dati dell'applicazione fossero il più realistici e accurati possibile, tutti i passaggi di dissezione sui cadaveri reali sono stati scansionati in 3D e trasferiti sull'applicazione di addestramento. Sono stati gli esperti di IMA Solutions a intraprendere questo compito fondamentale. Utilizzando lo scanner ad alta precisione Artec Space Spider 3D, hanno catturato tutte le fasi di dissezione per fornire modelli fotorealistici 3D da caricare sull'applicazione.
Il risultato in 3D della dissezione di un collo usando Artec Space Spider. Rendering di sola geometria
I chirurghi hanno proposto le aree del corpo da dissezionare. Una zona era il collo, dove era necessario vedere il nervo facciale, l'anatomia vascolare del collo e la trachea, insieme ad altre parti. Per assicurarsi che i dati di tutte queste aree fossero incluse nell'applicazione di addestramento, è stato necessario eseguire otto scansioni 3D separate, ossia strati anatomici, dalla pelle agli strati più profondi. Poiché il colore del cadavere cambia nel tempo, tutta la scansione doveva essere eseguita il più rapidamente possibile e non superare un giorno di durata, per garantire che i colori fossero gli stessi in tutte le fasi.
Non appena tutti i dati sono stati acquisiti dallo scanner Space Spider 3D, sono stati elaborati e stratificati sul modello 3D da usare nella dissezione virtuale. Per raggiungere questo obiettivo, IMA Solutions ha utilizzato il pratico software Geomagic Freeform 3D, ampiamente diffuso nel settore per le sue estese capacità di modellazione delle forme organiche. IMA Solutions, oramai un utente esperto di questo software in progetti precedenti, apprezza come Freeform consenta di manipolare rapidamente gli oggetti in una scena 3D, nonché il senso di tatto ottenuto tramite l'uso del dispositivo tattile associato.
"Abbiamo sempre utilizzato il software Freeform data la sua capacità di manipolare rapidamente gli oggetti in una scena 3D e la possibilità di affidarsi al senso del tatto grazie al dispositivo aptico. Noi utilizziamo il dispositivo Phamtom Omni Haptic in combinazione con Freeform. Poiché il software è basato su un sistema voxel clay, è possibile utilizzare molto rapidamente alcuni operatori, come Booleans, o semplicemente mantenere l'oggetto più grande nella scena. Inoltre, è possibile scolpire su oggetti 3D nello stesso modo e con la stessa sensazione della scultura di un modello di argilla, aggiungendo dettagli, modificando le forme ... In un certo senso, è ovviamente possibile svolgere molte di queste operazioni in altri software 3D, ma non con la velocità di utilizzo di Freeform."
Per questo progetto di dissezione in VR, gli esperti di IMA Solutions hanno utilizzato il software Freeform per correggere e migliorare sia la geometria che le texture dei modelli 3D catturati. Queste correzioni includono la rimozione di isole, la modellazione 3D di piccole geometrie e la texturizzazione 3D. Catturare diversi passaggi nella dissezione di cadaveri può essere piuttosto difficile, soprattutto quando si tratta di aree di tessuto grasso e vasi sanguigni. Questi tessuti sono parzialmente traslucidi e assorbono e riflettono la luce, il che potrebbe influire sulla qualità della scansione e sul risultato finale. Pertanto, per queste aree complesse, dove a volte possono essere presenti piccoli errori nella scansione 3D, Geomagic Freeform è la soluzione ideale per correggere sia la geometria che le texture. Tutte queste attività possono essere facilmente eseguite utilizzando l'efficace combinazione del software Freeform e del dispositivo tattile, che consente di manipolare e scolpire oggetti 3D come si farebbe con un blocco di argilla.
Secondo Benjamin Moreno, fondatore e CEO di IMA Solutions, combinare lo scanner Artec 3D con il software Freeform è una soluzione perfetta, poichè entrambi hanno un approccio "pratico" e possono essere utilizzati in modo intuitivo, consentendo all'utente di concentrarsi sul proprio lavoro creativo, invece che venire distratti da problemi tecnici o operazioni complesse.
"Combinare gli scanner Artec con Freeform potrebbe essere una soluzione perfetta per gli artisti digitali, perché entrambi si imparano ad usare in maniera facile e intuitiva. Puoi concentrare la tua attenzione sul tuo lavoro creativo senza essere frustrato da problemi tecnici o operazioni tecniche complesse "
Il risultato in 3D di un passaggio di una dissezione del collo usando Freeform per la scultura digitale
Durante il processo di dissezione, Benjamin e il suo team hanno dovuto interagire con diversi tessuti, tutti con diverse texture e proprietà del materiale. Il primo passo è stato effettuare alcuni test di fattibilità su tre dissezioni: due dissezioni del collo e una dissezione dell'area pelvica. Gli esperti di scansione di IMA Solutions volevano vedere la qualità delle scansioni che ci si poteva aspettare ed essere in grado di verificare la possibilità di problemi imprevisti. I risultati iniziali sono stati decisamente positivi, e il team è stato in grado di convalidare la procedura di scansione 3D.
"Siamo stati veramente colpiti dalla capacità degli scanner Artec di acquisire geometrie e texture di qualità su alcuni tessuti difficili da scansionare, sia che fossero traslucidi o diffondessero e assorbissero la luce. La possibilità di gestire la sensibilità dello scanner ci ha aiutato molto a ottenere il 100% delle geometrie e dei colori, il tutto senza dover predisporre in modo speciale i cadaveri."
Benjamin Moreno, fondatore e CEO di IMA Solutions
Per la scansione 3D e l'elaborazione dei dati, è stata utilizzata l'ultima versione del software Artec Studio, in cui è stato applicato il filtro oggetti piccoli per rimuovere eventuali isole mobili, nonché lo strumento di semplificazione della mesh per generare modelli 3D a basso numero di poligoni per motori 3D in tempo reale.
Risultato in 3D di un passaggio di una dissezione del collo in Artec Studio 12
La prova della versione finale dell'applicazione è prevista per il quarto trimestre del 2018, presso l'università di medicina di Montpellier. Nel frattempo, IMA Solutions continuerà a lavorare sul progetto pilota, raccogliendo dati sufficienti per creare almeno cinque set di dati su aree anatomiche selezionate, oltre a migliorare il design dell'interfaccia utente e aggiungere gli strumenti necessari sia agli studenti di medicina che ai chirurghi per ottenere il meglio da questa applicazione interattiva.
Dimostrazione della prima versione dell'applicazione presso l'Università Medica di Montpellier dal Prof. Guillaume Captier, Direttore del Laboratorio di Anatomia dell'Università
Il Prof. Guillaume Captier al lavoro sull'applicazione di addestramento nelle prime fasi del suo sviluppo
Questi set di dati funzioneranno con la tecnologia Inside Explorer della società high-tech svedese Interspectral. Questa straordinaria tecnologia offre un'esperienza di apprendimento 3D interattiva e intuitiva, in quanto è in grado di visualizzare le acquisizioni in tempo reale multimodali in 3D, dove è possibile combinare scansioni CT, MRI e 3D in un'unica scena 3D.
La combinazione delle più recenti tecnologie 3D e VR sta permettendo alla formazione sanitaria di compiere un enorme balzo in avanti. L'integrazione riuscita dell'applicazione di formazione interattiva nei processi di educazione sanitaria avrà grandi vantaggi per studenti, professori e medici. I giovani e futuri professionisti medici avranno la possibilità di esercitarsi su cadaveri virtuali, non soggetti a fattori quali la loro disponibilità e il loro costo, mentre docenti, dottori e altri esperti medici avranno accesso a un nuovo modo rivoluzionario di insegnare medicina. Invenzioni come questa sembravano impossibili solo pochi anni fa, ma con l'implementazione di nuove tecnologie all'avanguardia, questo è solo l'inizio.