Les technologies médicales futuristes en réalité virtuelle changent la façon dont la médecine est enseignée
Les technologies 3D et de Réalité Virtuelle (RV) deviennent toutes les deux de plus en plus populaires dans différents secteurs industriels dans le monde entier et deviennent particulièrement communes dans le domaine de la santé, grâce à leur précision, simplicité d’emploi et polyvalence. Un des clients de longue date d’Artec, IMA Solutions, a été impliqué dans un projet très excitant qui combine les derniers développements en scan 3D et RV, et cherche à changer de manière significative la façon dont la médecine est pratiquée et enseignée.
Faculté de Médecine de Montpellier
Tout a commencé lorsque deux chirurgiens du Laboratoire d’anatomie de la Faculté de Médecine de Montpellier, Guillaume Captier, M.D., Ph.D et Mohamed Akkari, M.D., ont cherché à résoudre certaines difficultés rencontrées lorsqu’ils enseignent aux étudiants de médecine de l’université. Les leçons demandaient d’utiliser de vrais cadavres, et, bien que ce soit une manière efficace d’étudier l’anatomie humaine, des problèmes de disponibilité et de coût des cadavres survenaient souvent. Effectuer des dissections sur les corps de personnes décédées est assez coûteux et les étudiants en médecine inexpérimentés n’effectuent pas toujours une dissection correcte dès la première fois, abîmant ou même détruisant plusieurs cadavres en une fois.
Après avoir soigneusement considéré les différentes options possibles, une décision a été prise de créer une application de dissection 3D en temps réel, hautement précise, qui permettra aux étudiants de s’entraîner aux procédures et d’atteindre un niveau acceptable avant de disséquer de vrais cadavres et permettra également aux enseignants d’adapter une façon d’enseigner complètement nouvelle et efficace. Cette application unique et polyvalente pourra également fonctionner en mode examen afin d’évaluer le niveau de connaissance des étudiants, leur permettant d’acquérir leurs compétences médicales sans avoir à utiliser de vrai cadavre.
Pour assurer que les données de l’application soient aussi précises que possible, toutes les étapes de dissection de vrais cadavres ont dû être scannées et transférées dans l’application de formation. Les experts d’IMA Solutions ont entrepris cette tâche vitale. En utilisant le scanner le scanner 3D Artec Space Spider ultraprécis, ils ont capturé toutes les étapes de dissection pour obtenir des modèles 3D photoréalistes pour les fournir à l’application.
Résultat 3D de la dissection d’un cou en utilisant l’Artec Space Spider : rendu de géométrie
Les chirurgiens ont proposé des zones du corps pour dissection. Une de ces zones était le cou, où il était nécessaire de voir le nerf facial, l’anatomie vasculaire du cou, et la trachée, ainsi que d’autres parties. Pour être sûr que les données de toutes ces zones étaient dans l’application d’entraînement, huit scans 3D différents, ou couches anatomiques, ont dû être faites, allant de la peau aux couches profondes. Parce que la couleur du cadavre change au fil du temps, tout le scan a dû être effectué aussi rapidement que possible, et ne pas dépasser un maximum d’une journée, pour être sûr que les couleurs soient les mêmes à toutes les étapes.
Après que toutes les données aient été capturées par le scanner 3D Space Spider, elles devaient être traitées et appliquées correctement sur le modèle 3D qui serait utilisé pour la dissection virtuelle. Pour réussir cela, IMA Solutions a utilisé le logiciel 3D Geomagic Freeform, pratique et polyvalent, très populaire dans l’industrie pour ses vastes capacités de modélisation de formes organiques. IMA Solutions, des utilisateurs expérimentés de ce logiciel lors de projets précédents, accordent beaucoup de valeur à la manière dont Freeform vous permet de manipuler des objets 3D dans un environnement 3D, ainsi que le sens du toucher que vous obtenez en utilisant l’appareil haptique associé.
« Freeform est un logiciel que nous avons utilisé depuis le début pour sa capacité à manipuler rapidement des objets 3D dans un environnement 3D et pour être capable d’utiliser le sens du toucher par un appareil haptique. Pour notre part, nous utilisons l’appareil haptique Phantom Omni en combinaison avec Freeform. Puisque le logiciel est basé sur un système d’argile voxel, vous pouvez utiliser certains opérateurs tels que les Booléens très rapidement, ou simplement garder le plus gros objet sur la scène. Vous pouvez également sculpter sur des objets 3D avec un sens du toucher imitant la sculpture sur un modèle en argile, ajoutant des détails, modifiant des formes… D’une certaine manière, vous pouvez, bien sûr, faire beaucoup de ces choses dans d’autres logiciels 3D, mais pas à la vitesse de Freeform. »
Pour ce projet de dissection en RV, les experts d’IMA Solutions ont utilisé le logiciel Freeform pour corriger et améliorer la géométrie et les textures des modèles 3D capturés. Ces corrections incluent l’effacement des îles, la sculpture en 3D de géométries minuscules et la texturisation en 3D. Capturer les différentes étapes de la dissection de vrais cadavres peut être assez difficile, surtout pour les zones de tissus adipeux et de vaisseaux sanguins. Ces tissus sont partiellement translucides et absorbent et reflètent la lumière. Ceci peut affecter la qualité du scan et le résultat final. C’est pourquoi, pour ces zones complexes, où de petits artefacts de scan 3D peuvent parfois être présents, Geomagic Freeform est une solution fantastique pour corriger la géométrie et la texture. Toutes ces tâches peuvent facilement être menées en utilisant la combinaison efficace du logiciel Freeform et de l’appareil haptique, ce qui vous permet de manipuler et sculpter des objets en 3D comme vous le feriez dans la réalité.
Selon Benjamin Moreno, fondateur et PDG d’IMA Solutions, combiner le scanner 3D Artec avec le logiciel Freeform est une solution parfaite parce qu’ils ont tous les deux une approche « manuelle » et peuvent être utilisés intuitivement, permettant aux utilisateurs de se concentrer sur leur travail créatif, plutôt que d’être distraits par des problèmes techniques ou des opérations techniques complexes.
« Combiner les scanners Artec avec Freeform pourrait être une solution parfaite pour les artistes numériques parce qu’ils sont tous les deux faciles à prendre en main et d’une utilisation très intuitive. Vous pouvez concentrer votre attention sur le travail créatif sans être frustré par les problèmes techniques ou des opérations techniques complexes. »
Résultat 3D d’une étape de dissection du cou en utilisant Freeform pour la sculpture numérique
Durant le processus de dissection, Benjamin et son équipe devaient interagir avec différents tissus, dont chacun avait sa propre texture et des propriétés matérielles propres. La première étape était de faire des tests de faisabilité sur trois dissections : deux dissections du cou et une dissection de la zone pelvique. Les experts en scan d’IMA Solutions voulaient voir la quantité de scans qu’ils pouvaient attendre et être capable de vérifier si un quelconque problème imprévu était apparu. Les premiers résultats étaient très excitants, et l’équipe a pu valider la procédure de scan 3D.
“Nous étions clairement impressionnés par la capacité des scanners Artec à capturer de très jolies géométries et textures sur des tissus difficiles à scanner qui sont translucides ou diffusent ou absorbent la lumière. La possibilité de gérer la sensibilité du scanner nous a beaucoup aidé à obtenir 100% des géométries et couleurs, pour qu’aucune préparation particulière des cadavres ne soit nécessaire ! »
Benjamin Moreno, fondateur et PDG d’IMA Solutions
Pour le scan 3D et le traitement des données, la dernière version du logiciel Artec Studio a été utilisée, dans lequel le filtre de petits objets a été appliqué pour enlever toute île flottante, et l’outil de simplification de maillage pour générer des modèles 3D à faibles polygones pour les moteurs 3D en temps réel.
Résultat 3D d’une étape de dissection du cou dans Artec Studio 12
Le premier test d’utilisation de la version finale de l’application est prévu pour le quatrième trimestre 2018, à la Faculté de Médecine de Montpellier. Pendant ce temps, IMA Solutions continue à travailler sur le projet pilote, collectant assez de données pour créer au moins cinq séries de données de zones anatomiques choisies pour valider le processus complet, ainsi que pour améliorer le design de l’interface utilisateur et ajouter les outils nécessaires pour que les étudiants en médecine et les chirurgiens puissent obtenir le meilleur de cette application interactive.
Démonstration de la première version de l’application à la Faculté de Médecine de Montpellier par le Prof. Guillaume Captier, Directeur du Laboratoire d’Anatomie de l’Université
Le Prof. Guillaume Captier, interagissant avec l’application de formation dans les premiers stages de son développement
Ces séries de données fonctionneront dans la technologie Inside Explorer de la société de haute technologie suédoise Interspectral. Cette technologie remarquable offre une expérience d’apprentissage 3D interactive et intuitive, puisqu’elle peut afficher les acquisitions multimodales en temps réel en 3D, où il est possible de combiner des CT (tomodensitométrie), IRM et scans 3D en une seule scène 3D.
La combinaison des dernières technologies 3D et RV rend possible un énorme pas en avant pour les opportunités d’enseignement dans le domaine de la santé. L’intégration réussie de l’application de formation interactive dans les processus d’enseignement pour la santé aura de grands bénéfices pour les étudiants, professeurs et docteurs. Les futurs professionnels de la médecine auront la possibilité de s’entraîner sur des cadavres virtuels, sans être restreints par des facteurs tels que la disponibilité ou les coûts, pendant que les maîtres de conférences, docteurs et autres personnels médicaux expérimentés auront accès à une nouvelle manière révolutionnaire d’enseigner la médecine. Des inventions telles que celle-ci semblaient impossible il n’y a de cela que quelques années, mais avec l’implémentation de nouvelles technologies de pointe, ce n’est que le début.