Des scans Artec 3D sans marqueurs pour un musée de crânes interactif

Vous ne pensez peut être habituellement pas que regarder le crâne d'un animal mort soit très amusant, mais l'équipe du Laboratoire de Visualisation de l'Université d’État de St Cloud au Minnesota va vous faire réévaluer vos préférences esthétiques. En regardant cette vidéo de la preuve de conception de leur Musée des Crânes Interactif, vous ne pouvez vous empêcher d'admettre que leur idée de visualiser une collection de crânes du musée de l'université est étrangement attirante.

Cet effet fascinant pourrait très bien être attribué aux images 3D incroyablement détaillées des crânes, et pour lesquelles nous devons remercier l'Artec Spider et Artec Studio 10.

« Il n'y a pas d'autres approche pratique pour faire autrement ce que nous faisons avec le Spider, » déclare l'ingénieur en visualisation Mark Gill, qui dirige VizLab.

Le Musée du crâne est un des quelques projets sur lesquels VizLab a travaillé. Sa mission est de développer la visualisation, des solutions expérimentales multimédias répondant aux besoins complexes de la communauté de l'université. Ceci inclut de fournir des logiciels pour supporter des activités de classe, recherche et laboratoire impliquant des problèmes qui ne peuvent facilement être surmontés avec les logiciels disponibles dans le commerce.

« Nous travaillons avec les membres de l'équipe enseignante pour offrir une expérience de laboratoire répondant exactement à leurs besoins, » continue Mark. Les étudiants travaillant dans le laboratoire pour créer des logiciels sont exposés à des concepts et des technologies auxquels ils ne seraient normalement pas exposés durant leurs études normales.

Le laboratoire a récemment acheté deux scanners 3D Artec, Eva et Spider, grâce auxquels le musée interactif des crânes est devenu une réalité.

« Avant que nous n'achetions nos Spider et Eva, nous ne faisions simplement pas beaucoup de travail de ce type, »déclare Mark Gill. « Nous avions des outils de modélisation tels que 3DS Max, et construisions la plupart de nos modèles à la main, mais une capture précise d'objets du monde réel était quelque chose que nous ne pouvions pas très bien faire. Nous avons utilisé d'autres scanners grand public, qui répondaient à nos besoins pour de très grands objets. Nous avons aussi exploré l'option de la photogrammétrie, mais avons obtenu des résultats mitigés. »

Le Spider remplit un rôle qui était resté vacant au laboratoire depuis longtemps, rendant possible, par exemple, de faire de la rétro-ingénierie sur de vieilles pièces de machines et de créer des modèles 3D d'artefacts archéologiques, tels que des pointes de flèches ou des éclats de poterie. L'équipe du laboratoire peut maintenant imprimer en 3D des copies d'artefacts sans prix et de composer des archives électroniques de pièces en prêt du musée. « Les détails des scans que nous obtenons du Spider sont si bons que nous commençons à explorer l'analyse géométrique des surfaces scannées. », déclare Mark.

Selon lui, la possibilité de scanner des sculptures en 3D pour les incorporer dans des objets multimédia suscite l'intérêt du Département des Arts. Avoir un outil tel que le Spider permet une intégration rapide de médias physiques dans l'espace virtuel. Ils envisagent également de commencer à scanner les utilisateurs de manière à utiliser l'apparence physique réelle d'une personne comme son avatar dans un environnement virtuel.

Le labo a mis à jour vers Artec Studio 10, et le personnel semble plus que satisfait.

« C'est le meilleur outil que j'aie trouvé pour réparer les erreurs dans un maillage destiné à l'impression 3D, » déclare Mark. « Je peux importer un modèle créé en à peu près n'importe quel format et le préparer rapidement pour un prototypage physique, généralement simplement en remaillant le modèle, ou en appliquant la fusion précise à une collection de maillages séparés. »

AS10 s'est montré un outil fantastique pour nettoyer et présenter les données d'un microscope électronique en train de scanner, par exemple, une surface de cristal de quelques microns de largeur, ou d'organismes unicellulaires. Les données sortent habituellement avec un peu de bruit de fond et une grande quantité de données superflues. Avec les outils d'édition d'AS10, le bruit peut être nettoyé et les maillages fusionnés.

Jetons à présent un coup d’œil plus attentif à la manière dont AS10 et le Spider ont été utilisés pour le projet présenté, le Musée des Crânes Interactif. Le musée expose une collection de crânes de mammifères du Musée SCSU, le plus petit étant celui d'une souris et le plus gros celui d'une vache. Ils ont une grande variété de surfaces, textures et tailles. Les spécimens les plus petits tels que opossum et le renard rouge sont assez brillants et presque translucides. La prochaine étape du projet est de scanner la collection de crâne d'hominidés de l'université, sur laquelle Mark a commencé à travailler.

Ce musée a commencé comme une classe laboratoire d'exercice pour les étudiants en biologie qui travaillent sur les caractéristiques transmises par des ancêtres phylogénétiques communs. Le projet est destiné aux besoins spécifiques du programme de biologie de l'université.

Pour scanner presque toutes les pièces, Mark a utilisé une table tournante de scan, plaçant des marques aléatoires sur celle-ci, pour aider à l'enregistrement.  Certaines des pièces avaient assez de texture pour ne pas réellement avoir besoin des aides à l'enregistrement, mais pour d'autres, c'était absolument nécessaire.

La plupart des spécimens les plus petits ont pris environ une heure à scanner et à traiter. Le crâne et la mâchoire de chaque échantillon ont été capturés lors de scans séparés. Les crânes sont assez complexes et ont des structures élaborées, alors Mark a pris environ huit scan de chaque pièce pour pouvoir s'assurer qu'il avait des éléments tels que les dents sous tous les angles.

« Parce qu'ils sont empruntés au musée, je ne voulais pas mettre de marques supplémentaires sur les spécimens eux-même ou appliquer une poudre si je pouvais m'en passer, » explique Mark. « J'ai réglé une sensibilité plus haute sur le Spider pour pouvoir gérer les surfaces plus difficiles à lire. »

Le plus difficile a été le crâne de cerf. Gill a fait le crâne et les bois en tant qu'objets distincts, et la mâchoire en deux projets différents. Le crâne de cerf seul a nécessité 23 scans différents totalisant environ 12 GB de données.

Le processus de création du maillage final a démarré avec une fusion précise du crâne en entier à une résolution de 1mm. Ceci a donné des maillages allant en taille d'un peu moins de un million de faces pour la souris, et environ quatre millions de faces pour le cerf. Tout le reste se situait quelque part entre les deux.

Mark a copié le maillage du crâne de cerf avant de le simplifier et d'appliquer les textures parce qu'il avait besoin de différentes versions du maillage pour différentes parties.

« La simplification du maillage dans AS 10 est la meilleure que j'ai vue, » déclare Mark. « D'autres logiciels vous permettront d'ajouter certains paramètres, mais le compte final des faces est une vraie loterie et la qualité diminue vraiment si vous décimalisez le maillage. Avec AS10, je peux entrer le nombre exact de faces que je veux qu’ait le maillage et je l'obtiens avec exactement ce nombre de faces. Et il est tellement plus beau que le résultat que j'obtiens avec d'autres logiciels. »

Mark a alors rendu les textures en 4096x4096 et a exportés les maillages très simplifiés en tant que fichier .obj avec les matériaux.

A partir de là, Mark a déplacé le modèle vers 3D Studio Max 2016 pour fusionner le crâne et les os de la mâchoire. Il les a alignés de la manière dont ils devaient s’emboîter et a remis à zéro l'origine des deux modèles aux mêmes point et alignement. De cette manière, ils peuvent bouger ensemble mais aussi être articulés séparément.

Après avoir fusionné les modèles, Mark les a exportés, en gardant toujours le crâne et la mâchoire comme des objets séparés en tant que fichier .FBX avec média intégré.

Le musée des crânes lui-même est créé avec le moteur de jeu Unity 5. « Je cible des tables tactiles assez grandes que nous avons, j'utilise donc une structure logicielle appelée Gestureworks pour gérer la manipulation tactile, » déclare Mark. « Unity permet un prototypage rapide de la plupart des types d'applications 3D interactives. Elle utilise C# comme langage d'écriture pour que je puisse programmer le comportement exact des crânes ; contrôlant leur manière de bouger dans le moteur de jeu, ce qui les met à l'échelle ou leur fait ouvrir la mâchoire. Unity a aussi des outils et contrôles pour contrôler facilement la luminosité et les autres effets visuels. »

« Maintenant que l'application du prototype est faite, nous allons la montrer aux enseignants du département de biologie pour voir si elle répond à leurs besoin, » déclare Mark. « Elle permettra au final aux étudiants de manipuler ces échantillons et de les comparer avec d'autres spécimens sans avoir à se soucier de réellement les manipuler. »