Futuristische medizinische VR-Ausbildungstechnologie soll die Lehre in der Medizin verändern

3D- und VR-Technologien werden in verschiedenen Branchen immer beliebter –  aufgrund ihrer Präzision, Nutzerfreundlichkeit und Vielseitigkeit nicht zuletzt auch im Gesundheitswesen. Ein langjähriger Kunde von Artec 3D, IMA Solutions, ist bereits an einem bahnbrechenden Projekt beteiligt, das in sich eine Kombination aus den neuesten 3D-Scan- und VR-Entwicklungen umfasst und die Art und Weise, wie Medizin praktiziert und gelehrt wird, signifikant verändern soll.

Die Medizinische Universität Montpellier

Ursprünglich wollten zwei Chirurgen vom örtlichen Anatomielabor der Medizinischen Universität, Dr. Guillaume Captier und Dr. Mohamed Akkari, grundsätzliche Probleme beim Unterrichten von Medizinstudenten angehen. In ihren Seminaren ist die Verwendung von echten Kadavern notwendig, was jedoch ziemlich kostspielig ist, da insbesondere unerfahrene Medizinstudenten Leichname beschädigen oder gänzlich unbrauchbar machen können. Die Seminare erforderten die Verwendung von echten Kadavern, was einerseits ein effektiver Weg ist, etwas über die menschliche Anatomie zu lernen, jedoch konnten mangelnde Verfügbarkeit und Kosten der Kadaver schnell zum Problem werden. Das Durchführen von Sezierungen an Körpern von Verstorbenen ist ziemlich teuer und unerfahrene Medizinstudenten machen beim ersten Versuch nicht selten zahlreiche Fehler, wobei oft mehrere Kadaver beschädigt oder sogar unbrauchbar gemacht werden können.

Nach sorgfältiger Abwägung der verfügbaren Optionen wurde entschieden, eine hochpräzise Echtzeit-3D-Sezierungsanwendung zu entwickeln, die es den Schülern ermöglicht, Verfahren zu üben und Grundfähigkeiten zu entwickeln, bevor echte Kadaver seziert werden. Für die Lehrenden wiederum eröffnete sich eine völlig neue und effektive Art zu unterrichten. Die vielseitige und einzigartige Anwendung wird auch einen Prüfungsmodus umfassen, damit das Wissen der Studenten überprüft werden und diesen ermöglicht werden kann, ihre medizinischen Fähigkeiten zu verbessern, ohne dafür mit echten Leichnamen arbeiten zu müssen.

Um sicherzustellen, dass die Anwendungsdaten so realistisch und genau wie möglich sind, mussten sämtliche Sezierungsetappen an tatsächlichen Leichen 3D-gescannt und in die Trainingsanwendung übertragen werden. Diese wichtige Aufgabe wurde von den Experten von IMA Solutions übernommen. Mithilfe des hochpräzisen Artec 3D-Scanners Space Spider konnten alle Arbeitsschritte erfasst und die Anwendung mit fotorealistischen 3D-Modellen gefüttert werden.

3D-Abbildung der Sezierung eines Halses, erstellt mit Artec Space Spider und Geometrie-orientiertem Rendering

Die Bereiche des Körpers für die Sezierung wurden von den Chirurgen vorgeschlagen. Eine dieser Bereiche war der Hals, wobei man den Gesichtsnerv, die vaskuläre Anatomie von Hals und Luftröhre sowie einige andere Teile sehen musste. Um sicherzustellen, dass Daten von allen dieser Bereiche in der Trainingsanwendung vorhanden waren, mussten acht separate 3D-Scans bzw. anatomische Schichten erstellt werden, angefangen von der Haut bis in die tiefen Schichten. Da sich die Farbe des Leichnams im Laufe der Zeit verändert, musste das gesamte Scanning so schnell wie möglich durchgeführt werden und durften nicht länger als einen Tag dauern, damit die Farben in allen Stufen gleich waren.

Nachdem die Daten 3D-gescannt worden waren, mussten sie auf dem 3D-Modell, das für die virtuelle Sezierung verwendet werden sollte, korrekt verarbeitet und aufgetragen werden. Um dies zu erreichen, verwendete IMA Solutions die praktische und vielseitige 3D-Software Geomagic Freeform, in der Branche weithin bekannt wegen ihrer umfangreichen Modellierungsmöglichkeiten für natürliche Formen. Als erfahrener Anwender dieser Software schätzt IMA Solutions, wie Freeform ermöglicht, 3D-Objekte in einer 3D-Umgebung schnell zu bearbeiten, und auch den Tastsinn, der durch das mitgelieferte haptische Gerät ermöglicht wird.

„Freeform ist eine Software, die wir seit unseren Anfängen verwenden, um 3D-Objekte in einer 3D-Umgebung unter Zuhilfenahme eines haptischen Geräts schnell zu bearbeiten. Bei uns verwenden wir das Gerät Phamtom Omni Haptic in Kombination mit Freeform. Da die Software auf einem Voxel-Clay-System basiert, können einige Operatoren, wie Booleans, sehr schnell angewandt oder einfach das größte Objekt in der Umgebung behalten werden. Außerdem können Sie 3D-Objekte mit einem Tastsinn, das der Arbeit an einem Modell aus Ton nahekommt, modellieren, Details hinzufügen, Formen verändern ... Natürlich können Sie viele dieser Dinge auch mit einer anderer 3D-Software machen, aber mit keiner so schnell wie mit Freeform.“

Für dieses VR-Sezierungsprojekt verwendeten die Experten von IMA Solutions die Freeform-Software, um sowohl die Geometrie als auch die Texturen der aufgenommenen 3D-Modelle zu korrigieren und zu verbessern. Zu diesen Korrekturen gehören das Entfernen überflüssiger Elemente sowie das 3D-Gestalten winziger Formen und 3D-Texturen. Die Erfassung der verschiedenen Schritte beim Zerlegen echter Kadaver kann eine große Herausforderung darstellen, besonders wenn es um Fettgewebe und Blutgefäße geht. Diese Gewebearten sind teilweise transparent und absorbieren und reflektieren Licht – dies kann sich auf die Scanqualität und das Endergebnis auswirken. Daher ist Geomagic Freeform für diese komplexen Bereiche, in denen zuweilen auch winzigste Elemente 3D-gescannt werden müssen, eine fantastische Lösung für die Korrektur von Geometrie und Textur. All diese Aufgaben lassen sich einfach mit der effektiven Kombination der Freeform-Software sowie des haptischen Geräts, mit dem Sie 3D-Objekte so manipulieren und formen können, wie Sie es an einem realen Objekt tun würden, ausführen.

Laut Benjamin Moreno, dem Gründer und Geschäftsführer von IMA Solutions, ist die Kombination aus Artec 3D-Scannern und Freeform-Software eine perfekte Lösung, da beide einen "praxisorientierten" Ansatz haben und intuitiv genutzt werden können, sodass sich der Nutzer auf sein kreative Arbeit konzentrieren kann, anstatt von technischen Problemen oder komplexen technischen Vorgängen abgelenkt zu werden.

„Die Kombination von Artec-Scannern mit Freeform ist perfekt für Digital Artists, da beide Lösungen leicht zu handhaben und intuitiv zu bedienen sind. Sie können dann Ihre gesamte Aufmerksamkeit auf die kreative Arbeit legen, ohne sich mit technischen Problemen oder komplexen technischen Vorgängen herumzuschlagen.“

3D-Abbildung der Sezierung eines Halses, mit Einsatz von Freeform für die digitale Gestaltung

Während des Sezierens arbeiteten Benjamin und sein Team mit verschiedenen Gewebetypen, welche jeweils eigene Texturen und Materialeigenschaften aufwiesen. Der erste Schritt bestand darin, Machbarkeitstests an drei Präparaten durchzuführen: zwei Sezierungen des Halses und eine des Beckenbereichs. Dabei wollten die Scan-Experten von IMA Solutions die Qualität der Scans überprüfen und sehen, ob unvorhergesehene Probleme auftraten. Die ersten Ergebnisse waren jedoch fantastisch, sodass das angewandte 3D-Scan-Verfahren bestätigt wurde.

„Wir waren sehr beeindruckt von der Fähigkeit der Artec-Scanner, Geometrien und Texturen auf einigen schwer zu scannenden Geweben zu finden, wenn diese etwa Transluzenz oder Lichtdiffusion und -absorption aufwiesen. Die Möglichkeit, die Empfindlichkeit des Scanners zu steuern, hat uns sehr geholfen, Geometrien und Farben hundertprozentig einzufangen, so dass keinerlei spezielle Vorbereitungen an den Leichnamen selbst erforderlich waren!“

Benjamin Moreno, Gründer und Geschäftsführer von IMA Solutions

Für das 3D-Scannen und die Datenverarbeitung wurde die neueste Version der Software Artec Studio verwendet. Hier benutzte man den kleinen Objektfilter zum Entfernen überflüssiger Elemente sowie zur Vereinfachung des Polygonnetzes, um die Polygonanzahl in den 3D-Modellen für ihre Verwendung in 3D-Echtzeitroutinen zu verringern.

3D-Abbildung der Sezierung eines Halses in Artec Studio 12

Der Testlauf der endgültigen Version der Anwendung ist für das vierte Quartal 2018 an der Medizinischen Universität Montpellier geplant. In der Zwischenzeit arbeitet IMA Solution weiter an dem Pilotprojekt, um genügend Daten zu sammeln, damit mindestens fünf Datensätze zu ausgewählten Anatomiebereichen erstellt werden können. Dabei sollen der kompletten Workflow überprüft, das Design der Benutzeroberfläche verbessert sowie die von Medizinstudenten und Chirurgen benötigten Tools hinzugefügt werden, um das Beste aus dieser interaktiven Anwendung herauszuholen.

Vorführung der ersten Version der Anwendung an der Medizinischen Universität Montpellier durch Professor Guillaume Captier, Leiter des Anatomielabors der Universität

Prof. Guillaume Captier beim Bedienen einer der frühen Versionen der Anwendung

Die Datensätze werden auf der Technologie Inside Explorer des schwedischen Hightech-Unternehmens Interspectral laufen. Diese bemerkenswerte Technologie ermöglicht ein interaktives und intuitives dreidimensionales Lernen, da sie in der Lage ist, multimodale Echtzeitaufnahmen in 3D darzustellen, wobei CT-, MRI- und 3D-Scans in einer gemeinsamen 3D-Umgebung kombiniert werden können.

Die Kombination der neuesten 3D- und VR-Technologien bedeutet für die Ausbildung im Gesundheitswesen einen enormen Fortschritt. Die erfolgreiche Integration der interaktiven Trainingsanwendung in die medizinische Ausbildung wird Studenten, Professoren und Ärzten gleichermaßen zugute kommen. Junge und aufstrebende Mediziner werden die Möglichkeit haben, mit virtuellen Kadavern zu üben – unbeschränkt durch Faktoren wie ihre Verfügbarkeit und Kosten – während Dozenten, Ärzte und anderes erfahrenes medizinisches Personal auf eine vollkommen neue Art medizinisches Wissen vermitteln können. Erfindungen wie diese schienen vor ein paar Jahren noch unmöglich zu sein, aber mit der Einführung neuer, hochmoderner Technologien stehen wir tatsächlich erst am Anfang neuer Entwicklungen.