2018年 6月 7日

最新のバーチャルリアリティを採用した未来の医学研修技術が、医学部での授業風景を変えていきます

3Dとバーチャルリアリティは世界中のあらゆる業界でますます採用されるようになりました。特に、その精密度、使いやすさ、汎用性により、医療分野では特に一般的に用いられるようになっています。Artecの長年のお取引先であるIMA solutionsは、最先端の3Dスキャンとバーチャルリアリティを組み合わせ、医療現場と研修方法を大幅に変えるための画期的なプロジェクトに携わってきました。

モンペリエ医科大学

モンペリエ医科大学付属の解剖研究室で働く2人の外科医、ギヨーム・キャピティエ医学博士とモハメッド・アッカリ医学博士が、大学で医学生に教える中で直面してきた困難な課題を解決したいと考えたことがすべての始まりでした。授業では本物の死体を使う必要がありました。これは人の解剖学を学ぶのに効果的な方法である一方で、死体が不足したり、費用が高くなったりするという問題と常に直面していました。死体を解剖することはかなり高額で、不慣れな医学生は1回目の解剖で正しく処置ができないことも多く、1度に複数の死体を傷付けたり、駄目にしてしまったりします。

さまざまな選択肢を慎重に検討した結果、極めて正確な、リアルタイム3D解剖アプリケーションを開発することで決定しました。これにより、医学生は何度も練習し、一定の基準を満たしてから本物の死体を解剖することができるようになるため、教授陣は全く新しく効果的な教育方法を導入することができます。この汎用性が高く、ユニークなアプリケーションは、学生の知識水準を確認するための試験にも対応でき、本物の死体を使わずして学生の医療スキルを磨いていくことができます。

アプリケーションで使われるデータを可能な限りリアルかつ正確なものにするため、本物の死体で行われるすべての解剖手順を3Dスキャンし、これを研修アプリケーションに転送しました。IMA Solutionsのエキスパートがこの重要な仕事を任されました。極めて精密度が高いArtec Space Spider 3Dスキャナを使用し、すべての解剖手順に従いスキャンし、写真のようにリアルな3Dモデルを研修用アプリケーションに送信しました。

Artec Space Spiderを使って完成した頸部の解剖手順の3Dモデルジオメトリのレンダリング

キャピティエ医学博士とアッカリ医学博士はこのアプリケーション開発に当たり、解剖箇所をいくつか提案しました。その1つは、すべての顔面神経、頸部や気管などの血管が結集する頸部でした。これらの箇所のデータが研修アプリケーションに確実に表示されるよう、皮膚から真皮層に至る解剖学的層ごとに3Dスキャンセッションを計8回行いました。死体の色は時間と共に変化するので、すべての解剖手順で色を等しくするため、すべてのスキャンセッションを可能な限りスピーディに行う必要がありました。

すべてのデータをSpace Spider 3Dスキャナでスキャン後、後処理を行い、仮想解剖で使えるよう、3Dモデルのレイヤーを正確に重ねました。IMA Solutionsは、有機的な形でも優れたモデリング能力を発揮するため医療業界で広く使用されている、実用的で汎用性の高いGeomagic Freeform 3Dソフトウェアをこの作業に使用しました。IMA Solutionsはこのソフトウェアをこれまでのプロジェクトでも使用してきた広い実績があり、Freeformが3Dシーンで極めて素早く3Dオブジェクトをコントロールできるだけではなく、付属の触覚デバイスを使って、実際に手で触っているかのうような感覚で作っていくことができる点を高く評価しています。

「Freeformは、付属の触覚デバイスにより、まるでデータに手で触れているかのような感覚で、3Dオブジェクトを3D環境で素早くコントロールすることができるため、当社が当初から使用しているソフトウェアです。Phamtom Omni触覚デバイスとFreeformを併せて使用しています。そのソフトウェアはボクセルクレイシステムを採用しており、ブール演算などの演算子を極めて素早く使用したり、シーンにある極めて大きなオブジェクトをそのままにしておくことができます。また、まるでクレイを手でこねているような感覚で、ディテールを加えたり、形を変えたりして3Dオブジェクトを完成していくことができます。他の3Dソフトウェアでもこれらの多くの作業はできますが、Freeformでの作業スピードは他を圧倒しています」

今回のバーチャルリアリティ解剖プロジェクトでは、IMA SolutionsのエキスパートはFreeformソフトウェアを用いて、キャプチャした3Dモデルのジオメトリとテクスチャを修正し、完璧に仕上げました。この修正作業では、アイランドを取り除いたり、細かなジオメトリを3D彫刻したり、3Dテクスチャ情報を追加したりしました。本物の死体でのさまざまな解剖手順のキャプチャは、脂肪組織や血管などの複雑な箇所では特に困難となりえます。これらの組織は特に半透明で、光を吸収したり反射したりするため、スキャンの品質や最終的な結果に影響を及ぼす可能性があります。そのため、小さな3Dスキャンの対象物にありがちなこれらの複雑な箇所では、そのジオメトリとテクスチャを修正するのにGeomagic Freeformが素晴らしい働きをします。これら全ての作業はFreeformソフトウェアと触覚デバイスを効果的に組み合わせて行うことで、実際に手で触っているかのような感覚で3Dオブジェクトを作っていくことができます。

IMA Solutionsの創立者兼CEOであるベンジャミン・モレーノさんは、Artec 3DスキャナとFreeformソフトウェアはいずれも実用的で、直観的に操作できるため、ユーザーが技術的な問題や複雑な操作にわずらさわれず、創造的な作業に集中できるので完璧なソリューションであるとコメントしています。

「ArtecスキャナとFreeformはいずれも取り扱いが簡単で、直観的に操作できるため、これらを併せて使うことはデジタルアーティストにとって夢のようなソリューションです。アーティストは技術的な問題や複雑な操作にイライラせずに、クリエイティブな作業に集中することができます」

デジタルスカルプトにFreeformを使って完成した頸部の解剖手順の3Dモデル

解剖手順のスキャン中、モレーノさん率いるチームは、それぞれにテクスチャと性質の異なる組織に対処しなければなりませんでした。最初に、頸部で2つ、骨盤で1つ、合計で3つの解剖手順でフィージビリティスタディを行いました。IMA Solutionsのスキャンエキスパートは、予見できなかった問題が現れていないかを確認するため、スキャン品質をチェックしました。試作品第1号は素晴らしいもので、チームは3Dスキャンプロセスに確信を持つことができました。

「半透明な組織や、光を拡散したり吸収したりしているスキャンしにくい組織に至るまで、ジオメトリやテクスチャを極めて正確にキャプチャするArtecのスキャナの実力には全く驚きました。スキャナ感度を設定することができるため、ジオメトリや色を100%完璧にキャプチャすることができました。死体に特別な処理を施す必要もありませんでした！」と、IMA solutions創立者兼CEOであるベンジャミン・モレーノさんは言います。

3Dスキャンとデータの後処理には最新のArtec Studioが使用され、アイランドを取り除くために小さなオブジェクトフィルターをかけた後、メッシュ単純化ツールを使いリアルタイムの3Dアプリケーション用に低ポリゴンの3Dモデルを生成しました。

Artec Studio 12に落とし込んだ頸部の解剖手順の3Dモデル

アプリケーションの完成版の試験は、2018年第4四半期にモンペリエ医科大学で予定されています。その間、IMA Solutionsはこのパイロットプロジェクトに引き続き取り組み、選択された5箇所以上の解剖学的部位のデータセットを作成するため、十分なデータを収集し、ユーザーインターフェースのデザインを改良したり、医学生や外科医がこのインタラクティブなアプリケーションを最大限に活用するために必要なツールを追加したりしていきます。

モンペリエ医科大学の解剖室の室長であるギヨーム・キャピティエ教授が大学でアプリケーションの試作品第1号のデモを行っているところ

研修アプリケーション試作品の初期段階を試すギヨーム・キャピティエ教授

これらのデータセットは、スウェーデンのハイテク会社Interspectralが開発したInside Explorer技術を用いて実行されます。この驚くべき技術は、リアルタイムで3Dキャプチャされた複数のモデルをCTやMRI、3Dスキャンを1つの3D画像上で統合して表示することができるため、インタラクティブで直観的な3Dラーニングエクスペリエンスを提供します。

最新の3Dとバーチャルリアリティを組み合わせることにより、医学研修現場が大きな飛躍を遂げました。医学研修現場に導入されるこのインタラクティブな研修アプリケーションは、学生、教授、医師に大きなメリットをもたらすでしょう。今後、医学生はバーチャルな死体を用いて、入手できる死体の数やコストを気にせずに練習することができ、教授や医師、その他の医療従事者は革命的な方法で医学スキルを教えることができるようになります。このようなことが現実化するとは、ほんの数年前なら全く雲をつかむような話でしたが、最先端技術を導入したこの分野における可能性は、今後益々広がっていくことでしょう。