Google Translate
Google Translate

UECで究める

研究室紹介冊子OPAL‐RING 田野・橋山 研究室

医療ARシステム向けHMDの開発と応用

掲載情報は2017年3月現在

所属 大学院情報理工学研究科
情報学専攻 学長補佐
田野 俊一
Shunichi TANO
橋山 智訓
Tomonori HASHIYAMA
メンバー 田野 俊一 教授
橋山 智訓 准教授
所属学会 情報処理学会、人工知能学会、日本知能情報ファジィ学会、言語処理学会、日本人間工学会、ヒューマンインタフェース学会、電子情報通信学会、日本感性工学会、米コンピュータ学会(ACM)、米人工知能学会(AAAI)、米電気電子学会(IEEE)
研究室HP http://www.media.is.uec.ac.jp/
印刷用PDF

キーワード

マルチメディア、データベース、ヒューマンインターフェース、インタラクション、知能情報学、医療AR、3D画像合成、知的活動支援

近年、コンピューターを利用して現実世界に情報を映し出すなどして拡張する、「拡張現実(AR)」技術がさまざまな分野で使われています。一方で、特に医療現場では、その有用性が指摘されているにもかかわらず、導入がなかなか進んでいません。
例えば、病院で一般的に行われている超音波診断(エコー)の場合、通常は経験のある医師がエコーの画面と患部とをその都度見比べながら、“手探り”で診断を行っているような状況です。

患部に超音波画像を映す

田野俊一教授は、最近、医師から依頼を受ける形で、医療AR向けの特殊なヘッド・マウント・ディスプレー(HMD)を開発しました。超音波診断装置に取り付けるもので、HMDを頭に装着すると、3次元(3D)の超音波診断画像が胸や腹などの患部に重なって表示されます。
患部の回りに、位置を認識するための複数の光学式マーカー(標識)を置き、装着したHMDを通してマーカーを見ると、患部に診断画像が映し出される仕組みです。HMDにはカメラが搭載されており、カメラで撮影した患部の映像上に、診断画像を重ね合わせて投影するため、表示誤差がゼロで位置合わせが不要です。

開発した医療3D-ARシステムの概要
リアルタイムに表示し位置合わせが不要

従来は位置合わせが困難でしたが、回路の書き換えが可能な高性能半導体(FPGA)をHMDに組み込むことで、光学マーカーを高速に認識できるようになり、高精細画像のリアルタイム表示が実現できました。最大4台のHMDを同時に接続できるため、チームによる手術などにも対応できます。
これにより、医師は従来のように離れた場所にあるエコーの画面に視点を移さなくても、患者の体だけに意識を集中して患部の位置や状態を把握し、適切な処置や手術が行えます。

診断や処置、手術を支援する

現在、利用を想定しているのは、薬剤の投与などのために、大静脈に細い管(カテーテル)を挿入する処置においてです。「中心静脈カテーテル挿入」と呼ばれるこの処置は、すべての医師に要求される基本的な手技の一つですが、カテーテルの挿入時などに、5%程度の高い確率で重篤な合併症が起こっているという報告があります。
さらに将来は、一般に難しいとされている肝臓の切除手術や、乳がんの乳房温存手術などに適用することを目指しています。「医師の技量に依存しない医療が提供できる」ことが医療ARの利点であり、医師を支援することで、「医療の質の向上や、医療事故の防止につなげられるのではないか」と田野教授は期待しています。
そもそもゲームなどに使われる既存のHMDは、目を完全に覆ってしまう「没入型」であり、仮想世界だけを映し出すため医療用には適していません。医師はHMDを装着しても、外の世界をきちんと見なければならず、また、手術台は明るくまぶしいといった独特な環境です。田野教授はこうした医師のニーズをくみ取り、周囲の状況をカメラを通して間接的に見ることができ、さらに自動調光機能も付いた、跳ね上げ式の「ビデオシースルー型」HMDを開発しました。軽量で装着ズレの心配もないそうです。
実用化に向けて、菊池製作所や大学病院、ベンチャー企業などと協働しており、新会社設立により2019年ごろの製品化を目標にしています。価格をできるだけ抑え、「大病院だけでなく、一般の病院にも普及させたい」と考えています。
まずは妊婦検診のほか、妊婦のおなかの上で家族が胎児の様子を確認できるサービスなどとして適用し、その後、診断や処置、手術、治療などへ段階的に導入を進めていく予定です。超音波による肝臓や心臓の立体解剖の理解といった医学教育にも有効です。

医療用HMD装着時のイメージ
ビデオシースルー型
モノづくりやドローン技術などに応用可能

田野教授は、人工知能(AI)全般の研究に幅広く取り組んでおり、医療向けにとどまらず、これまでも人間の創造的な活動を支援する多様なメディアを開発してきました。今回開発したAR向けの特殊HMDは、所望の3D画像をメガネを通して投影するだけでなく、同時に現実世界をリアルタイムに映し出せるのが特徴です。
したがって、例えば、メンテナンスなどを行うモノづくりの現場やデザインの領域、また物流やドローン(飛行ロボット)といった輸送分野などにも適用できるかもしれません。田野教授らはHMDについても、医療用だけでなくさまざまな分野への展開を目指しています。産学連携の経験は豊富であり、企業からの積極的なアプローチを歓迎しています。

【取材・文=藤木信穂】