脳波でWindowsを操作できるユーザーインターフェイスが登場
コネクティビティ

General-Purpose Brain-Computer Interface Brings Thought Control to Any PC 脳波でWindowsを操作できるユーザーインターフェイスが登場

脳波ヘッドセットが市販されているが、実用化にはユーザーインターフェイスの進化も欠かせない。高速入力が可能なインターフェイスの開発によって、麻痺患者とのコミュニケーションが取りやすくなるかもしれない。 by Emerging Technology from the arXiv2017.06.13

麻痺症状がある人にとって、時として脳コンピューター・インターフェイスは唯一の有効なコミュニケーション手段となる。顔の表情を制御する脳波と神経信号をセンサーがモニターする、というのが基本的な考え方だ。事前に定義されたシグナルを受けて、コンピューターを制御する。

たとえば、顔の左側で作り笑いをすれば関連している神経信号のパターンからカーソルを左に動かし、右側の場合はカーソルを右に動かす。集中していることに関連している脳波ならダブルクリック、といった具合だ。このような方法で、重い麻痺症状にあるユーザーでもコンピューターをコントロールできるのだ。

しかし、こうしたアプローチには重大な問題がある。まず、脳コンピューター・インターフェイスはノイズの影響を受けやすく、たびたび誤動作する。また、扱いづらいせいでコミュニケーションはひどくぎこくちなく、緩慢なものになる。タイピングのスピードは1分間あたり1文字という遅さになることもある。脳制御インターフェイスを著しく高速化することは、とても重要なことなのだ。

 

ニューヨーク大学のオリ・オスミー博士研究員とイスラエルのベン=グリオン大学の研究者たちは、マインドデスクトップ(MindDesktop)と呼ばれる汎用の脳コンピューター・インターフェイスを開発した。マインドデスクトップを使うと、ユーザーは1文字あたり20秒のタイピング・スピードでWindowsパソコンの大部分を制御できる。他のシステムとは桁違いの性能だ。

マインドデスクトップが登場した背景にあるのは、ここ数年、複数の企業が脳モニタリング機器の既製品を販売し始めたことだ。誰でも数百ドルで購入できる脳モニタリング機器は、顔の動きと関連している脳が生成する信号と神経発火パターンを測定する。

よく知られている製品として、Wi-Fiを通じてあらゆるコンピューターとリンクできる14チャンネルの脳波ヘッドセット「エモーティブ・エポックプラス(Emotiv Epoc+)」がある。エポックプラスの価格は800ドルだ(開発会社のエモーティブは、より安価で性能の低いモデルも製造し、300ドルで販売している)。

しかし、エモーティブの機器や他社の脳モニタリング機器を使用し、コンピューターを制御するのは困難だ。多くのユーザーインターフェイスの動作はごきこちなく、遅いためだ。オスミー研究員と研究者たちは、エモーティブのヘッドセットで検出した信号を、比較的使いやすいユーザーインターフェイスで利用するシステムを構築した。

エモーティブ・ヘッドセットは難しい設定なしで、さまざまな顔の表情と関連している神経信号を検出できる。一方で、好きな花や歌やペットについて考えることと関連付けた脳波パターンを検出するように教え込むこともできる。

これらのそれぞれの思考パターンを利用して、ソフトウェア側で異なる動作を実現できる。実際にマインドデスクトップは、わずか3つのインプットで動作するように設計されている。3つの異なるインプットを区別できれば、どのようなインプットにも対応できるのだ。

マインドデスクトップは独特なアプローチを採っている。たとえば、ユーザーは「階層的ポインティング・デバイス」を使用することで、画面上の任意の項目を選択できる。画面全体を4分割し、ユーザーは4つの画面にある、利用したい項目を含む画面を選ぶ。さらに画面は4分割され、ユーザーは利用したい項目を選択していく。4分割された画面の1つが利用したい項目に絞られるまで画面の分割は続き、ユーザーは最後の画面を選択して項目をクリックできる。

このアプローチにより、ユーザーはあらゆるアプリケーションを開いたり閉じたりできる。オンスクリーン・キーボードや入力予測、その他のショートカットが用意され、脳波による操作をスピードアップできる。

イスラエルの研究チームは、マインドデスクトップの性能を試すため、17人の成人健常者に標準のノート型パソコンでソフトウェアを使用することを依頼し、フォルダーを開いたり、ビデオを再生したり、あるテーマをインターネットで検索したりなど、特定の課題を実行するのにどれくらいの時間がかかるかを測定した。

測定結果は明らかに学習による進歩を示している。たった3度の学習で、すべてのユーザーが出された課題をより早く終え、簡単なメールを送信できるようになったのだ。

興味深いことに、研究者は長髪が潜在的な問題になることを発見した。長髪が信号の誤差を引き起こすからだ。そのため、女性にとって課題をこなすのは男性よりも難しい作業になった。「今回の実験の結果は、ユーザーは新しいインターフェイスを操作し、効率的に利用してパソコンを操作する方法をすぐに習得できることを示しています」とオスミー研究員らは話す。

しかし、マインドデスクトップのようなシステムを文書の作成や一般的なタイピングといった他のコミュニケーションと同様に使えるようにするには、まだやるべきことが山ほどある。より高性能のセンサーは明らかに必要だろうが、ユーザーインターフェース自体も常に重要な鍵となるだろう。

参照:arxiv.org/abs/1705.07490 : マインドデスクトップ:汎用の脳・コンピューター・インターフェイス