This new system can teach a robot a simple household task within 20 minutes

iPhoneで事前学習、家事ロボット新手法は成功率81％

家庭用ロボットの実用化には、大量の訓練用データをいかに用意するかという課題がある。ニューヨーク大学の研究チームは、iPhoneを使ったデータ収集方法を新たに考案。30日にわたってテストした。 by Rhiannon Williams2023.12.20

ロボットに20分程度で家事を教える新たなシステムが、ロボット工学分野最大の課題の1つである訓練用データの不足を克服するのに役立つ可能性がある。

「ドビー（Dobb-E）」と名付けられたこのオープンソースのシステムは、実際の家庭から収集したデータを使って訓練された。Dobb-Eは、揚げ鍋の蓋の開け方や、ドアの閉め方、クッションの整え方など、さまざまなタスクをロボットに教えるのを支援する。

大規模言語モデルのような他の種類の人工知能（AI）は、インターネットからかき集めた膨大なデータのリポジトリで訓練されるが、ロボットで同じことはできない。データを物理的に収集する必要があるからだ。そのため、訓練用データベースの構築と拡張が非常に難しい。

同様に、実験室内でロボットにタスクの実行を訓練することは比較的簡単だが、物が散らかっていて予測不能な実際の家庭では、実験室と同じ条件が当てはまるとは限らない。

こうした問題に対処するため、研究チームは、Dobb-Eの訓練に必要なデータを収集するシンプルで再現が容易な方法を考えだした。通常はゴミを拾うため使われるツール「リーチャーグラバー・スティック（マジックハンド）」に取り付けたアイフォーン（iPhone）を利用するのだ。研究チームは、起こっていることを録画するために、アイフォーンをステックに取り付けた。

研究チームは、ニューヨークの22世帯の家庭で、ボランティアがアイフォーンを取り付けたスティックを使って、ドアや引き出しの開け閉めや、照明のオン/オフ、ティッシュをゴミ箱に捨てるなど、一定のタスクをこなしてもらった。その際、アイフォーンのライダー（LIDAR：レーザーによる画像検出・測距）システム、モーションセンサー、ジャイロスコープを使って、移動、奥行き、回転に関するデータが記録された。これらのデータは、自分で動作の再現ができるようにロボットを訓練するうえで、重要な情報となる。

同チームはまず、全部で13時間分の録画データを収集した後、そのデータを使ってAIモデルを訓練し、ロボットに動作方法を指示できるようにした。モデルの訓練には、自己教師あり学習（self-supervised learning）手法を用いた。ラベル付けされた事例を使って指導するのではなく、ニューラル・ネットワークに自分自身でデータセット内のパターンを見つけるように教える訓練手法である。

次に、車輪付きユニット、背の高いポール、格納可能なアームで構成された「ストレッチ（Stretch）」という市販ロボットを使い、AIシステムを使ってどれだけ確実にタスクを実行できるかをテストした。ストレッチのアームには、3Dプリンターで作られた台座に固定したアイフォーンが取り付けられ、データ収集時に使ったスティックと同じ設定が再現された。

さらに、ニューヨークの10世帯の家庭で30日間にわたって、このロボットをテストした。ロボットは109個の家事をこなし、その成功率は全体で81％だった。Dobb-Eには、通常20分程度をかけてそれぞれのタスクを学習させた。最初の5分で、スティックと取り付けられたアイフォーンを使って人間がデモンストレーションをして、その後の15分で、システムが以前の訓練と新しいデモンストレーションを比較して、ファインチューニング（微調整）した。

微調整が完了すると、ロボットは、コップから水を注ぐ、ブラインドやシャワーカーテンを開ける、棚からボードゲームの箱を引っぱり出すなどの簡単なタスクをこなせるようになった。缶をリサイクル袋に入れてから、その袋を持ち上げるといった複数の動作も、間断なく実施できた。

しかし、すべてのタスクが成功したわけではなく、鏡などの反射面がある場所で混乱を起こした。また、ロボットは重心が低いため、高い位置で重いものを引っ張る必要があるタスク、たとえば冷蔵庫のドアを開けようとする動作は、リスクが高すぎることがわかった。

「この研究は、家庭用ロボット分野にとって目に見える進展です」。ロボット工学企業ハロー・ロボット（Hello Robot ）を共同創業した元・ジョージア工科大学准教授のチャーリー・C・ケンプ博士は言う。Dobb-Eの研究チームはハロー・ロボットの研究用ロボットを使用したが、ケンプ博士は今回の研究プロジェクトには携わっていない。

「まさに、家庭用ロボットの未来が到来しようとしています。もう、単なる夢物語ではありません」と、ケンプ博士は言う。「データの規模拡大は、これまで常にロボット工学の課題でした。今回の手法はその問題に対する、非常に創造的で賢いアプローチです」。

「これまでのところ、ルンバをはじめとするロボット掃除機が、唯一の成功した現実の商用家庭用ロボットです」と、スタンフォード大学のコンピューター科学助教授、ジアジュン・ウーは言う（ウー助教授は今回の研究に関与していない）。ルンバの仕事は、物とのインタラクションがないため、比較的簡単である。実際、ルンバの目標は、物を避けることである。もっと幅広いタスクができる家庭用ロボットの開発は、はるかに困難な仕事だ。しかし今回の研究が、その開発を進展させるかもしれない。

ニューヨーク大学の研究チームは、このプロジェクトの全要素をオープンソースにしている。他の研究者がコードをダウンロードして、Dobb-Eの教えを実行するロボットが達成できるタスクの幅を、広げてくれることを期待しているのだ。

「もっと多くのデータを集め、いつかの時点で、Dobb-Eが新しい家を見たときに、さらに事例を示す必要がなくなることが私たちの望みです」と、このプロジェクトに取り組んだニューヨーク大学のコンピューター科学研究者、レレル・ピント助教授は話す。

「ロボットがすでにほとんどの家庭のタスクをすべて把握しているため、新しいタスクを教える必要がない、というところまでこぎ着けたいと考えています」。

人気の記事ランキング

リアノン・ウィリアムズ [Rhiannon Williams]米国版ニュース担当記者: 米国版ニュースレター「ザ・ダウンロード（The Download）」の執筆を担当。MITテクノロジーレビュー入社以前は、英国「i （アイ）」紙のテクノロジー特派員、テレグラフ紙のテクノロジー担当記者を務めた。2021年には英国ジャーナリズム賞の最終選考に残ったほか、専門家としてBBCにも定期的に出演している。