ニューヨーク大学のコンピューター科学研究員であるレレル・ピントは、家庭で掃除機をかけるだけではなくて、様々なことをしてくれるロボットを実現させたいと考えている。「家事をこなしたり、高齢者介護やリハビリの手伝いをしたりしてくれる、生活に不可欠なロボットを作るには、実際どうしたら良いのでしょうか。必要な時にそこにいてくれるようなロボットです」。
こうした多機能ロボットを実現するにあたっての問題は、大量の訓練用データが必要になる点だ。ピントは新たなデータ収集法を考案し、この問題を解決しようとしている。ロボット自身が学習しながらデータを収集する「自己教師あり学習（self-supervised learning）」と呼ばれる手法だ（メタの主任AI科学者であり、ピントのニューヨーク大学の同僚でもあるヤン・ルカン教授も、この手法を支持している）。
家庭用ロボットがコーヒーを入れたり皿洗いをしたりするというアイデアは、何十年も前から存在する。しかし、依然としてそのような機械はSFの世界に属するものだ。その他の人工知能（AI）分野、とりわけ大規模な言語モデルが最近大きく進歩したのは、インターネットから収集した膨大なデータセットを利用したからだ。ピントは、この手法はロボットにおいては使えないと言う。
ピントは2016年に最初のマイルストーンの一つを達成した。ロボット自身に訓練用データを作成させてラベルを付けさせ、人間の監視なしで24時間365日稼働させることで、当時世界最大のロボット工学データセットを作成したのだ。
それ以来、ピントは同僚とともに、ロボットが失敗しながら行動を改善できる学習アルゴリズムの開発に取り組んできた。ロボット・アームが物体を掴むまでには何度も失敗するかもしれない。だが、その試行から得られたデータを活用して、成功できるモデルを訓練することができる。ピントのチームは、このアプローチをロボット・アームとドローンで実証し、物を落としたり衝突したりといった出来事を、苦労して得られた教訓へと転換している。
（ウィル・ダグラス・ヘブン）