What using artificial intelligence to help monitor surgery can teach us

「手術ミスゼロ」監視システムに学ぶ、AI導入の3つの教訓

スタンフォード大教授が開発した手術室用のAI機能付き監視装置は、すでにいくつかの病院で使用されている。手術における安全の確保をうたい文句にするが、本来の目的を果たすことができるのだろうか。 by Melissa Heikkilä2024.06.19

この記事の3つのポイント

手術の安全性向上のため米国の一部病院がAI監視装置を導入
プライバシー保護やスタッフの受け入れなどに課題
大量のデータ収集が必ずしも問題解決につながるわけではない

summarized by Claude 3

この記事は米国版ニュースレターを一部再編集したものです。

毎年約2万2000人の米国人が、重大な医療ミスで病院で死亡している。そしてその多くは、手術台の上で起こっている。患者の体内に手術用スポンジを置き忘れる、完全に間違った手術をしてしまうこともあった。

スタンフォード大学の外科教授であるテオドル・グランチャロフは、手術をより安全にし、ヒューマンエラーを最小化するツールを見つけたと考えている。手術室に設置することで航空機のブラックボックスと同じように機能する、人工知能（AI）を搭載した「ブラックボックス」である。グランチャロフ教授が創業したサージカル・セーフティ・テクノロジーズ（Surgical Safety Technologies）が開発したこの装置は、パノラマカメラや天井のマイク、麻酔モニターを通じて手術室のあらゆることを記録する。記録されたデータはAIにより、外科医が理解できるようにする。この装置は、扉が開いた回数から手術中に手術と無関係な会話が交わされた回数に至るまで、手術室のすべてを捕らえ、全体として記録する。

このブラックボックスは現在、マウントサイナイ病院やデューク大学病院、メイヨー・クリニックなど、米国、カナダ、西欧州の40近い施設で使用されている。しかし、病院は安全性の新時代の入り口に立っているのだろうか、それとも混乱と疑心暗鬼に満ちた環境を作り出しているのだろうか？（シマール・バジャージによる記事はこちら）

この話題は、より広い意味合いを持つ話として私の心に響いた。あらゆる分野の組織が、AIを採用して物事をより安全に、あるいはより効率的にする方法を考えている。この病院の例が示しているのは、その状況が必ずしも単純明快なものではなく、避ける必要がある多くの落とし穴があるということだ。

この記事から学べるAI導入に関する3つの教訓を紹介する。

1. プライバシーは重要だが、常に保証されているわけではない

グランチャロフ教授は、外科医にこのブラックボックスを使わせるための唯一の方法は、自分たちが起こりうる影響から守られていると感じさせることだとすぐに気づいた。そこで同教授は、行動を記録しつつも患者とスタッフの身元はどちらも隠し、さらに30日以内にすべての記録が削除されるようにシステムを設計した。ミスをしたことによって個人が罰されるべきではない、というのがグランチャロフ教授の考えだ。

このブラックボックスは、録画に写っている人物を匿名化する。声を歪め、顔をぼかし、謎に包まれたノワール小説の登場人物風に変えるのだ。そのため、何が起こったのかわかるとしても、それを特定の個人に対して利用することはできない。

しかし、このプロセスは完璧ではない。30日経過した記録が自動的に削除される前に、病院の管理者は手術室の番号、手術の時刻、患者の医療記録番号を見ることができるのだ。そのため、技術的に身元が特定できないようになっているとしても、本当の意味での匿名にはなっていない。その結果、「ビッグブラザーが見ている」という感覚が生まれると、7つの手術室にブラックボックスを設置しているデューク大学病院のクリストファー・マンティー臨床運営副部長は言う。

2. まず人々を納得させなければ、新しいテクノロジーは採用できない

当たり前の感覚として、人々はしばしば新しいツールに対し疑いの感情を抱く。そして、このシステムにプライバシーに関する欠陥があることは、スタッフが受け入れを躊躇してきた理由の一部である。多くの医師や看護師が、この新しい監視ツールを積極的にボイコットした。ある病院では、カメラが向きを変えられたり、故意にプラグを抜かれたりするなどして、妨害工作がなされた。一部の外科医やスタッフは、監視ツールが設置された部屋で働くことを拒否した。

一部のカメラが導入当初に妨害工作を受けた病院では、外科医が監視ツールに慣れるまで6カ月もかかった。しかし、スタッフが、このテクノロジーに関して設けられている安全保護措置を理解すると、物事ははるかにスムーズに進んだ。上司と1対1で話し合い、データが自動的に匿名化されたり削除されたりする仕組みを説明されると、さらに信頼するようになった。

3. より多くのデータが問題解決につながるとは限らない

実際に有用でないなら、採用自体を目的として新しいテクノロジーを採用するべきではない。しかし、AIテクノロジーが自分たちにとって有効かどうかを判断するには、いくつか難しい質問をする必要がある。一部の病院では、ブラックボックスのデータに基づく小さな改善が報告されている。デューク大学病院の医師たちは、データを利用して抗生物質の投与頻度をチェックし、時間通りに投与されているか確認している。施術と施術の間の手術室の空き時間を減らすため、このデータを活用しているという報告もある。

しかし、一部の病院には、受け入れてもらうのが難しいままだ。ブラックボックスが実際に患者の合併症を減らしたり、命を救ったりするのに役立つことを示す、大規模な査読済みの研究論文がまだ存在しないからだ。マウントサイナイ病院の一般外科部長セリア・ディヴィーノは、データが多すぎると身動きが取れなくなる可能性があると言う。「どのようにデータを解釈するのでしょうか？データを使って何をするのでしょうか？これらは常に問題となっています」。

記事の全文はこちら。

アナログ回路がGPUの代替に？

ペンシルベニア大学の研究室のテーブルの上で、物理学者のサム・ディラヴーは、色鮮やかなケーブルを網のように張り巡らせて多数の実験用回路板を接続していた。その見た目は手作り（DIY）家電プロジェクトさながらで、特にエレガントなものではない。しかし、32個の可変抵抗器を組み込んだこの慎ましい装置は、機械学習モデルのようにデータを分類することを学習できる。この試作装置が、機械学習で広く使われているエネルギー消費の大きい画像処理装置（GPU）のチップに代わる、低消費電力チップの実現につながることが期待されている。

AIチップは高価であり、また、AIブームによって拍車のかかる現在の需要を満たすには量が不足している。1つの大規模言語モデルを訓練するには、米国の家庭100世帯分以上の年間電力消費量と同量のエネルギーが必要である。また、生成AIで1枚の画像を生成すると、スマホの充電と同じくらいの量のエネルギーが使われる。ディラブーの研究チームは、より優れたコンピューティングの設計を見つけるための探索的な取り組みとして、この回路を構築した。詳しくは、このソフィア・チェンの記事で読める。

AI関連のその他のニュース

プロパガンダ工作にもAIが使われている – 企業はそのことをオープンにする必要がある。オープンAI（OpenAI）は、自社のAIツールを利用した影響操作に関する報告書を公開している。このような報告は、データ共有と共に業界の標準になるべきだと、ジョシュ・A・ゴールドスタインとルネ・ディレスタは主張する。（MITテクノロジーレビュー）

デジタルツインは、科学者が世界で最も複雑な実験をするのに役立っている。エンジニアは忠実度の高いモデルを使って運用を監視し、修正計画を立て、問題のトラブルシューティングをする。デジタルツインは人工知能（AI）と機械学習を利用して、膨大な量のデータの解釈を助けることもできる。（MITテクノロジーレビュー）

カリフォルニア州が提案したAI安全性法案にシリコンバレーが騒然としている。この法案は企業に対し、強力なAIモデルの動作を止める「キルスイッチ」の作成や、「生物兵器の作成など危険な能力」を持つシステムを構築しないことの保証、および安全性テストの報告を義務付けている。テック企業各社は、この法案が「イノベーションを妨げ」、カリフォルニア州でのオープンソース開発を抹殺することになると主張している。ハイテク業界は規制を嫌うため、この法案はロビー活動の嵐に直面することになるだろう。（フィナンシャル・タイムズ）

オープンAIがChatGPTの内部をちらりと覗き見させる。オープンAIが新たな研究論文を発表し、チャットGPT（ChatGPT）を動かしているAIモデルが機能する仕組みと、特定の概念を記憶する方法を明らかにした。この論文は、オープンAIの共同創設者イリヤ・サツケバーを含むリーダーたちが5月14日に、同社を退社することを発表した後に解散した、同社のスーパーアライメントチームによって書かれたものだった。オープンAIは、同社がAIの構築を急ぎ、リスクを無視していると主張する元従業員たちからの批判に直面している。（ワイアード）

AI検索エンジンのパープレキシティはニュースメディアのコンテンツを直接パクっている。Google検索への挑戦者ともてはやされてきた話題のスタートアップ企業、パープレキシティ（Perplexity）が、フォーブスやブルームバーグを含む複数のメディアから独占記事の一部を、帰属表示が不十分なまま流用して掲載している。これは、ニュースメディアに起ころうとしているかもしれないことの不吉な兆候である。（フォーブス）

信頼できるニュースサイトのように見えたが、実はAI盗品の販売店だった。何百万人もの読者を集め、国際的な記者チームを擁し、マイクロソフトとパブリッシャー契約を結んでいた「BNNブレーキング（BNN Breaking）」という名前のサイトが、実はAIが生成した間違いだらけのコンテンツの受け売りをしていただけだったという荒唐無稽な話。（ニューヨーク・タイムズ）

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。