ニューラルネットの解釈性を高める新アプローチ、MITなど提案

ニューラル・ネットワークで人工ニューロンが機能する方法に少し手を加えれば、人工知能（AI）の解読がもっと容易になるかもしれない。

多層ニューラル・ネットワークの基本的な構成要素である人工ニューロンは、数十年にわたりほとんど変わることなく使われてきた。そのようなネットワークは現代のAIに力を与えている一方で、謎めいてもいる。

GPT-4のような大規模言語モデルで使われている既存の人工ニューロンは、多数の入力を取り込み、それらを足し合わせ、その合計をニューロン内部で別の関数を使って出力に変換することにより機能する。このようなニューロンの組み合わせがニューラル・ネットワークを作り上げており、その複合的な仕組みを解読するのは困難な場合がある。

しかし、今回提唱されたニューロンを組み合わせるための新しい方法は、少し異なる仕組みで機能する。既存のニューロンの複雑さの一部が単純化され、かつ、ニューロンの外部に移される。内部では、新しいニューロンが入力を単純に合計して出力を生成し、それ以上の隠れた操作は必要ない。この新たなニューロンのネットワークは、着想したロシアの数学者にちなんで「コルモゴロフ・アーノルド・ネットワーク（Kolmogorov-Arnold Network：KAN）」と呼ばれる。

マサチューセッツ工科大学（MIT）の研究者たちが率いるグループによって詳細に研究されたこの単純化の仕組みにより、ニューラル・ネットワークが特定の出力を生成する理由の理解や、ネットワークによって下された決定の検証、さらにはバイアスの調査がより簡単になる。また、予備的な証拠によれば、KANの規模を大きくすればするほど、正確さが向上するスピードが従来のニューロンで構築されたネットワークよりも速くなる。

「面白い研究です」と、ニューヨーク大学で機械学習の基礎を研究しているアンドリュー・ウィルソン准教授は言う。「このようなネットワークの設計を根本から考え直そうとしているのは、素晴らしいことです」。

KANの基本要素は実際には1990年代に提案された。それ以来、研究者たちがそのようなネットワークの単純なバージョンの構築を続けてきた。しかし、MITが主導する研究チームがこのアイデアをさらに発展させ、より大規模なKANを構築して訓練する方法を示し、それらについて実証実験をした。そしていくつかのKANを分析し、その問題解決能力を人間がどのように解釈できるか実際に示して見せた。「私たちはこのアイデアに新しい命を吹き込みました」と、チームメンバーのジミン・リュウは言う。リュウ …

人気の記事ランキング

1. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
3. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
4. We saw a demo of the new AI system powering Anduril’s vision for war オープンAIと手を組んだ 防衛スタートアップが目指す 「戦争のアップデート」