フラッシュ2024年2月21日

• 人工知能（AI）

  Transformerの化学言語モデルはキラリティ認識が苦手

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学の研究チームは、深層学習モデルのTransformer（トランスフォーマー）が多様な化合物構造を学習していく過程で、特定の部分を苦手としていることを発見した。深層学習モデルは薬学研究でも活用されており、化合物構造を自然言語処理を使って数値へ変換する化学言語モデルが使われている。ただ、深層学習モデルが多様な化合物構造をどのように認識し、学習しているのかは明らかになっていなかった。

  研究チームは、深層学習モデルは学習を重ねるごとに精度が向上していく点に着目して、学習の進捗に応じてTransformerの性質がどのように変遷するのかを調べた。その結果、学習開始早々に、化合物構造を表現する文字列の部分的な学習が完了するが、文字列全体の学習には時間がかかることを確認。さらに、学習経過が異なる複数のモデルを用意し、それぞれで化合物の毒性や物性を推定させたところ、学習経過に関係なく、学習初期段階からほぼ同等の精度となることを発見した。この検証の最中に、深層学習モデルの学習が確率的に滞る現象を確認し、原因を探索した。

  その結果、化合物の立体的特性であるキラリティを表現する文字（@、@@）を見出したことから、キラリティの認識がTransformerモデルの学習に大きく影響することが分かった。加えて、原子ごとの精度を評価する際にもキラリティの学習が遅いことも分かった。さらに、この分野で頻用するSMILES（Simplified Molecular Input Line Entry System）表現やInChI（International Chemical Identifier）表現でも同様の現象を確認できた。

  研究成果は2月16日、ネイチャー・コミュニケーションズ（Nature Communications）にオンライン掲載された。

  （笹田）

  • 3

• 人気の記事ランキング

  1. AI crawler wars threaten to make the web more closed for everyone 失われるWebの多様性——AIクローラー戦争が始まった
  2. Promotion Innovators Under 35 Japan × CROSS U 好評につき第2弾！研究者のキャリアを考える無料イベント【3/14】
  3. Inside the race to archive the US government’s websites 米政府系サイトが続々閉鎖、 科学者らが緊急保存作戦
  4. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
  5. Supersonic planes are inching toward takeoff. That could be a problem. 超音速旅客機が再離陸に向けて加速、環境との両立は可能か？