フラッシュ2023年9月29日
-
人工知能(AI)
PFN、日英2言語対応の大規模言語モデル
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]Preferred Networks(プリファード・ネットワークス、PFN)は、日英2言語対応の事前学習済み大規模言語モデル「PLaMo-13B」を開発。オープンソース・ソフトウェアとしてApache License 2.0で公開した。パラメーター数は130億で、日英2言語を合わせた能力では世界トップ級の性能だという。
深層ニューラルネットワークの基本構造は、メタAI(Meta AI)が開発した「LLaMA(Large Language Model Meta AI)」を踏襲し、今後の拡張に備えて手を加えたものを採用した。学習用データはオープン・データセットを基にPFNが独自に収集・加工した、1.4兆トークンの日英2言語のデータセットを使用。産業技術総合研究所の「AI橋渡しクラウド(ABCI)」を利用し、エヌビディアのGPU「A100」480基で1カ月弱の学習を実施したという。
ベンチマーク・テストでは、日本語能力では東京大学の松尾研究室が公開した「weblab-10B」を超え、英語能力ではメタAIの「LLaMA-2 7B」と同程度という結果が出た。この結果からPLaMo-13Bは、日本語を学習した大規模言語モデルの性能としてはトップ級で、他の日本語モデルに比べて優れた英語能力を持つとしている。
PFNは今後、PLaMo-13Bを基にした事前学習モデルや、指示学習させたモデルも公開する予定だ。
(笹田)
-
- 人気の記事ランキング
-
- A skeptic’s guide to humanoid-robot videos すごすぎる人型ロボット動画、騙されないためのチェックポイント
- A new way to build neural networks could make AI more understandable ニューラルネットの解釈性を高める新アプローチ、MITなど提案
- Ray Kurzweil: Technology will let us fully realize our humanity レイ・カーツワイル:テクノロジーがもたらす人間性の完全な実現
- AI and the future of sex 生成AIが仕立てる究極のポルノで「性」はどう変わるか?