フラッシュ2023年10月23日

• 人工知能（AI）

  NII、130億パラメーターの大規模言語モデルを公開

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  国立情報学研究所（NII）は、130億パラメーターの大規模言語モデル「LLM-jp-13B」を公開した。NIIが主宰し、大学や企業から500名以上が参加する「LLM勉強会」が7月から構築を始めたもので、事前学習とチューニングが完了したことから公開された。

  LLM-jp-13Bはパラメーター数が130億で、約1450億トークンの日本語コーパス、約1450億の英語コーパス、約100億トークンのプログラムコードで学習させた。学習にはデータ活用社会創成プラットフォームmdx（エヌビディアのGPU「A100」96基）を使用し、モデル構築にはマイクロソフト・リサーチが開発したDeepSpeedを利用した。

  現時点では開発初期段階であり、モデルの性能を示す評価値は国内で公開された他のモデルと同程度だとしている。NIIは今後、産業技術総合研究所（産総研）や東京工業大学と協力して世界トップ級のLLMの構築を進めるとしており、産総研のAI橋渡しクラウド（ABCI）を利用して1750億パラメーターの大規模言語モデルの構築に着手しているという。1750億パラメーターはオープンAI（OpenAI）のGPT-3に匹敵する規模となる。

  （笹田）

  • 4

• 人気の記事ランキング

  1. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
  2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
  3. 3 things that didn’t make the 10 Breakthrough Technologies of 2025 list 2025年版「世界を変える10大技術」から漏れた候補3つ
  4. How to use Sora, OpenAI’s new video generating tool オープンAIが「Sora」を一般公開、最長20秒の動画を生成