フラッシュ2024年2月7日

• 人工知能（AI）

  PFE、1000億パラメーターのマルチモーダル基盤モデル開発へ

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  人工知能（AI）スタートアップ、プリファード・ネットワークス（Preferred Networks）の子会社であるプリファード・エレメンツ（Preferred Elements：PFE）は2024年2月2日、1000億パラメーターのマルチモーダル基盤モデルの開発、および、1兆パラメーターの言語モデルの開発に向けた事前学習の検証に着手すると発表した。

  同社の今回の取り組みは、経済産業省と新エネルギー・産業技術総合開発機構（NEDO）が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1つとして、基盤モデル開発に必要な計算資源の提供支援を受けて実施されるもの。研究期間は2024年2月15日から同年8月15日を予定している。

  1000億パラメーターのマルチモーダル基盤モデルの開発においては、（1）事前学習と追加学習、（2）指示学習・画像モーダル向けの事前学習と追加学習、（3）音声モーダル向けの追加学習などを研究。1兆パラメーターの大規模言語モデルについては、事前学習の検証を実施する。

  成果物は、安全性などを検証したうえで、1000億パラメーターのモデルのウェイトやファインチューニング用コード、学習課題やノウハウを、GENIACの基盤モデル開発事業者コミュニティや講演などを通じて公開する。プリファード・エレメンツは、複数の企業や行政機関と2024年中の利用開始に向けた議論を始めており、商用化に向けた準備を進めていくとしている。

  （中條）

  • 2

• 人気の記事ランキング

  1. AI crawler wars threaten to make the web more closed for everyone 失われるWebの多様性——AIクローラー戦争が始まった
  2. Promotion Innovators Under 35 Japan × CROSS U 好評につき第2弾！研究者のキャリアを考える無料イベント【3/14】
  3. Inside the race to archive the US government’s websites 米政府系サイトが続々閉鎖、 科学者らが緊急保存作戦
  4. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
  5. Supersonic planes are inching toward takeoff. That could be a problem. 超音速旅客機が再離陸に向けて加速、環境との両立は可能か？