フラッシュ2024年4月2日

• 人工知能（AI）

  パークシャ、RetNet採用の大規模言語モデルを開発

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発スタートアップのパークシャテクノロジー（PKSHA Technology）は3月28日、レテンティブ・ネットワーク（Retentive Network：RetNet）を採用した日英大規模言語モデル（LLM）を開発し、2024年4月から段階的に実運用を開始する予定だと発表した。最初の対象領域としては、コンタクトセンターや社内ヘルプデスクを想定している。

  RetNetはマイクロソフトの研究開発機関であるマイクロソフト・リサーチ（Microsoft Research）が、LLM向けに開発した新たなアーキテクチャである。「チャットGPT（ChatGPT）」をはじめとする現在公開されているLLMの主流アーキテクチャである「トランスフォーマー（Transformer）」に比べて学習速度、長文入力時の推論速度やメモリー効率が優れているうえ、同等以上の精度を持つことが示されている。PKSHAは、RetNetを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとしている。

  モデルのパラメーター数として同社は、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメーターを採用。日本語の新聞2ページ分の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能であり、入力情報量が多くなるほど優位性が高まるという。

  PKSHAは、今回のモデルの開発にあたり、マイクロソフトが研究開発した深層学習フレームワーク「ディープスピード（DeepSpeed）」を採用。並列分散処理におけるLLM学習ノウハウとアジュール上のGPUサーバー群の提供を日本マイクロソフトから受けている。

  （中條）

  • 3

• 人気の記事ランキング

  1. AI crawler wars threaten to make the web more closed for everyone 失われるWebの多様性——AIクローラー戦争が始まった
  2. Promotion Innovators Under 35 Japan × CROSS U 好評につき第2弾！研究者のキャリアを考える無料イベント【3/14】
  3. Inside the race to archive the US government’s websites 米政府系サイトが続々閉鎖、 科学者らが緊急保存作戦
  4. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
  5. Supersonic planes are inching toward takeoff. That could be a problem. 超音速旅客機が再離陸に向けて加速、環境との両立は可能か？