フラッシュ2023年7月25日

• 東大発スタートアップ、67億パラメーターの日本語LLMをOSSで公開

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東京大学発のスタートアップ企業であるLightblue（ライトブルー）は、公開モデルとしては国内最大規模の67億パラメーターの日本語大規模言語モデルを開発し、オープンソース・ソフトウェアとして公開した。ライセンスはApache 2.0。

  この言語モデルは、米モザイクML （MosaicML）が公開した多言語大規模言語モデル「MPT-7B」を基にしたもの。グーグルが開発した多言語データセット「MC4」をアレン人工知能研究所（Allen Institute for AI）がそれぞれの言語ごとに利用可能にしたサブセットの日本語部分を使って追加学習した。

  Lightblueは、今回公開したモデルを法人向けに提供する。業界用語や部署特有の専門用語、慣習などに合わせて訓練・調整することで、企業や部署によって異なる要望に応じるという。加えて、自社サービスの提供も予定しているとのことだ。

  （笹田）

  • 6

• 人気の記事ランキング

  1. The winners of Innovators under 35 Japan 2024 have been announced MITTRが選ぶ、 日本発U35イノベーター 2024年版
  2. Kids are learning how to make their own little language models 作って学ぶ生成AIモデルの仕組み、MITが子ども向け新アプリ
  3. AI will add to the e-waste problem. Here’s what we can do about it. 30年までに最大500万トン、生成AIブームで大量の電子廃棄物
  4. This AI system makes human tutors better at teaching children math 生成AIで個別指導の質向上、教育格差に挑むスタンフォード新ツール