Read Time:1 Minute, 50 Second

NEC、130 億パラメーターで世界トップクラスの日本語性能を有する軽量な LLM を開発（2023 年 7 月 6 日）：プレスリリース｜NEC

NEC（日本電気株式会社）が、Generative AI（生成 AI）における日本語大規模言語モデル（Large Language Model）を開発したことを発表しています。

本 LLM（Large Language Model）は独自に収集、加工した多言語データを利用し、開発したファウンデーションモデルとなり、独自の工夫によって高い性能を実現しつつもパラメーター数を 130 億に抑えることで、消費電力を抑制するだけでなく、軽量、高速になっており、クラウドだけでなく、オンプレミス環境での運用も行えます。

なお、性能面においては、日本語の知識量や文章読解力を計測する日本語の一般的なベンチマークで、世界トップクラスの日本語能力を実現しているとのことです。

また、同社では、本 LLM（Large Language Model）の社内業務における活用も実施し始めており、文書作成のほか、社内システム開発におけるソースコードの作成業務など、様々な作業での業務効率化に導入しています。

昨今、”ChatGPT” を始めとした Generative AI（生成 AI）が世界的に注目を集めており、様々な業界での急速な活用が進んでいます。
しかしながら、既存の “LLM（Large Language Model）” のほとんどは英語を中心に学習されていることから、高い日本語性能を有しつつも、各業種の業務で活用するためのカスタマイズに対応した LLM（Large Language Model）は、ほぼない状況となっています。
今回、NEC（日本電気株式会社）では自社での “LLM（Large Language Model）” を開発することで、よりビジネスでの活用を加速させ、企業の生産性向上にも寄与するとのことです。

NEC（日本電気株式会社）の “LLM（Large Language Model）” のポイント

高い日本語能力

“LLM（Large Language Model）” を実際の業務で利用するためには、日本語に関する知識量や文章読解力の点で高い性能が求められます。
本 “LLM（Large Language Model）” を自然言語処理分野で標準的なベンチマークである日本語言語理解ベンチマーク “JGULUE（Japanese General Language Understanding Evaluation）” を利用して評価したところ、現時点の知識量に相当する質問応答で 81.1 %、推論能力に相当する文章読解においても 84.3 % と世界トップレベルの性能を達成しており、様々な業種における業務で十分な機能を発揮することが期待されます。

軽量

本 “LLM（Large Language Model）” では高い性能を有しながらも NEC（日本電気株式会社）独自の技術によって、130 億のパラメーターとモデルサイズがコンパクトに抑えられています。
これにより、高い性能を有する従来の “LLM（Large Language Model）” が多数の GPU を必要とするのに対して、本 “LLM（Large Language Model）” では GPU 1 枚を搭載した標準的なサーバーによる動作が行えるようになっています。
また、”LLM（Large Language Model）” を組み込んだ業務用アプリケーションはレスポンス良く動作しつつも、業務運用時の電力消費やサーバーコストを抑えることも可能になっています。
さらに、ユーザーの業務に特化させた “LLM（Large Language Model）” を短期間で容易に構築できることに加えて、オンプレミス環境での動作も可能なため、秘匿性の高い業務においても安心して利用できます。
各 “LLM（Large Language Model）” の特徴の 1　つとして、パラメーターサイズの大小が用いられることが多々ありますが、パラメーターのサイズを増やした場合、推論速度の低下やモデル運用に必要な GPU の枚数増加、消費電力の増加にもつながるため、同一性能であればパラメーター数は少ないことが望まれます。
本 “LLM（Large Language Model）” ではパラメーターサイズのほかにも、学習に利用された高品質なデータ量や学習時間に左右されることに着目して開発されており、パラメーターサイズを GPU 1 枚で動作する範囲に抑えた上で、多量のデータと膨大な計算時間をかけることで高い性能を実現しています。
また、NEC（日本電気株式会社）では、2023 年 3 月より、国内企業で最大の AI 研究用スーパーコンピューターの全面稼働を開始しています。
本 “LLM（Large Language Model）” では、これを活用することで約 1 ヶ月という短期間での高性能な “LLM（Large Language Model）” の構築を実現しています。
なお、今後はファウンデーションモデルをもとにユーザーのクローズドデータを用いた個社向け “LLM（Large Language Model）” の開発を推進していくほか、ファウンデーションモデル自体の性能改良にも取り組み、これらの技術を “NEC Generative AI Hub” を通じて早期実用化を行う予定とのことです。