LLM（Large Language Model）は「大規模言語モデル」のことを指します。これを簡単に言うと、たくさんの文章を使って勉強したコンピュータの頭脳で、人工知能（AI:Artificial Intelligence）の一種です。
たとえば、たくさんの本やウェブサイトの記事を読んで学んだことをもとに、人間が書いたり話したりするような文章を作り出すことができます。コンピュータが文章の意味や文のつながりを理解するために、大量のデータを使って学習しています。
人間がたくさんの教科書やノートを見て勉強するのと同じように、LLMもたくさんの情報を見て学んでいるので、人間と会話したり、質問に答えたりすることができるようになります。
LLMの現在（2024年）
そして、LLMの学習には、スケーリング則（Scaling Law）という法則が知られています。これは簡単に言うと、たくさんのデータを学習すればするほど頭が良くなるという法則です。
法則として分かったからこそ、有名なAI企業は大金を投じて、かけたお金に応じた優秀なLLMを開発することができています1。しかも、この法則は言語だけでなく、画像、動画、言語＆画像などでも判明しています。
ひとまずは、Scaling Lawによって、言語、動画、音声によってどこまでLLM2の頭が良くなるか、あとは同じようなデータからどこまで高度なLLMを作ることができるかが動向として気になります。
LLMの展望（2025年以降）
将来的には、LLMはどこまで頭が良くなるのでしょうか？これには、いくつかの問題が絡みます。
一つ目は、コストの問題です。LLMの学習には、大量の電気を使用します。お金もかかるし、熱も発生します。データを保存しておくストレージやデータ通信など、環境を整える必要があり、これにも多くのお金が必要です。
二つ目は、データの量の問題です。たくさんのデータを学習すればするほど頭が良くなりますが、高品質な言語データは2026年に、低品質な言語データは2030年頃に不足してくるのではないかと言われています。データ数に限度があるのでLLMの頭の良さもこのままでは限界が来ます。
一つ目の課題に対しては、新規半導体開発、核融合発電、光電融合、オルガノイド知能、などの研究が進められています。
二つ目の課題に対しては、学習手法、アーキテクチャの改良、高品質なデータ、メタ学習、などの研究が進められています。
LLMの性能の限界は不明ですが、少なくとも一人の人間が学びきれるよりもはるかに多くの情報を休むことなく処理できます。
人が得意とすること、LLMのようなAIが得意とすること、それぞれの長所を活かしながら、人とAIが協働的により良い世界を作り出していければいいなと思います。
コメント