クリーニングファインチューニングインストラクションチューニングプレファレンスチューニング目次を開くAI技術の急速な発展により、日常生活やビジネスに大きな変化を体験した人も多いだろう。Models:大規模言語モデル)の発展が目覚ましい。TECH+でも、多くの活用事例や最新技術を紹介している。その仕組みや専門用語を理解するのは、意外と難しい。そこで本連載では、生成AIやLLMに関連する用語について解説する。日々のビジネスや資格取得に向けた勉強、弊誌をはじめニュース記事を読む際の補足として活用してほしい。Intuitionsのエンジニアリングチーム。学習率とは、一般にニューラルネットワークモデルの学習に用いられる勾配法において、パラメータの更新度合いを表す指標。∇Lと更新される(αが学習率)。∇Lは勾配と呼ばれるその時点までのパラメータによる予測結果と正解との差を表す損失(ロス)の偏微分であり、それに掛かる学習率αは、重要なハイパーパラメータの一つ。学習を通して定数とする場合や、学習ステップとともに変化していく値として設定する場合もある。(2.5×10^-4)を最大とし、次第に下げていくように設定している[1]。ニューラルネットワークモデルに汎用的な知識を持たせるため、大量のデータを用いて行なう教師なし学習(厳密には自己教師あり学習)のこと。この事前学習タスクを行うことで、個別のタスクを解くための大規模な学習を行なうことなく数個の例をプロンプトに含めること(Few-Shot)のみでそのタスクの傾向を読み、解けるようになる。「Sarashina2」の構築に用いた事前学習データは約2.1兆トークンあり、そのうち日本語は約1兆トークン含まれている[2]。大規模な日本語の事前学習言語モデルSarashina1・2の公開https://www.sbintuitions.co.jp/blog/entry/2024/06/26/115641クリーニングLLM構築の文脈では、クリーニングは学習データ(コーパス)をモデルの学習前に処理しておくことを指す。コーパスの主なデータ源はインターネットから広く収集されたテキストであるが、ここには学習の際にノイズとなるテキストも大量に含んでいる。クリーニングの目的はこのノイズを取り除くことにある。ノイズとなるテキストの例として、広告由来のテキストで商品に関連する名詞が繰り返されているもの、メニューやタグに由来する文字列、テンプレートを基に単語を差し替えて機械的に生成されているような文などが挙げられる。(新里)ファインチューニングファインチューニングとは、事前学習済みモデルを別のデータセットを使って再トレーニングすることでモデルのパラメータを調整し、各タスクの性能を強化することを指す。LLMでは対話など特定のタスクに適応させるための手法として使われる。LLMは汎用的な言語理解能力を獲得しているが、そのままでは特定のタスクで高い性能を発揮することが難しい。ファインチューニングでは、LLMを基にタスク固有の高品質なデータを用いて追加学習を行う。この際、モデルのアーキテクチャは変更せず、パラメータのみを更新する。ファインチューニングによりLLMの汎用的な知識を生かしつつ、タスクに特化した応答性質や知識を獲得することができる。Tuning)は、LLMが人間の指示に従った文章を生成するようにファインチューニングを行う手法である。ことでテキストを生成するが、そのままだと人間の指示に従う能力が限定的である。そこで、モデルに対し「指示」と「理想的な応答」のペアを大量に与えてファインチューニングを行うことで、ユーザーが指示を入力した際にその指示に沿った応答を生成する能力を向上させる。これにより、LLMがユーザーのニーズに応じた情報提供やタスク支援を効率的に行えるようにする。事前学習が自己教師あり学習なのに対し、インストラクションチューニングは「指示と応答」を利用する教師あり学習である。Tuning)は、LLMが生成する出力を人間の好みに基づいてファインチューニングする手法である。ある入力に対するモデルの応答候補のペアに対して、ユーザーやアノテーターが好ましい方を選択することで、好ましい応答と好ましくない応答のペアを作成する。Optimization(DPO)などの学習アルゴリズムを用いて、好ましい応答の生成確率を高め、好ましくない応答の生成確率は下げるように学習することで、特にモデルが生成する応答の安全性や信頼性を向上させ、不適切な内容や誤解を招くような出力を抑制する。これにより、モデルがユーザーの期待や好みにより沿った、安全で信頼性の高い応答を生成できるようにする。Intuitionsへ出向。現在はLLMに長文入力を行う手法や、既存の学習済みモデルをより大きなモデルの学習に使い回す手法の試行、マルチモーダル対話システムの開発などに従事。Intuitionsに転籍入社。大規模言語モデルの構築を行うチームに所属し、学習データの構築基盤の開発などを担当。Intuitionsに転籍入社。大規模モデルの安全性に関する研究を行うチームに所属しており、現在は自社製言語モデルの安全性を高めるプロジェクトを担当。PCをさまざまシーンで体験できるラボを大手町に開設キャリア/スキルリコー、飛騨地域の学習環境開発プロジェクトをAIエージェントで支援ものづくりEVシフトに対応するヤマザキマザック新製品に注目。Intuitions※本記事は掲載時点の情報であり、最新のものとは異なる場合があります。システムやソフトウェアの開発に携わるエンジニアに向けた最新情報など仕事に役立つ話題などを提供していきます。Corporation。