BP_LocalLLM_Exampleにあります。Mapのマップでテストできます。Settingで下記の設定を編集します。Type:モデルのパスの種類。絶対パスで指定するかプロジェクトの相対パスで指定するか。Path:使用する機械学習モデルのファイルのパスを指定します。CPUとGPUのどちらを使うかを指定します。Layers:GPUを使用する場合、GPUで実行するモデルのレイヤー数を指定します。Settings:LoRAを使用する場合、LoRAのファイルパスと強度を指定します。Prompt:LLMの役割や基本的な指示を記載します。History:これまでの会話の履歴を記載します。後述する状態の保存を使わない場合に、過去の会話の続きから再開したい場合に使用します。これらのいずれも「LLMの初期化時に一番はじめにLLMに入力されるプロンプト」です。Historyは会話が長くなりすぎると破棄されうることです。これは、LLMに入力できる文字列の長さ(コンテキスト長)には限りがあるためです。Settingで設定します。Promptの例ロールプレイをします。あなたは優秀なエンジニアです。あなたは「Assistant」として発言します。「User」の発言に対して、適格なアドバイスをします。アドバイスは端的に短い言葉で行ってください。会話の例を下記に示します。エラーメッセージをちゃんと読みましょう。そのエラーメッセージでググりましょう。マニュアルがある場合は、目を通しておくことも重要ですよそれでははじめましょう。SettingLLMとの間で会話形式でのやりとりのためのプロンプトの加工方法を設定します。Templateで選択できます。UserとAssistantの二人の会話となるように自動設定します。Settingで会話例などを記述している場合はその内容と一致させておく必要があります。Instruction:Instruction形式に設定します。Alpacaモデル等で使用します。ChatML:ChatML形式に設定します。ChatMLの文法で訓練されたモデルで使用します。Noneの場合、テンプレートを使わず手動で下記の値を設定します。Antiprompts:LLMがこのフレーズを出力した場合、出力を停止します。「User:」と設定することで、ユーザーが発言する順番になったときに生成を停止させることができます。リバースプロンプトまたはStopキーワードとも呼ばれます。Prefix:Antipromptsによらずに出力が停止した場合に、次のユーザの入力の先頭に自動的にAntiprompts(の配列の一番はじめのもの)を付与するかどうか。指定し、EOSでLLMの出力が停止すると、自動的に次のプロンプトに「User:」が追加されます。bAddAntipromptAsPrefix=trueで、Antipromptによらずに出力が停止した場合にPromptに付与する「接頭辞としてのAntiprompt」に対する接頭辞。「User:」の前に改行を追加するために使用できます。bAddAntipromptAsPrefix=trueで、Antipromptによらずに出力が停止した場合にPromptに付与する「接頭辞としてのAntiprompt」に対する接尾辞。「User:」の後にスペースを追加するために使用できます。Suffix:ユーザの入力の直後に付与する文字列。ようなプロンプトを追加するのに便利です。Ctx:テキスト生成時にモデルが使用するコンテキスト長(トークン数)。これを大きくすると、長い入力や長い会話に対する応答が可能になります。Promptのうちいくつのトークンを保持するか。Promptのすべてのトークンを保持します。64)に自動的に設定されます。トークンの中で会話をしていくことになります。ユーザからの入力とLLMの出力のそれぞれでこの212トークンを消費していき、残りが32トークン以下となったところで過去の入出力の一部が破棄されます。破棄されるトークン数は下記のパラメータで設定します。指定した数だけ破棄します。ニーズに応じて微調整するための設定。詳細は各項目のツールチップまたはLocalLLMStruct.hのコメントをご覧ください。詳細は各項目のツールチップまたはLocalLLMStruct.hのコメントをご覧ください。SettingLLMに入力するプロンプトで改行などを扱うための変換処理の設定。詳細は各項目のツールチップまたはLocalLLMStruct.hのコメントをご覧ください。3.テキスト生成の開始プロンプトと呼ばれる文字列を入力し、LLMにテキストの生成開始を指示する処理を作成します。Generation関数を呼び出します。テキストの生成自体は非同期に実行されます。生成結果の取得方法は「4.結果の取得」をご覧ください。Generation関数を呼び出し、新たなプロンプトを入力することができます。LLMコンポーネントの下記イベントから結果を取得する処理を作成します。イベントは、モデルが回答中の、中間的な結果を提供します。イベントは、モデルの回答が完了した後に、最終的な結果を提供します。それぞれ、下記の結果が渡されます。LLMからの出力文字列の末尾にAntipromptが見つかった場合はその文字列。見つからなかった場合は空。テキスト生成が停止した理由。Setting関数を呼び出します。現在の会話履歴等は全て破棄され、新たな設定でモデルの初期化が行われます。Generation関数を呼び出すと、プロンプトに対する回答を途中で強制終了できます。Hisotry変数に、実際にLLMが処理した入出力が書き出されます。