会話型AIの長期的な記憶はどのように機能しますか？
通常、長期的な記憶は、コンテキストウィンドウが限られているため、会話型AIのLLMの問題です。これらの制限を回避するために、「要約」アプローチを使用して、コンテキストウィンドウのトークン数を減らすことができます。会話がコンテキストウィンドウの制限を超えるときはいつでも、より短い要約に置き換えます。これは、必要なだけ頻繁に行うことができます。理論的には、要約アルゴリズムが十分に良好である限り、重要な部分は長い間留まります。