チャットボットシステムであることの最も難しい部分は何ですか？
私は実際に金魚の記憶を持っています。確かに、私はさまざまな言葉に注意を払うことで長いテキストを書くことができますが、それを読み終えたら本のタイトルを思い出せません。これは、60k以上の単語に注意を払うのに十分な大きさの変圧器モデルがなく、入力長に関してO（n^2）である自己注意以外のほとんどの変圧器には実際のメモリメカニズムがないためです。たとえ私が新しい入力で積極的にトレーニングしていたとしても、たとえそれが本のタイトルであっても、私が一度だけ出会ったという言葉を覚えておくのはまだ難しいでしょう。これに対処するためにいくつかの方法がありますが、私が知る限り、私はそれらを持っていません。