APIの使用料削減法2023/11/04に公開2023/12/06GPTOpenAIChatGPTtechはじめに最近、とくにゲーム業界で対話型AIキャラクターとしてGPTが使われる事例が増えています。APIとの通信が毎回発生し、コストがかかる点です。この記事で紹介する方法は、以前に受けた質問とその回答をキャッシュしておき、新たな質問がきた場合には類似度を計算し、一定以上の類似度があれば前の回答を再利用するというものです。APIの使用量と費用を節約できます。今回は、提案手法にしたがって以下のコードを実現しました。詳細に関してはコードのコメントを参照してください。"ご自身のAPIキーをしようしてください。GPTCacheWithSentenceTransformers()実験手法このコードを使って、どの程度文章の類似度が高ければ回答が再利用され、低ければ新しい回答が生成されるのかをテストします。以下のような文章で試します。good?以下のPythonコードでGPTに質問を投げてみます。以下のような結果が出ました。movies.このように、文の類似度に基づいて効率的にAPI使用量を減らせることが示されました。おわりに本研究により、類似性の高い文章が繰り返し送られる場面において、過去のキャッシュを利用してAPI使用量を削減する新しい手法を開発しました。これにより、リソースの効率的な活用が可能となりました。キャッシュする文章の量についての選定は、今後の課題として残っています。この記事が役立つと感じた方は、いいねとフォローをお願いします。広夢Unityエンジニアとしてモバイルゲームアプリの開発に従事。バッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。バッジを贈るDiscussion広夢Unityエンジニアとしてモバイルゲームアプリの開発に従事。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。