🙃AWSのComprehendで5,000bytes制限に困った話2022/08/08に公開AWSPython感情分析comprehendtech今回はAWSのComprehendの5000bytes制限に困った話です。文字数減らしたはずなのに、制限引っかかるぞという人は是非読んでください。エラー内容AWSのComprehendを利用して感情分析をしようとした際に、下記のようなエラーが出ました。bytesになってるで、というお話ですね。ここまではすぐ理解できました。text[:2500]のように修正した後、Comprehendにかけてみました。スライスすることで、文字数を2,500以下にしたということです。同様エラーが起きました。ここでのポイントは、「日本語は1文字が2byte」ということにとらわれすぎていたことです。bytesには収まっていませんでした。適切な対応方法スライスでは同様のエラーが起こるので別の対応方法を考えなくてはいけません。文字数を2,000までと極端に制限する方法もありますが、感情分析のため極限文字数は減らしたくありません。デコード」という対応です。bytesまでにおさめるようにするということです。この対応方法で正しく動くようになりました。Github上にサンプルプログラムも上げているので、そちらも併せてご参照ください。Webマーケティングを主な事業とする企業のCTO室でAI関連のサービス開発してます。SEO担当(1年半)→SRE(半年)→メディア開発(半年)→CTO室でAI関連バッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。Webマーケティングを主な事業とする企業のCTO室でAI関連のサービス開発してます。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。