~AIの力をビジネスに~Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。Tuningする方法について紹介します。Faceの公式ブログを参照にしています。本コードではffmpegのversion4が必要になるためバージョンをアップデートします。ffmpeg以下で必要なPythonパッケージをインストールします。Hubへのログインを行います。最初にデータセットのロードを行います。利用にあたり、利用規約に事前に同意する必要があります。Hindi語はデータセット内に含まれているリソースが少ないため、trainとvalidationを結合して学習用データとし、testを評価用データとして使います。不要なMetadataも削除してしまいます。"up_votes"])print(common_voice)以下でWhisperの学習ずみ特徴量抽出器とTokenizerをロードします。task="transcribe")特徴量抽出器とTokenizerを1つのクラスで利用できるようWhisperProcessorも用意します。task="transcribe")データ前処理​CommonVoiceをWhisperで利用可能にするためにサンプリングレートを16Kにします。Audio(sampling_rate=16000))以下の関数を利用することでWhisperの学習に必要な前処理を行うことができます。map関数を使って実際にデータセットに関数を適応します。num_proc=2)学習と評価​Whisper用のDataCollatorを準備します。(WER)を用いることとします。evaluate.load("wer")今回のWhisper学習用のcompute_metricsを定義します。Checkpoint​Whisperの事前学習済みモデルを読み込みます。generation以下に学習用のハイパーパラメータを定義します。以下のコードで実際に学習を行います。学習にはGPUによりますが5~10時間程度がかかります。WERが約32%となりました。Tuningしました。Tuningを行うことができました。UsCompanyStackshare採用情報ニュース。