青空文庫やプロジェクト杉田玄白などの作品について,日本語文と英語文との対訳文対応を付けたもの。日本語はChasenで分かち書きされてるのでくっつける。英字まじりの文をまとめて削除'''いろいろ見直した結果、日本文に英字が10文字以上連続で入ってるやつは全部削除したほうがよさそうなので消す。この操作、################/tortoise.alml/################みたいな作品タイトル行も除去できる。「he」を具体的な名前で和訳している箇所の意味が分からなかったりする。そこで、適当だが、2文ずつ連結することで、全体的にやや長い対訳サンプルにする。それをやるとサンプルが半分になって3万件程度になる。augmantationを行う(全く同じ文はないことになるのでOK。)このコーパスは質が高いので、多めに取っておきたいというのもある。本データセットは\n付いたまま処理する。日本語で35文字以上200文字未満を取る。みたいなのばっかりになるのでよくないっぽい。print('\n')''''''スコア0.6から0.8まで、0.05刻みで階級をつくり、各階級から30の対訳ペアをランダムに抽出して、ChtGPTに「適切な訳かどうか」をgood/badで評価させたところ、以下のとおり。・日本語文と英語文の長さの比が極端なものを削除することにする。R、Pythonの勉強の過程をメモっていくノートです。初心者なのであまり信用なさらぬよう。間違いについてはコメント等でご指摘頂ければ幸いです。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。