低品質の会話データを自動的に除外するツールはありますか、それともこれを手動で行う必要がありますか？
確かに、データクリーニング方法に関する調査で提供される3つのデータクリーニングソリューションのリストです。（出典：https：//arxiv.org/abs/2109.07127）

1.クリーンのサンプル：kのダーティ列の量をリストすることにより、サンプルクリーンは、未装備の行からの情報に基づいて指定されたデータを書き直します。それは、汚れた列を書き直し、虚偽やさまようアイデアにつながるという事実に関係しています。

2.アクティブクリーン：サンプルクリーンでアクティブクリーンのサンプルのフォローアップとして開発された代わりに、データセット全体からサンプルを採取し、汚れたデータが寄与しているものをより正確にエミュレートしようとします。。欠点は、他の方法よりも少し手持ちであり、ユーザーがモデルを選択し、クリーニングを停止するときに指定するように依頼することです。

3. Holo Clean：別のAI駆動型ソリューションであるHolo Cleanは、モデルを使用してクリーンデータとダーティデータの両方を分析し、データ分析を使用して、腐敗が発生する可能性が高い領域を特定します。このモデルは有望であり、より大きなデータセットでエラーのほぼ90％を検出できますが、この調査では、モデルをクリーニングするのに十分なクリーンなレコードと汚いレコードを取得することが困難であることが示唆されています。

ただし、データセットのクリーニングが非常に難しいことを知っておくことが重要です。そのため、代わりにトレーニングする高品質のデータセットがあるかどうかを最初に検討することをお勧めします。ただし、データセットを使用する必要がある場合（品質が低い場合）、与えられたオプションはデータクリーニング方法の適切なスタートを提供する必要があります。幸運を！