Processing multilingual data.The MDR pipeline can be used to process all languages: features such as text extraction are language-agnostic, whereas specific filters such as line-wise corrections need to typically be tuned for each individual language. We also found tuning deduplication parameters for individual languages to be beneficial.
다국어 데이터 처리. MDR 파이프라인은 모든 언어를 처리하는 데 사용할 수 있습니다. 텍스트 추출과 같은 기능은 언어에 구애받지 않는 반면, 줄 단위 수정과 같은 특정 필터는 일반적으로 각 개별 언어에 맞게 tuning해야 합니다. 또한 개별 언어에 대한 중복 제거 매개변수를 tuning하는 것이 도움이 되는 것으로 나타났습니다.
다국어 데이터 처리.MDR 파이프라인은 모든 언어를 처리하는 데 사용할 수 있습니다. 텍스트 추출과 같은 기능은 언어에 구애받지 않는 반면, 줄 단위 수정과 같은 특정 필터는 일반적으로 각 개별 언어에 맞게 조정해야 합니다. 또한 개별 언어에 대한 중복 제거 매개변수를 조정하는 것이 도움이 되는 것으로 나타났습니다.