Further work is also needed to ensure the robustness of medical LLMs in multilingual settings [105, 106, 107, 108], and particularly their performance in low-resource languages [109]. The great variety of cultures [110], languages, localities, identities, and localized medical needs, makes the task of generating a priori static yet comprehensive fairness benchmarks practically infeasible. Measurement and mitigation of bias must move beyond the traditional narrow focus on specific axes that fails to scale globally [111]. LLM-based evaluators present a potential solution for preliminary assessments in languages where there are no systematic benchmarks, though prior studies have found these auto-evaluation frameworks to be biased, underscoring the need for calibrating them on native speaker evaluations, and using them with caution [112].
추가 연구는 다국어 환경에서 의료 LLM의 견고성을 보장하기 위해 필요하며 [105, 106, 107, 108], 특히 자원이 부족한 언어에서의 성능을 보장하기 위해 필요합니다 [109]. 다양한 문화 [110], 언어, 지역, 정체성, 그리고 지역화된 의료 요구 사항의 다양성은 사전 정적이면서도 포괄적인 공정성 벤치마크를 생성하는 작업을 사실상 불가능하게 만듭니다. 편향의 측정과 완화는 전통적인 특정 축에 대한 좁은 초점을 넘어 전 세계적으로 확장되지 않는 접근 방식을 넘어야 합니다 [111]. LLM 기반 평가자는 체계적인 벤치마크가 없는 언어에서 예비 평가를 위한 잠재적 해결책을 제시하지만, 이전 연구들은 이러한 자동 평가 프레임워크가 편향되어 있음을 발견하여, 이를 원어민 평가로 보정하고 신중하게 사용하는 필요성을 강조합니다 [112].
다국어 환경에서 의료용 LLM의 견고성[105, 106, 107, 108]을 보장하고, 특히 저자원 언어에서의 성능[109]을 보장하기 위한 추가 연구도 필요합니다. 다양한 문화[110], 언어, 지역, 정체성, 현지화된 의료 수요로 인해 선험적으로 정적인 동시에 포괄적인 공정성 벤치마크를 생성하는 작업은 현실적으로 불가능합니다. 편향성의 측정과 완화는 전 세계적으로 확장되지 못하는 특정 축에 대한 전통적인 협소한 초점을 넘어서는 것이어야 합니다[111]. LLM 기반 평가기는 체계적인 벤치마크가 없는 언어에서 예비 평가를 위한 잠재적인 솔루션을 제공하지만, 이전 연구에서 이러한 자동 평가 프레임워크가 편향적이라는 사실이 밝혀져 원어민 평가를 통해 보정하고 신중하게 사용해야 할 필요성이 강조되고 있습니다[112].