To help inform the development of the necessary fairness, bias, and equity frameworks, it is important to employ a participatory approach to solicit representative views across a wide range of patient demographics, as well as clinical and health equity domain experts. Such evaluation frameworks should be complemented by extensive model red teaming and an adversarial approach to identifying any remaining gaps and failure modes. Recent advances in red teaming LLMs could be useful in this scenario [98, 99, 100, 101]. These practices should not only inform the evaluation of the final model, but also its development and iterative refinement. Model development should follow the established data and model reporting practices and provide transparency into the training data and the associated decision processes [102, 103, 104]. The dialogue research dataset contributing to AMIE training data in our study was de-identified, reducing the availability of socio-economic factors, patient demographics, and information about clinical settings and locations.
필요한 공정성, 편향성 및 형평성 프레임워크의 개발에 정보를 제공하기 위해서는 광범위한 환자 인구 통계와 임상 및 건강 형평성 영역 전문가를 대상으로 대표적인 견해를 수렴하는 참여적 접근 방식을 채택하는 것이 중요합니다. 이러한 평가 프레임워크는 광범위한 모델 red teaming 및 adversarial 접근 방식을 통해 남아 있는 격차와 장애 모드를 식별하는 데 보완되어야 합니다. 최근의 red teaming LLM의 발전은 이 시나리오에서 유용할 수 있습니다[98, 99, 100, 101]. 이러한 관행은 최종 모델의 평가뿐만 아니라 개발 및 반복적인 개선에도 정보를 제공해야 합니다. 모델 개발은 기존의 데이터 및 모델 보고 관행을 따르고 훈련 데이터와 관련 의사 결정 프로세스에 대한 투명성을 제공해야 합니다[102, 103, 104]. 이 연구에서 AMIE 훈련 데이터에 기여한 대화 연구 데이터 세트는 비식별 처리되어 사회경제적 요인, 환자 인구 통계, 임상 환경 및 위치에 대한 정보를 제공할 수 있는 기회가 줄었습니다.
필요한 공정성, 편향성 및 형평성 프레임워크의 개발에 정보를 제공하기 위해서는 광범위한 환자 인구 통계와 임상 및 건강 형평성 영역 전문가를 대상으로 대표적인 견해를 수렴하는 참여적 접근 방식을 채택하는 것이 중요합니다. 이러한 평가 프레임워크는 광범위한 모델 레드 팀 및 적대적 접근 방식을 통해 남아 있는 격차와 장애 모드를 식별하는 데 보완되어야 합니다. 최근의 레드 팀 LLM의 발전은 이 시나리오에서 유용할 수 있습니다[98, 99, 100, 101]. 이러한 관행은 최종 모델의 평가뿐만 아니라 개발 및 반복적인 개선에도 정보를 제공해야 합니다. 모델 개발은 기존의 데이터 및 모델 보고 관행을 따르고 훈련 데이터와 관련 의사 결정 프로세스에 대한 투명성을 제공해야 합니다[102, 103, 104]. 이 연구에서 AMIE 훈련 데이터에 기여한 대화 연구 데이터 세트는 비식별 처리되어 사회경제적 요인, 환자 인구 통계, 임상 환경 및 위치에 대한 정보를 제공할 수 있는 기회가 줄었습니다.