새로운 연구 결과에 따르면, 여러 번의 반 인종차별 학습에도 불구하고 많은 AI 챗봇이 인종차별적이거나 여러 국가와 지역사회, 특히 흑인에 대해 편향적인 시각을 가진 것으로 드러났다.
앨런 인공지능 연구소, 스탠포드 대학교, 시카고 대학교 등의 연구원들은 열 개 이상의 인기 대형 언어 모델(LLM)을 실험하여 인종차별적 선입견을 계속 가졌음을 밝혀냈다.
그 중 한 연구원인 발렌틴 호프만(Valentin Hofmann)은 연구 결과를 X에 공유하기도 했다.
연구 방법 및 결론
챗봇 알고리즘 기저에 깔린 인종차별주의를 실험하기 위해 연구원들은 두 개의 문서를 생성했다. 하나는 아프리카계 미국인들이 사용하는 영어로 작성했으며 다른 하나는 표준 미국 영어를 사용했다.
문서를 받은 AI 챗봇은 각각 문서의 저자 및 저자의 성격에 관한 의견을 질문 받았다. 그리고 답변은 거의 모든 챗봇에서 일관되게 나타났다:
- 아프리카계 미국인이 사용하는 영어로 작성된 문서의 저자는 무례하고 공격적이며 의심스러운 것으로 평가받았다.
- 반면 표준 미국 영어를 사용하여 작성된 문서의 저자는 긍정적으로 평가받았다.
GPT-4의 경우, 피고가 아프리카계 미국인 영어를 구사할 경우 유죄 판결 혹은 사형을 제안할 확률이 더 높았다.
AI 챗봇들은 흑인이 가진 직업의 유형에 관해서도 편향된 시각을 드러냈다. 아프리카계 미국 방언을 사용하는 사람에게 적합한 직업을 고르라는 질문에 대해 챗봇들은 일반적으로 고등 교육이나 학위가 필요하지 않은 직업군을 선택했다.
이러한 분야로는 스포츠, 음악, 엔터테인먼트 산업 등의 직종이 포함되었다. 반면 표준 영어 사용자는 어떠한 선입견도 적용되지 않았다.
AI 챗봇에서 왜 이러한 문제가 발생하고 있는 것일까?
흥미롭게도, 챗봇에 아프리카계 미국인에 관해 일반적으로 질문하면 더욱 긍정적 답변을 받게 되며 열정적, 지적, 훌륭한 등의 형용사가 빈번하게 사용된다. 이러한 실험으로부터 특정 방언이 감지되었을 때에만 작동하는 숨겨진 인종차별주의가 있음을 알 수 있다.
또 하나의 흥미로운 점은 대형 언어 모델이 소형 언어 모델보다 더 인종차별주의가 강하다는 것이다.
이는 대형 언어 모델이 더 많은 데이터로 훈련되기 때문일 수 있다. 만약 이것이 주요 원인이라면 더욱 뿌리 깊은 문제가 있다는 뜻이 된다. 인터넷에 인종차별적 내용으로 가득하다는 것을 보여주기 때문이다.
인종차별주의적 대형언어모델 순위에 오른 인기 챗봇으로는 챗지피티-4, 지피티-3.5, 구글 바드 AI 등이 있다.
이번 연구 결과는 챗봇 훈련 팀의 검증 절차에 대해서도 시사하는 바가 크다. 일부 학습 자료가 인종차별주의를 포함할 수 있지만, 올바른 데이터셋을 선택하는 것은 훈련팀의 소임이 되기 때문이다.
만약 이들이 데이터셋에 큰 문제가 없다고 여겼다면, AI 모델을 학습시키는 데 관여한 팀 자체가 인종 차별에 대해 선입견을 일정 부분 가졌다고 볼 수도 있다.
이번이 AI 챗봇의 인종차별주의가 문제가 된 첫 사례는 아니다. 지난해 9개의 AI 챗봇(현재 작동하지 않는)이 흑인에 관한 의료 질문에 대해 편향된 시각을 가진 것으로 확인되었다.
스탠포드 대학교 조교수 록사나 다네슈주(Roxana Daneshjou)는 당시 논문에 고문으로 참여했으며 "이것이 잘못되면 현실 세계 건강 불평등을 심화시키는 등. 매우 실질적 결과가 뒤따를 수 있다"라고 주장했다.
인종차별주의와 사생활 보호 문제 외에도 AI 챗봇은 각종 문제를 일으키고 있다. 자신의 회사를 향해 욕하지 않나, 수백달러에 상응하는 실수를 저지르고, 회사의 평판에 부정적 영향을 미치고 있기도 하다.