Margaret Roberts, professora de ciência política na UC San Diego, e Eddie Yang, aluno de doutorado lá, examinaram algoritmos de linguagem de IA treinados em duas fontes: a versão em chinês da Wikipedia, que está bloqueada na China; e Baidu Baike, um site semelhante operado pelo mecanismo de pesquisa dominante da China, Baidu, que está sujeito à censura do governo. O Baidu não quis comentar.
Os pesquisadores estavam curiosos para saber se a censura de certas palavras e frases poderia ser aprendida por algoritmos de IA e encontrar seu caminho em softwares que usam esses algoritmos. Isso pode influenciar o idioma que um chatbot ou assistente de voz usa, o fraseado de um programa de tradução ou o texto das ferramentas de preenchimento automático.
O tipo de algoritmo de linguagem que eles usaram é aprendido ao analisar a maneira como as palavras aparecem juntas em grandes quantidades de texto. Ele representa palavras diferentes como nós conectados em um espaço físico; quanto mais próximas as palavras aparecem, mais semelhantes são seus significados.
Um programa de tradução pode inferir o significado de uma palavra desconhecida examinando essas relações em dois idiomas diferentes, por exemplo.
Os pesquisadores da UCSD encontraram diferenças importantes nos algoritmos de IA resultantes que, segundo os pesquisadores, parecem refletir as informações censuradas na China. Por exemplo, aquele treinado na Wikipedia chinesa representava “democracia” mais perto de palavras positivas, como “estabilidade”. O algoritmo treinado no Baike Baidu representou “democracia” mais próxima do “caos”.
Roberts e Yang então usaram os algoritmos para construir dois programas para avaliar o sentimento – o significado positivo versus negativo – das manchetes de notícias. Eles descobriram que um treinado na Wikipédia chinesa atribuiu pontuações mais positivas às manchetes que mencionavam termos como “eleição”, “liberdade” e “democracia”, enquanto o outro treinado no Baidu Baike atribuiu pontuações mais positivas às manchetes com “vigilância”, “ controle social ”e“ CCP ”. O estudo será apresentado na Conferência de 2021 sobre Responsabilidade e Transparência Equitativa (FAccT) em março.
Nos últimos anos, pesquisadores destacaram como preconceitos de raça e gênero podem se esconder em muitos sistemas de inteligência artificial. Algoritmos treinados em texto extraído da web ou de livros antigos, por exemplo, aprenderão a replicar os preconceitos exibidos pelos autores humanos desse texto. Em 2018, pesquisadores do Google demonstraram preconceitos culturais em algoritmos de reconhecimento de imagem, que podem, por exemplo, reconhecer apenas cenas de casamento ocidentais.