somosnlp-hackathon-2022/twitter_sexismo-finetuned-exist2021-metwo

twitter_sexismo-finetuned-exist2021

This model is a fine-tuned version of pysentimiento/robertuito-hate-speech on the EXIST dataset and MeTwo: Machismo and Sexism Twitter Identification dataset https://github.com/franciscorodriguez92/MeTwo. It achieves the following results on the evaluation set:

• Loss: 0.54
• Accuracy: 0.83

Model description

Model for the 'Somos NLP' Hackathon for detecting sexism in twitters in Spanish. Created by:

• medardodt
• MariaIsabel
• ManRo
• lucel172
• robertou2

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• my_learning_rate = 5E-5
• my_adam_epsilon = 1E-8
• my_number_of_epochs = 8
• my_warmup = 3
• my_mini_batch_size = 32
• optimizer: AdamW with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 8

Training results

Epoch	Training Loss	Validation Loss	Accuracy	F1	Precision
1	0.389900	0.397857	0.827133	0.699620	0.786325
2	0.064400	0.544625	0.831510	0.707224	0.794872
3	0.004800	0.837723	0.818381	0.704626	0.733333
4	0.000500	1.045066	0.820569	0.702899	0.746154
5	0.000200	1.172727	0.805252	0.669145	0.731707
6	0.000200	1.202422	0.827133	0.720848	0.744526
7	0.000000	1.195012	0.827133	0.718861	0.748148
8	0.000100	1.215515	0.824945	0.705882	0.761905
9	0.000100	1.233099	0.827133	0.710623	0.763780
10	0.000100	1.237268	0.829322	0.713235	0.769841

Framework versions

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.6

Model in Action

Fast usage with pipelines:

###libraries required
!pip install transformers
from transformers import pipeline

### usage pipelines
model_checkpoint = "hackathon-pln-es/twitter_sexismo-finetuned-exist2021-metwo" 
pipeline_nlp = pipeline("text-classification", model=model_checkpoint)
pipeline_nlp("mujer al volante peligro!") 
#pipeline_nlp("¡me encanta el ipad!") 
#pipeline_nlp (["mujer al volante peligro!", "Los hombre tienen más manias que las mujeres", "me encanta el ipad!"] )

# OUTPUT MODEL #
# LABEL_0: "NON SEXISM"or LABEL_1: "SEXISM"  and score: probability of accuracy per model.

# [{'label': 'LABEL_1', 'score': 0.9967633485794067}]
# [{'label': 'LABEL_0', 'score': 0.9934417009353638}]

#[{‘label': 'LABEL_1', 'score': 0.9967633485794067},
# {'label': 'LABEL_1', 'score': 0.9755664467811584},
# {'label': 'LABEL_0', 'score': 0.9955045580863953}]

More Information Process

Retos

Uno de los principales retos que se encontró en este proceso ha sido disponer de un dataset en español. Se ha logrado conseguir (previa solicitud) el dataset utilizado en EXIST:sEXism Identification in Social neTworks, el cual fue un gran punto de partida para comenzar con el modelo. Lamentablemente este un dataset presenta limitaciones debido a licencias y políticas para ser compartido libremente. Este dataset incorpora cualquier tipo de expresión sexista o fenómenos relacionados, incluidas las afirmaciones descriptivas o informadas donde el mensaje sexista es un informe o una descripción de un comportamiento sexista. se han utilizado los 3,541 tweets etiquetados en español. Luego se logró disponer de otro dataset en español MeTwo: Machismo and Sexism Twitter Identification dataset. Este dataset contiene los id de cada tweet con su etiqueta respectiva, lo que nos permitió obtener el texto del tweet e incrementar el dataset original. Un desafío ha sido iniciar los procesos de finetuned en las prueba, esto pues se dispone de diversas variables para validar y testear (desde modelos como: BETO o Roberta, hasta hiperparámetros: como learning rate), y solo se disponede un plazo acotado de dos semanas, además de la curva de aprendizaje. Para este desafío, se han basado las primeras pruebas en los parámetros presentados por de Paula et al. (2021), lo cual brindó un punto de partida y un reto a vencer, el 0.790 de accuracy obtenidos por el trabajo previo en la identificación de tweets sexistas en español. En este ámbito se realizaron diversas pruebas en paralelo para encontrar el mejor modelo. Luego de un proceso colaborativo de finetuned se ha logrado obtener un 83% de accuracy.

Trabajos Futuros

Se propone incrementar el dataset desarrollado. Para esto es posible descargar cantidades superiores de tweets en español y aplicar técnicas de active learning para obtener un grupo reducido de tweets a etiquetar vía crowdsourcing, y en donde estos datos etiquetados puedan servir para etiquetar el resto. También se pueden utilizar técnicas de Data Augmentation, para duplicar y extender el dataset. Realizar más pruebas con otros modelos y mejorar el modelo es otro reto que se propone como trabajos futuros.

Posibles Aplicaciones

Primero es sumamente importante dar mayor visibilidad al problema de sexismo en redes sociales, principalmente en español. El proceso de Transfer Learning logra reutilizar y aprovechar modelos previamente entrenados, y lo que se desea es que nuevos grupos de investigación, estudiantes, etc. utilicen la base del actual modelo para desarrollar los propios y crear un mejor modelo. De esta manera, se podría construir una herramienta que pueda identificar en tiempo real los tweets sexistas y eliminarlos antes de su propagación.

Referencias

1 de Paula, A. F. M., da Silva, R. F., & Schlicht, I. B. (2021). Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models. arXiv preprint arXiv:2111.04551.

Rodríguez-Sánchez, F., Carrillo-de-Albornoz, J., Plaza, L., Gonzalo, J., Rosso, P., Comet, M., & Donoso, T. (2021). Overview of exist 2021: sexism identification in social networks. Procesamiento del Lenguaje Natural, 67, 195-207.