Hola
a
todos,
continuamos
con
el
primer
día
de
Keynotes
del
Hackathon
Somos
600M.
Como
sabéis,
el
objetivo
de
la
iniciativa
es
crear
recursos
abiertos
de
procesamiento
de
lenguaje
natural
en
español
y
sobre
todo
que
representan
la
diversidad
de
los
600
millones
de
personas
que
hablamos
español.
Las
inscripciones
siguen
abiertas,
todo
el
mundo
puede
colaborar
independientemente
de
sus
conocimientos
en
inteligencia
artificial
y
bueno,
podéis
leer
más
en
la
web
que
está
ahí,
somos
en
el
ep.org/hackathom.
Hoy
os
traemos
una
serie
de
Keynotes
de
procesamiento
de
lenguaje
natural
responsable,
hemos
visto
con
Fran
cómo
detectar
sesgos
de
manera
automática
en
medios
de
comunicación
y
ahora
os
voy
a
presentar
a
Estrella.
Estrella
es
ingeniera
informática,
actualmente
estudiante
de
Master
en
Ingeniería
Informática
de
la
Universidad
de
Jaén,
es
investigadora
contratada
en
el
grupo
Sinaí
y
su
trabajo
se
centra
en
la
detección
de
lenguaje
ofensivo
y
en
la
degeneración
de
contranarrativas
asociadas
a
los
mensajes
ofensivos.
Ahora
nos
va
a
contar
que
es
todo
esto,
pero
bueno,
con
ella
vamos
a
aprender
a
combatir
el
discurso
de
odio
mediante
efectivamente
la
generación
automática
de
contranarrativas.
Bienvenida
Estrella,
muchísimas
gracias,
es
un
placer
tener
de
aquí
y
tengo
mucha
curiosidad
por
ver
a
ver
qué
nos
cuentas.
Pues
muchas
gracias
María,
en
primer
lugar
gracias
por
invitarme
a
dar
una
Keynote
y
para
descontar
un
poco
todo
lo
que
estoy
haciendo
y
nada,
vamos
a
empezar.
Pues
yo
voy
a
hablar
un
poco
sobre
la
introducción
que
nos
lleva
a
trabajar,
la
motivación
que
nos
lleva
a
trabajar
con
el
discurso
de
odio
y
demás.
También
quiero
contaros
lo
que
viene
a
ser
una
contranarrativa
como
medio
para
combatir
los
discursos
de
odio,
un
poco
los
recursos
existentes
que
hay
para
el
español
que
era
un
poco,
hemos
ido
nosotros
creando
los
nuestros
propios
en
el
grupo
de
investigación,
luego
hemos
ido
aplicando
distintas
estrategias
para
generar
esta
contranarrativa
y
finalmente
por
un
poco
los
retos
a
los
que
no
hemos
ido
enfrentando
y
los
trabajos
futuros
y
retos
por
afrontar.
En
primer
lugar
indicar
que
esta
presentación
contiene
mensajes
ofensivos
que
no
reflejan
en
absoluto
mi
opinión
personal,
simplemente
son
ejemplos
de
cosas
con
las
que
estamos
trabajando.
Empezando
con
la
introducción,
pues
nos
encontramos
en
noticias
de
estos
dos
tipos,
en
los
que,
pues
podemos
ver
que
España
registró
un
33%
más
de
delitos
de
odio
en
2023
y
la
mayoría
por
racismo
o
xenofobia,
o
también
noticias
como
la
que
aparece
aquí
de
Andalucía
Información
en
la
que
dice
que
pues
que
preocupa
el
aumento
de
los
delitos
de
odio
y
más
en
internet,
ya
que
cada
año
va
habiendo
más
caso.
Aumentando
los
delitos
de
odio
un
3,7%
en
España.
Esto
nos
induce
a
ver
junto
con
los
datos
del
Ministerio
del
Interior
de
España,
pues
que
hay
gran
cantidad
de
delitos
de
odio
y
sobre
todo
lo
que
más
nos
preocupa
es
que
en
redes
sociales
haya
un
21%
con
3%,
ya
que
en
redes
sociales
es
donde
más
gente
joven
hay
y
aprenden
muy
rápido
los
comportamientos
que
en
redes
sociales
se
dan.
Entonces,
si
en
redes
sociales
tenemos
un
comportamiento
nocivo,
lo
más
seguro
es
que
ellos
lo
apliquen
luego
de
que
a
su
vida
privada.
Y
todo
esto,
pues,
no
hace
pensar
que
hay
que
luchar
contra
los
delitos
de
odio
en
internet
y
demás.
Entonces,
ya
se
ha
visto
que
a
través
de
muchas
herramientas
de
procesamiento
de
lenguaje
natural,
se
han
analizado
muchos
comentarios
de
redes
sociales
y
se
han
detectado
pues
aquellos
mensajes
que
eran
no
ofensivos,
que
eran
nocivos
para
los
usuarios.
Pero
una
vez
que
detectamos
ese
mensaje
ofensivo,
casi
siempre
se
opta
por
bloquear
o
eliminar
esos
mensajes.
Que
es
lo
que
ocurre,
que
si
toda
una
persona
le
borra
un
post
que
hace
un
comentario
o
algo,
va
a
sentir
como
que
su
libertad
de
expresión
se
está
cortando
y
se
va
a
hacer
resistente
al
cambio
queriendo
seguir
publicando
de
cualquier
manera
ese
comentario.
Entonces,
en
contraposición
a
esta
opción
ahora
está
surgiendo
una
nuevaestrategia
que
genera
una
respuesta
a
ese
mensaje.
Sin
que
tengas
que
eliminar
el
mensaje
que
es
ofensivo
y
en
esa
respuesta,
pues
que
le
incluya
algo
indicándole
pues
que
su
comportamiento
no
está
siendo
adecuado,
que
debería
de
pensar
y
ponerse
en
el
lugar
de
la
otra
persona
y
de
respetar
y
tolerar
un
poco
al
resto
de
usuarios.
Es
por
eso
que
surge
la
contranarrativa
y
una
contranarrativa
no
es
más
que
una
reacción
breve
y
directa
que
se
da
a
mensajes
de
odio
o
mensajes
ofensivos
y
se
utilizan
pues
para
intentar
de
construir,
de
sacrificar
y
de
emitificar
directamente
pues
los
mensajes
que
son
ofensivos
o
que
son
extremistas
violentos.
Nosotros
llevamos
ya
en
el
grupo
de
investigación,
sin
ahí
un
tiempo
trabajando
con
la
contranarrativa
y
hemos
leído
bastantes
contranarrativas
y
mensajes
ofensivos
y
la
hemos
podido
catalogar
en
dos
partes.
Una
que
sería
el
rechazo
simplemente
decir
pues
esto
que
comentan
no
es
así
o
no
lleva
razón
y
otra
que
es
el
método
más
efectivo
y
hacia
el
que
nos
estamos
encaminando
que
sería
un
poco
la
refutación
ya
que
proporcionamos
argumentos
y
hechos
que
intenten
explicar
el
por
qué
el
usuario
no
se
debería
de
comportar
así
o
no
lleva
razón.
Contra
esto
como
ya
he
dicho
en
el
grupo
hemos
invertido
esfuerzos
en
generar
distintos
recursos,
tenemos
dos
corpus,
dos
conjuntos
de
datos
con
NSP
que
lo
presentamos
en
la
sociedad
española
de
procesamiento
del
lenguaje
natural
en
el
último
congreso
que
hubo
y
para
crearlo
probamos
distintos
modelos
del
lenguaje
cuando
estuvimos
haciendo
estos
experimentos
todavía
no
había
salido
GPT4
así
que
pues
probamos
con
GPT2,
GPT3.5,
GPT2
María,
Bloom
y
Flante5
aunque
al
final
el
conjunto
de
datos
solo
incluye
datos
de
GPT3.5
por
lo
que
veremos
continuación
y
conan
MTSP
que
va
a
salir
publicado
ahora
un
artículo
dentro
del
LREC
que
yo
invito
a
que
si
queréis
saben
más
pues
que
le
hay
estos
dos
artículos.
Luego
los
conjuntos
de
datos
estarán
públicos
disponibles
en
el
GHA
que
tenemos
dentro
del
grupo
de
investigación
y
dentro
del
conan
MTSP
de
este
corpus
que
hemos
creado
el
modelo
que
al
final
genera
las
contranarrativas
va
a
ser
GPT4
y
ya
iré
explicando
un
poco
el
por
qué.
Yándonos
un
poco
a
conan
SPS
fue
como
nuestra
primera
introducción
hacia
lo
que
viene
a
ser
la
contranarrativa
y
entonces
empezamos
por
un
conjunto
de
datos
que
era
pequeño
que
tenía
mensajes
ofensivos
que
van
dirigidos
a
cinco
grupos
como
son
los
musulmanes,
los
judíos,
el
colectivo
LGTB,
las
personas
de
color
y
las
mujeres.
Para
hacerlo
partimos
de
base
del
conan
KN
de
esta
autora
que
estaba
en
inglés
y
hicimos
una
traducción
automática
para
pasar
los
textos
en
español
y
después
aplicamos
distintas
estrategias
de
PROM
que
ya
veremos
un
PROM
es
como
la
instrucción
que
le
damos
al
modelo
para
que
ha
un
modelo
generativo
para
que
realice
la
tarea
que
queremos
que
realice.
Dentro
del
conan
SPS
GPT3.5
realizaba
las
contranarrativas
y
luego
estas
contranarrativas
eran
evaluadas
en
términos
de
ofensividad
de
postura
para
saber
si
el
modelo
estaba
a
favor
o
en
contra
de
lo
que
decía
el
mensaje
ofensivo
e
informatividad.
Los
datos
de
estas
notaciones
también
están
junto
al
corpo
con
lo
cual
se
pueden
seleccionar
aquellas
instancias
que
nos
resulten
importantes.
Dentro
de
la
experimentación
como
ya
he
dicho
probamos
con
distintos
modelos
y
dentro
de
este
ejemplo,
por
ejemplo
los
judíos
son
egoístas,
tacaños
codiciosos,
GPT2
no
llegaba
a
entender
muy
bien
lo
que
era
generar
una
contranarrativa
y
no
contestaba
bien.
GPT2
María
que
es
un
modelo
GPT2
adaptado
al
español,
pues
sí
que
entendía
lo
que
tenía
que
hacer
pero
generaba
una
frase
como
que
era
mucho
más
ofensiva
que
la
que
tenía
que
intentar
de
contrarrestar.
Flante
5
reescribía
el
mismo
mensaje
ofensivo
pero
lo
que
hacía
era
quitar
los
caracteres
raros
como
son
la
estilo
o
la
eña.
Bloom
se
contradecía
bastante
y
tenía
algunas
frases
que
resultaban
ofensivas
con
lo
cual
tampoco
llegaba
a
alcanzar
bien
la
tarea
quequeríamos
hacer.
Pero
GPT3.5
ya
sí
que
es
verdad
que
cuando
quería
contestar
a
ese
mensaje
ofensivo
pues
decía
"esta
afirmación
es
injusta
e
inorante,
la
cultura
es
pudida
de
una
de
las
más
antigua
y
rica
y
con
el
tiempo
ha
dado
lugar
a
muchas
figuras
importantes
de
la
humanidad".
Entonces
pues
vemos
que
además
intenta
de
añadir
un
poco
de
información
extra,
que
es
un
poco
el
camino
que
estamos
llevando
ahora.
Frente
a
este
conjunto
de
datos
nos
dimos
cuenta
que
eran
muy
muy
pocas
instancias
y
que
a
lo
mejor
pues
como
conjunto
de
evaluación
pues
puede
ser
interesante
para
futuro
experimentos.
Pero
nos
seguían
faltando
datos
con
los
que
trabajar
y
encontramos
pues
un
Corpus
que
estaba
también
en
inglés
y
pudimos
generar
a
través
de
él
con
NMTSP.
Con
NMTSP
al
final
cuenta
con
3.636
instancias
y
tiene
mensajes
ofensivos
que
están
dirigidos
a
personas
con
discapacidad,
a
judíos,
al
colectivo
LGTB,
a
inmigrantes,
a
mujeres,
a
musulmanes,
a
personas
de
color
y
otros
grupos
como
pueden
ser
los
gitanos
o
las
personas
con
obesidad.
Como
ya
he
dicho
antes,
partíamos
de
otro
conjunto
que
ya
estaba
hecho
para
el
inglés
que
es
con
NMTSP.
Otra
vez
utilizamos
DIPLE
y
lo
adaptamos
un
poco
al
español.
Estas
traducciones
se
revisaron
manualmente
para
que
estuviesen
correctas
y
no
hubiese
problemas
de
lenguaje.
Volvimos
a
aplicar
una
estrategia
de
PROM
para
que
GPT4
generase
la
contranarrativa
y
su
posterior
evaluación
manual
y
añadimos
ya
3
métricas.
Añadimos
además
de
la
ofensividad,
la
postura
y
la
informatividad,
la
veracidad
y
la
información
que
daban
los
modelos.
Si
necesitaba
alguna
edición
por
cualquier
fallo
gramatical
y
además
añadimos
una
comparación
de
la
contranarrativa
que
tenía
el
Kona
NMTSP
con
la
que
generaba
GPT4.
Estos
son
los
resultados
que
salieron
de
esta
evaluación
donde
vemos
la
mayoría
de
las
etiquetas
que
se
pusieron
a
las
contranarrativas
generadas
eran
no
ofensivas,
estaban
en
desacuerdo
con
el
mensaje
ofensivo.
Con
tenían
información
específica
e
informativa
con
datos
veraces,
no
solía
necesidad
de
edición
de
errores
gramaticales
y
GPT4
era
mejor
que
la
original
que
había
en
NMT
en
términos
de
argumentación.
¿Por
qué
hago
especial
en
campiés
en
la
comparativa
del
Kona
NMT
con
Kona
NMTSP,
que
es
la
que
genera
GPT4?
En
este
ejemplo
vemos
que
las
mujeres
no
deberían
de
votar,
las
mujeres,
al
igual
que
los
hombres,
tienen
el
derecho
de
participar
en
la
toma
de
decisiones
que
afectan
su
vida
y
comunidades.
El
voto
es
una
herramienta
fundamental
para
agandar
a
antitar
la
igualdad
de
género
y
la
justicia
social
negale.
La
mujer
es
perpetuar
la
discriminación
y
la
disigualdad,
este
es
mucho
más
informativo
que
el
que
hay
dentro
del
Kona
NMT
que
simplemente
rechaza
la
idea
y
dice,
las
mujeres
pueden
votar,
porque
las
va
a
discriminar
el
gobierno.
Entonces
este
punto
de
argumentación
nos
sirve
y
es
muy
útil
para
trabajo
de
futuro.
Ya
una
vez
que
tenemos
estos
conjuntos
de
datos
podemos
intentar
explorar
otros
caminos
dentro
de
la
generación
de
contrarrativas,
como
pueden
aplicar
estrategias
basadas
en
PRONTING,
que
es
lo
que
hemos
hecho
para
generar
los
corpus
como
0-sub
learning
o
fused
learning.
Y
una
cadena
multi-step,
no
os
preocupéis
por
los
términos
porque
ahora
os
quiero
explicar
todo
con
un
poco
más
de
detalle.
Y
luego
otra
estrategia
es
intentar
entrenar
estos
grandes
modelos
del
lenguaje
generativo
para
que
se
adapten
un
poco
más
a
la
tarea
que
nosotros
queremos
realizar.
En
cuanto
a
los
primeros
pasos
que
dimos
para
crear
los
corpus,
pues
ya
he
dicho
que
utilizamos
PRONTING,
concretamente
hicimos
pruebas
con
0-sub
learning
y
fused
learning,
que
básicamente
es
trabajar
con
la
instrucción
que
le
damos
a
los
modelos.
Por
un
lado
tendríamos
lo
que
es
la
descripción
de
la
tarea,
diciéndole
qué
es
la
contrarrativa,
en
qué
consiste
y
lo
que
debe
de
realizar.
Si
queremos
hacer
fused
learning,
le
proporcionaremos
una
serie
de
ejemplosindicándoles
por
un
mensaje
ofensivo
lo
que
es
la
contrarrativa.
Y
finalmente
le
daremos
la
instrucción
de
lo
que
queremos
que
ellos
realicen,
proporcionándole
el
mensaje
ofensivo
y
en
la
parte
de
la
contrarrativa
se
la
dejamos
en
blanco
para
que
ellos
sean
los
que
cuando
dándole
esta
instrucción
generen
dicha
contrarrativa.
Pasando
ya
un
poco
a
las
nuevas
estrategias
que
estamos
explorando
dentro
del
PRONTING,
porque
fused
learning
y
0-sub
learning
es
como
que
ya
hemos
trabajado
bastante
con
ellos
y
queremos
ir
un
poco
más
allá,
tenemos
el
multi-step,
que
es
como
una
especie
de
conversación
que
establecemos
con
el
modelo
en
el
que
le
damos
una
descripción
del
sistema
y
en
una
primera
iteración
le
vamos
diciendo
los
pasos
que
tiene
quitando
para
resolver
la
contrarrativa.
Y
el
primer
paso
es
identificar
el
sujeto
o
el
colectivo
de
la
entidad
que
está
siendo
ofendido.
Entonces
ya
me
daría
una
respuesta
y
en
la
siguiente
iteración
tendría
acceso
a
toda
la
conversación
anterior,
es
como
un
modelo
de
chat.
Y
en
un
segundo
paso
le
preguntaríamos
qué
aspectos
son
los
que
están
siendo
ofendidos
con
ese
mensaje
ofensivo
y
finalmente
le
preguntaríamos
por
la,
porque
nos
elabora
la
contrarrativa.
Dentro
de
esto
nos
encontramos
este
resultado,
este
sería
el
primer
paso
que
le
damos
con
el
modelo
y
este
el
segundo,
donde
cuando
le
preguntamos
por
qué
identifique
a
la
persona,
al
colectivo
que
está
siendo
ofendido,
pues
te
dice
que
él
es
un
modelo
de
lenguaje
seguro
y
que
no
puede
responder
a
esa
pregunta,
aunque
igualmente
te
continúa
diciendo
pues
que
el
término
autista
es
un
término
que
es
estimadistante
y
que
no
es
adecuado
para
referirse
a
personas
con
autismo.
Así
que
al
final
en
parte
te
está
dando
como
una
respuesta.
En
un
segundo
paso
vemos
cómo
nos
sugieren
los
aspectos
que
están
ofendiendo
a
este
mensaje.
Bueno,
primero
lo
primero
que
te
dice
vale,
estoy
de
acuerdo
con
lo
que
me
pregunta
y
voy
a
intentar
ayudarte
con
con
la
tarea
y
ya
a
continuación
pues
te
da
los
aspectos
que
están
siendo
ofendidos.
Que
en
este
caso
sería
el
término
autista
porque
es
un
término
estimadistante
y
reduccionista
y
luego
pues
que
la
idea
de
aislar
a
las
personas
con
autismo
pues
perpetúa
la
discriminación
y
genera
más
estímus.
Y
ya
pues
finalmente
elaboraría
la
contranarrativa,
que
es
decirle
al
usuario
que
su
mensaje
ha
sido
ofensivo
y
discriminatorio
y
que
no
se
debería
de
utilizar
el
término
de
autista
y
ya
finalmente
pues
te
recuerda
que
todas
las
personas
deben
de
ser
tratadas
con
respeto
y
con
dignidad.
Aunque
como
hemos
dicho
anteriormente
la
contranarrativa
debe
ser
una
respuesta
directa
y
breve
y
nos
faltaría
quizá
explorar
un
cuarto
paso
en
el
que
se
trate
de
resumir
esta
contranarrativa.
Otra
de
las
estrategias
que
estamos
aplicando
es
el
entrenamiento
de
los
modelos
grandes
del
lenguaje,
concretamente
de
llamado
y
de
mistral
y
estamos
utilizando
una
técnica
que
es
culora,
culora
es
una
técnica
eficiente
de
entrenamiento
de
estos
modelos
para
que
en
vez
de
tener
que
entrenar
toda
la
red
neuronal
pues
entrenamos
solo
una
pequeña
parte.
Y
una
vez
que
hemos
hecho
ese
entrenamiento
pues
concatenamos
los
pesos
que
ya
traía
la
red
neuronal
y
el
conocimiento
previo
que
tenía
al
nuevo
que
aprendió
ahora
para
adaptarse
a
la
tarea.
Dentro
de
este
entrenamiento
y
esta
nueva
estrategia
que
estamos
explorando,
este
método,
planteamos
distintos
experimentos,
uno
que
era
aplicar
Terozud
Learning,
un
simple
PROM,
otro
que
era
coger
los
datos
de
ConanMT
que
como
ya
hemos
dicho
están
como
más
o
menos
en
el
mundo.
Y
ya
hemos
dicho
están
como
más
enfocados
a
lo
que
era
el
rechazo
de
una
idea
o
a
hacer
preguntas
para
que
los
usuarios
reflexionen
sobre
qué
es
lo
que
han
puesto
mal
con
sus
comentarios.
Y
ya
finalmente
pues
con
anemtsp
y
optamos
por
explorar
dos
vías,
utilizar
todo
el
conjunto
de
ConanMT-SP
o
una
parte
que
es
lo
que
nosotros
llamamos
delux
o
podríamos
llamarlo
gole
standard
o
las
contranarrativas
perfectas.
Que
son
aquellas
que
sonno
ofensivas
que
van
en
contra
del
mensaje
ofensivo
que
no
están
de
acuerdo
con
lo
que
en
ellas
se
dice.
Son
informativas
y
específicas,
además
la
información
que
contienen
es
veraz
y
no
suele
necesitar
edición
gramatical,
además
de
ser
mejores
en
cuanto
a
argumentación
que
las
iniciales
de
ConanMT.
Dentro
de
una
vez
que
tenemos
planteado
nuestro
experimento
es
fundamental
establecer
una
serie
de
métricas.
Tenemos
muchos
textos
para
evaluar
y
entonces
intentamos
como
buscar
alguna
métrica
que
nos
dio
una
idea
por
qué
contranarrativa
pudiesen
ser
mejores.
Y
buscamos
entre
ellas
elegimos
la
perplejidad
que
es
la
probabilidad
de
que
aparezca
de
que
el
modelo
prediga
a
esta
palabra
en
base
a
una
secuencia
previa.
Técnicas
basadas
en
engramas
que
son
las
que
se
suelen
utilizar
para
traducción
automática.
Que
vamos
viendo
a
ver
si
esta
palabra
que
hay
en
la
frase
de
referencia
aparece
también
en
la
hipótesis
y
vamos
calculando
el
número
de
ocurrencia.
Y
las
basadas
en
similitud
semántica
que
a
través
de
la
representación
vectorial
que
tienen
las
palabras
pues
intenta
establecer
como
la
relación
que
tienen
entre
distintos
sinónimos
de
la
frase
que
tú
predices
con
la
frase
que
verdaderamente
estás
tomando
de
referencia.
Para
evaluar
nuestro
experimento
cogimos
un
subconjunto
de
Conan
MTSP
porque
eran
las
más
informativas
y
eso
y
su
conjunto
no
se
utilizó
para
entrenar
con
lo
cual
nos
valía
a
la
hora
de
calcular
esta
métrica
de
referencia.
Y
entonces
pues
los
resultados
que
podemos
ver
son
los
siguientes
respecto
a
perplejidad
el
modelo
que
menos
le
cuesta
de
predecir
las
palabras
que
hay
dentro
del
conjunto
de
datos
son
los
que
han
sido
entrenados
con
Conan
MTS.
Y
el
modelo
que
mejor
se
adapta
a
la
tarea
también
es
verdad
que
tiene
muchísimos
más
parámetros.
Yama
tiene
tres
de
billones
de
parámetros
mientras
que
Mistral
solo
tiene
siete
y
las
diferencias
que
se
aprecian
entre
ambos
modelos
son
insignificantes
y
tenemos
en
cuenta
que
este
modelo
es
más
pequeño
y
es
más
eficiente.
Respecto
a
las
métricas
de
Negramas
pues
vemos
que
el
experimento
que
mejor
ha
funcionado
ha
sido
entrenar
con
aquellas
contranarrativas
que
considerábamos
perfectas
en
base
a
la
análisis
de
los
anotadores.
Aunque
sí
que
es
verdad
que
vimos
que
estas
métricas
tenían
resultados
muy
bajos
en
comparación
con
las
de
semilitud
semántica
ya
que
pues
no
tienen
cuenta
los
sinónimos
y
hay
que
explorar
un
poco
los
distintos
tipos
de
contranarrativas
que
pueden
salir
a
raíz
de
un
mensaje
ofensivo.
Y
luego
pues
finalmente
la
de
semilitud
semántica
vemos
aquí
que
en
este
caso
en
Yama
es
mejor
para
mover
score
e
utilizar
conan
mtsp
aunque
la
diferencia
es
muy
muy
muy
pequeña
y
casi
siempre
se
optaría
por
utilizar
conan
mtsp
deluxe
que
sería
la
contranarrativa
perfecta.
Aunque
vemos
que
al
haber
insertado
algunos
datos
que
tenían
algo
de
ruido,
algo
de
errores
de
informatividad
y
demás
no
empeora
tanto
como
podríamos
pensar
a
un
inicio
estos
sistemas.
Y
luego
conan
mtsp
al
estar
más
basado
en
ese
rechazo
pues
sí
que
se
aleja
más
que
hasta
incluso
un
sistema
que
está
basado
solo
en
PROM
con
0
sublerring.
Es
decir
son
mucho
más
informativas
las
que
se
utilizan
con
0
sublerring
que
estas
iniciales
que
simplemente
rechazaban
una
idea
o
hacían
preguntas.
Y
para
ver
un
poco
más
que
no
sea
solo
números
sino
analizando
un
poco
más
el
texto
que
al
final
es
algo
fundamental
dentro
de
estos
modelos.
Lo
que
podemos
ver
es
como
aquellos
que
se
han
realizado
para
este
ejemplo
de
los
discapacitados
son
diferentes
a
nosotros,
nos
quiero
que
me
molesten.
Vemos
como
los
modelos
que
se
han
entrenado
con
conan
mtsp
tienen
algunos
defectos
gramaticales
como
el
que
se
aprecia
en
el
demistral
que
dice
"puedamos
aprender,
no
queda
bien"
o
"buscar
encontrar".
O
aquí
una
palabra
que
está
mal
actuada
como
es
"empatico".
Y
también
vemos
que
la
mayoría
de
las
veces
se
repite
este
caso
el
que
aparece
con
llama
de
conan
mtsp
que
va
haciendo
una
misma
pregunta
pero
vacambiando
una
de
las
palabras
dentro
de
la
pregunta.
¿Qué
quiere
decir
con
diferente?
¿Qué
quiere
decir
con
molestar?
¿Qué
quiere
decir
con
diferencia?
Y
al
final
acaba
repitiendo
estas
preguntas
hasta
llegar
a
su
límite
de
generación
de
tokens,
con
lo
cual
es
como
que
se
ha
ido
sobre
entrenando,
sobre
ajustando
el
modelo
a
la
tarea
y
no
llegue
a
identificar
tampoco
cuando
tiene
que
parar.
Y
estos
son
ejemplos
de
contrarrativas
buenas
que
hemos
encontrado
que
provienen
de
entrenar
nuestros
sistemas
con
el
conjunto
de
datos
que
hemos
creado
con
mtsp.
Y
dice
"los
discapacitados
son
seres
humanos
como
todos
nosotros
y
me
dicen
respeto
y
comprensión,
todos
tenemos
nuestras
diferencias
pero
eso
no
significa
que
no
podamos
convivir
en
armonía
y
apoyarnos
mutuamente".
La
diversidad
enriquece
nuestra
sociedad
y
no
hace
más
fuertes
como
comunidad,
no
debemos
jugar
a
alguien
por
su
discapacidad
sino
por
su
carácter
y
acciones.
Todos
merecen
la
oportunidad
de
ser
tratados
con
dignidad
y
respeto.
Y
luego
mixtral
que
dice
"no
estoy
de
acuerdo
con
esa
información,
todos
somos
seres
humanos
y
merecemos
respeto
y
comprensión
independientemente
de
nuestras
diferencias".
La
diversidad
es
lo
que
nos
enriquece,
lo
que
enriquece
nuestra
sociedad
y
nos
permite
aprender
y
crecer
juntos.
No
debemos
jugar
a
las
personas
por
su
diferencia
sino
celebrarla
y
aprender
de
ellas.
Una
cosa
curiosa
es
que
mixtral
casi
siempre
suele
empezar
con
este
tipo
de
frases.
No
estoy
de
acuerdo
con
esa
afirmación
o
no
opino
igual
que
tú.
Y
ya
pues
para
terminar
un
poco
con
los
retos
que
nos
encontramos,
pues
tenemos
los
retos
que
hay
normalmente
cuando
trabajas
como
modelos
grandes
del
lenguaje,
que
son
las
alucinaciones.
Y
lo
que
es
el
proceso
de
evaluación,
que
no
hay
como
unas
métricas
específicas
que
nos
definan
que
es
mejor
o
que
es
peor.
Y
al
final
acaban
necesitando
a
los
humanos
para
que
realicen
esa
anotación
y
esa
evaluación.
Y
en
algunos
casos
pues
es
muy
costoso.
Y
ya
errores
más
relativos
a
los
que
no
hemos
encontrado
dentro
de
la
generación
de
contrarrativa,
que
son
los
errores
gramaticales
que
cometen
los
modelos
a
la
hora
de
escribir.
También
reconocimiento
de
palabras
ofensivas
porque
el
español
es
muy
rico
y
al
final
hay
palabras
como
"lameculo"
que
sí.
No
tiene
el
modelo
esa
información
de
palabras
ofensivas,
no
es
capaz
de
reconocerlo.
Los
problemas
de
seco
de
nuestros
datos
y
el
sobreentrenamiento
que
le
damos
a
los
modelos.
Y
si
son
modelos
que
se
han
entrenado
en
grandes
cantidades
de
datos
en
inglés
y
luego
se
ha
hecho
una
adaptación
al
español,
pues
de
normal
te
va
a
generar
más
datos
en
inglés
y
puede
incluso
mezclar
los
idiomas.
Que
nos
ha
pasado
también
cuando
hemos
aplicado
técnicas
de
multistep.
Finalmente,
deciros
que
tenemos
una
tarea
abierta
en
el
IBERLEF
que
hemos
organizado
dentro
de
los
grupos
de
investigación.
Por
si
os
queréis
enfrentar
un
poco
a
todos
los
problemas
de
contrarrativa.
Y
daros
las
gracias
por
asistir
a
las
charlas.
Si
tenéis
cualquier
pregunta,
estaré
dispuesta.
Estaré
encantada
de
resolverla.
Hola
estrella.
Muchísimas
gracias.
La
verdad,
es
muy
interesante.
No
me
ha
deflado
para
nada.
Y
además
lo
que
estaba
pensando
es
que
como
has
explicado
tan
en
detalle
todos
los
procesos
de
creación
del
data
se
ente,
después
de
entrenamiento,
también
obviamente
los
problemas
que
habéis
tenido,
retos
y
cómo
lo
sabéis,
diferentes
opciones
que
habéis
probado
y
como
veis
ya
no
solo
solución,
pero
como
habéis
seguido
avanzando.
Igual
como
hay
gente
que
se
está
todavía
uniendo
al
jacatón,
igual
hay
gente
que
puede
tomar
esto
como
ejemplo
de
proyecto
y
que
creen
más
datasets
de
contranarrativas.
No
sé,
sobre
el
que
ocurre.
La
verdad
que
no
tenía
ni
idea
lo
que
era.
Pero
está
muy
bien.
Y
es
verdad
lo
que
dice
lo
que
decía
justo
al
principio
como
motivación,
que
realmente
es
una
manera
mucho
mejor
de
responder,
o
sea,
de
reaccionar
contra
un
comentario
faltoso,
como
lo
queramos
llamar.
Entonces
nada,
me
ha
encantado.
Yo
animo
a
lagente
de
verdad
a
que
aún
esfuerzo
y
haga
cosas
de
contranarrativas,
porque
cuando
quisimos
empezar
tuvimos
que
empezar
tiras
de
datos
en
inglés,
porque
no
teníamos
por
dónde
tirar.
Y
entonces
pues
estaría
muy
bien,
sobre
todo
porque
ahora
mismo
comparamos
solo
con
una
contranarrativa,
pero
un
mensaje
ofensivo
se
puede
abordar
de
muchas
maneras.
Entonces
pues
estar
en
una
base
de
datos
más
grande,
comparar
con
varias
contranarrativas
que
además
sean
correctas
estaría
bastante
interesante.
Ya,
pues
a
ver,
a
ver
si
hay
alguien
que
se
anime,
pero
sí,
muy
bien.
Y
de
hecho
también
compartiré
todos
los
recursos.
Bueno,
nos
has
mandado
por
aquí,
pero
si
me
los
mandas
en
lista
o
algo
así,
también
los
comparto
con
la
gente,
¿vale?
Vale,
perfecto.
Pues
me
sí
son
gracias
de
nuevo,
ya
al
fin
de
mil
veces.
Y
nada,
estará
próxima.
Ah
bueno,
y
ahora
para
también
quienes
estéis
aquí
interesados,
ahora
vamos
a
hablar
de
Ethica
Ambiental
con
Jorge,
también
en
el
mismo
canal
podéis
encontrar
el
link
del
directo.
No
sé
que
nada,
nos
movemos
allá.
¡Saludos!
¡Muta
lego!
¡Muchas
gracias!