Ahora
todo
el
mundo,
hoy
vamos
a
hablar
de
la
creación
y
anotación
de
corpus
lingüísticos
para
el
entrenamiento
de
LLMS.
Como
sabéis,
como
parte
de
la
iniciativa
de
somos
600M,
queremos
crear
recursos
abiertos
de
profesamiento
de
lenguaje
natural
en
español
y
lenguas
oficiales
que
representen
la
diversidad
de
las
600
millones
de
personas
que
hablamos
en
español.
Para
ello
hemos
organizado
un
hackathon
y
hemos
puesto
a
vuestra
exposición
de
nuestros
recursos
para
crear
bases
de
datos
y
entrenar
LLMS.
Y
justo
hoy
vamos
a
hablar
con
Marta
Guerrero
de
efectivamente
cuáles
serán
los
trucos
o
cómo
serían
algunos
ejemplos
de
creación
de
estas
bases
de
datos.
Antes
de
comenzar
la
charla
voy
a
comentaros
muy
brevemente
otro
de
los
objetivos
que
tenemos
en
la
comunidad
y
que
de
hecho
también
está
muy
relacionado
con
la
charla
de
hoy.
Bien,
una
de
las
preguntas
más
comunes
en
el
Discord
de
somos
en
el
LP
la
verdad
es
que
recomendemos
para
ser
mejor
modelo
para
el
español.
Y
el
problema
es
que
no
sabemos
por
qué
no
tenemos
una
leaderboard
todavía.
Entonces
lo
que
necesitamos
es
una
leaderboard
abierta
de
LLMS
que
nos
permita
estandarizar
cómo
evaluamos
y
cómo
podemos
comparar
nuestros
modelos.
Ahora
mismo
lo
que
pasa
es
que
en
general
cada
equipo
tiene
su
propia
manera
de
evaluar
pero
si
queremos
medir
el
avance
de
la
I
en
español
o
en
lenguas
oficiales,
si
queremos
incentivar
una
competibilidad
sana
y
también
probar
la
variedad
de
nuestros
modelos,
lo
que
necesitamos
es
una
manera
pública
e
imparcial
de
evaluarlos.
Entonces
bueno
hemos
decidido
crear
en
comunidad
la
primera
leaderboard
abierta
de
LLMS
en
español
en
lenguas
oficiales.
¿Cómo
podéis
colaborar?
Hay
dos
opciones
o
validando
tradiciones
del
inglés
al
español
de
los
benchmarks
más
famosos
y
estamos
os
organizando
estos
esfuerzos
con
aquí
la
hi-face,
os
dejo
ahí
el
enlace
si
queréis
echarle
un
vistazo.
Y
la
otra
opción
es
si
ya
tenéis
corpus
de
evaluación
pues
los
podéis
donar
como
ha
hecho
muy
amablemente
el
equipo
de
lice
y
justo
hoy
pues
Marta
nos
va
a
explicar
un
poco
cómo
han
creado
estos
corpus.
Os
presento
a
Marta,
Marta
bienvenida,
muchísimas
gracias
por
venir.
Marta
es
la
directora
técnica
en
business
and
language
analytics
donde
se
encarga
en
el
IIC,
donde
se
encarga
de
llevar
el
grupo
de
lingüestras
computacionales
y
de
liderar
proyectos
de
procesamiento
de
lenguaje
natural
en
el
IIC
como
ya
ya
he
dicho.
Tiene
un
master
en
lingüística
general
y
es
licenciada
en
lingüística
y
filología
hispánica
por
la
Universidad
Autónoma
de
Madrid.
Desde
hace
más
de
una
década
lidera
proyectos
de
PLN
en
el
IIC
entre
los
cuales
pueden
destacarse
los
proyectos
de
clasificación
automática
de
textos,
de
detección
de
entidades
y
de
análisis
semánticos.
Además
ha
participado
en
el
desarrollo
de
Río
Oberta,
el
modelo
lenguaje
para
el
español
creado
en
el
IIC
y
también
forma
parte
de
la
Junta
Directiva
de
la
Sociedad
Española
para
el
procesamiento
de
lenguaje
natural.
O
sea
una
persona
increíble,
lingüística
computacional
increíble
para
contarnos
más
sobre
cómo
podemos
anotar
cortos
lingüísticos
para
crear
nuestros
propios
LLM.
Entonces
bueno,
sin
más
dilación
Marta,
muchísimas
gracias
de
nuevo,
bienvenida
y
comparto
todos
los
días
en
Tivoli.
Muchísimas
gracias
María
por
tus
palabras,
muchísimas
gracias
por
la
invitación,
es
un
placer
estar
aquí
y
que
bueno
pues
desde
las
distintas
partes
del
mundo
pues
podamos
compartir
nuestra
experiencia
en
la
creación
de
corpus
y
en
la
creación
de
modelos
del
lenguaje.
Voy
a
contar
el
objetivo
es
contar
bueno
pues
cómo
nosotros
hacemos
corpus,
cómo
los
diseñamos
sobre
todo,
también
voy
a
hacer
una
introducción
un
poco
breve
de
que
es
lo
que
hacemos
en
el
instituto
y
por
qué
hacemos
estos
corpus
anotados.
Bueno
en
el
Instituto
de
Ingeniería
del
Conocimiento
pues
solemos
tener
una
aproximación
muy
enfocada
a
generar
modelos
de
lenguaje
en
español,
tanto
understanding,
de
comprensión
como
generativos.
Ya
sé
que
buenopues
los
modelos
de
comprensión
no
están
tan
de
moda
pero
sí
que
son
muy
útiles
y
funcionales
para
tareas
específicas
y
muchas
veces
esas
tareas
tienen
que
ver
con
clasificación
de
contenidos,
detección
de
entidades,
incluso
detección
de
emociones
o
sentimientos,
esas
tareas
normalmente
pues
se
puede
usar
un
modelo
generativo
pero
funcionan
mejor
con
un
modelo
de
comprensión.
Nosotros
tenemos
un
modelo
generado,
entrenado
que
se
llama
Rigoberta
que
es
lo
que
veis
aquí
en
el
simbolito
de
la
guitarra
y
eso
es
nuestro
modelo
del
lenguaje
understanding
digamos
en
español.
Pues
como
como
os
he
dicho
pues
funciona
mejor
para
esas
tareas
porque
está
específicamente
diseñado
para
esto
aparte
que
los
recursos
hardware
que
necesita
son
menores
también
sin
embargo
para
hay
otras
tareas
que
necesitas
unos
modelos
más
grandes,
unos
modelos
que
tienen
que
ver
con
la
generación
del
lenguaje
y
para
eso
hemos
entrenado
un
modelo
del
lenguaje
generativo.
Ese
modelo
del
lenguaje
generativo
pues
tiene
varias
partes,
no
me
voy
a
centrar
tanto
en
explicar
este
modelo
del
lenguaje
generativo
porque
bueno
pues
ya
lo
hemos
presentado
en
otras
ocasiones
y
aquí
estamos
centrados
más
bien
en
cómo
hemos
hecho
estos
corpus
pero
sí
que
me
sirve
muy
bien
para
que
veáis
y
entendáis
un
poquito
por
qué
los
utilizamos
y
por
qué
son,
por
qué
es
tan
útil
hacerlos
con
calidad.
Nuestro
Rigochat
es
una
familia
de
modelos
específicos
para
hacer
distintas
tareas.
Estas
distintas
tareas
pues
tienen
que
ver
con
un
modelo
general
de
instrucciones
vale
y
un
modelo
más
específico
para
tareas
de
diálogo,
más
relacionados
con
lo
que
sería
un
cuestionan
serie,
no
tanto
que
le
des
una
instrucción
y
te
revuelva,
pues
por
ejemplo
le
voy
a
dar
una
instrucción
de
un
resumen,
le
voy
a
dar
una
instrucción
de
una
traducción,
no
eso
digamos
sería
el
primer
modelo
sino
el
segundo
modelo
tendría
que
ver
más
bien
con
con
esas
tareas
de
pregunta-respuesta
y
luego
pues
digamos
el
último
de
la
familia
que
sería
un
modelo
mixto
digamos
de
las
otras
dos.
En
nuestro
entrenamiento
de
Rigochat
específicamente
para
el
español
que
se
ha
entrenado
con
distintos
corpus,
muchos
de
los
corpus
disponibles
públicos
disponibles
pero
también
corpus
que
hemos
desarrollado
nosotros
específicamente
en
el
instituto.
Estos
corpus
que
hemos
diseñado
pues
tienen
una
parte
de
evaluación,
una
parte
que
utilizamos
y
reservamos
exclusivamente
para
tareas
de
validación.
En
el
caso
del
Rigochat
nuestra
versión
pues
lo
hemos
entrenado,
lo
hemos
validado
con
dos
corpus,
veis
aquí
un
corpus
de
seguros
de
cuestionan
serie
y
un
corpus
de
datos
clínicos.
En
este
caso
veis
que
en
algunos
tareas
pues
GPT4
supera
digamos
a
los
datos
obtenidos
con
Rigochat
pero
vemos
que
cuando
hablamos
de
casos
clínicos
que
son
específicos
de
un
idioma
y
además
son
textos
bastante
más
largos
nuestro
Rigochat
lo
hace
mejor.
Como
hemos
obtenido
estos
corpus
no
de
calidad
para
entrenar
nuestro
Rigochat
pues
voy
a
contar.
La
metodología
que
utilizamos
en
el
instituto
está
inspirada
en
esta
metodología
que
es
una
metodología
digamos
bastante
establecida
que
es
la
metodología
MATER.
Esta
metodología
es
digamos
bien
en
el
mundo
ángulo
sajón
de
Pusteyowski
y
otros
sobre
todo
encabezado
por
Pusteyowski
y
lo
que
bueno
representa
aquí
veis
un
poquito
en
la
imagen
0,1
o
0,2
son
como
las
distintas
fases
que
se
tienen
que
tomar.
Bueno
estas
son
fases
intuitivas
pasamos
de
modelo
de
anotación
a
la
anotación
luego
el
entrenamiento
al
testeo
de
la
evaluación
y
la
revisión.
Aquí
nuestra
pequeña
aportación
digamos
a
esta
metodología
es
que
nosotros
solemos
hacer
esto
en
iteraciones
muy
pequeñas
es
con
iteraciones
pequeñas
del
corpus,
el
corpus
lo
dividimos
en
trozos
más
pequeños
y
solemos
hacer
estas
iteraciones
con
corpus
que
todavía
se
están
anotando
es
decir
el
proceso
de
anotación
se
para
o
se
quedan
standby
y
se
intenta
continuar
el
máximo
de
las
fases.
¿Por
qué
se
hace
esto?
Porqueuna
de
las
cosas
que
pasaba
antes
o
las
personas
que
somos
ya
un
poquito
más
mayores
pues
nos
pasaba
antes
que
entrenabas
un
corpus
dividías
entre
test
y
test
entre
test
y
train
y
había
al
final
del
corpus
errores
que
te
suponían
revisar
mucha
parte
del
corpus
cuando
ya
el
proceso
estaba
muy
finalizado
y
eso
es
un
aspecto
muy
costoso
por
eso
nosotros
hemos
optamos,
os
lo
voy
a
mostrar
en
la
siguiente
diapositiva,
optamos
por
hacerlo
en
pequeños
lotes,
os
voy
a
contar.
Lo
primero
que
hacemos
cuando
nos
llega
un
corpus
es
dividirlo
en
tres
partes,
una
primera
parte
de
preanotación
y
luego
el
conjunto
de
test
y
train,
tanto
el
conjunto
de
test
como
el
conjunto
de
train
van
a
tener
distintos
bloques,
el
de
preanotación
puede
tener
distintos
bloques
dependiendo
de
la
dificultad
del
problema
pero
sobre
todo
no
es
tan
importante
estos
distintos
bloques
en
preanotación
lo
que
sí
es
muy
importante
es
que
haya
distintos
bloques
que
estos
son
como
segmentar
este
corpus
en
trocitos,
para
ir
anotando
otro
trocito
ir
anotando
otro
trocito
terminar
así
iterativamente,
que
nos
permite
esta
asociación
por
bloques
pues
nos
permite
primero
que
las
guías
de
anotación
se
van
enriqueciendo
con
las
distintas
fases
pero
al
hacer
esta
forma
iterativa
nos
permite
ir
aumentando
estas
guías
de
anotación
de
forma
interativa
en
todos
los
bloques
y
que
nos
permite
también
que
las
dos
personas
que
están
anotando
normalmente
en
el
instituto
anotan
dos
personas
pueden
ser
más
pero
mínimo
son
dos
ese
bloque
de
de
anotación
se
hace
una
fase
de
armonización
esa
fase
de
armonización
es
una
fase
digamos
que
nosotros
solemos
hacer
con
bastante
sentido
es
lo
que
nos
va
a
dar
las
dudas
lo
que
nos
va
a
permitir
aumentar
las
guías
lo
que
nos
va
a
permitir
mejorar
y
saber
si
hay
que
revisar
todo
por
lo
que
sea
pues
hay
una
confusión
grande
o
uno
de
los
dos
anotadores
no
pues
no
no
ha
tenido
no
entendido
alguno
de
los
criterios
vale
todos
estas
todo
esto
se
se
plasma
en
las
guías
de
anotación
y
no
es
hasta
el
final
de
la
anotación
que
tienes
unas
guías
definitivas
esto
a
pesar
de
que
bueno
pues
vemos
que
este
proceso
no
que
que
va
de
arriba
abajo
es
iterativo
nos
nos
nos
nos
permite
que
aunque
los
dos
anotadores
no
no
hablan
de
la
anotación
cuando
están
anotando
pero
sí
que
es
ponen
sus
dudas
al
final
de
cada
bloque
vale
creemos
que
que
esta
forma
iterativa
produce
pues
es
un
poquito
más
costoso
quiero
quiero
decir
es
un
poquito
más
costoso
en
tiempo
porque
a
veces
bueno
pues
tienes
que
terminar
un
paquete
armonizar
luego
ir
al
otro
bloque
pero
sin
embargo
te
permite
asegurar
el
éxito
y
que
el
corpus
sea
sea
tenga
mucha
calidad
alguna
vez
nos
han
dicho
de
hecho
en
personas
que
que
han
realizado
un
corpus
y
que
no
les
ha
funcionado
o
que
no
tiene
la
calidad
que
esperaban
y
y
puede
ser
debido
a
este
a
este
proceso
no
es
verdad
que
no
siempre
no
todos
los
corpus
se
armonizan
y
no
todos
los
corpus
tienen
esta
revisión
pero
si
tú
quieres
digamos
hacer
corpus
que
luego
funcionen
en
un
sistema
en
productivo
pues
digamos
asegurar
la
calidad
de
ese
corpus
es
es
muy
importante
esta
fase
de
armonización
como
os
decía
siempre
se
da
por
por
las
dos
personas
es
decir
cada
una
de
las
personas
anota
su
parte
de
forma
completamente
autónoma
independiente
si
mira
las
guías
de
anotación
pero
digamos
no
se
ponen
común
durante
el
proceso
es
hasta
el
final
de
la
anotación
de
cada
bloque
con
la
que
en
la
que
se
hace
esa
armonización
vale
una
vez
hecha
esa
armonización
donde
se
resuelven
las
dudas
se
acuerdan
nuevos
criterios
se
revisan
otros
o
también
puede
ser
que
haya
dudas
que
se
expongan
al
cliente
o
al
sponsor
de
ese
corpus
esas
dudas
pueden
ser
dudas
razonables
que
uno
de
aspectos
que
que
que
no
tengan
tanta
que
ver
con
la
lingüística
sino
con
decisiones
importantes
de
negocio
de
cómo
se
quieren
anotar
esas
etiquetas
es
al
final
de
esta
armonización
donde
vamos
a
tener
el
gol
estándar
ese
gol
estándar
será
por
ejemplo
si
el
bloque
1
tiene
150
textos
pues
ese
bloque
un
ese
gol
estándar
será
esos150
donde
ha
habido
un
consenso
y
una
armonización
se
han
resuelto
todas
las
dudas
que
pasa
con
ese
gol
estándar
que
tiene
y
la
calidad
suficiente
se
han
eliminado
sesgos
el
que
pueda
haber
al
contrastarlo
con
otra
persona
al
haberlo
armonizado
e
incluso
al
haberlo
llevado
a
a
dudas
más
de
negocio
o
unas
dudas
que
que
sean
más
allá
de
la
configuración
lingüística
cada
uno
de
los
bloques
es
va
a
ser
igual
es
decir
se
va
a
repetir
es
verdad
que
las
dudas
razonables
que
uno
tiene
en
en
el
primer
bloque
donde
las
guías
de
notación
son
realmente
pequeñas
pues
son
muchas
pero
según
se
va
avanzando
con
los
bloques
las
dudas
disminuyen
mucho
y
y
en
los
últimos
bloques
pues
pues
las
dudas
son
bastante
puntuales
cuántos
aquí
me
vais
a
preguntar
cuántos
bloques
y
cuánto
qué
tamaño
tienen
que
tener
los
goles
estándar
pues
esta
es
la
pregunta
del
millón
seguramente
y
luego
si
queréis
hablamos
un
poquito
más
de
esto
pero
nos
puedo
decir
un
tamaño
específico
de
los
corpus
va
a
depender
muchísimo
muchísimo
de
la
tarea
que
queramos
y
también
de
la
calidad
que
queramos
tener
tan
otro
aspecto
importante
es
es
el
número
de
etiquetas
pero
bueno
eso
si
queréis
lo
vemos
más
adelante
claro
no
todos
los
no
todos
los
corpus
requieren
una
revisión
por
pares
digamos
estricta
como
la
que
he
contado
no
está
revisión
donde
los
dos
anotadores
se
ponen
de
acuerdo
y
se
revisan
y
armonizan
y
básicamente
es
como
como
si
al
final
hay
una
simbiosis
completa
no
entre
los
dos
anotadores
es
como
tienen
exactamente
los
mismos
criterios
hay
tareas
que
que
no
pueden
ser
así
por
la
naturaleza
e
incluso
de
la
tarea
en
cuestión
algunas
tareas
que
que
son
un
poquito
diferentes
son
la
cuando
hace
es
un
corpus
relacionado
con
cuestión
ancerín
los
sistemas
de
preguntas
respuestas
pues
ya
sabéis
que
están
tienen
una
pregunta
y
luego
normalmente
tiene
una
respuesta
asociada
esa
pregunta
que
pueden
tener
contestos
o
no
dependiendo
si
estamos
en
un
sistema
rajo
si
estamos
en
un
cuestionante
de
digamos
más
clásico
claro
que
pasa
en
estos
en
estos
en
estos
corpus
pues
que
las
respuestas
pueden
ser
más
de
una
es
decir
pueden
ser
válidas
muchas
formas
de
redactar
esas
respuestas
y
por
lo
tanto
no
hay
una
sola
respuesta
válida
hay
muchas
respuestas
válidas
igual
tantas
como
personas
porque
no
todos
escribimos
de
la
misma
manera
sí
que
hay
ciertas
cierto
consenso
pero
no
hay
una
única
manera
de
redactar
las
respuestas
entonces
en
los
en
los
corpus
de
cuestión
ancerín
lo
que
se
suele
hacer
es
consensuar
mucho
las
preguntas
también
se
consenso
en
las
respuestas
pero
sobre
todo
tienes
que
consensuar
las
preguntas
porque
son
las
preguntas
las
que
te
van
a
dar
el
alcance
y
la
profundidad
de
cómo
va
a
funcionar
el
sistema
entonces
el
anotador
1
y
el
anotador
2
en
este
caso
van
a
hacer
un
van
a
hacer
cada
uno
su
corpus
y
sólo
se
va
a
revisar
la
anotación
del
otro
digamos
a
corregir
los
errores
pues
por
ejemplo
en
lo
que
en
el
caso
de
que
los
anotadores
tengan
muy
poca
experiencia
o
que
no
hayan
quedado
o
que
haya
dudas
expuestas
por
por
los
propios
anotadores
que
los
propios
anotadores
en
cada
uno
de
los
bloques
manifiesten
pues
que
pues
que
tienen
dudas
no
con
ciertas
preguntas
con
ciertas
terminologías
o
con
cierta
o
con
la
extensión
de
de
ciertas
cosas
que
no
se
han
apalabrado
o
se
han
pactado
previamente
no
cosas
que
van
apareciendo
ahí
sí
que
se
hace
una
armonización
y
resolución
de
dudas
pero
digamos
no
se
la
armonización
en
el
caso
de
la
redacción
de
las
de
las
respuestas
sólo
se
supervisan
pero
no
se
no
se
corrige
porque
cada
uno
pues
tenemos
una
forma
de
escribir
de
forma
distinta
así
que
no
se
puede
llegar
a
una
revisión
por
pares
de
forma
completa
como
veíamos
en
las
tareas
digamos
más
orientadas
a
las
tareas
de
comprensión
las
tan
las
tareas
que
tienen
que
ver
con
más
con
la
generación
son
más
difíciles
digamos
de
armonizar
o
consensuar
y
aquí
bueno
pues
una
de
las
partes
más
importantes
es
el
nivel
de
experiencia
sieres
una
persona
que
sueles
y
sueles
hacer
corpus
y
tienes
un
grado
de
experiencia
alto
pues
el
consensuar
las
preguntas
y
las
respuestas
te
va
a
dar
un
digamos
te
va
a
resultar
fácil
de
se
volverte
en
esta
tarea
también
pues
para
generar
los
corpus
de
cuestionan
serín
tenemos
que
tener
en
cuenta
bueno
pues
que
cuando
se
se
acuerdan
las
preguntas
pues
hay
preguntas
de
muchos
tipos
no
hay
una
tipología
de
preguntas
que
tenemos
que
recordar
una
de
las
partes
de
las
guías
digamos
de
esos
corpus
es
acordar
las
preguntas
y
la
profundidad
de
las
preguntas
puede
haber
preguntas
muy
muy
concretas
incluso
preguntas
de
sí
o
no
o
puede
haber
preguntas
muy
generalistas
incluso
ambiguas
entonces
está
está
como
como
decía
antes
digamos
esta
tipificación
de
las
preguntas
y
estás
y
este
consenso
nos
va
a
permitir
saber
hasta
dónde
queremos
abordar
las
tareas
a
lo
mejor
hay
tareas
hay
preguntas
que
eso
lo
queremos
abordar
imagínate
pues
una
una
selección
de
entre
entre
cuatro
opciones
o
hay
preguntas
abiertas
donde
tienes
que
escribir
realmente
un
fragmento
o
exponer
entonces
va
a
depender
mucho
de
la
tarea
en
cuestión
pero
tipificar
las
preguntas
es
una
de
las
partes
fundamentales
otra
parte
es
la
sinonímica
y
la
variedad
lésica
si
queremos
enseñar
al
modelo
de
el
lenguaje
que
vamos
a
utilizar
este
lenguaje
obligatoriamente
tiene
que
ser
lo
más
variado
posible
donde
donde
las
preguntas
y
las
respuestas
no
tengan
las
mismas
palabras
no
intentándose
lo
poner
difícil
al
modelo
para
que
aprenda
los
casos
más
difíciles
también
la
presencia
de
distintos
registros
a
que
se
da
mucho
y
seguro
que
muchos
pues
que
utilizáis
a
gpt
o
similar
bueno
pues
utilizáis
distintos
registros
para
preguntarle
y
en
la
mayoría
de
los
casos
os
responde
a
todos
los
registros
que
se
que
se
es
capaz
de
preguntar
eso
es
una
de
las
ventajas
que
tenemos
que
hacer
en
enseñarle
todos
los
registros
para
que
aprenda
a
contestar
todos
o
si
en
específico
queremos
que
uno
no
lo
aprenda
pues
también
enseñárselo
no
hay
muchas
maneras
de
preguntar
hay
formas
de
preguntar
de
forma
directa
de
forma
indirecta
entonces
tenemos
que
enseñarle
incluso
de
forma
condicional
se
puede
preguntar
entonces
hay
que
indicarle
todas
las
maneras
también
es
propio
de
los
chatbot
o
mucha
gente
saluda
y
se
despide
entonces
tenemos
que
ponerle
también
esta
presencia
de
saludos
y
despedidas
al
igual
que
los
errores
ortográficos
es
muy
frecuente
ya
que
es
un
lenguaje
mucho
más
espontáneo
cuando
hacemos
un
sistema
de
preguntas
respuestas
como
el
lenguaje
normalmente
suele
ser
más
más
espontáneo
pues
que
utilicemos
muchas
faltas
de
ortografía
o
errores
gramaticales
incluso
errores
de
escritura
así
que
todo
esto
tiene
que
estar
presente
en
nuestro
corpus
de
forma
equilibrada
pero
de
forma
muy
presente
porque
es
algo
que
se
va
a
dar
y
si
al
final
el
uso
va
a
ser
con
errores
de
escritura
o
faltas
de
ortografía
pues
esto
necesita
el
modelo
haberlo
visto
y
con
esto
vamos
a
digamos
la
parte
más
importante
cuando
se
diseña
un
corpus
que
es
esta
representatividad
en
los
corpus
se
diseñan
digamos
de
acuerdo
a
una
tarea
o
un
fin
específico
si
yo
quiero
hacer
una
tarea
de
cuestionancerin
para
el
sistema
de
salud
que
responda
preguntas
relacionadas
con
salud
en
la
población
pues
las
características
del
corpus
tienen
que
ser
que
que
nuestros
preguntas
y
respuestas
sean
preguntas
que
suele
hacer
la
población
y
respuestas
que
puedan
dar
por
un
médico
un
profesional
médico
o
pediatra
profesional
de
la
salud
de
las
distintas
ramas
entonces
por
ejemplo
en
este
caso
yo
estoy
pensando
en
un
dominio
escrito
en
estos
escritos
podría
ser
que
nuestro
corpus
fuera
oral
aquí
veis
en
este
rosco
que
he
puesto
más
o
menos
todas
las
partes
importantes
que
son
necesario
por
lo
menos
considerar
a
la
hora
de
diseñar
este
corpus
tenemos
que
pensar
una
de
uno
de
los
grandes
atascos
es
la
propiedad
de
los
testos
cuando
usamos
testos
por
ejemplo
de
la
wikipedia
o
testos
de
salud
o
testos
de
noticias
tenemos
que
ver
si
estos
testos
podemosusarlos
son
propietarios
no
son
propietarios
podemos
construir
nuestros
data
set
también
dependen
a
lo
mejor
del
tamaño
si
vamos
a
utilizar
conjuntos
de
datos
que
ya
tengan
una
licencia
que
podamos
usar
o
vamos
a
hacer
pues
un
por
ejemplo
un
tamaño
donde
hay
que
pedir
hay
que
pedir
permiso
para
poder
usarlo
y
en
el
caso
de
pedir
permiso
para
poder
usarlo
que
permis
que
licencia
va
a
tener
luego
el
corpus
la
propiedad
de
los
testos
y
las
licencias
están
muy
relacionados
muchas
veces
bueno
pues
los
corpus
que
están
a
nuestro
acceso
o
que
tenemos
acceso
muchas
veces
tienen
una
propiedad
de
uso
para
investigación
o
a
veces
tienen
una
propiedad
restringida
que
no
se
puede
usar
para
para
uso
comercial
depende
muchísimo
de
también
la
propiedad
de
esos
datos
a
veces
la
propiedad
de
esos
datos
te
limita
también
la
licencia
de
uso
el
tamaño
del
corpus
pues
es
una
cosa
que
hay
que
pensar
con
qué
tamaño
de
corpus
voy
a
obtener
en
el
tiempo
que
tengo
de
anotación
un
resultado
satisfactorio
el
idioma
si
voy
a
hacerlo
en
español
va
a
ser
bilingüe
por
ejemplo
va
a
ser
en
distintos
idiomas
multilingüe
o
va
a
ser
por
ejemplo
especificando
una
una
variedad
dialetal
también
podría
ser
el
dominio
temática
aquí
bueno
pues
cuando
se
presenta
2
rego
chat
he
presentado
un
corpus
de
seguros
y
un
corpus
de
salud
estas
serían
estos
serían
los
dominios
no
qué
temática
son
la
que
voy
a
elegir
para
el
fin
con
el
que
estoy
construyendo
el
corpus
y
la
dimensión
temporal
en
la
dimensión
temporal
pues
normalmente
buscamos
corpus
que
sean
actuales
no
que
tengan
que
ver
con
con
el
uso
de
la
lengua
actual
pero
puede
ser
que
nuestro
nuestra
idea
sea
hacer
un
corpus
del
español
del
siglo
18
bueno
pues
ahí
tenemos
que
pensar
dónde
vamos
a
conseguir
esos
datos
cómo
los
vamos
a
conseguir
etcétera
la
el
digamos
en
el
círculo
que
está
en
el
centro
es
la
representatividad
cada
una
de
las
decisiones
que
tomemos
tiene
que
estar
representada
en
el
corpus
y
tiene
que
ser
representativa
vale
si
si
queremos
por
ejemplo
hacer
un
corpus
de
noticias
financieras
actuales
y
también
del
ámbito
de
la
salud
tenemos
que
pensar
que
tiene
que
estar
por
ejemplo
al
50
por
ciento
y
esos
corpus
tienen
que
ser
más
o
menos
del
mismo
tamaño
imaginaos
que
que
pongo
en
el
modelo
datos
de
twitter
y
datos
de
noticias
son
muy
diferentes
en
extensión
así
que
es
muy
es
muy
fácil
que
el
modelo
saca
conclusiones
por
la
extensión
del
texto
y
no
por
las
etiquetas
que
le
vamos
a
enseñar
o
las
preguntas
que
le
estamos
enseñando
así
que
eso
hay
que
tenerlo
en
cuenta
a
la
hora
de
diseñar
la
extensión
de
los
datos
o
esas
características
del
corpus
que
sería
este
apartado
como
ha
dicho
antes
en
María
pues
en
la
presentación
y
para
construir
esa
leaderboard
en
español
que
es
una
cosa
que
que
es
muy
interesante
para
poder
evaluar
los
modelos
y
ver
y
ver
de
los
modelos
que
están
orientados
en
español
y
en
las
lenguas
oficiales
pues
cuál
es
mejor
que
arranquen
tienen
cuál
es
mejor
para
ciertas
tareas
o
para
tareas
más
específicas
y
nosotros
desde
el
instituto
hemos
donado
tres
corpus
os
voy
a
contar
un
poquito
estos
tres
corpus
que
incluyen
bueno
son
son
estos
tres
corpus
son
corpus
pensados
en
evaluación
no
tienen
corpus
de
entrenamiento
por
eso
son
unos
corpus
más
pequeños
pensados
específicamente
para
para
que
sirvan
para
evaluar
no
que
es
el
objetivo
de
estar
a
leaderboard
bueno
pues
estos
son
los
nombres
y
tienen
que
ver
con
asseguros
vale
un
este
medio
el
astratíquia
que
es
misceláneo
donde
se
incluye
la
salud
pero
también
se
incluye
pues
datos
digamos
de
más
más
generales
de
dominios
más
mezclados
con
esta
idea
de
que
de
que
los
modelos
se
midan
en
distintas
temáticas
y
el
último
que
es
un
que
es
un
corpus
de
ra
pues
es
un
corpus
misceláneo
no
donde
tiene
que
ver
pues
también
hay
turismo
atención
al
cliente
es
es
un
corpus
de
distintas
preguntas
que
respuestas
voy
a
contar
un
poquito
cómo
están
hechos
cuando
hacemos
los
corpus
de
test
bueno
pues
nosotros
hemos
acordado
las
preguntas
laextensión
de
las
preguntas
cómo
van
a
ser
estas
preguntas
y
y
por
ejemplo
el
este
corpus
de
seguros
tiene
cuatro
cuatro
apartados
donde
están
donde
se
realizan
las
preguntas
la
respuesta
digamos
simplificada
en
lenguaje
digamos
en
un
lenguaje
más
de
uso
común
pero
también
tenemos
la
respuesta
literal
en
la
respuesta
literal
es
una
es
una
respuesta
sacada
de
este
contexto
seleccionada
de
este
contexto
digamos
que
es
el
fragmento
del
contexto
donde
se
responde
a
la
pregunta
vale
y
el
contexto
es
donde
se
encuentra
la
información
vale
en
general
como
el
la
sección
o
contexto
un
poco
más
amplio
porque
bueno
porque
esto
porque
los
contextos
muchas
veces
tienen
son
son
muy
son
muy
amplios
y
no
siempre
digamos
cuando
cuando
digamos
entrenamos
un
sistema
a
veces
te
es
útil
también
encontrar
exactamente
dónde
está
la
respuesta
dentro
de
ese
contexto
vale
entonces
esas
serían
estas
dos
cajitas
y
luego
la
respuesta
digamos
en
el
lenguaje
entendible
por
así
decirlo
el
lenguaje
un
lenguaje
más
claro
más
cercano
sería
esta
segunda
segunda
columna
el
corpus
astrativ
ciudad
corpus
digamos
como
es
un
corpus
más
miscelanio
aquí
no
importa
tanto
encontrar
una
respuesta
literal
lo
que
importa
más
es
encontrar
pues
el
contexto
y
la
respuesta
entonces
este
corpus
está
organizado
con
que
se
hace
una
pregunta
se
se
responde
digamos
en
un
lenguaje
un
poquito
más
claro
y
luego
se
encuentra
el
contexto
estos
contextos
como
veis
en
todos
pone
sigue
porque
es
imposible
que
me
quepa
aquí
en
esta
diapositiva
todos
los
contextos
pero
bueno
como
lo
podéis
consultar
en
hangin
face
no
todos
los
corpus
pues
podéis
digamos
consultar
todos
los
contextos
y
lo
amplios
que
son
vale
el
sentido
es
sentido
de
este
contexto
es
que
él
que
digamos
encontremos
la
respuesta
a
esta
pregunta
en
este
contexto
que
es
amplio
no
es
digamos
toda
la
documentación
pero
sí
que
que
es
un
respaldo
un
contexto
amplio
otra
de
las
cosas
que
cuando
diseñamos
un
corpus
y
por
eso
he
puesto
este
ejemplo
es
que
muchas
veces
una
de
las
cosas
que
resulta
más
difícil
pero
que
es
una
cosa
crucial
es
es
hacer
preguntas
que
no
tengan
respuesta
en
los
contextos
o
en
la
documentación
que
tenemos
esa
parte
es
crucial
para
para
y
nos
sirve
como
testeo
de
cómo
lo
bien
de
cómo
debiendo
hacer
el
sistema
entonces
aquí
pues
tenemos
estas
preguntas
en
concreto
esta
pregunta
que
veis
no
tiene
respuesta
entre
la
documentación
que
le
hemos
dado
vale
entonces
aquí
lo
que
ponemos
es
que
esta
pregunta
esta
respuesta
no
está
vale
esto
es
muy
importante
dárselo
y
cuando
diseñamos
el
el
corpus
indiscutiblemente
se
tienen
que
hacer
en
preguntas
en
respuesta
vale
por
por
último
pues
os
quería
contar
este
corpus
del
raj
miselánio
este
corpus
está
pensado
para
preguntas
que
tienen
más
de
un
contexto
es
decir
los
otros
dos
corpus
que
hemos
visto
pues
normalmente
se
res
o
sea
la
respuesta
la
tenemos
en
un
solo
contexto
encontramos
el
contexto
y
encontramos
la
respuesta
pero
a
veces
hay
que
componer
la
respuesta
de
distintos
contextos
y
esto
es
una
tarea
mucho
más
difícil
así
que
este
este
corpus
está
pensado
para
que
tengamos
una
pregunta
una
respuesta
varios
contextos
pueden
ser
uno
pueden
ser
varios
no
son
varios
y
y
como
es
un
corpus
digamos
que
tiene
enlaces
que
tiene
está
está
relacionado
pues
con
información
que
tienes
en
internet
también
tienes
los
enlaces
donde
está
la
información
de
esos
contextos
de
tal
manera
que
tú
puedes
digamos
ver
dónde
está
esa
información
y
verificar
así
que
este
corpus
es
un
corpus
mucho
más
difícil
vale
mucho
más
difícil
de
elaborar
y
mucho
más
difícil
digamos
de
que
los
los
sistemas
tengan
a
cierto
porque
no
sólo
tienen
que
responder
a
la
pregunta
sino
que
tienen
que
componer
que
componerla
basándose
en
distintos
contextos
que
a
veces
un
5
pueden
ser
10
una
de
las
cosas
que
es
importante
también
que
vais
a
ver
en
en
en
este
corpus
es
que
tenemos
ejemplos
de
preguntas
realizadas
de
distintas
maneras
vale
en
eso
que
os
decíamos
de
bueno
pues
queal
final
las
preguntas
tienen
que
ser
variadas
y
de
distintas
maneras
pues
ahí
vais
a
poder
ver
ejemplos
de
distintas
maneras
de
la
hora
estas
preguntas
y
yo
no
sé
si
me
ha
extendido
mucho
o
no
pero
maría
aquí
estoy
además
como
bueno
también
me
ha
encantado
que
hayas
hecho
como
también
mucho
encapié
en
eso
en
la
diversidad
de
los
datos
y
en
las
diferentes
características
que
tienen
que
tener
para
que
sean
bueno
realmente
para
que
sean
de
buena
calidad
que
también
es
algo
que
intentamos
impulsar
mucho
en
el
hackathon
bueno
yo
hablo
pero
si
tenéis
preguntas
podéis
ir
las
escribiendo
en
el
chat
y
ahora
se
las
leo
vale
porque
tarda
un
poquito
en
que
las
reciban
y
también
me
parece
muy
interesante
toda
la
parte
de
cómo
las
diferentes
realmente
entre
anotar
un
corpus
de
tareas
de
comprensión
que
son
a
las
que
estábamos
acostumbrados
más
antes
y
ahora
cómo
se
cambia
al
tener
preguntas
que
son
mucho
más
abiertas
que
también
bueno
también
a
la
parte
de
evaluaciones
mucho
más
complicado
pero
también
anotar
pues
bueno
crear
esos
corpus
también
es
como
mucho
más
más
complejo
entonces
bueno
muchas
gracias
por
la
presentación
la
verdad
gracias
a
ti
bueno
de
momento
tenemos
una
pregunta
que
es
de
leonardo
dice
bueno
primero
que
genial
la
charla
y
que
le
queda
una
duda
mira
te
la
pongo
por
aquí
sobre
los
errores
ortográficos
en
el
entrenamiento
vale
debemos
intentar
que
no
estén
en
los
datos
pero
después
claro
el
modelo
al
entrenar
no
los
va
a
ver
entonces
como
tiene
o
sea
que
el
pato
tiene
eso
después
en
el
modelo
resultante
no
haber
nuestra
nosotros
entrenamos
con
errores
porque
creemos
que
el
corpus
debe
tener
errores
si
al
final
por
ejemplo
estamos
entrenando
un
sistema
de
pregunta
respuesta
o
un
graph
normalmente
tiene
errores
que
no
escribe
con
errores
nadie
escribe
con
el
todo
se
escribimos
con
errores
yo
tenía
un
cateatrático
en
la
facultad
que
decía
es
que
yo
escribo
con
faltas
de
ortografía
y
pensaba
bueno
pues
ya
está
si
él
escribe
con
la
ortografía
todos
podemos
escribir
con
falta
de
ortografía
y
es
una
realidad
que
tenemos
en
los
datos
y
creo
que
al
modelo
hay
que
enseñárselo
así
que
nosotros
favorecemos
bueno
a
lo
mejor
no
depende
no
si
estamos
pensando
en
que
esto
vaya
un
sistema
en
productivo
en
una
empresa
pues
a
lo
mejor
no
se
puede
escribir
con
faltas
pero
si
va
a
ser
de
uso
popular
pues
las
faltas
las
notas
en
las
preguntas
van
a
estar
pues
muy
bien
pues
ahí
tienes
tu
tu
respuesta
Leonardo
si
que
tienes
que
entrenar
con
con
errores
a
poder
ser
yo
ahora
mientras
aclarísimo
la
respuesta
te
dije
yo
quería
hacerte
una
pregunta
que
has
hecho
bueno
que
también
propusiste
un
poco
ahí
y
también
he
escuchado
en
los
canales
de
los
equipos
y
es
cuando
sabes
que
ya
tienes
suficientes
datos
en
el
sentido
entonces
bueno
sobre
eso
el
número
de
etiquetas
también
si
puedes
comentar
un
poco
más
que
lo
que
sería
muy
interesante
a
ver
no
hay
un
número
no
hay
no
se
puede
dar
un
número
pero
es
verdad
que
que
podemos
pensar
que
con
pocos
miles
o
incluso
mil
ejemplos
podría
ser
suficiente
claro
no
va
a
ser
a
lo
mejor
no
va
a
ser
suficiente
para
todas
las
tareas
ni
para
ni
para
la
precisión
dependiendo
de
los
usos
y
de
la
complejidad
pero
pero
sí
que
es
verdad
que
muchas
veces
pensamos
en
datos
masivos
no
de
cientos
de
miles
de
ejemplos
y
esos
datos
muchas
veces
tienen
muchos
errores
y
poca
calidad
entonces
muchas
veces
es
mejor
hacer
un
data
set
de
mil
ejemplos
bien
hecho
que
tener
10.000
datos
semiautomáticos
parcialmente
revisado.
Buena
notación
mejor
calidad
cantidad
creo
que
también
es
una
idea
bastante
recurrente
en
las
en
las
charlas
que
estamos
viendo
estos
días
y
para
elegir
las
etiquetas
por
ejemplo
también
es
una
duda
que
me
surgía
a
mí
que
bueno
de
hecho
te
pregunte
a
la
hora
de
elegir
cómo
anotar
o
qué
pedirles
de
información
a
los
equipos
sobre
los
cuerpos
de
instrucciones
que
están
creando
entonces
cuando
sabemos
que
está
bien
y
que
no
tenemos
que
pedir
muchísima
más
información
que
a
mí
eso
lo
tengo
quepasar
pues
ajustar
esto
tiene
que
ver
con
con
esta
definición
del
alcance
que
hayamos
tomado
es
decir
por
ejemplo
si
le
estamos
estamos
haciendo
un
corpus
de
instrucción
para
generar
resumiones.
Resumiones
de
qué
de
prensa
vale
porque
si
genero
resumiones
de
sentencias
judiciales
seguramente
pues
tenga
que
tener
más
que
empresa
porque
es
un
ámbito
mucho
más
difícil
y
además
la
extensión
de
los
documentos
es
bueno
las
sentencias
judiciales
tienen
pues
mucha
distancia
unas
de
otras
no
pero
son
documentos
todos
muy
largos
con
un
lenguaje
muy
específico
con
un
dominio
muy
específico
entonces
cuando
el
tamaño
del
corpus
y
las
etiquetas
te
lo
va
a
dar
el
alcance
o
sea
cuál
es
mi
objetivo
eso
es
digamos
que
sé
que
es
lo
más
difícil
de
pensar
pero
es
lo
que
te
da
clave
para
el
resto
de
las
cosas.
Vale
genial
muchas
gracias
por
la
respuesta
así
que
es
realmente
es
complicado
y
de
aquí
te
quiero
trasladar
otra
pregunta
que
leí
en
la
comunidad
y
era
de
una
una
mujer
que
es
lingüista
computacional
y
le
interesaba
toda
la
parte
esta
de
empezar
a
anotar
corpus
y
sé
que
se
está
metiendo
perdón
es
lingüista
y
se
está
intentando
empezando
a
meter
en
este
el
campo
de
la
lingüista
computacional
y
me
preguntaba
qué
herramientas
existen
para
anotar
corpus
yo
obviamente
en
la
comunidad
siempre
utilizamos
argila
porque
es
open
source
está
integrado
con
con
el
ecosistema
de
high
in
face
pero
si
tienes
otras
recomendaciones
encantada.
Pues
a
ver
hay
una
herramienta
muy
muy
clásica
de
anotación
de
corpus
digamos
understanding
que
es
Brad
que
digamos
una
herramienta
que
en
la
comunidad
se
utiliza
mucho
también
es
open
source
entonces
a
mí
no
es
la
que
más
me
gusta
pero
sí
que
se
utiliza
mucho.
Nosotros
en
el
instituto
usamos
prodigy
que
es
una
herramienta
digamos
de
pago
pero
pero
te
da
muchas
ventajas
a
la
hora
de
armonizar
porque
siempre
es
digamos
mucho
más
difícil
y
las
herramientas
no
están
normalmente
preparadas
para
esto
pero
con
con
muchas
veces
con
los
sistemas
digamos
de
cuestión
ancerin
o
incluso
para
generar
respuestas
o
resúmenes
a
veces
no
hay
unas
herramientas
que
te
permitan
digamos
fácilmente
hacer
los
procesos
de
revisión
de
automatización
entonces
pues
a
veces
usamos
otras
herramientas
incluso
un
excel
porque
muchas
veces
es
más
fácil
que
sobre
todo
por
los
procesos
de
revisión
no
tanto
por
el
anotado
sino
la
revisión
aquí
es
la
clave
para
elegir
una
herramienta.
Muchas
gracias
tenemos
otra
pregunta
de
alguien
que
se
ha
unido
un
poquito
tarde
que
no
sabes
si
lo
explicaste
después
o
antes
perdón
que
se
debe
considerar
para
hacer
un
corpus
así
que
lo
hablaste
de
varias
características
pero
este
justo
es
un
equipo
de
jacatón
que
están
creando
un
data
center
de
cocinas
y
te
pregunta
tu
opinión
sobre
qué
no
debe
faltar.
Pues
yo
creo
que
no
debe
faltar
en
recetas
de
cocina
y
los
postres.
No
te
acuerdo.
No
pues
creo
que
debería
ser
pues
no
sé
cuántos
por
ejemplo
cuál
es
vuestro
alcance
pero
siempre
tenemos
que
pensar
en
que
sea
muy
variado
o
sea
nuestro
casi
siempre
yo
lo
digo
ante
la
duda
que
sea
lo
más
variado
posible
es
decir
pues
imagínate
que
tenga
guiso
es
que
tenga
arroz
es
no
sé
que
tenga
los
cosas
de
horno
no
sé
si
me
ocurre
pero
siempre
sea
lo
más
variado
posible.
Igual
también
lo
recomiendo
también.
Sí
porque
eso
al
final
los
modelos
lo
que
vamos
a
enseñarles
a
hacer
bien
una
tarea
pero
enseñémosle
a
hacer
la
tarea
lo
más
lo
más
difícil
de
entrada
posible
porque
al
final
luego
la
cuando
le
metes
estos
nuevos
y
distintos
a
los
que
ha
visto
siempre
la
realidad
es
otra
así
que
lo
más
variado
posible.
Vale
genial
muchas
gracias.
No
sé
si
queda
alguna
pregunta
si
queda
una
pregunta
es
nuestra
oportunidad
y
si
no
Marta
no
sé
si
quieres
hacer
alguna
anotación
final
o
algo
que
te
gustaría
añadir.
Pues
no
había
pensado
nada
pero
sí
que
para
la
anotación
de
corpus
tenemos
una
metodología
que
se
puede
consultar
en
digamos
en
la
web
y
eso
puede
puede
ayudarte
a
resolver
muchas
veces
cómo
lo
hago
como
diseño
igual
puedeservir
para
el
hackathon
también
estaba
pensando
por
lo
menos
por
ejemplo
pues
cómo
hago
esta
distribución
de
lotes
cómo
lo
voy
anotando
poco
a
poco
todo
eso
sí
que
lo
contamos
y
yo
creo
que
puede
ser
útil.
Si
la
tenéis
publicada
en
la
página
web
me
la
pases
después
y
la
comparto
la
comparto
en
los
comentarios
del
vídeo
por
si
alguien
lo
ven
diferido
pero
también
lo
comparto
con
la
comunidad
en
Discord.
Fenomenal.
Muy
buena
adición.
Genial
pues
muchísimas
gracias
Marta
como
siempre
un
placer
súper
útil
súper
bien
explicada
a
la
charla
y
nada
seguimos
en
contacto
porque
vamos
a
crear
esta
líder
bueno
a
ver
cuando
la
publicamos
ya
os
vais
a
enterar
todo
el
mundo
se
va
a
enterar.
Muy
bien
muchísimas
gracias
María
un
placer
como
siempre.
Un
buen
abrazo
a
todos.
Hasta
luego.