Bienvenido
a
todo
el
mundo
al
día
de
presentaciones
de
los
proyectos
del
hackathon
somos
600m.
2.221.324
es
la
cantidad
de
ejemplos
que
habéis
creado,
regletado,
formateado
para
dar
lugar
a
un
gran
corpus
en
español.
Entonces
lo
primero
daros
la
hora
buena
a
todos
los
equipos
porque
habéis
hecho
un
trabajo
magnífico.
También
muchas
gracias
a
los
patrinadores
de
oro,
Jain
Feis,
Arjila,
el
Instituto
de
Ingenia
del
Conocimiento,
Lenguaje
Natural
ahí,
Saturde
Isayay,
Yamato,
la
Universidad
de
Puerto
Rico
y
Kalamankran.
Y
justo
tenemos
aquí
hoy
a
Rubén
de
la
Fuente
que
es
formador
en
Kalamankran
que
nos
va
a
compartir
unas
palabras
de
introducción.
Así
que
nada
Rubén,
todo
tuyo,
muchas
gracias.
Muchas
gracias
María.
Ahí
está,
se
está
compartiendo
la
pantalla.
Bueno
pues
muchas
gracias
por
contar
con
Kálamo
para
inaugurar
estas
presentaciones.
La
reflexión
que
quería
compartir
es
que
la
inteligencia
artificial
y
el
procesamiento
del
lenguaje
natural
están
avanzando
como
huracán
y
elegir
la
palabra
huracán
no
es
algo
trivial,
está
muy
pensado.
De
verdad
que
la
velocidad
a
la
que
está
avanzando
este
dominio
en
los
últimos
dos
años,
yo
diría,
es
bestial.
O
sea,
a
mí
a
veces
incluso
me
genera
ansiedad
cuando
sale
una
novedad
porque
da
la
sensación
de
que
no
te
da
tiempo
de
estar
al
día.
Hay
una
idea
de
André
Carpaty
que
fue
director
de
Inteligencia
Artificial
de
Tesla
y
fue
fundador
de
OpenEYI
que
decía
que
el
lenguaje
de
programación
más
potente
es
el
inglés
y
si
lo
pensamos
es
una
idea
muy
poderosa,
o
sea
que
simplemente
a
partir
del
lenguaje
natural
seamos
capaces
de
generar
instrucciones
y
que
es
un
poco
como
frotar
la
lámpara
para
pedirle
un
deseo
al
genio
y
que
luego
eso
se
materialice
pues
es
una
barbaridad.
Como
un
ejemplo
de
esto
tenemos
Devin
que
es
un
ingeniero
de
software
basado
en
inteligencia
artificial
autónomo
que
se
presentó
hace
unas
semanas.
La
criatura
por
llamarla
de
alguna
manera
es
capaz
de
razonar
a
largo
plazo
y
de
planificar.
Tiene
acceso
a
herramientas
como
por
ejemplo
un
alegador
o
un
editor
de
código
y
con
estas
capacidades
pues
es
capaz
de
desarrollar
e
implementar
aplicaciones
de
principios.
Además
tiene
una
interfaz
de
chat
que
le
permite
colaborar
con
humanos
de
tal
forma
que
le
podemos
dar
feedback
sobre
el
código
que
escribe,
sobre
la
aplicación
final,
entonces
claro
pues
es
una
herramienta
increíblemente
potente.
A
ver
si
me
deja.
Claro
el
problema
cuando
vamos
tan
rápido
es
que
mucha
gente
se
puede
quedar
atrás
y
mucha
gente
puede
perder
el
tren.
Entonces
a
mí
por
eso
me
gustaría
darle
las
gracias
a
SomosNLP
y
a
Hagenface
por
organizar
un
evento
como
este
que
permite
que
muchas
cosas
importantes
no
se
queden
atrás.
Entonces
por
ejemplo
con
esto
conseguimos
que
no
se
quede
atrás
del
español
porque
estamos,
o
sea,
procesamiento
del
lenguaje
natural,
el
inglés
va
muy
bien
pero
claro
hay
más
idiomas
en
el
mundo
entonces
está
muy
bien
pues
que
a
través
de
proyectos
como
este
se
hagamos
capaces
de
generar
conjuntos
de
datos
propios
que
incluso
tenemos
un
leaderboard
específico
para
el
español.
Otra
gente
que
se
puede
quedar
atrás
es
gente
que
no
trabaja
en
empresas
tecnológicas,
en
grandes
empresas
tecnológicas
y
entonces
al
estar
fuera
de
ese
espacio
pues
no
tiene
acceso
a
los
últimos
algoritmos
o
las
últimas
técnicas
o
la
infraestructura
que
hace
falta
para
probarlos.
Y
una
vez
más
pues
con
SomosNLP
y
con
Hagenface
tenemos
talleres,
tenemos
muestras
de
código,
Hagenface
también
nos
ha
seguido
GPUs
durante
el
Hackathon
para
que
pudiéramos
desarrollar
proyectos
más
ambiciosos
y
luego
por
otra
parte
también
es
muy
interesante
que
no
dejemos
que
se
queden
atrás
perfiles
humanísticos,
no?
A
través
del
Hackathon
pues
hemos
podido
conectar
perfiles
técnicos
con
perfiles
humanísticos.
Los
perfiles
humanísticos
se
consiguen
aprender
sobre
la
parte
tecnológica
pero
además
de
eso
yo
creo
que
aportan
una
perspectiva
muy
interesante
por
su
conocimiento
lingüístico
y
demás.
Entonces
pues
nada,celebrar
proyectos
como
este
yo
desde
luego
me
apunto
para
para
el
año
que
viene
y
ya
para
cerrar
pues
simplemente
decir
muy
brevemente
que
Calamos
una
empresa
que
está
especializada
en
formación
y
servicios
editoriales,
es
que
luego
es
una
hormiga
que
pone
su
granito
de
arena
y
bueno
no
voy
a
leer
las
diapos
pero
ahí
veis
que
Calamos
está
muy
comprometida
con
lo
que
es
el
tema
del
movimiento
del
lenguaje
claro
y
entonces
como
tal
pues
tiene
una
sinergia
muy
interesante
con
todo
este
desarrollo
que
hay
en
la
parte
de
la
interacción
artificial.
Así
que
nada
más
pues
muchas
gracias
y
a
disfrutar
de
las
presentaciones
y
de
los
proyectos
que
seguro
que
serán
muy
muy
interesantes.
Genial,
muchísimas
gracias
Rubén
por
esta
introducción
y
nada
vamos
a
dar
paso
a
las
presentaciones
de
los
proyectos.
Os
hemos
pedido
para
facilitar
ya
que
estamos
todos
repartidos
por
todas
partes
del
mundo
pues
que
nos
mandas
disfragaciones
que
iremos
poniendo
aún
aún
aquí
pero
antes
de
empezar
algo
que
se
me
ocurrió
antes
perdonadme
os
presento
a
Manu
y
a
Flor
ya
seguramente
les
conozcáis
pero
bueno
igualmente
les
te
doy
la
palabra
un
minutín
para
que
nos
contéis
un
poquito
sobre
vosotros.
Bueno
en
primer
lugar
muchas
gracias
María
por
organizar
esta
edición
del
jacatón
creo
que
como
ha
dicho
antes
también
compañeros
son
iniciativas
súper
interesantes
para
apoyar
nuestra
lengua
y
avanzar
en
el
protecimiento
del
lenguaje
natural
en
español
así
que
encantada
de
estar
hoy
aquí.
Me
presento
yo
soy
Flor
Plaza,
soy
investigadora
postdoctoral
en
el
grupo
Mila
en
el
Pi
en
la
Universidad
de
Buconi
y
bueno
pues
actualmente
estoy
investigando
sobre
temas
relacionados
con
discurso
de
óptio,
análisis
de
emociones
y
más
recientemente
todo
lo
que
conlleva
la
ética
en
el
desarrollo
de
los
modelos
del
lenguaje
cuando
estamos
generando
emociones
o
discursos
de
hoy
así
que
encantada
de
estar
aquí
de
nuevo
y
con
mucha
ganas
de
ver
la
pilla
de
los
proyectos.
Bueno
sigo
yo
si
queréis,
bueno
yo
creo
que
ya
muchos
me
conocéis
por
yo
creo
como
digo
yo
más
bien
por
viejo
que
por
diablo
y
en
primer
lugar
también
muchas
gracias
a
todos
por
participar
en
un
momento
en
el
que
como
decían
nuestros
compañeros
esto
avanza
tan
rápido
y
además
se
ha
democratizado
tanto
el
acceso
a
los
modelos
yo
creo
que
crear
recursos
de
calidad
es
muy
importante
porque
da
acceso
a
cualquier
persona
por
muy
humilde
que
sea
su
equipo,
su
setup
pueda
construir
modelos
o
simplemente
soluciones
de
calidad
y
bueno
un
poco
de
mi
background
como
sabéis
pues
soy
uno
de
los
principales
contribuyentes
de
Javiens
Freys
a
nivel
de
modelos
open
source
aunque
en
mi
carrera
empecé
haciendo
backend,
gestión
de
equipo,
tindly
pues
hace
como
cinco
años
o
así
empecé
con
esto
de
los
modelos
del
lenguaje
los
transformes
principalmente
y
luego
pues
he
estado
trabajando
en
empresas
como
narrativa
de
machine
learning
y
en
el
clibrain
también
ahí
es
donde
coincidí
con
María
también
estuvimos
haciendo
algo
por
el
nlp
en
español
precisamente
y
actualmente
soy
jefe
del
área
de
ciencia
de
maiza
donde
un
poco
nos
movemos
del
paradigma
de
los
lm
y
lo
que
queremos
es
ayudar
en
general
a
salvar
por
así
decirlo
los
problemas
que
tiene
toda
la
idea
que
está
encima
de
arquitectura
transformer
pues
con
soluciones
de
ingeniería
basándonos
también
un
poco
en
esto
que
sabéis
que
está
muy
de
moda
como
es
el
lm
o
ese
no
el
sistema
operativo
para
basado
en
modelos
del
lenguaje
genial
muchísimas
gracias
entonces
vale
os
comentamos
cómo
va
a
funcionar
esto
como
os
decía
me
habéis
mandado
vuestras
presentaciones
el
máximo
eran
cinco
minutos
o
sea
que
vamos
a
tener
que
respetar
eso
porque
si
las
presentaciones
hubiesen
sido
en
persona
hubiésemos
estado
ahí
con
el
con
el
timer
entonces
vamos
a
irlas
poniendo
por
orden
medio
random
porque
es
en
el
que
stringer
ha
decidido
subirlas
vale
empezamos
con
el
equipo
de
el
corpus
de
aviación
colombiano
vale
entoncesnada
pongo
el
vídeo
nos
nos
vais
a
ver
nosotros
y
pues
al
final
hacemos
comentarios
preguntas
y
en
general
esto
para
todos
los
equipos
si
hacemos
una
pregunta
y
estáis
viéndonos
en
directo
y
queréis
responder
bueno
si
estáis
en
directo
responde
en
el
poder
responder
en
el
en
el
set
vale
venga
pues
empezamos
con
el
primero
y
el
río
en
el
que
el
suelo
de
todos
los
gracias
por
estar
aquí
y
en
el
nombre
de
mi
equipo
y
gracias
por
la
oportunidad
de
la
caca
con
que
estamos
muy
contentos
con
este
proyecto
mi
nombre
es
Edison
y
este
proyecto
es
caleta
o
alzé
en
el
set
raga
accesibilidad
la
verdad
en
el
set
y
el
lm
so
y
vamos
a
estar
muy
contentos
si
puedes
superar
con
un
like
en
nuestra
madre
y
en
el
espacio
y
también
en
nuestro
set
de
data
so
y
puedes
esconder
el
código
de
la
caca
y
vamos
a
ver
pero
con
esto
so
el
primer
es
el
río
raga
raga
es
básicamente
colombiano
y
el
regulación
de
la
tienda
y
es
básicamente
muy
necesario
en
el
río
raga
porque
si
por
ejemplo
si
no
eres
un
esperado
y
si
necesitas
saber
alguna
información
para
eso
es
muy
difícil
porque
primero,
¿cómo
sabes
de
que
data
de
que
regulación
es
lo
que
se
busca
y
también
que
información
tiene
un
gran
técnico
y
complicado
aspectos,
tal
vez
es
complicado
para
nosotros
que
no
son
de
el
río
para
entender,
por
ejemplo,
si
quieres
comprar
algunas
snags
para
el
sol,
es
muy
complicado
saber
qué
es
el
proceso
para
eso
pero
necesitas
seguir
la
regulación
con
eso
en
mente,
tenemos
una
gran
motivación
y
fue
para
mejorar
la
accesibilidad
de
esa
información
de
la
raga
con
eso
en
mente,
tenemos
que
decir,
¿qué
si
usamos
los
modelos
de
lenguaje
para
hacer
regulación
de
la
regulación
colombiana
más
accesible
y
entendible
para
el
avión
profesional
y
el
público
general?
Eso
fue
nuestro
objetivo
y
con
eso
en
mente,
escribimos
tres
diferentes
objetivos
específicos.
La
primera
fue
para
desarrollar
una
comprensión
de
data
de
la
raga
de
la
inicia
de
los
cinco,
de
los
primeros
cinco
para
el
entrenamiento
de
la
lm,
la
segunda
fue
para
colaborar
con
expertos
de
la
industria
y
académica
para
la
notación
de
data
de
data
y
la
refinación
para
mejorar
la
calidad
de
la
data
de
data
y
la
tercera
fue
para
entrenar
los
lm
con
el
data
de
la
cura
y
evaluar
los
performance
de
los
lm
en
sus
respuestas.
Con
eso
en
mente,
quiero
decir
y
necesito
decir
gracias
para
la
colaboración
con
la
fundación
universitaria
de
Libertadores
hicimos
una
gran
contribución
y
también
para
la
laver
la
forma
de
la
lm,
Alex,
Dani,
Sergio
y
Felipe,
que
son
expertos
de
la
universidad
de
la
Bachelor
de
Aronautica
en
Colombia,
en
Bogotá.
Entonces,
ayudaron
mucho
con
el
data
y
también
con
la
evaluación
en
el
modelo.
Con
eso
en
mente,
tenemos
la
metodología
y
es
dividida
en
el
primer
fase.
La
primera
es
la
generación
de
data
de
data,
donde
tenemos
un
database
con
todos
los
PDFs
de
la
raxa.
Hemos
tomado
uno
de
ellos.
Cuando
tomamos
un
PDF,
transportamos
a
un
texto,
y
luego
un
format
de
texto,
y
luego
entramos
en
un
loop.
En
ese
loop,
llegamos
a
cada
dos
pages.
¿Por
qué
dos
pages?
Porque
no
queremos
perder
información,
y
luego
enviamos
información
a
la
aplicación
de
la
gpt
para
un
modelo
de
opción
de
la
raxa
para
generar
los
samples.
¿Qué
es
el
sample
para
nosotros?
Una
pregunta
y
una
respuesta
en
la
raxa
número.
Con
eso
en
mente,
tenemos
más
pages
en
el
PDF.
Continuamos
este
loop.
Si
no
tenemos
más
pages
en
el
PDF,
continuaremos
con
otro
PDF.
Si
no
tenemos
más
PDFs
en
el
database,
vamos
a
retornar
el
dataset
con
todos
los
samples.
Con
eso
en
mente,
pasamos
a
la
segunda
fase,
que
es
el
laberinto.
En
el
laberinto,
montamos
el
dataset
de
raxa
en
un
espacio
de
hogar
usando
Argila
Framework.
Argila
es
una
franquilla,
especialmente
usada
por
annotadores.
Ahí,
la
pregunta
y
la
respuesta
de
los
samples
y,
al
mismo
tiempo,
la
calidad
de
la
rama
del
sample
fue
desde
1
a
5.
Si
la
calidad
era
menos
que
3,
se
descargaría
el
sample.
Si
la
calidad
es
más
alta
que
4,
se
va
a
extender
la
modificación
de
los
annotadores.
Y
cuando
tenemos
todo
el
laberintocompleto,
pusimos
la
final
versión
a
una
fase
de
hogar.
La
segunda
fase
es
el
modelo
de
la
franquilla,
donde
hemos
empleado
un
modelo
de
franquilla
en
lenguaje,
un
laberinto
en
nuestro
dataset,
para
aprender
los
espacios
específicos
y
los
contextos
de
avión.
También
el
proceso
de
franquilla
involucró
una
optimización
de
los
parámetros
modelos
en
una
manera
interactiva
para
reducir
el
uso
de
recursos
computacional
y
mejorar
las
veces
de
entrenamiento.
Esta
parte
es
muy
importante.
Bueno,
me
siento
fatal,
la
verdad.
Pero
el
tiempo
es
el
tiempo.
Sí
que
pondremos
el
vídeo
para
que
lo
podáis
ver.
Pero
esto
es
lo
que
tenemos
para
las
preguntas,
que
también
las
podéis
hacer
sobre
la
parte
del
modelo
y
evaluación,
y
comentarios.
No
sé
quién
quiere
empezar.
Voy
a
empezar
yo.
Te
voy
a
decir
si
no
precioso
el
vídeo.
Me
ha
parecido
un
proyecto
superinteresante,
sobre
todo
por
el
ámbito
que
trata
del
proyecto
que
es
sobre
la
aviación,
que
es
poco
común
verlo
en
el
precisamente
del
lenguaje
natural,
y
también
por
el
idioma.
Yo
tengo
una
pregunta,
que
es
más
sobre
el
tema
de
anotación.
Porque
ha
comentado
que
uno
de
los
pasos
que
llevan
a
cabo
es
la
anotación
del
corpo.
Entonces,
me
gustaría
saber
en
este
ámbito
en
concreto
cuáles
son
las
principales
retos
que
han
tenido
los
anotadores
a
la
hora
de
anotar
el
corpo.
Estaría
genial
si
también
pueden
facilitar
la
gran
anotación
para
que
los
otros
proyectos
que
también
trabajan
en
el
mismo
tema
puedan
utilizarla
o
enriquecerla.
Y
con
eso
es
todo.
Genial,
gracias
Flor.
Si
hay
alguien
en
directo,
podéis
ir
respondiendo
a
las
preguntas
de
Flor.
También
quería
hacer
un
comentario
que
es
que
me
parece
increíble
que
hayáis
conseguido
anotar
25,
bueno,
sí,
creo
que
25,000
ejemplos.
Porque
como
sabéis,
durante
el
hackathon
ha
habido
esfuerzo
esta
rotación
de
las
traducciones
de
la
OpenLM
Liderboard.
Ni
de
lejos
llegamos
a
tanta
gente.
Enhorabuena
creo
que
es
muy
complicado
movilizar
a
tanta
gente
y
sobre
todo,
también
te
vistís
una
buena
idea
con
la
colaboración.
Manu.
Bueno,
a
mí
me
llama
gran
proyecto.
La
verdad
es
que
lo
que
nos
ha
dado
tiempo
a
ver
en
el
vídeo,
el
pipeline
bastante
sólido.
Y
a
mí
lo
que
me
llama
la
atención
es
que
se
han
utilizado
esos
modelos,
hablaba
de
OpenLJ,
pero
también
Open
Source
para,
no
sé
si
para
crear
datos
sintéticos,
pero
por
lo
menos
para
darle
formato
de
pregunta
a
respuesta
a
esa
documentación
inicial.
Creo
que
eso
tiene
bastante
valor
para
la
comunidad
también
el
enseñar
a
hacer
ese
tipo
de
cosas
para
que
cualquier
persona
que
tenga
esa
documentación
en
crudo
y
sepa
cómo
hacerla
LLM-Freldy
para
entrenar
un
modelo
y
que
sepa
trabajar
con
esa
documentación
me
parece
que
tiene
mucho
valor
y
me
gustaría
que
nos
comentaran
también
si
han
utilizado
modelos
OpenSour
en
ese
caso,
como
nos
comenta,
¿qué
modelo
ha
sido?
Porque
hasta
donde
yo
sé
de
los
que
mejor
puntan
a
para
esto
es
el
último
Moe
de
Mixtra,
9
de
22
billones
y
9
de
7
por
8.
Y
bueno,
pues
me
parece
muy
interesante
conocer
qué
modelo
puede
funcionar
bien
para
esos
escenarios.
Genial.
Sí,
seguramente
estaban
utilizando.
O
sea,
teníamos
la
Enterprise
que
patrocinaba
por
Heimfeis,
entonces
seguramente
estarían
utilizando
algún
modelo
bien
potente,
como
nos
cuenten.
Edison
está
respondiendo
a
las
preguntas
de
Flor,
pongo
aquí
las
respuestas,
¿vale?
Los
principales
retos
que
afrontaron
los
anotadores
fue
que
a
veces
el
modelo
no
era
muy
acertado
con
las
fechas
y
eso
se
tuvo
que
corregir,
claro,
datos
concretos.
Se
observaban
respuestas
cortas
y
estas
tuvieron
que
ser
incrementadas,
¿vale?
Le
falta
una
palabra.
Y
bueno,
aquí
es
algún...
Usaron
una
penella
y
nos
comentan.
Y
aquí
utilizamos
llamados,
pero
no
utilizamos
más
recursos,
en
su
mayoría
de
GPT.
Genial.
Pues
muy
bien,
en
Arawena
el
primer
equipo.
Y
vamos
al
siguiente.
Este
equipo
se
llama
Zinc
Paraguayo
y
ha
creado
un
LLM
con
la
intención
de
dar
a
conocer
más
sobre
la
cultura
guaraní.
Muy
buenos
días,
¿qué
tal?
Mi
nombre
es
Henry
Quepahiro.
Estoy
grabandoeste
vídeo
antes
de
ir
al
trabajo,
espero
que
salga
bien.
Yo
formo
parte
del
proyecto
Zinc
Paraguayo.
Es
un
proyecto
que
busca
expandir
la
cultura
guaraní
utilizando
tecnologías
emergentes,
en
este
caso,
la
tecnología
como
la
IA.
Quiero
empezar
este
trabajo
diciendo
la
siguiente
frase.
Un
pueblo
que
no
conoce
de
su
historia
pasada,
origen
y
cultura
es
como
un
árbol
sin
raíces.
La
cultura
guaraní
es
tan
rica
en
historias,
en
leyendas
que
lo
que
nosotros
buscamos
es
preservar
esto.
No
solamente
para
nuestra
generación,
sino
que
para
las
generaciones
que
vienen.
Y
esto
lo
haremos
con
las
tecnologías
emergentes
contando
la
historia
en
un
nuevo
formato.
Nuestro
equipo
está
conformado
por
quien
les
habla,
Henry
Quepahiro,
y
los
que
fueron
anotadores,
revisores,
Daniel
Cabrera,
Letiz
y
Abogado,
Alberto
Benítez
y
Emmanuel.
El
trabajo
está
dividido
en
tres
partes.
El
primero
sería
la
generación
de
un
dataset,
luego
la
creación
de
un
modelo,
y
por
último,
una
demo,
como
para
demostrar
cómo
funciona
el
trabajo.
Hablaremos
ahora
sobre
la
parte
del
dataset.
El
objetivo
del
dataset
es
llegar
a
las
mil
preguntas
y
respuestas.
En
este
caso
utilizamos
el
libro,
Nyanduid
Vizquera
de
Narciso
Recolman,
que
engloba
gran
parte
de
la
cultura
guaraní.
En
este
caso,
Nyanduid
Vizquera
significa
nuestros
antepasados.
Se
extragieron
preguntas
y
respuestas
utilizando
el
modelo
GPT-4.
Utilizamos
el
modelo
GPT-4
en
forma
muy
manual.
Y
nos
enfocamos
en
la
siguiente
apartados.
¿Qué
sería?
Generar
preguntas
y
respuestas.
Simple
y
cerradas
basándose
en
el
texto,
analizando
ideas
centrales,
significados,
explicaciones
y
resumen.
Englomamos
en
gran
parte
un
análisis
general
del
libro.
No
solamente
nos
basamos
en
preguntas
y
respuestas
simples,
sino
que
para
extraer
mucho
más
conocimiento
del
libro.
La
parte
de
revisión
se
dividió
en
cuatro
partes.
En
este
caso,
cada
uno
analizó
aproximadamente
300
preguntas
y
respuestas.
Y
una
vez
que
se
analizaron
todas
estas
preguntas
y
respuestas,
se
englobó
todo
en
el
dataset
que
es
"desomos"
en
el
lp.
"Datacet
cultura
guaraní
corpus
kit".
Esta
sería
la
estructura
en
la
página.
Como
podemos
ver,
generamos
1.373
preguntas
que
para
nosotros
fue
un
logro.
Nos
marcamos
inicialmente
1.000
y
terminamos
generando
esto.
También
más
o
menos
130
preguntas
y
respuestas
de
evaluación.
Estas
serían
los
formatos
para
importar
el
dataset.
Luego
pasamos
al
modelo.
Creamos
el
modelo
"wa"
y
le
pusimos
estas
frases.
En
la
mitología
guaraní,
el
padre
de
la
sabiduría
usaba
un
"wa"
o
"loro"
para
intentar
comunicarse
con
su
hijo
supremo
Tupá.
Haciendo
la
misma
analogía,
creamos
este
modelo
para
disjundir
la
cultura
guaraní
a
todos
los
hispanohablantes.
Nos
basamos
en
el
modelo
"mistral"
de
7
billones
de
parámetros
cuantizados
a
4
Rubit.
Hicimos
un
"fine
tuning"
con
los
siguientes
datos.
Mire
los
más
relevantes
que
"R"
es
64
y
el
valor
de
"alpha"
es
128.
Durante
el
proceso
de
entrenamiento,
tenemos
los
siguientes
datos.
Los
más
relevantes
fueron
que
el
número
de
épocas
fue
5,
el
"learning
rate"
de
2
por
diálar,
menos
4,
y
todos
los
otros
valores
se
pueden
visualizar
ahí.
Las
métricas
del
entrenamiento
fueron
las
siguientes.
Empezamos
con
un
error
más
o
menos
del
2.7
y
llegamos
a
0.1.
Las
métricas
después
del
entrenamiento
fueron
las
siguientes
debido
a
la
estrategia
seleccionada.
El
gradiente
normalizado
también
se
fue
en
ver
ahí.
Y
entonces
lo
que
hicimos
fue
evaluar
los
checkpoints.
Elegimos
2
checkpoints,
en
este
caso
el...
Y
hasta
aquí.
Bueno,
ahora
puedo
empezar,
yo
si
queréis.
Me
parece
que
me
llamo
bastante
la
atención
cuando
leí
el
tema
del
proyecto.
Y
dado
que
también
nos
interesa
representar
las
diferentes
variades
del
español
en
el
corpus
que
estamos
creando,
quería
saber
si
consideráis
que
el
libro
está
escrito...
Obviamente
no
está
escrito
en
Guarani,
pero
si
está
escrito
con
una
variedad,
no
sé
si
es
de
Paraguay
o...
Un
poco
más
información
sobre
las
variedades
que
consideráis
que
están
representadas
en
vuestrodataset.
Si
quieres,
María,
continuo,
tengo
una
pregunta
o
lo
esperamos
que
conteste
o
si
quieres
disparo
ya.
Vale,
igual
se
hablaba
después
en
el
vídeo,
pero
hemos
tenido
que
cortar.
Pero
siendo
un
modelo
de
7
billones,
habiendo
sólo
1000
ejemplos
de
entrenamiento
me
preocupaba
un
poco
que
no
hubiese
overfitting,
el
famoso
overfitting.
Me
gustaría
saber
un
poco
qué
pasó
en
la
evaluación
del
modelo
por
estas
dos
consideraciones.
Además
que
se
entrenara
durante
5
epochs,
aunque
comentaba
también
que
al
final
había
un
checkpoint
con
3
epochs
que
seguramente
rendiría.
La
intuición
me
dice
que
iría
mejor
por
el
tema
de
que
no
son
muchos
ejemplos
y
el
modelo
es
bastante
grande.
Vale,
pues
ya
tengo
respuesta
en
primera
pregunta.
El
libro
sí
que
está
escrito
en
Guarani,
entonces
genial.
Y
ahora
esperamos
la
respuesta
de
Enrique
para
tu
pregunta.
Flor,
si
quieres
comentar
o
preguntar
algo,
puedes
hacerlo
mientras.
Nada,
comentar
que
es
súper
interesante,
sobre
todo
también
remarcar
lo
que
ha
dicho
María,
que
es
muy
importante
que
no
solo
nos
enfocamos
en
el
español
el
6,
sino
en
todas
sus
variedades.
Al
final
la
riqueza
lingüística
del
idioma
se
tiene
también
en
cuenta.
Es
muy
interesante
y
yo
sobre
tener
una
pregunta
que
es
más
relacionada
con
el
tema
de
la
creación
de
los
datos
y
la
notación,
y
es
que
si
habéis
tenido
en
cuenta
cómo
solventar
algunos
secos
o
si
tiene
algún
tipo
de
seco
el
conjunto
de
datos.
Genial,
tenemos
la
respuesta
para
la
segunda
pregunta
de
Manu,
que
es
que,
claro,
efectivamente
la
versión
sigue
en
el
vídeo,
también
les
preocupaba
llegar
a
la
Overfitting,
pero
no.
O
sea
que...
ahí
está.
Muy
bien.
Genial.
Tuvisteis
igual
un
poco
de
follow
up
para
esto,
tuvisteis
algo
en
cuenta,
o
sea
para
evitar
que
ya
se
llegase
a
la
Overfitting
teniendo
en
cuenta
que
había
pocos
datos,
pero
en
general
salió
bien.
Lejamos
un
poquito
más
y
después
vamos
a
pasar
a
un
proyecto
sobre
detección
de
textos
que
están
referidos
al
cambio
climático
o
además
de
sostenibilidad.
También
bastante
original.
Creo
que
no
tenemos
más
respuestas.
Igualmente
las
respuestas
que
no
hagáis
en
directo
las
podéis
hacer...
bueno,
las
compartiremos
con
vosotros
las
preguntas,
pero
aquí
llega.
Fueron
diferentes
evaluadores,
por
eso
había
variedad
para
flor.
Podéis
contestar
un
poco
más
extensamente
a
usted.
Siguiente
proyecto,
bueno,
enhorabuena,
gran
proyecto,
y
pasamos
al
siguiente
sobre
el
cambio
climático
y
sostenibilidad.
Hola,
buenos
días
a
todos.
Mi
nombre
es
Gerardo
Huerta.
Formo
parte
del
equipo
que
desarrolló
el
proyecto
de
identificación
de
textos
relacionados
al
cambio
climático
y
sustentabilidad,
utilizando
modelo
de
lenguaje
pre-entrenado
en
español.
Vamos
a
explicarle
sí
rápidamente
cómo
fue
el
desarrollo
de
nuestro
proyecto
en
este
tercer
jacatón
de
Somos
NLP.
Ok,
la
motivación
de
nuestro
proyecto
es
debido
a
que
estas
temáticas
de
cambio
climático
y
sostenibilidad
han
estado
en
bastante
sitio,
digamos,
son
los
trending
topics
que
tenemos
en
muchos
partes,
tanto
en
artículos
científicos,
revistas,
noticias,
blogs,
opiniones.
Tanto
así
que
ciertos
proyectos,
como
por
ejemplo
el
proyecto
Drownedown,
realiza
repositorios
en
línea,
digamos,
que
aglomeran
las
soluciones
para
combatir
el
cambio
climático.
Ya,
este
proyecto
lo
que
pretende
es
que
todas
las
soluciones
estén
en
un
solo
sitio
y
que
las
personas
puedan
consultar
estas
soluciones
y
así
tener
una
mejor
idea
o
visión
de
cómo
poder
ellos
combatir
y
aportar
a
reducir
los
efectos
del
cambio
climático.
Sin
embargo,
alguna
de
las
limitaciones
que
hemos
encontrado
es
que
no
presentan
la
última
noticia
o,
digamos,
ejemplos
en
la
vida
real
de
estas
soluciones.
Por
lo
que
esta
información
es
bastante
ensis
y
se
puede
encontrar
en
muchos
lugares.
No
se
actualiza
en
cada
cierto
tiempo.
Para
ellos,
lo
que
nosotros
estamos
proponiendo
es
crear
una
herramienta
capaz
de
identificar
los
textos
como
abstract
papers,
titulares
de
noticias
o
artículos
en
general,
que
hablen
sobre
el
tema
de
cambio
climático,
sus
soluciones,
sus
efectosy
estudios
recientes,
de
tal
forma
que
nos
permita
tener
una
base
para
desarrollar
recursos
más
complejos
en
español,
como
dataset
o
enriquecer
este
tipo
de
repositorios
sobre
información
del
tema.
Muy
bien.
Con
parte
del
método
que
utilizamos,
en
primer
lugar,
hemos
conformado
un
dataset
para
lo
cual
hemos
seguido
tres
pasos.
Primero
la
elección
de
datos.
Hemos
tomado
fuentes
open
source.
Hemos
tomado
diferentes
formatos
de
texto
para
que
tengamos
diversidad.
También
hemos
tomado
textos
cortos
y
textos
largos
para
poder
mejorar
el
modelo
base
sobre
el
cual
estamos
trabajando.
Como
parte
del
preprocesamiento,
hemos
realizado
la
traducción
del
dataset
en
inglés
que
se
tiene
como
base
y
el
etiquetado
de
registros
con
0
y
1,
si
son
relacionados
o
no
a
lo
que
es
el
cambio
climático
y
sustentabilidad.
También
hemos
quitado
los
hardstack,
nomes
de
usuario,
URL
en
el
caso
de
los
dataset
de
X.
Y
finalmente
hemos
realizado
la
formación
y
balanceo,
que
es
básicamente
unir
todos
los
resultados
del
preprocesamiento
en
un
único
dataset
buscando
que
los
registros
con
etiquetas
0
y
1
tengan
balanceo
en
cuanto
a
la
cantidad.
En
la
parte
inferior
pueden
ver
la
tabla
con
los
resultados
obtenidos.
Con
estos
set
de
datos
nos
procedimos
a
realizar
el
entrenamiento
de
un
modelo.
Nosotros
seleccionamos
un
modelo
base
que
haya
sido
entrenado
completamente
en
datos
de
español,
por
lo
cual
el
proyecto
Vertin
nos
pareció
bastante
entractivo
con
su
modelo
Vertin
Roberta
Base
Spanish,
de
cual
es
100%
entrenado
en
dataset
en
español,
aparte
que
ha
sido
entrenado
con
la
técnica
de
Mask
Toke,
lo
cual
beneficia
para
este
tipo
de
fine
tuning
como
por
ejemplo
la
identificación
de
textos
o
la
clasificación
de
textos.
Se
ha
utilizado
una
GPU
T4
de
la
cual
Google
collab
nos
ofrece
de
manera
gratuita,
y
en
total
toda
la
arroyilla
de
carbono
que
se
ha
generado
por
entrenamiento,
pruebas
y
validaciones
del
modelo
ha
sido
de
0.1
kilogramos.
Bien,
los
resultados
obtenidos
luego
del
entrenamiento
han
sido
una
pérdida
de
0.15
en
acura
así
de
0.97
y
luego
de
realizada
la
validación
se
obtuvo
el
acurasi
de
0.95,
precisión
de
0.91,
RECAL
de
0.99
y
F1Score
de
0.95.
Como
futuros
pasos
del
proyecto
hemos
identificado
la
parte
de
generalizar
aún
más
el
modelo
tomando
datos
de
fuente
diversa
y
mayor
cantidad
de
datos,
esto
para
reducir
aún
más
lo
que
son
las
parcialidades
del
modelo.
Crear
un
dataset
con
información
de
cambio
climático
y
sustentabilidad
basada
en
sectores
para
posterior
realizar
o
desarrollar
un
modelo
que
no
sólo
nos
ayude
a
identificar
textos
sino
que
también
lo
pueda
clasificar
basado
en
sectores,
lo
que
sería
como
un
toque
en
clasificación.
Así
puede
clasificar
el
texto
ya
sea
en
que
hable
acerca
de
electricidad,
de
agricultura,
de
industria
transporte,
etc.
Y
finalmente
un
proyecto
más
avanzado,
la
creación
de
un
modelo
de
cuestión
en
answering
que
brinde
información
relevante
a
hacer.
Genial,
gran
proyecto
también.
Vamos
a
probar
un
nuevo
formato,
vamos
a
preguntar,
hacer
las
preguntas
por
el
chat
para
que
tengáis
un
poquito
más
de
tiempo
en
responder,
¿vale?
Comiento
con
la
pregunta
de
Flor,
la
Flor,
¿la
puedes
hacer
tú?
Bueno,
de
nuevo
un
proyecto
súper
interesante
y
también
lo
que
he
comentado
antes,
que
es
un
tema
poco
común
en
el
sentido
de
las
proyectos
que
se
suelen
normalmente
abordar
en
el
Particio
de
la
Lenguaje
Natural.
Sí
que
vemos
el
tema
del
cambio
climático
a
la
hora
de
utilizar
estos
modelos,
de
cuál
es
el
reynimiento
y
demás,
pero
no
en
el
sentido
de
abordar
los
datos,
entonces
es
muy
interesante.
Mi
pregunta
es
porque
habéis
comentado
que
en
uno
de
los
pasos
traducí
el
Datáster
de
Inglés
a
la
Español
y
para
saber
si
ya
habéis
hecho
una
revisión
rápida
de
algunos
textos
para
ver
si
esa
traducción
estaba
bien.
Mi
comentario
aquí
también
un
poco
rápido
es
que
me
alegra
ver
que
ante
la
tendencia
está
que
hay
de
matarla
a
mosca
un
cañonazo
y
resolver
cualquier
problema
con
LLMS,
que
acordémonos
que
tienen
billones
de
parámetros
y
seguramenteresuelven
el
problema
pero
luego
ponenlos
en
inferencia
y
usarlos
es
otro
cantar,
es
más
costoso,
pues
que
elijan
un
modelo
en
CodeRonly,
un
modelo
de
arquitectura
roberta
que
como
hemos
visto
en
las
métricas
tiene
una
cura
bastante
alto
y
funciona
bastante
bien.
Para
mí
eso
es
un
punto
a
favor
de
no
usar
un
LLMS
cuando
se
puede
usar
con
un
LLMS
tradicional.
Totalmente.
Y
además
es
Bertín,
hecho
en
casa.
Miras,
me
suena.
Genial,
pues
enhorabuena
también
a
este
equipo.
Vamos
a
pasar
al
siguiente
proyecto
que
es
sobre
lenguaje
claro.
Algo
de
lo
que
ahora
también
se
está
hablando
muchísimo.
Entonces
vamos
a
ver
cómo
se
puede
aplicar
esto
al
NLP.
Hola
somos
Sergio
Chicon.
Hola
somos
Sergio
Chicon
y
Rubén
de
la
Fuente
y
queremos
presentar
nuestro
modelo
de
lenguaje
claro.
El
objetivo
de
este
modelo
es
tomar
textos
de
carácter
administrativo
que
pueden
presentar
problemas
de
comprensión,
no
sólo
para
gente
con
un
bajo
nivel
educativo,
sino
para
la
población
en
general.
Entonces
queremos
hacer
un
modelo
que
tome
estos
textos
y
haga
que
resulten
más
usables
por
la
población
en
general.
Y
con
esto
le
doy
paso
a
mi
compañero
Sergio
que
os
va
a
contar
cuáles
han
sido
los
procesos
de
preparación
del
corpus
y
de
entrenamiento
del
modelo.
Todo
tuyo
Sergio.
Muchas
gracias
Rubén.
Pues
en
principio
estábamos
dudando
si
elegir
Fidoos
o
Gema,
el
modelo
de
Google,
de
dos
billones
de
parámetros
también.
Optamos
al
final
por
Fidoos
porque
parecía
que
tenía
una
mejor
comprensión
del
español.
Gema
al
final
fallaba
un
poco
con
algunas
conjugaciones,
formación
de
palabras
y
tal.
Entonces
al
final
elegimos
Fidoos,
¿no?
Para
el
entrenamiento
del
modelo
utilizamos
un
dataset
de
entrenamiento
con
dos
columnas,
una
de
input
y
otra
de
output.
El
input
estuvo
definido
por
textos
extraídos
de
la
administración
del
gobierno
de
España,
todos
los
ministerios
y
el
gobierno
central
mediante
técnica
de
web
scrapping,
sobre
todo
con
beautiful
soft.
Y
el
output
son
esos
mismos
ejemplos
del
input,
traspasados
a
un
lenguaje
claro,
mediante
diferentes
modelos
que
fuimos
probando.
Vale,
para
la
carga
del
modelo,
como
vemos
aquí
la
tarjeta,
utilizamos
la
configuración
de
bits
and
bytes,
esta
que
vemos
aquí
cargamos
el
modelo
en
4
bits
para
mayor
procesamiento
y
mayor
velocidad
a
la
hora
de
la
inferencia.
Y
también
aplicamos
técnica
de
low-range
adaptation
en
las
capas
lineales
del
modelo,
como
venía
la
misma
documentación,
como
se
puede
ver
aquí
en
la
misma
tarjeta.
Y
iniciamos
el
entrenamiento
con
los
argumentos
que
se
pueden
ver
en
la
misma
tarjeta
del
modelo.
El
entrenamiento
llevó
a
lo
largo
más
o
menos
unos
300
y
pico
steps,
y
tardó
unas
2
horas
y
media
para
el
mismo
entrenamiento.
Utilizamos
una
T4
en
Google
collab,
aunque
también
provee
como
una
V100
en
su
momento,
tardaba
bastante
menos,
pero
bueno,
la
T4
tiene
la
ventaja
de
que
es
gratuita.
Y
luego,
pues,
simplemente
con
la
estructura
del
prompt
utilizamos
esta
misma
plantilla
de
aquí,
también
sacada
de
la
documentación
de
FIDOS
en
la
que
es
muy
sencillito
este
prompt.
Simplemente
determinas
el
mensaje
del
sistema
y
el
texto
a
rellenar.
Una
vez
con
esta
plantilla
lo
que
hicimos
fue,
obviamente,
formatear
todo
el
dataset
y
luego
toquenizarlo
con
el
mismo
toquez,
nizador
de
FIDOS,
y
eso
ya
lo
pasamos
al
entrenamiento
del
modelo.
Para
evaluar
el
modelo
hicimos
varias
pruebas
en
cuanto
a
lenguaje
claro,
le
pasamos
varios
textos
de
más
o
menos
dificultad
en
cuanto
a
su
comprensión,
y
el
modelo
es
verdad
que
simplificaba
sobre
todo
en
tema
de
procedimientos
paso
a
paso,
te
lo
simplificaba
todos
los
pasos,
los
tecnicismos
te
los
aclara
y
varias
las
oraciones
pasivas
te
las
vuelve
activas,
pero
es
verdad
que
tiene
algunos
errores,
sobre
todo
en
la
comprensión
lingüística.
A
la
hora
de
formar
el
lenguaje
no
sabemos
si
estos
errores
que
tiene
el
modelo
a
la
hora
de
escribir
en
español
se
deben
directamente
a
los
fallos
que
tiene
el
mismo
modelo,
el
FIDOS
para
la
comprensión
del
español
o
que
en
ese
procesode
entrenamiento
se
hayan
podido
olvidar
algunas
competencias
que
sí
tenía
el
modelo
inicialmente,
lo
que
se
llama
"catastrophe
forgetting".
Así
que,
respecto
a
esto
habrá
que
revisarlo,
estos
pequeños
fallos,
pero
como
primera
aproximación
para
elaborar
un
modelo
que
se
acaba
de
reescribir
textos
en
lenguaje
claro,
está
bastante
bien,
creemos
que
es
un
primer
paso
bastante
importante.
Había
un
antecedente
que
era
CLIP,
creo
que
era
hecho
por
una
asociación
de
Buenos
Aires
con
apoyo
al
gobierno
de
Buenos
Aires,
que
también
hizo
una
iniciativa
más
o
menos
parecida,
pero
utilizaba...
Bueno,
pues,
descubirtiéndemos
más
sobre
esa
iniciativa
otro
día.
Tenemos
dos
preguntas,
ya.
La
primera
es...
¿de
man?
Sí,
bueno,
a
mí
me
gustaría
saber
un
poco
cómo
han...
nos
han
comentado
algo
muy
interesante,
que
muchas
veces
nos
planteamos
lo
que
hacemos,
los
21
de
modelos
es...
como
mi
problema
final,
el
lenguaje
objetivo,
o
el
lenguaje
que
quiero
que
rinda
mi
modelo
es
español,
cuál
de
todas
estas
alternativas
rinde
mejor,
y
no
lo
va
a
ser
rinde
mejor
en
español
para
venir
y
quitarme
de
eso.
Yo
ya
han
comentado
que
habían
probado,
creo,
Yemma,
Fidos
y
alguna
alternativa
más.
Me
gustaría
saber
el
método,
o
cómo
han
probado,
que
es
mejor
en
español
Fidos,
en
este
caso.
Quiero
un
poco
la
pregunta
que
siempre
hago
también,
¿no?
De
ese
modelo
resultante,
es
mejor,
o
sea,
hacer
fine
tuning.
Es
mejor
el
modelo
fine
tuneado
que
el
modelo
base,
usando
la
modo
Fuse-Ot,
es
decir,
dándole
ejemplos
de
cómo
se
desambigüan
para
justificar,
claro,
ese
fine
tuning.
Esas
son
un
poco
mis
dos
preguntas
y
el
proyecto
me
parece
bastante
interesante,
¿no?
Genial.
Yo
me
muero
con
otra
pregunta,
que
es...
Me
ha
parecido
interesante
la
discusión
que
has
comentado
un
poco
sobre
cómo
habéis
visto
ejemplos
en
los
que
sí
que
simplificaba
más
o
menos
el
texto,
explicaba
técnicismos,
y
a
ver
si
habéis
recolectado
estos
ejemplos
por
escrito
en
algún
sitio,
pues
para
que
se
puedan
revisar,
porque
realmente
creo
que
pueden
ser
bastante
interesantes.
Y
bueno,
en
general
el
proyecto
también
es
súper
guay,
como
también
nos
dicen
por
los
comentarios,
nos
comenta
Aitor.
Muchas
veces
no
se
ha
�
se
encontrado
para
algún
texto
administrativo
que
no
se
hubiese
gustado
que
nos
pudiesen
traducir.
O
sea,
que...
a
ver
qué
tal
funciona
el
modelo.
Vale,
siguiente
proyecto
es
Noticia,
con
la
IA.
Y
habla
de...
bueno,
el
objetivo
es
hacer
resúmenes
de
noticias
clickbait.
Vamos
a
ello.
Este
sí
que
no
lo
voy
a
tener
que
cortar.
Y
querí
que...
ven,
tenemos
sólo
cinco
minutos
para
contar
el
proyecto
antes
de
que
caiga
un
asteroide.
¿Ya
me
estás
intentando
colar
otro
clickbait?
Ay,
sí,
ya
ves,
un
titular
que
solo
invita
a
clicar,
un
montón
de
información
irrelevante,
y
justo
al
final,
pero
sólo
al
final,
la
respuesta
que
necesitas.
Un
clickbait
de
manual.
No
sé
cómo.
Ya
veo,
a
la
era
en
100
años.
Bueno,
no
va
a
caer.
Y
estos
clickbaits
son
un
problema
porque,
al
final,
la
gente
se
aburre.
Si
tú
ves
esta
noticia,
entras
y
ves
que
dentro
no
hay
nada,
sólo
contenido
irrelevante,
te
cansas
de
ello
y
al
final
acabas
perdiendo
la
confianza
de
las
portales
de
noticias.
Pero
lo
peor
de
todo
es
que
si
la
gente
clica
en
este
tipo
de
noticias,
los
buscadores
lo
van
a
priorizar
y
te
van
a
enseñar
cada
vez
más.
Y
entonces
los
periodistas,
que
hacen
periodismo
de
verdad
y
buenas
noticias,
van
a
ver
cómo
enalientan
sus
noticias,
dejan
de
ganar
dinero
y
tienen
que
dejar
su
trabajo.
Ay,
bueno,
bueno,
es
mal
que
nuestro
proyecto,
hemos
intentado
un
poco
ver
cómo
estamos
para
solucionar
este
problema.
Hemos
propuesto
una
tarea
de
evaluación
para
modelos
en
castellano
en
la
que
exigimos
a
los
modelos
que
hemos
evaluado,
que
interpreten
los
titulares,
que
busquen
la
información
relevante
dentro
del
texto
y
que
la
devuelvan
de
una
manera
agradable
para
los
humanos,
para
leer.
Y
entonces,
bueno,
no
ha
sido
un
trabajo
fácil.
Ahí
nos
hemos
dejado
las
neuronas
buscando
las
respuestas
en
850
documentos
y
entonces
ahora
tenemos
850
tripletas
de
titular
clickbait,
la
noticia
y
la
respuesta
que
esperamos.
Ybueno,
¿qué?
¿Cuántos
modelos
hemos
usado?
Pues
hemos
evaluado
un
montón
de
modelos
en
español,
todos
los
que
están
a
la
de
moda,
que
la
mayoría
de
ellos
han
sido
entrenados
para
inglés,
no
para
español,
y
queríamos
ver
cómo
funcionan.
Y
esta
es
una
tarea
muy
interesante
porque
realmente
es
muy
difícil
tienes
que
leer
titular,
entender
qué
es
lo
que
dice,
buscárame
un
montón
de
información
relevante
dentro
de
tu
interesa
y
darse
la
de
su
harín.
Entonces,
lo
que
hemos
visto
en
nuestra
evaluación
es
que
GPT4,
como
esperábamos,
es
el
mejor
modelo
ahora
mismo
en
español,
pero
el
resultado
acá
en
Modos
Abiertos
está
muy
cerca.
Por
ejemplo,
el
modelo
no
ser
mes
guí,
o
los
modelos
OpenChat
o
no
ser
mes
sola,
además
son
pequeñitos
y
pueden
funcionar
en
tarjetas
que
puedes
tener
en
tu
casa.
Así
que
la
gente
los
puede
usar.
Pero
bueno,
aparte
de
eso,
queríamos
probar
a
entrenar
un
modelo
con
nuestros
datos
a
ver
qué
es
lo
que
pasaba.
Así
que
hemos
entrenado
un
modelo
basado
en
OpenChat
de
7
billones
de
parámetros,
la
gente
puede
usar
en
su
ordenador
porque
es
pequeñito.
Y
lo
que
hemos
visto
es
que
nuestro
modelo
Fintuneado
se
acerca
mucho
a
las
respuestas
que
dan
las
personas
humanas,
mucho
más
que
cualquier
modelo
sin
Fintunear.
Esto
quiere
decir
que
hay
mucho
más
gente
mejora
en
español
para
hacer
modelos
que
sigan
instrucciones.
¿Por
qué
se
mejora
tanto
entrenándolo?
Sí,
la
verdad
es
que
está
bien
saber
que
todavía
hay
bastante
para
hacer.
Y,
oye,
de
verdad
que
no
notas
el
astero
y
de
cómo
llega.
La
prisione
que
encontréis
un
título
al
clickbait,
podéis
probar
nuestro
demo
en
somosnlt,
sólo
disimete
el
arte
y
os
va
a
generar
un
resumen.
Y,
bueno,
si
alguien
quiere
trastear,
mejorar,
el
código
está
disponible.
Sí,
todo
nuestro
código
está
en
GitHub
público
y
además
tenéis
todos
los
modelos
y
el
dataset
también
en
HighinFace
para
que
lo
podéis
utilicar.
Pues
nada
más,
no
es
una
obra.
Es
que
siempre
empieza
hablando
yo.
Bueno,
pues
yo
te,
si
quieres
yo,
nada,
a
mí
me
parece,
está
echando
un
vistazo
también,
me
parece
un
proyecto
muy
interesante,
muy
útil
y
la
verdad
que
es
muy
bien
ejecutado.
Y
mi
única
pega,
por
poner
un
pelo,
pero
me
ha
costado
ponerlo,
incluso
es
que
hubiera
hecho
en
falta
poner,
o
sea,
que
se
hubieran
evaluado
también
modelos
más,
o
sea,
no
LMS,
más
humildes,
como
por
ejemplo,
yo
recuerdo
que
en
el
pasado
intenté
resolver
este
tipo
también
de
problema
y
utilizamos
un
long
format,
que
podía,
como
sabéis,
es
un
modelo
de
arquitectura
en
CodeR
Only,
pero
que
puede
soportar
hasta
4,000
tokens,
incluso
más.
Pues
por
poner
un
pelo
hecho
en
falta,
pues
que
se
utilicen
modelos
más
pequeños,
a
ver
qué
tal
lo
hacían
el
problema,
pero
por
lo
general,
por
todo,
me
parece
que
está
muy
interesante
y
es
muy
útil.
Ponte
en
modo
no
molestar
o
no
turno
o
algo.
Dale,
Flor.
Genial,
bueno,
me
encanta
la
presentación,
lo
primero
que
tengo
que
decir,
la
he
hecho
súper
amina,
muy
graciosa
y
bueno,
también
muy
bien
explicada,
la
verdad.
Yo
quiero
decir
que
me
ha
gustado
mucho
ver
el
gráfico
en
el
sé
que
se
comparan
diferentes
modelos
para
el
español
y
bueno,
la
buena
noticia
de
que
algunos
funcionan
bien
para
el
tribunal,
que
ha
sido
sí
es
sorprendente,
la
verdad.
Y
luego
también
me
ha
dado
mucho
que
entrenar
un
modelo
que
al
final
sea
pequeño,
como
habéis
dicho,
que
se
pueda
executar
en
cualquier
ordenador
y
que
está
basado
en
ese
vampirio,
para
mí
también
creo
que
algún
punto
a
favor
para
el
proyecto
y
bueno,
el
tema
en
sí
está
genial,
sobre
todo
hoy
en
día
y
mi
pregunta
es,
porque
no
me
ha
quedado
muy
claro,
que
medidas
de
evaluación
habéis
utilizado
para
ver
qué
es
este
modelo
y
también
el
que
vosotros
habéis
entrenado,
pues
consiguen
un
buen
entrenamiento
en
la
tarea.
Pues
genial.
A
mí
también
me
encantó
la
presentación,
todavía
lo
tenía
que
decir.
Superamena,
es
muy
fácil
de
entender
y
de
hecho
también
me
parece
súper
interesante
el
hecho
de
que
lo
hayáis
planteado
como
una
tarea
de
evaluación
que
igual
podemos
incluir
en
el
líder
work
queestamos
creando.
O
sea
que,
ya
verás.
Genial,
el
próximo
proyecto
es
sobre
textos
clínicos,
que
han
creado
un
corpus
enorme,
lo
sé,
porque
realmente
lo
que
estamos
mirando
lo
único
es
cuántos
ejemplos
ha
creado
cada
equipo
para
hoy
poder
abrir
la
presentación
con
ese
número
enorme
de
2
millones.
Entonces,
vamos
con
el
siguiente
proyecto.
Vamos
a
poner
la
propuesta
a
la
que
hemos
estado
trabajando
en
este
medio
y
demás,
que
en
resumen
ha
sido
en
la
generación
de
un
gran
corpus
médico
para
el
contexto
biomédico.
En
primer
lugar,
pues
nos
hemos
alineado
con
los
objetivos
de
la
UNO
igual
que
el
jacatón
de
salud
y
bienestar,
educación
y
calidad,
y
fin
de
la
pobreza
para
generar,
bueno,
para
que
gente
por
todo
el
mundo
sea
accesible
a
los
LLMS,
a
esta
nueva
tecnología.
Y
bueno,
para
eso,
la
primera
misión
nuestra
fue
investigar
que
habían
hecho
todos
los
investigadores.
Bueno,
hemos
encontrado
otras
herramientas
como
MET,
SEP,
que
también
han
trabajado
en
este
caso
de
uso.
Bueno,
el
equipo
que
formamos
este
grupo,
en
primer
lugar
el
doctor
Dionis
López
Ramos
de
la
Universidad
de
Cuba,
en
segundo
lugar
yo
aquí
de
Madrid.
Y
bueno,
también
tenemos
a
Garyl
que
no
participa
en
esta
entrevista
con
otros
que
no
han
podido
estar
hoy,
pero
bueno,
les
tendremos
en
cuenta.
Bueno,
para
enfocar
el
problema
que
tenemos
es
que
hoy
en
día,
sobre
todo
en
mi
médico,
hay
módulos
en
inglés,
pero
en
español
no
hay,
tenemos
pocos
recursos
o
conjuntos
de
datos
y
ya
sabemos
que
estos
grandes
módulos
de
lengua
genitano
en
una
gran
cantidad.
Bueno,
además
de
esa
gran
cantidad,
sobre
todo
en
el
canal
de
la
medicina,
es
muy
importante
la
acreditación,
que
hay
una
certificación
médica
que
avale,
que
son
datos,
bueno,
primero
que
sean
enviables
de
usar,
¿no?
Y
bueno,
la
solución
que
proponemos
no
es
un
conjunto
de
datos
open
source,
que
está
ahora,
bueno,
que
ya
está
en
JavonFace,
y
bueno,
y
también
el
avance
no
a
todo
el
mundo
científico
y
a
toda
la
empresa,
sino
a
utilizar
este
conjunto
de
datos
para
la
creación
de
módulos
de
lenguaje.
Y
ahora
mi
compañero
os
contará
lo
demás.
Bueno,
conscientes
de
que
existen
otras
soluciones,
otros
módulos
que
se
enfocan
al
medio
médico,
al
dominio
médico,
sobre
todo
para
el
inglés
como
en
este
caso,
quisiéramos
investigar
meditron
y
biomistral,
que
fueron
los
que
guiaron
un
poco
la
forma
de
construcción
de
nuestro
corpo,
y
en
el
caso
biomistral
que
está
hecho
para
un
pequeño
corpo
del
español.
Nuestra
propuesta
se
encuentra,
como
lo
había
dicho
Álvaro,
en
"JubinFace",
sobre
el
nombre
Spanish
Medical
LLM,
y
la
estructura
que
les
propone
a
la
comunidad
de
investigadores
es
13
fuentes
de
información
a
las
cuales
continuamos
aumentando,
una
cantidad
de
toques
de
más
de
17
millones,
un
tamaño
aproximado
de
44
megabes
en
memoria,
y
bueno,
una
cantidad
de
más
de
2
millones
de
entrada
para
el
entrenamiento
o
el
autosuste
de
modelos
para
el
dominio
médico
en
español.
La
estructura
que
seguimos
fue
una
estructura,
tratamos
de
que
fuera
lo
más
flexible
posible,
permitiendo
que
se
insertara
un
texto
en
crudo,
un
tópico
sobre
el
cual
hablaba
ese
tópico,
la
especialidad,
y
en
el
caso
del
texto
crudo
y
el
tópico,
pues
el
investigador
va
a
encontrar
o
preguntas
o
casos
clínicos
o
textos
abiertos,
y
los
tópicos
pueden
ser
o
la
respuesta
a
la
pregunta,
o
el
tratamiento
o
diagnóstico
asociado
al
caso
clínico,
al
texto
o
al
que
estás
mencionando.
Un
atributo
importante
es
la
fuente,
porque
demostramos
en
la
carta,
en
el
CART
de
este
data
sec,
que
especificamos
o
permitimos
que
el
identificador
asociado
a
esta
fuente,
el
nombre
de
la
fuente,
la
cantidad
de
toques
y
la
licencia
de
uso.
De
esta
manera,
los
investigadores
podrán
aportar
mucha
más
información,
y
en
el
caso
de
que
la
licencia
se
restringe,
pues
simplemente
filtrar
y
usar
la
parte
del
conjunto
de
datos
que
les
más
util
a
los
propósitos
de
su
investigación.
Y
también,
la
investigación
en
la
creación
o
entrenamiento
de
un
gran
modelo
de
lenguaje,
en
el
dominio
médico
para
el
español.
El
trabajo
futuro
de
nuestrainvestigación
se
orienta
a
realizar
el
entrenamiento
de
un
LLM
para
el
español,
debido
a
que
no
existe
hasta
la
investigación
que
hemos
realizado,
continuar
agregando
información
a
nuestro
conjunto
de
datos
y
tratar
de
generar
datos
sintéticos,
porque
también
es
objetivo,
estamos
previendo
que
pudiéramos
usar
puentes
de
datos
de
medicina
natural
que
conocen
en
muchas
partes
de
Latinoamérica.
Muchas
gracias.
Nuestra
call
to
action
es
que
ahora
tú
puedes
usar
Spanish
Medical
LLM
para
entrenar
los
grandes
modelos
de
lenguaje
y
dar
soluciones
y
servicios
de
información
de
salud
en
latán.
Muchísimas
gracias
por
su
atención.
Gracias
a
todos,
un
placer.
Me
encanta
el
call
to
action
del
final.
Y
también
el
hecho
de
que
como
que
hay
un
enfoque
que
no
se
suele
incluir
en
estos
bases
de
datos,
en
estos
modelos
que
es
la
medicina
más
natural,
más
alternativa,
digamos.
Teníamos
varias
preguntas,
da
el
mano.
Sí,
bueno,
como
tú
dices
María,
muy
interesante
el
modelo,
la
solución,
se
está
poniendo
un
poco
de
módalo
para
entrenar
modelos
en
dominios
específicos
o
continuar
el
pre-training
para
dominios
específicos.
Y
a
mí
me
suscita
un
par
de
dudas.
La
primera
y
muy
importante
creo
que
es
tratándose
de
este
dominio
médico
o
clínico,
donde
es
muy
probable
que
haya
mucha
información
personal.
Me
gustaría
saber
si
se
ha
tratado
esa
información,
si
se
ha
identificado,
si
se
ha
aplicado
esa
información
como
relación
o
directamente
se
ha
licuado.
Y
luego
también
puesto
que
se
parte
de
modelos,
que
han
sido
pre-entrenados
en
inglés,
como
han
evitado
ese
catástrofe
por
Getting,
que
se
produce
cuando
lo
intentas
adaptar
a
un
idioma
dominio
distinto
en
el
pre-training,
pero
no
incluyes
datos
o
parte
del
dataset,
está
en
el
mismo
idioma
que
en
el
que
se
pre-entrenó
el
modelo,
que
eso
le
ocurre.
Me
suscita
principalmente
esas
dos
dudas,
al
igual
que
un
poco
también.
Me
hubiera
gustado
ver
algo
de
evaluación,
de
cómo
rícte,
aunque
sé
que
igual
hubiese
habido
que
crear
un
dataset
adrede,
pero
sí
que
es
verdad
que
existen
dataset
de
modelos,
de
ámbito
médico
o
clínico,
de
estilo
en
coderón
y
en
los
cuales
se
podría
haber
evaluado
también.
Sí,
yo
por
sumarme
un
poco
a
lo
que
decía
antes,
realmente
me
parece
increíble
haber
recolectado
tantos
datos
del
dominio
clínico,
y
habéis
comentado
algo
de
datos
sintéticos,
pero
no
sé
si
en
el
de
ahora
ya
no
con
futuros
pasos,
si
también
hay
parte
de
ese
dataset
que
habéis
creado
como
equipo
o
ha
sido
todo
trabajo
de
recolección.
Genial.
Entonces
ahora
se
han
acabado
los
que
ya
estaban
subidos
a
stream.
Ya
el
resto
no
son
muy
grandes,
entonces
voy
a
tener
que
compartir
el
pantalla,
a
ver
qué
tal
funciona
esto.
Vamos
a
ver
ahora
un
proyecto
que
pregunte
respuesta
sobre
temas
legales.
Y
ahora
vamos
a
ver
qué
es
el
proyecto.
Interesante,
pues
llegó
un
rato.
Ahora
si
me
veis
esto,
no?
No,
tampoco.
Presentar.
Vale,
ahora
sí,
vale.
Si
vuelvo
a
pasar,
a
mí
sabe
antes.
Lo
pongo
desde
el
principio,
supongo
entonces.
Sí,
o
sea,
se
está
escuchando,
se
escuchaba
perfectamente,
pero
no
sé
lo
diría,
o
sea,
si
quieres
por
lo
desde
el
principio,
sino
por
donde
iba,
porque
bueno,
se
escuchaba
bastante
bien.
Vale.
Así
se
sigue
viendo,
o
es
al
hacer
la
pantalla
grande?
Así
se
ve,
y
se
ve,
digamos,
la
vista
de
string
yard.
Genial.
Ah,
¿por
qué?
Eso
no
es
lo
que
quiero
ver.
Bueno.
Y
por
qué
no
puedo...
Quiero
dar
un
cosas
del
directo,
compartir
pantalla.
Bueno,
pues
lo
hago
aquí.
Vale,
vamos
a
hacer
otra
cosa.
Vamos
a
ver
otro
proyecto.
Esperamos
que
se
vea
bien.
Vamos
a
ver
otro
proyecto.
Esperamos
que
se
vea
bien.
Vale,
este
sí.
Uno,
ya.
Buenas
tardes,
somos
Sara,
Alberto,
Oscar,
Gabriel
y
Andrea.
Y
venimos
a
presentar
nuestro
proyecto
en
el
jacatón
de
SomoNLP,
que
se
ha
dividido
en
dos
proyectos.
Uno
de
ellos
es
su
llama,
Cumevin
y
el
otro
es
su
llama.
Recepta
de
la
abuela,
pero
que
lo
hemos
trabajado
de
forma
unificada
en
torno
al
mismo
tema.
Como
propone
el
modelo
con
votaciones
que
nos
permiten
adoptar
hábitos
saludables.
Hay
muchos
recursos
sobre
recetas,
sobre
alimentación
en
inglés,pero
no
existen
tantas
iniciativas
en
español.
Y,
por
tanto,
en
este
proyecto
nosotros
nos
hemos
dedicado
a
escrapear
distintas
páginas
web
con
recetas
de
origen
hispanoh
americano.
La
hemos
unificado,
hemos
creado
un
dataset
de
instrucciones
y
hemos
entrenado
modelos
de
lenguaje
que
nos
permitan
poder
realizar
consultas,
preguntas,
etcétera,
pero
un
contexto
nutricional
que
nosotros
le
añadimos.
Bueno,
continuando
con
el
dataset.
Para
su
creación,
como
se
mencionó,
se
realizó
web
scrapping
en
diferentes
páginas
web
hispanoh
americanas,
latinoamericanas
e
internacionales.
Las
cuales
fueron
redactadas
en
español.
En
total
pudimos
recolocpilar
20.447
recetas,
las
cuales
obtivimos
los
atributos
como
el
nombre,
los
ingredientes,
pasos
de
preparación,
duración,
categoría,
entre
otros.
Para
esta
tarea
utilizamos
librerías
como
New
Papers,
Scrappy
y
BigDipFullSub
y
también
la
pide
de
Tuber
de
AI
para
poder
rellenar
algunos
campos
de
país
que
nos
faltaron.
Esto
se
puede
encontrar
en
lo
que
sería
el
model
car
de
nuestro
dataset,
como
se
puede
observar.
Una
de
las
tareas
de
homogenización
que
se
realizó
en
el
dataset
fue
la
utilización
del
formato
ISO
A3
con
los
códigos
de
los
países
debido
a
que
en
la
comunidad
hispana
como
la
internacional
hay
diferentes
maneras
de
expresar
los
nombres
de
los
países.
Con
respecto
a
las
estadísticas,
se
hicieron
visualizaciones
con
Workload
haciendo
uso
de
los
coeficientes
Tf
y
Df
para
obtener
los
resultados
como
ingredientes
más
utilizados
por
país
o
los
términos
más
utilizados
en
los
nombres
de
las
recetas.
Para
la
creación
del
cortón
de
instrucciones,
primero
vimos
importante
borrar
aquellos
registros
que
nos
contarán
con
los
datos
más
importantes
de
los
datos
de
los
nombres
de
los
datos.
Por
ejemplo,
el
nombre
de
la
receta
y
los
registros
que
no
tuvieran
ingredientes
o
pasos
son
los
datos
más
importantes.
Después
de
esto
procedimos
a
juntar
todas
las
características,
todas
las
columnas
de
los
registros
que
juntan
ingredientes,
pasos,
país
de
precedencia,
duración
de
la
receta
y
valor
nutricional.
Todos
los
juntamos
en
una
columna
para
poder
procesar
datos
con
un
modelo
que
te
genere
unas
preguntas
y
una
respuesta.
El
framework
que
utilizamos
fue
el
de
DC
Label
y
el
modelo
que
utilizamos
fue
el
de
Genus
Drop
para
que
a
partir
de
este
texto
pudiera
generar
una
pregunta,
una
respuesta
y
así
hacer
el
entrenamiento
posterior.
Este
entrenamiento
ha
sido
realizado
investigando
diversos
modelos
partiendo
de
Mistral
7b
que
es
algo
más
lento,
Tinny
Yama
que
es
algo
más
rápido
pero
menos
preciso
y
ha
encontrado
el
punto
medio
en
Genma,
en
Genma
de
2
pillones
de
parámetros
a
4
bits
de
la
librería
Slot.
Esto
es
el
doble
de
rápido
que
los
anteriores
y
utiliza
la
mitad
de
UberRAN.
Entonces
con
esto
tenemos
un
entrenamiento
que
ha
ido
de
forma
incremental.
Primero
con
10
recetas,
luego
con
100
y
al
final
con
2500,
durando
aproximadamente
dos
horas
en
una
máquina
de
hacking
phase
T4M.
En
el
paper
aparecen
los
parámetros
usados
y
también
aparece
una
gráfica
donde
se
ve
el
gráfico
de
pérdidas,
viendo
que
va
siendo
decreciente
hasta
un
valor
de
1,3
con
un
rizado
bastante
bajo.
Se
ha
utilizado
el
gradient
check
point
para
hacer
un
resum
y
poder
reentrenarlo
de
forma
iterativa.
En
el
entrenamiento
hemos
evaluado
con
Vertescore
el
parecido
con
las
recetas
originales
haciendo
una
precisión
relativamente
alta
de
0,67.
Por
último
el
impacto
medioambiental
se
ha
calculado
con
las
50
horas
de
entrenamiento
que
hemos
tenido
obteniendo
0,7
kilogramos
de
toneladas
equivalentes
de
CO2.
Y
por
último
los
resultados
pues
en
un
ardemos
radio
que
hemos
hecho
recetas
de
la
abuela
y
come
bien,
como
se
puede
ver
ahí
en
la
pantalla
donde
se
le
da
un
contexto
utilizado
con
técnicas
de
phase
y
RAG
y
se
hace
una
pregunta
y
el
modelo
nos
da
una
respuesta.
Así
que
eso
es
todo
y
muchas
gracias
por
su
atención.
Bueno,
empiezo
comentando
que
me
ha
encantado
que
ya
no
solo
este
proyecto
pero
también
bastantes
equipos
de
esteaño
que
han
sentado
sus
papers
al
workshop
de
Latinx
in
NLP.
O
sea
que
también
enhorabuena.
Y
muy
bien
hecho
el
paper
ya
que
estamos,
es
original
presentarlo
con
hacer
la
presentación
siguiendo
el
paper
pero
lo
bueno
es
que
también
así
pues
seguís
las
secciones
y
comentáis
todo
lo
que
suele
ser
más
importante.
Mi
pregunta
es
que
en
general
tenéis,
bueno
habéis
conseguido
muchísimas
recetas
y
sí
que
está
bastante,
o
sea
la
proporción
de
recetas
de
España
es
bastante
más
grande
que
el
de
otros
dos
países
y
mi
pregunta
es
si
no
encontrasteis
páginas
web
o
hicisteis,
o
sea,
qué
medida
hicisteis,
pues
recolección
de
datos
y
busqueda
más
estautiva
para,
o
es
que
tampoco
estaba
en
vuestros
objetivos.
También
puede
ser
una
opción.
Tenéis
otra
pregunta?
Todo
muy
bien
explicado.
Perfecto.
Pues
vamos
a
ver
si
puedo
poner
ahora
bien
otro
de
los
proyectos.
Vamos
con
él
preguntas
y
respuestas
de
legal
para
recolgarnos.
Ah,
es
verdad.
Es
que
es
cerrado
porque
sí
que
se
nota,
pero
no
sé
si
es
porque
tuvieron
algún
problema
a
la
hora
de
grabar
su
vídeo,
que
entiendo
que
sí.
Entonces
bueno,
subiremos
este
vídeo
con
voz
cuando
nos
lo
pase
el
equipo.
Entonces
vamos
a
poner
el
último
vídeo
que
tenemos.
Ah,
no,
ya
está.
También
tuvimos
otro
problema
con
otro
de
los
vídeos.
Entonces
bueno,
no
os
preocupéis,
vamos
a
subir
todos
los
vídeos
uno
a
uno
y
estarán
ahí
para
que
la
gente
les
pueda
ver.
Pues
podéis
compartirlos,
podamos
haceros
preguntas,
respuestas.
Compartimos
también
todas
las
preguntas
que
os
hemos
hecho
durante
el
día
de
hoy.
Y
esperamos
vuestras
respuestas
también
para
tener
en
cuenta
toda
esta
información
en
la
evaluación.
Dado
que
es
el
final,
no
sé
si
Manu
Flor
queréis
hacer
algún
otro
comentario
final.
Yo
por
mi
parte
la
verdad
que
daros
la
número
buena
a
todo
el
mundo
de
nuevo.
Han
sido
proyectos
increíbles.
La
parte
de
las
presentaciones
iremos
mejorando
de
año
a
año.
Pero
realmente
los
proyectos
estoy
súper
contenta
con
el
resultado.
Entonces,
y
no
le
voy
a
dar
nada.
Sí,
yo
por
alusiones
también
creo
que
este
es
el
tercer
hacazón
que
hacemos
María.
Y
bueno,
contento
de
ver
que
ha
ido
increscendo
en
calidad
para
mí
los
proyectos
y
sobre
todo
en
cantidad
de
recursos
que
se
han
aportado
al
ecosistema.
O
sea
que
muy
contento
también
con
los
resultados,
la
implicación
y
el
nivel
que
veo
que
va
subiendo,
no?
Hacazón
a
hacazón,
mola
mucho,
no?
Esa
es
el
nivel
de
implicación.
Bueno,
y
yo
para
terminar
también
trasladaron
mi
enhorabuena.
Es
increíble
lo
que
se
puede
hacer
en
solo
un
mes
o
incluso
menos
tiempo.
Y
son
súper
interesantes
todos
los
proyectos.
Y
sobre
todo
lo
importante
es
que
al
final
se
va
a
liberar
los
recursos
en
términos
de
dataset
y
también
de
modelos
que
seguramente
es
que
comincian
que
van
a
ser
súper
útiles
para
la
comunidad.
Y
bueno,
y
también
por
último,
trasladaron
mi
enhorabuena
a
los
organizadores.
Y
al
final
se
crea
una
comunidad
para
el
español
que
es
muy
necesaria
y
toda
su
variedad
de
lingüística.
Y
también,
pues
súper
importante
que
al
final
no
se
entre
solo
en
España,
sino
que
también
tenga
muy
equipos
de
toda
Latinoamérica
y
de
todos
los
países
y
panablanca.
Así
que
enhorabuena
y
si
ojalá
siga
mucha
media
edición
en
más.
Sí,
sí,
sí.
Para
retomar
un
poco
lo
que
habéis
dicho,
tanto
Manu,
lo
de
que
el
nivel
va
subiendo
es
increíble.
O
sea,
ha
habido
proyectos
muy
buenos
todos
los
años,
pero
realmente
creo
que
también
como
organizadores
estamos
mejorando.
Pero
creo
que
también,
pues
eso,
el
nivel
está
subiendo,
estoy
súper
contenta.
Y
también
otra
cosa
que
me
alegro
bastante
es
que
cada
vez
tenemos,
como
decía,
el
lugar
más
presente
en
Latinoamérica.
Entonces
este
año
creo
que
ya
es
justo
lo
que
alcole
ayer,
pero
es
como
un
40
y
algo.
Entonces
bueno,
también
hay
mucha
gente
que
se
conecta
desde
países
que
no
son
hispanohablantes.
Entonces
supongo
que
son
hispanohablantes
por
el
mundo.
Pero
sí,
sí,
hay
un
gran
porcentaje
cada
vez
más
alto
de
gente
que
muchos
países.
Entonces
el
proyecto,
estecuele
multimodal,
creo
que
no
me
lo
mandasteis.
Pero
bueno,
volverás
a
reenviármelo
y
voy
a
decir
mi
correo
aquí.
Bueno,
todo
el
mundo
que
estés
aquí
ya
sabéis
muy
correos,
pero...
Este
proyecto
por
echar
un
cable
creo
que
es
el
de
traducir
cuérise
en
lenguaje
natural
en
español.
Pero
si
está
en
el
Excel
de
evaluación
del
proyecto,
pero
claro,
si
no
te
han
mandado
vídeo,
Mario,
pues
no
podemos
verlo.
Sí,
el
del
traductor
inclusivo...
El
traductor
inclusivo
es
el
que...
ah,
el
traductor,
pues
sí
le
sí
que
no
lo
hemos
puesto,
es
el
que
estaba
yo
poniéndolo.
Es
el
que
no
estaba
compartiendo
pantalla,
¿verdad?
Puede
ser.
Pues
lo
pongo,
Flor,
si
te
tienes
que
ir,
puedes
irte
ya.
Ponemos...
No
te
preocupes,
no
puedes.
Vale,
podemos
ver
un
último
vídeo.
Perfecto,
genial.
Puede
salir.
Hola,
vamos
a
presentar
nuestro
proyecto
"Traductor
Inclusivo",
el
cual
forma
parte
del
jacatón
de
Somo
en
LP
2024.
El
equipo
que
ha
colaborado
en
este
proyecto
hemos
sido
Andrés,
Immanuel,
Gaya,
Josué
y
Yo
Miguel,
que
hemos
llevado
a
cabo
distintas
labores
como,
por
ejemplo,
la
creación
y
limpieza
de
un
dataset
y
también
la
entrenamiento
y
despliegue
de
un
modelo
de
NLP.
La
motivación
del
proyecto
viene
por
el
uso
secado
del
lenguaje,
el
cual
puede
crear
distintas
opresiones
de
ideología,
género
o
marginal
grupo.
Para
ello,
queremos
crear
un
dataset
y
un
sistema
el
cual
pueda
servir
como
herramienta
para
reescribir
textos
a
un
lenguaje
inclusivo.
El
dataset
que
hemos
creado
usa
parejas
de
textos,
del
lenguaje
excluyente
y
del
lenguaje
inclusivo.
Hemos
también
etiquetado
por
tipo
de
dificultad
de
traducción
y
por
los
orígenes,
por
los
que
vienen
cada
dato.
Hemos
usado
chatGPT,
hemos
usado
distintas
guías
de
texto
inclusivo
y
también
hemos
usado
un
dataset
previo
llamado
Neutrales,
pudiendo
alcanzar
la
cantidad
de
4196
datos.
La
tarjeta
del
dataset
está
en
el
hub
de
HagenFace.
El
modelo
que
hemos
usado
ha
sido
un
Fine
Tuning
de
Aguilas
7B,
usando
culora
con
4.018
y
usar
lenguaje
español
y
GPU
Nvidia
T4.
La
tarjeta
del
modelo
lista
para
ser
usada
está
subida
también
al
hub
de
HagenFace.
También
hemos
desplegado
una
demo
para
poder
utilizar
y
ver
cómo
funcionaría
nuestro
modelo
y
por
ejemplo
en
las
enfermeras
se
forzaron
mucho
durante
la
pandemia.
Esto
lo
cambiaría
el
personal
de
enfermería
se
forzó
mucho
durante
la
pandemia
omitiendo
el
exército
de
que
toda
la
enfermera
tenga
que
ser
mujer.
Y
ahora
mi
compañero
Andrés
va
a
comentar
los
resultados
de
este
modelo.
Para
analizar
estos
resultados
hemos
utilizado
dos
métricas
distintas.
Por
el
lado,
la
métrica
Sacrebleu
que
pone
por
encima
la
corrección
gramatical
de
las
frases
antes
que
de
las
palabras
utilizadas,
y
después
la
métrica
Bleu,
que
es
así
tienen
cuenta
que
las
palabras
utilizadas
coinciden.
Entonces
hemos
hecho
una
media
armonica
ponderada
de
estas
dos
métricas
distintas.
Y
estos
son
los
resultados
que
hemos
tenido.
Vemos
que
hay
algunos
resultados
muy
buenos
y
otros
que
también
importante
que
son
muy
malos.
Vamos
a
ver
un
poquito
más
a
esto
a
que
se
debe.
Aquí
vemos
que
sobre
todo
estos
datos
muy
malos
se
ven
en
la
métrica
Sacrebleu.
Si
vemos
por
qué,
vemos
que
muchas
veces
hay
predicciones
que
coinciden
con
el
target,
por
ejemplo
David
es
vendedor,
David
es
vendedor,
y
la
métrica
Sacrebleu
le
ha
dado
una
puntuación
de
cero.
Eso
es
porque
la
métrica
Sacrebleu
también
penaliza
los
textos
que
son
muy
cortos.
Si
seguimos
hacia
abajo,
vemos
la
puntuación
del
modelo
por
las
distintas
dificultades
y
vamos
a
hacer
un
poco
más
de
cerca
aquellas
dificultades
que
tienen
poca
puntuación.
Como
por
ejemplo,
el
plural
complejo,
las
de
Cultura
o
Misión.
Dale
para
abajo,
Miguel.
Entonces,
aquí
vemos
que
muchas
veces
estos
malos
resultados
se
deben
a
que
existen
fórmulas
equivalentes
del
lenguaje
que
son
igualmente
válidas.
Por
ejemplo,
los
empresarios
chinos
se
han
traducido
como
las
empresarias
y
empresarios
chinos.
Cuando
en
el
target
hayan
puesto
la
comunidad
empresarial
china.Normalmente,
ambos
son
fórmulas
equivalentes
que
también
son
inclusivas
y
elegir
una
frente
a
otra
suma
diez
cuestiones
estilísticas
más
que
de
corrección
del
lenguaje
inclusivo.
Y
ejemplos
como
ese,
pues
muchos
otros.
Si
iremos
la
puntuación
que
obtienen
los
textos
en
función
de
la
longitud
del
texto
inicial,
vemos
que
en
general
los
resultados
son
bastante
buenos.
Si
es
verdad
que
los
textos
cortos
tienen
poca
puntuación,
eso
puede
ser
debido
a
lo
que
hemos
comentado
de
la
métrica
Sacrebleu.
Y
también
vemos
que,
conforme
los
textos
hacen
largos,
parece
que
disminuyó
un
poco
la
puntuación
que
obtiene
este
modelo.
En
cuanto
a
las
limitaciones,
pues
el
modelo
no
se
ha
entrenado
con
contextos
largos
y
complejos,
sino
que
mayoritariamente
se
ha
entrenado
con
frases
en
las
que
los
trimios
van
a
modificar
si
no
traban
al
comienzo
de
la
frase.
De
vuelve
solo
una
única
opción,
aunque
hemos
visto
que
existen
varias
opciones
equivalentes,
que
son
válidas,
y
tampoco
detecta
o
modifica
los
discursos
de
hoy.
Otras
limitaciones
son
que
a
veces
hay
pequeñas
pérdidas
de
información,
un
uso
forzado
del
término
personas
a
veces,
e
incluso
falta
de
contexto.
Si
seguimos,
para
el
futuro
vemos
que
se
podría
cambiar
la
cantidad
y
la
variedad
de
los
datos
para
extender
el
modelo
a
textos
más
grandes
y
complejos,
incluyendo
más
dificultades.
También
se
puede
hacer
que
el
modelo
ofreciera
más
de
una
respuesta
inclusiva,
para
después
poder
elegir,
y
también
se
podrían
suprimir
los
mensajes
de
otra.
Así
que,
en
conclusión,
tenemos
un
modelo
que
funciona
bastante
bien
en
textos
cortos,
el
Dasek
que
hemos
creado
se
podría
utilizar
para
hacer
21
de
otros
modelos
de
lenguaje,
y
todavía
queda
por
hacer
el
desarrollo
de
la
opción
de
textos
más
largos,
y
también
que
el
modelo
pueda
ofrecer
varias
respuestas
posibles.
Muy
bien,
eso
ha
sido
todo.
Muchísimas
gracias.
Comentarios.
Bueno,
yo
lo
primero,
gracias
por
recordármelo.
Algo
que
me
gustó
es
que,
bueno,
en
realidad
me
parece
un
tema
súper
relevante,
bastante
sensible
también,
y
algo
curioso
también
me
gusta
que
hayáis
retomado
un
tema
que
se
comenzó
a
tratar
ya
en
uno
de
los
jacatones
anteriores
y
pudieses
reutilizar
lo
creado.
Sí,
y
puedo
continuar.
Sí,
la
verdad
es
que
en
particular
me
interesa
bastante.
Creo
que
ahora
pone
la
uge
de
los
modelos
de
lenguaje
más
importante
que
nunca
tratar
de
desarrollar
sistemas
para
el
seco,
pero
sí
me
gustaría
preguntar
acerca
de
la
notación
de
datos,
porque
así
es
también
un
tema
sensible,
pues
es
importante
que
se
tengan
muy
en
cuenta
cuál
es
la
calidad
de
los
datos
a
la
hora
de
anotarlos.
Cuántos
anotadores
estuvieron
en
el
proceso
de
notación
y
cómo
se
evalúo
esa
notación.
Es
interesante
saber.
Genial,
a
ver
si
nos
contestan
en
directo,
porque
como
están
aquí
en
el
chat,
igual
sí.
Sí,
yo
también
sumarme
en
general
tener
cuidado
cuando
se
anotan
temas
tan
sensibles
como
podrían
ser
este.
También
temas
de,
ya
hemos
comentado
con
temas
clínicos,
de
medicina
o
también
de
psicología.
Ha
habido
un
par
de
proyectos
que
no
han
mandado
presentación,
pero
sí
que
han
creado
proyectos
interesantes,
que
siempre
hacía
hincapié
en
tener
cuidado
con
todos
sus
sistemas.
Bueno,
tienes
alguna
pregunta
mientras
para
dejarles
un
momento
o
si
no
puedes.
Es
igualmente
de
acuerdo
con
lo
que
ha
hecho
Flor
y
con
lo
que
ha
dicho
tú,
es
tan
necesario
este
tipo
de
medidas
como
críticas.
Veo
que
sí
que
había
un
análisis
del
post-training
de
esas
métricas,
de
cómo
rendía
el
modelo,
cosa
que
se
valora.
Pero
cómo
se
ha
generado
ese
dataset
y
cómo
se
ha
etiquetado
es
muy
importante
que
guía
de
anotación
se
ha
usado,
en
qué
se
han
basado
y
sobre
todo
creo
que
he
escuchado
también
que
se
ha
utilizado
algún
modelo
de
OpenEJ,
con
lo
cual
hay
recordar
que
es
importante
que
cuando
anota
un
modelo
estamos
asumiendo
los
ecos
de
ese
modelo.
Entonces
es
muy
importante
este
tipo
de
iniciativas,
pero
son
muy
críticas
y
hay
que
tratarlas
con
mucho
cuidado
y
con
el
mismo
que
se
merecen.
Genial,
ya
tenemosuna
respuesta.
Andrés
Gaya
del
equipo
ha
sido
la
principal
revisadora
de
los
datos.
Muchos
de
los
datos
han
tomado
directamente
de
ejemplos
de
guías
de
lenguaje
y
se
han
multiplicado
utilizando
las
mismas
fórmulas
que
aparecían
en
esos
guías.
Creo
que
es
una
buena
respuesta
también
el
hecho
de
que
obviamente
soy
su
equipo
pequeñito
y
tampoco
había
muchísimo
tiempo,
pero
en
general
cuando
hay
anotaciones
de
este
estilo
sí
que
está
bien
que
haya
varias
personas
que
anoten
los
ejemplos,
porque
todo
el
mundo
está
asagado
y
yo
también
estoy
asagada
y
Gaya
es
lingüista.
¡Ay!
Sí,
quién
es.
Sí,
eso
está
guay.
También
algo
que
sí
que
hemos
intentado
animar
mucho
son
los
equipos
interdisciplinares
que
también
comentaba
al
principio
en
las
primeras
palabras
del
evento.
Entonces,
bueno,
Floria,
tu
pregunta
no
sé
si
quieres
alguna
opción
más
o
pasamos
para
el
último
proyecto.
Genial.
También
gracias
por
recordármelo.
No
lo
compartísis
conmigo,
pero
sí
en
el
form.
O
sea
que
aquí
está
el
modelo
último
DAAL
de
SQL.
Vamos
allá.
La
opción
precisa
de
consultas
de
usuarios
en
SQL
es
crucial
pero
desafiante.
Los
LLM
han
avanzado
pero
dependen
del
inglés
y
pueden
cargar
de
conocimientos
específicos
en
bases
de
datos,
lo
que
puede
generar
consultas
inestactas
o
inutilizables.
Nuestra
propuesta
para
solucionar
esto
es
una
herramienta
multimodal
que
permita
a
los
usuarios
interactuar
con
bases
de
datos
en
español
mediante
comandos
de
voz
o
texto
con
respuestas
en
texto,
audio
o
imágenes.
Esto
consiste
en
implementar
un
LLM
y
un
SQL
para
interactuar
con
bases
de
datos
en
español
en
un
enfoque
multimodal.
Bueno,
pues
yo
les
presento
aquí
el
diagrama
de
nuestro
proyecto.
Lo
primero
que
se
realizó
fue
una
recolección
de
datos.
A
estos
datos
se
les
hizo
una
aumentación
de
calidad.
Luego
con
estos
datos
se
hicieron
fine
tuning
con
dos
modelos
de
lenguaje.
Se
utilizaron
técnicas
como
CULORA
y
LORA
y
como
PES.
Posibilmente
se
planea
meterlo
que
es
una
autocorrección
al
modelo
para
que
se
vaya
corregiendo
al
usuario
y
al
último
hacer
un
interfaz
de
usuario
para
que
hay
una
mejor
comunicación
en
el
usuario
del
modelo
y
le
pueda
dar
las
respuestas
ya
sea
en
audio
o
en
texto.
Primer
paso.
Como
primer
paso,
nuestro
proyecto
fue
CREAUNT
DATACET.
Para
lo
gracias
DATACET
nos
guiamos
de
un
SQL.
Nuestro
dataset
contiene
cuestión.
Las
preguntas
contienen
las
preguntas
generadas
que
pueden
generar
los
usuarios.
ASGWARE
las
preguntas
SQL
correspondientes
a
las
preguntas.
CONTEX
información
textual
que
puede
ser
útil
para
comprender
y
recordar
las
relaciones
entre
preguntas
y
respuestas.
Una
vez
se
logró
hacer
el
dataset,
lo
subimos
a
Google
Face
para
su
uso
correspondiente.
Ahora
nosotros
nos
dedicamos
a
hacer
fine
tuning
en
dos
modelos.
Los
cuales
fue
Codellama
y
Mistral,
CITV.
Ambos
fueron
cuantizados
a
4
bits.
Ya
que
nos
enfocamos
de
que
pudiera
ejecutarse
en
la
mayoría
de
equipos
disponibles.
Hemos
mostrado
un
mejor
resultado
ya
que
como
originalmente
están
entrenados
en
idioma
inglés
al
entrenar
el
fine
tuning
en
idioma
español.
Se
notó
un
mejor
resultado
ya
que
nos
damos
un
tos
en
adaptados
al
idioma
español.
Bueno,
pasando
con
una
demostración
de
la
parte
multimodal.
Primero
dimos
al
usuario
que
pudiera
elegir
entre
si
quiere
escribir
el
texto
o
si
quiere
pasar
por
vos.
En
este
caso
hicimos
una
prueba
con
vos,
en
donde
pusimos
el
prompt
de
dime
todos
los
profesores
que
parten
la
materia
de
mercado
técnico
por
medio
del
agua.
Entonces,
pasando
de
ahí,
utilizamos
Regex,
el
cual
nos
ayudó
a
filtrar
simplemente
que
nos
mostrara
nuestra
consulta
SQL,
la
cual
vamos
a
usar
para
después
implementarlo,
pasarla
a
nuestra
base
de
datos.
En
este
caso
la
cargamos
desde
Heimfeis
para
así
hacer
la
consulta
que
requeríamos.
Nos
muestra
los
resultados
de
dicha
consulta
que
hicimos
y
ya
de
ahí
nada
más
utilizamos
la
librería
para
una
librería
para
poder
utilizar
el
audio
y
poder
que
dijera
por
vos
lo
que
tenía
la
consulta.
Ok,
yo
les
mostraré
loque
es
la
base
de
la
interfaz.
En
la
interfaz
tenemos
el
prompt
en
el
cual
vamos
a
ingresar
profesores
que
imparten
la
materia
de
administración.
Ok,
entonces
tenemos
así,
metemos
el
prompt
y
nos
estarían
listando
los
profesores
que
están
impartiendo
esa
materia.
Ok,
también
darnos
una
opción
en
la
cual
por
medio
de
vos
vamos
a
grabar
la
voz,
cuáles
son
los
profesores
de
mercadotecnia
y
sus
horarios.
Y
al
ingresar
estos
resultados
tendríamos
como
resultado
los
nombres
de
los
profesores
con
sus
respectivos
horarios.
También
por
medio
de
un
mismo
prompt
de
texto
podemos
poner
cuáles
son
las
materias
que
imparte
la
maestra
edit.
Y
con
esto
nos
estaría
imprimiendo
de
una
manera
gráfica
lo
que
es
la
tabla
o
la
materia
que
la
imparte.
[Música]
[Música]
¿Hemos
perdido
a
María?
Sí,
ahora.
Ya
está
de
que
hay
de
vuelta.
Perdón.
Dale.
Bueno,
a
mí
el
proyecto,
la
verdad
es
que
me
parece
interesante
dos
puntos
sobre
todo.
Primero
la
generación
de
ese
recurso.
Había
visto
muchos
datos
de
texto
natural
SQL
y
viceversa,
pero
la
verdad
es
que
no
los
he
encontrado
en
español.
Y
luego
me
gusta
también
que
nos
enseña
un
proyecto
en
tu
en,
desde
la
creación
hasta
como
en
ese
mock
de
un
móvil.
Se
usa
ese
modelo,
se
ejecuta
esa
query
que
genera
y
se
ven
los
resultados.
Eso
también
me
gusta
porque
muchos
se
quedan
en...
Y
aquí
está
el
modelo
y
a
mucha
gente
le
cuesta
ver
que
detrás
de
eso
hay
una
o
muchas
posibles
aplicaciones.
Y
luego
puntos
que
me
queda
un
poco
de
duda
es
ese
dataset
es
lo
suficientemente
diverso.
O
sea,
más
información
de
cómo
se
ha
generado,
qué
categorías
comprende.
Se
dice
que
se
hubiera
experimentado,
¿no?
Con
qué
modos
se
ha
experimentado,
si
se
ha
experimentado
con
varios
modelos.
Y
sobre
todo
y
más
importante,
hay
una
frase
que
nos
comentan
de
que
se
nota,
¿no?
Que
el
modelo
es
mejor
que
la
versión
en
inglés.
Bueno,
ese
se
nota
si
no
hay
una
evaluación
cualitativa
o
cuantitativa,
pues
es
muy
complicado
para
el
resto
de
personas.
Saber
si
nos
merece
la
pena
usar
ese
modelo
por
el
simple
hecho
que
entiende
el
español
o
un
modelo
preentrenado
en
inglés.
Que
como
todos
sabemos,
pues
algo
de
español
han
visto
y
funcionan
de
aquella
manera,
¿no?
Luego
también
el
tema
multimodal,
¿no?
Importante
que
dice
una
solución
multimodal.
Y
sí
que
igual
es
multimodal
en
el
sentido
de
que
puede
trabajar
con
audio
también.
Pero
multimodal,
creo
que
cuando
la
audien
multimodal
en
este
mundo
nos
refirma
a
modelos
que
procesan
el
mismo
modelo
audio
y
texto
en
este
caso.
O
imagen
y
texto.
Y
creo
que
el
tipo
de
modelo,
¿no?
Que
sea
entrenado
no
es
multimodal
de
manera
inerente,
¿no?
Sino
que
son
dos
modelos.
Por
poner
un
pero.
Cool.
Yo
pongo
otro
pero.
No
he
tenido
que
pararlos
porque
sí
que
han
sido
cinco
minutos,
pero
no
sé
si
habláis
tan
rápido
en
directo.
Pero
bueno,
realmente
creo
que
también
para
sumar
a
mí
lo
que
decía
Manu
me
ha
parecido
muy
original
que
la
demo
sea,
pues
como
sería
la
demo
de
un
producto
digamos,
estamos
muy
acostumbrados
a
la
demo
de
High-Fix,
que
me
parece
genial
y
que
son
las
que
utilizo
simplemente
pues
algo
diferente
y
que
aporta
este
proyecto.
Y
nada,
como
estáis
por
aquí
no
sé
si
vais
a
querer
responder
a
las
preguntas
de
Manu.
Os
dejamos
unos
minutines
mientras
nos
despedimos
por
no
sé,
mi
segundo
o
tercera
vez.
Voy
a
repetirme,
pero
bueno,
enhorabuena
a
todo
el
mundo.
Geniales
los
proyectos.
Espero
que
hayáis
aprendido
mucho
y
que
tengáis
ganos
de
repetir
o
de
seguir
desarrollando
vuestros
proyectos
y
os
podemos
ayudar
en
lo
que
sea
encantados.
Y
ya
es
mi
último
mensaje
de
despedida.
¿Vas
a
traer?
Nada,
yo
lo
mismo.
Un
placer.
Muchas
gracias
a
todo
el
mundo
por
participar
y
por
el
nivel
que
sean
auto
impuestos
y
en
los
proyectos
y
sobre
todo
como
siempre
decimos
por
los
recursos
que
han
generado
para
el
español.
Ay,
perdón,
dale.
Lo
que
sí
voy
a
decir
es
que
no
sé
si
lo
sabéis,
ya
hay
un,
hoy
justo
lo
anunció
Alejandro
Baca,
ha
dicho
que
ha
entrenado,
bueno,publicó
un
nuevo
dataset,
o
sea,
modelo
de
instrucciones
y
ha
dicho
que
había
utilizado
los
datasets
del
hackathon.
O
sea,
que
enhorabuena
porque
ya
comienzan
las
primeras
aplicaciones.
De
hecho,
bueno,
como
sabéis,
la
idea
es
combinar
todas
las
instrucciones
que
se
han
creado
para
crear
un
gran
corpus
que
seguiremos
alimentando
con
diferentes
iniciativas.
Y
bueno,
así
que
bueno,
que
sepáis
que
ya
tiene
impacto
todo
esto
que
habéis
creado
este
esfuerzo.
Final,
yo
para
terminar,
de
nuevo,
reiterar
mi
enhorabuena,
todo
lo
equipo
y
sobre
todo
al
final
la
comunidad
grande
que
se
crea
con
este
tipo
de
iniciativas
que
creo
que
es
muy
importante.
Y
nada,
no
era
buena
de
nuevo.
Real,
nos
vemos.
[no
riendas
accur
considerablemente]