Hola
a
todos
el
mundo,
bienvenidos
de
nuevo
a
el
segundo
día
de
Kinos
de
nuestro
hackathon
Somos
600M.
Hoy
os
traigo
dos
experiencias
súper
interesantes,
ya
hemos
estado
hablando
de
prospectiva,
de
diseño
de
futuros
con
Chris
Bila
y
ahora
pues
vamos
a
hablar
de
detección
de
depresión
en
internet,
vale.
Os
vamos
a
recordar
primero
para
la
gente
que
ha
un
poco
consistada
del
objetivo
de
nuestra
iniciativa
del
hackathon
Somos
600M,
lo
que
queremos
hacer
es
crear
recursos
abiertos
de
procesamiento
de
lenguaje
natural
en
español
y
lenguas
oficiales,
el
objetivo
realmente
es
crear
recursos
que
representen
la
diversidad
de
los
600
millones
de
personas
hispanohablantes,
que
somos
un
montón.
Entonces
para
eso
hemos
organizado
un
hackathon,
tenemos
también
a
disposición
de
las
personas
participantes,
recursos,
computación
y
también
pues
como
creemos
muchísimo
la
formación
y
creemos
que
es
muy
importante
también
pues
organizamos
kinos
como
las
de
hoy
para
pues
dar
a
conocer
diferentes
aspectos
del
PLEN
y
diferentes
aplicaciones,
como
puede
ser
aplicaciones
con
más
valor
social,
un
efecto
social
como
podría
ser
la
que
vamos
a
presentar
ahora
mismo
con
Anshop.
Os
presento
a
nuestro
oponente,
Anshop
Ereces
un
investigador
postdoctoral
del
laboratorio
de
recuperación
de
información
de
la
Universidad
de
la
Coluña,
ha
defendido
su
tesis
en
2024
y
su
investigación
se
centra
en
el
desarrollo
de
modelos
automáticos
para
la
preventura
de
apoyo
al
jarnóstico
y
detección
de
riesgos
para
la
salud
mental
en
redes
sociales.
Por
esto
metimos
utilidad
técnicas
de
NLP,
IR
y
ML
para
el
desarrollo
de
modelos
y
data
sets
en
este
campo.
O
sea
que
nos
va
a
hablar
efectivamente
de
estimación
de
la
seguridad
de
la
depresión
en
internet,
los
dos
modelos,
cuáles
son
los
recursos
y
bueno
a
ver
qué
nos
cuenta
la
verdad
que
bueno
le
decía
ahora
que
me
parece
un
tema
súper
importante
también
sé
que
a
mucha
gente
cuando
estáis
en
nuestros
jacatones
os
apetece
tocar
temas
de
salud
mental
entonces
bueno
muy
importante
está
aquí
no
para
hacerlo
bien
con
con
responsabilidad.
Anshop
todo
tuyo
ya
está
compartiendo
tus
diapositivas
o
sea
que
adelante
bienvenido
y
muchas
gracias.
Vale
pues
muchas
gracias
por
la
presentación
María
pues
como
bien
dijo
María
yo
soy
Anshop
Pérez
soy
investigador
del
IRLAP
de
la
Universidad
de
la
Coluña
y
el
tópico
de
mi
tesis
y
lo
que
venimos
haciendo
en
los
últimos
años
en
este
laboratorio
pues
es
aprovechar
los
recursos
y
los
y
los
modelos
para
estudiar
y
analizar
pues
la
estimación
de
la
severidad
de
distintas
enfermedades
mentales
en
internet
en
esta
en
esta
charla
voy
a
centrar
más
sobre
la
depresión
y
voy
a
comentar
cómo
podemos
aprovechar
estos
recursos
pues
para
generar
nuevos
modelos
y
nuevos
datasets
de
calidad
para
ayudar
en
esta
problemática.
Sin
más
dilación
voy
a
empezar
con
la
presentación
voy
a
empezar
introduciendo
un
poco
y
motivando
el
contexto
de
por
qué
creemos
que
atacar
a
este
problema
es
tan
importante
bueno
supongo
que
ya
todos
somos
más
o
menos
conscientes
del
impacto
que
suponen
las
enfermedades
mentales
en
las
personas
aquí
enseñó
algunas
estadísticas
de
acuerdo
con
la
organización
mundial
de
la
salud
más
de
320
millones
de
personas
actualmente
parecen
depresión
además
se
estima
que
el
6%
de
la
población
ha
cometido
violencia
autoinfligida
es
decir
se
ha
cometido
daño
a
sí
mismo
el
8%
de
las
mujeres
tienen
desordenes
alimenticios
y
hasta
el
5%
de
los
adultos
son
adictos
al
juego
estos
son
algunos
ejemplos
de
enfermedades
mentales
más
comunes
de
hecho
son
las
cuatro
enfermedades
que
solemos
tratar
más
en
este
laboratorio
pero
bueno
esto
se
extienda
un
montón
de
diversos
de
diversos
trastornos
en
esta
charla
voy
a
centrarle
más
sobre
la
depresión
que
la
depresión
es
una
de
las
mentales
más
debilitantes
y
en
los
peores
casos
incluso
puede
desencadenar
en
su
libro
además
sabemos
por
evidencia
clínica
por
por
estudios
una
planta
de
identificación
de
la
enfermedad
es
crucialpara
reducir
su
impacto
y
sus
futuras
consecuencias
y
por
último
en
este
contexto
las
personas
solemos
considerar
las
redes
sociales
como
canal
de
seguros
para
expresar
nuestros
problemas
en
el
día
a
día
y
esas
tendencias
más
habituales
o
todas
en
las
personas
jóvenes
en
los
chicos
y
chicas
jóvenes
además
existe
amplia
evidencia
que
ha
demostrado
que
nuestro
lenguaje
la
manera
en
que
hablamos
la
manera
en
que
nos
expresamos
el
general
los
tópicos
de
los
que
hablamos
son
indicadores
importantes
de
nuestro
estado
mental
tanto
para
bien
como
para
mal
entonces
en
este
contexto
investigadores
en
los
campos
de
recuperación
de
la
información
información
retrieval
en
inglés
inteligencia
artificial
machine
learning
y
en
el
ep
han
identificado
y
han
trabajado
mucho
en
explorar
marcadores
lingüísticos
para
desarrollar
modelos
de
atención
en
enfermedades
mentales
usando
como
fuente
de
datos
las
redes
sociales
a
pesar
de
que
se
han
obtenido
pues
modelos
y
resultados
muy
prometedores
todavía
existen
brechas
pues
para
integrar
estos
modelos
en
escenarios
reales
en
escenarios
clínicos
donde
realmente
se
puedan
aprovechar
y
es
el
objetivo
que
todos
estos
investigadores
quieren
y
queremos
de
todos
modos
hay
los
límites
principales
actualmente
en
el
despliegue
de
estos
modelos
en
el
escenario
reales
el
primero
son
límites
relacionados
con
su
generalización
muchos
modelos
están
entrenados
en
el
desed
que
solo
pertenecen
a
una
red
social
solo
pertenecen
a
un
idioma
y
cuando
transferimos
estos
modelos
pues
a
otras
redes
sociales
por
ejemplo
entramos
un
modelo
en
twitter
intentamos
probarlo
en
red
o
en
facebook
suelen
fallar
y
su
rendimiento
suele
bajar
mucho
y
el
segundo
son
límites
de
interpretabilidad
todos
estos
modelos
y
todas
estas
ideas
siempre
son
pensadas
para
que
ser
trabajadas
con
profesionales
clínicos
profesionales
de
la
salud
ya
que
estamos
muy
lejos
de
desarrollar
modelos
que
puedan
hacer
un
diagnóstico
completo
y
claro
ellos
solos
y
muchos
de
los
modelos
actúan
como
modelos
de
caja
negra
en
lo
que
es
muy
difícil
interpretar
pues
todas
sus
decisiones
entonces
como
objetivo
esta
línea
de
investigación
se
basa
en
el
desarrollo
de
modelos
y
data
sets
basados
en
síntomas
clínicos
para
identificar
señales
depresivas
en
las
redes
sociales
por
qué
basados
en
síntomas
porque
es
que
modelos
basados
en
síntomas
bueno
pues
hay
estudios
recientes
que
han
demostrado
que
basar
las
decisiones
estos
modelos
en
síntomas
clínicos
en
práctica
clínica
ayuda
a
reducir
estas
limitaciones
por
lo
tanto
en
esta
presentación
vamos
a
presentar
trabajos
donde
hemos
usado
modelos
basados
en
síntomas
para
mejorar
la
featividad
de
los
modelos
su
interpretabilidad
y
también
su
generalización
más
en
más
concretamente
pues
los
objetivos
que
buscamos
es
explotar
el
lenguaje
basado
he
usado
perdón
en
las
redes
para
construir
modelos
computacionales
que
permitan
detectar
y
estimar
la
depresión
a
través
de
estos
síntomas
en
este
contexto
aplicamos
técnicas
dentro
de
los
campos
de
recuperación
de
la
información
natural
de
un
proces
y
en
el
edificio
artificial
para
predecir
la
evidencia
de
síntomas
depresivos
y
para
esto
nosotros
nos
aprovechamos
de
cuestionar
los
clínicos
que
son
validados
y
que
se
usan
en
práctica
clínica
para
diágenos
de
carneta
de
depresión
como
son
el
de
depresión
inventólios
que
vamos
a
tratar
en
esta
charla
antes
de
empezar
a
tratar
los
modelos
y
sobre
todo
los
deitas
específicos
voy
a
introducir
un
poco
el
contexto
de
nuestro
de
nuestra
investigación
estamos
muy
relacionados
con
el
fréngue
la
iniciativa
de
risque
es
una
iniciativa
que
se
celebra
cada
año
dentro
de
la
conferencia
clef
en
la
que
los
organizadores
pues
liberan
distintas
colecciones
distintas
tareas
relacionadas
con
diversos
trastornos
mentales
en
nuestro
caso
nos
vamos
a
centrar
en
la
tarea
de
la
depresión
que
viene
a
realizarse
desde
el
año
2017
con
presencia
en
2017
2019
2020
y
la
edición
del
2020
en
el
bd
que
es
el
cuestionario
que
nosotros
usamos
para
explotar
y
entrenar
y
usarnuestros
modelos
pues
incorpora
síntomas
estos
modelos
incorporan
síntomas
del
bd
que
es
un
cuestionario
clínico
para
permitir
construir
soluciones
más
transparentes
y
sobre
todo
más
interpretables
el
bd
está
compuesto
por
21
síntomas
diferentes
aquí
muestro
tres
de
ellos
el
síntomas
acne,
spécimis
y
falta
de
energía,
los
of
energy
y
cada
uno
de
estos
síntomas
tiene
cuatro
opciones
posibles
a
responder
en
las
que
escalan
estas
opciones
en
términos
de
severidad
por
ejemplo
para
síntomas
acne,
para
síntomas
tristeza
la
opción
cero
es
no
me
siento
triste
la
opción
uno
es
me
siento
triste
la
mayoría
del
tiempo
en
la
opción
dos
me
siento
triste
todo
el
tiempo
y
por
último
la
más
severa
sería
me
siento
tan
triste
o
infeliz
que
ya
no
puedo
aguantar
entonces
nosotros
para
crear
nuestros
data
sets
usamos
como
fuente
de
datos
las
colecciones
de
risk
más
específicamente
las
ediciones
19,
20
y
21
para
construir
nuestros
recursos
estos
data
sets
tienen
etiquetas,
labels,
entrenamiento
por
cada
síntoma
del
bd
a
nivel
de
usuario
esto
que
significa
pues
que
por
ejemplo
tenemos
un
usuario
de
la
plataforma
reddit
en
la
que
sabemos
que
ha
contestado
la
opción
tres
al
síntoma
pérdida
de
energía
no
tengo
suficiente
energía
para
hacer
nada
y
tenemos
esa
información
disponible
en
el
data
set
y
además
también
tenemos
las
publicaciones
de
los
propios
usuarios
de
reddit
pues
para
este
usuario
tendríamos
tanto
la
opción
que
respondió
la
opción
tres
como
todas
sus
publicaciones
que
muchas
de
ellas
evidentemente
no
van
a
estar
relacionadas
con
el
síntoma
en
cuestión
bien
entonces
voy
a
empezar
a
hablar
sobre
nuestro
primer
trabajo
basado
en
el
desarrollo
de
data
sets
enfocado
en
síntomas
clínicos
que
es
el
bd
y
c
en
este
campo
los
data
sets
los
conjuntos
datos
tradicionales
en
la
depresión
están
compuesto
de
etiquetas
de
labels
binarias
a
nivel
de
usuario
es
decir
tenemos
usuarios
de
control
versus
usuarios
deprimidos
tenemos
todo
el
historial
de
sus
usuarios
de
control
y
todo
historial
en
las
redes
de
sus
usuarios
deprimidos
dependiendo
de
la
de
la
red
social
y
twitter
etcétera
sin
embargo
es
importante
construir
data
sets
que
cubren
manifestaciones
de
síntomas
pues
para
como
decíamos
anteriormente
mejorar
su
interpretabilidad
y
el
rendimiento
de
los
modelos
a
nivel
de
sentencia
que
permitan
crear
colecciones
de
mayor
granualidad
y
de
mayor
calidad
pues
es
lo
que
hemos
intentado
realizar
en
el
bd
y
c
de
y
el
este
de
y
de
ser
promovio
el
desarrollo
de
modelos
basados
en
marcadores
de
síntomas
presentamos
ese
trabajo
a
finales
de
2023
en
la
conferencia
siga
yar
y
aquí
dejo
un
código
QR
el
enlace
para
el
data
set
por
si
alguien
le
interesa
y
quiere
el
charum
ojo
más
y
jugar
con
el
con
el
propio
de
y
de
cien
bd
y
cen
contiene
cerca
de
cinco
mil
sentencias
anotadas
y
más
de
40
mil
sentencias
de
control
manifestando
síntomas
depresivos
y
el
data
set
cubre
los
21
síntomas
presentes
en
el
bd
de
totalidad
de
ellos
como
decía
antes
nosotros
siempre
partimos
de
los
data
set
de
risk
sin
embargo
estos
data
set
tiene
una
cantidad
de
publicaciones
muy
grande
que
si
queremos
crear
un
data
set
anotado
manualmente
por
humanos
pues
es
necesario
diseñar
una
etapa
de
retrieval
de
recuperación
basada
en
el
filtrado
de
frases
candidatas
que
pueden
ser
más
relevantes
para
cada
síntoma
entonces
la
fase
en
la
fase
de
retrieval
en
este
primer
trabajo
usamos
las
descripciones
de
las
opciones
como
cuídes
como
consultas
para
seleccionar
candidatos
entonces
por
ejemplo
tenemos
el
mismo
usuario
de
antes
que
sabemos
que
ha
respondido
la
opción
3
al
síntoma
pérdida
de
energía
y
nosotros
usamos
semántica
en
ese
mantis
rankings
perdón
elaboramos
semántica
en
este
con
ese
verde
con
sentes
ver
sobre
el
conjunto
de
frases
es
el
mismo
usuario
y
nos
permitiría
filtrar
aquellas
que
están
semánticamente
más
relacionadas
con
el
síntoma
es
decir
lo
que
consideramos
sentencias
candidatas
para
la
posterior
etiquetación
en
cuanto
al
esquema
de
notación
nosotros
usamos
un
equipo
de
tres
anotadores
expertos
conconocimientos
en
el
área
para
notar
estas
sentencias
candidatas
los
tres
anotadores
examinaron
todo
el
conjunto
de
datos
y
organizamos
sesiones
de
formación
con
ellos
más
específicamente
para
etiquetar
entre
relevante
y
no
relevante
entre
sentencia
positiva
y
narrativa
consideraron
la
siguiente
pregunta
el
usuario
habla
primera
persona
y
la
frase
ofrece
información
sobre
el
síntoma
si
es
así
la
frase
se
considera
relevante
es
decir
para
equilibrar
la
cantidad
y
calidad
de
las
sentencias
candidatas
nosotros
realizamos
experimentos
pilotos
en
las
que
participaron
estos
anotadores
y
al
final
el
proceso
dio
lugar
a
un
brail
de
simulquius
coseno
de
0
6
a
la
hora
de
hacerlo
semánticos
ahora
a
la
hora
de
hacer
la
búsqueda
semántica
y
también
a
las
primeras
750
frases
clasificadas
para
cada
síntoma
para
construir
el
data
ser
final
cada
frase
se
consideró
positiva
por
mayor
y
votin
es
decir
si
tenemos
tres
anotadores
si
dos
de
ellos
consideran
una
frase
como
positiva
se
va
a
considerar
en
el
de
y
de
hacer
final
en
el
recurso
final
como
positiva
y
organizamos
las
frases
en
tres
grupos
frases
positivas
frases
clasificadas
como
negativas
y
frases
de
control
que
fueron
obtenidas
de
manera
random
de
rédita
al
final
el
interanotación
agreement
de
la
grime
entre
los
anotadores
fue
cercano
al
85
por
ciento
lo
que
supone
un
buen
agreement
un
buen
acuerdo
comparado
con
trabajos
similares
en
el
campo
en
esta
en
esta
tabla
muestro
las
principales
estadísticas
de
bdc
en
la
primera
en
la
primera
fila
podemos
ver
la
media
de
agreement
entre
los
entre
los
anotadores
y
podemos
ver
que
para
la
mayoría
de
ellos
está
cercana
al
80
por
ciento
o
incluso
supera
esos
80
por
ciento
en
las
últimas
tres
filas
podemos
ver
el
número
de
sentencias
positivas
para
cada
síntoma
el
número
de
sentencias
negativas
y
también
el
número
de
sentencias
de
control
aquí
cabe
destacar
que
los
expertos
anotaron
sólo
como
relevantes
el
17
por
ciento
de
las
frases
del
grupo
de
candidatas
lo
que
refleja
también
cómo
difícil
es
encontrar
evidencias
en
redes
sociales
y
cómo
difícil
es
esta
tarea
aquí
muestro
algunos
ejemplos
para
que
se
entienda
un
poco
mejor
de
frases
del
bdc
asociada
con
el
síntoma
problemas
de
sueño
en
el
primer
bloque
en
las
frases
etiquetas
como
cero
vemos
que
estas
frases
sí
que
son
semánticamente
relacionadas
con
el
síntoma
en
este
caso
problemas
de
sueño
pero
vemos
que
no
muestran
ningún
riesgo
como
por
ejemplo
la
primera
frase
que
simplemente
estoy
apostado
en
mi
cama
y
todavía
lo
siento
sin
embargo
las
frases
del
bloque
de
abajo
las
frases
relevantes
sí
que
vemos
riesgos
asociados
con
el
síntoma
por
ejemplo
la
última
fila
vemos
que
las
frases
sólo
tengo
energía
para
comer
y
dormir
una
vez
construido
el
ley
de
ser
lo
primero
que
hicimos
fue
un
análisis
a
nivel
emocional
y
a
nivel
sentimental
de
los
tres
grupos
de
frases
es
decir
el
grupo
positivo
del
grupo
negativo
y
del
grupo
de
control
para
esto
usamos
el
conjunto
de
emociones
de
prud
chik
cubiertos
en
el
emoción
lércico
en
rc
en
el
que
trata
ocho
diferentes
emociones
y
dos
sentimientos
que
es
sentimiento
positivo
y
sentimiento
negativo
y
en
esta
análisis
lo
que
hicimos
es
contar
el
número
de
frases
para
cada
uno
de
los
grupos
positivo
negativo
de
control
que
tenían
al
menos
un
término
que
ejemplificaba
cada
uno
de
los
grupos
emocionales
y
sentimentales
en
este
caso
vimos
dos
patrones
distintos
en
los
síntomas
del
bdi
en
los
síntomas
depresivos
el
primer
patrón
se
refleja
en
la
primera
fila
donde
vemos
que
para
las
sentencias
positivas
el
nivel
de
emocionalidad
y
el
nivel
de
sentimiento
mentalidad
es
mucho
mayor
que
para
otros
dos
grupos
sin
embargo
para
otros
síntomas
como
por
ejemplo
el
síntoma
de
indecisión
que
vemos
en
la
fila
abajo
esta
diferencia
no
es
tan
significativa
de
hecho
se
entiende
mucho
a
enrelazar
y
no
vemos
grandes
diferencias
de
emocionalidad
y
sentimentalidad
entre
los
grupos
de
sentimientos
a
continuación
también
elaboramos
experimentos
de
clasificación
para
evaluar
el
impacto
del
data
se
nos
centramos
experimentosen
dos
tareas
principales
una
detección
de
síntomas
una
clasificación
pura
y
dura
y
también
la
generación
generalización
de
los
modelos
hacia
síntomas
de
otras
enfermedades
para
estos
experimentos
usamos
modelos
basados
en
transformers
formulados
como
modelos
de
clasificación
más
concretamente
usamos
ver
de
mini
que
es
una
versión
un
poco
más
ligera
de
ver
m
ver
que
significa
mental
ver
que
es
un
ver
pre-entrenado
previamente
en
un
montón
de
colección
relacionadas
con
poros
de
salud
mental
en
las
redes
sociales
y
también
te
cinco
que
es
un
modelo
text
to
text
en
el
que
lo
formulamos
para
que
formó
que
escupiese
etiquetas
de
true
o
false
dependiendo
de
si
el
síntoma
la
frase
era
relevante
hacia
el
síntoma
y
por
último
para
tener
un
poquito
también
de
de
contexto
de
cómo
funcionan
bien
estos
modelos
basados
en
transformers
incluimos
feriaturas
textuales
más
específicamente
un
tefe
y
de
f
y
un
luik
que
es
basado
en
un
lexico
en
psicológico
bien
pues
viendo
la
primera
la
primera
tarea
que
se
basan
en
la
detección
de
síntomas
es
decir
la
tarea
de
los
modelos
es
determinar
si
una
frase
es
relevante
o
no
para
un
síntoma
mostran
resultados
en
esta
tabla
que
la
formulamos
tarea
como
una
clasificación
binaria
es
decir
la
sentencia
es
relevante
hacia
el
síntoma
o
no
y
es
necesario
remarcar
aquí
que
en
todos
los
experimentos
siempre
incluimos
cinco
veces
más
frases
de
control
que
positivas
ya
que
en
un
entorno
real
en
las
redes
sociales
siempre
es
más
habitual
encontrarse
sentencias
que
no
van
sobre
el
síntoma
que
positivas
viéndolef
uno
de
los
modelos
podemos
ver
que
los
modelos
basados
en
transformers
han
obtenido
un
rendimiento
mejor
que
los
basados
en
feriaturas
textuales
clásicas
más
específicamente
el
modelo
verp
entrenado
previamente
con
con
corpus
relacionado
con
mental
health
pues
vemos
que
ha
sido
el
que
ha
tenido
mayor
mayor
rendimiento
para
poner
un
poco
más
en
contra
de
los
resultados
también
muestro
aquí
las
matrices
de
confusión
para
cada
uno
de
los
modelos
y
vemos
que
los
modelos
basados
en
transformers
el
el
valor
de
true
positives
de
sentencias
que
realmente
eran
positivas
es
muy
alto
cercano
casi
siempre
al
100
por
100
y
el
valor
de
falsos
negativos
de
falsos
negativos
es
muy
pequeño
en
el
segundo
experimento
para
cenado
con
la
generalización
de
síntomas
nosotros
evaluamos
la
capacidad
de
generación
de
nuestros
modelos
entrenados
en
vez
de
isen
a
síntomas
de
otros
trastornos
para
esto
usamos
un
dita
7
externo
y
sin
que
cubre
síntomas
y
sentencias
de
otros
de
otros
de
otros
siete
diferentes
trastornos
este
día
se
publicado
en
la
conferencia
mnlp
de
2022
e
hicimos
una
evaluación
0
es
otro
esto
que
quiere
decir
pues
que
básicamente
usamos
nuestros
modelos
exclusivamente
entrenados
en
veriz
en
y
los
estemos
directamente
en
los
síntomas
de
todas
estas
enfermedades
aquí
podemos
ver
que
los
modelos
basados
en
transformers
generalizaron
muy
bien
ya
que
bien
los
síntomas
de
otras
enfermedades
que
no
habían
visto
en
proceso
de
entrenamiento
siguen
teniendo
una
precisión
bastante
alta
sin
embargo
aquí
sí
los
modelos
basados
en
criaturas
textuales
clásicas
sí
que
baja
mucho
su
rendimiento
en
la
última
fila
mostramos
la
media
de
rendimiento
por
enfermedad
y
vemos
que
como
es
lógico
el
mejor
el
mejor
rendimiento
se
obtiene
en
la
propia
enfermedad
que
es
depresión
pero
que
hay
otras
enfermedades
como
por
ejemplo
ansiedad
o
bipolar
disorder
en
la
que
vemos
que
los
rendimientos
y
la
generalización
es
bastante
buena
sin
embargo
en
el
último
en
el
último
en
la
última
enfermedad
como
es
problemas
alimenticios
vemos
que
la
precisión
es
sólo
de
la
mitad
de
nuestros
modelos
en
cuanto
a
la
media
por
cada
método
vemos
que
a
nivel
de
realización
el
método
que
mejor
funciona
fue
de
5.
Vale,
he
visto
un
poco
esto
voy
a
ver
nuestro
segundo
trabajo
en
la
que
probamos
a
usar
modelos
comerciales
es
decir
large
language
models
como
asesores
de
marcadores
psicológicos
para
ver
si
nos
podían
ayudar
en
la
notación
y
en
elproceso
de
construcción
de
data
sets
en
este
domingo.
Como
resultado
de
este
segundo
trabajo
creamos
un
nuevo
ADICASET
el
ley
de
set
de
presín
en
el
que
este
trabajo
estudiamos
como
los
lm's
pueden
ayudar
en
el
desarrollo
de
estos
modelos
de
nuevo
muestro
aquí
el
código
QR
por
si
alguien
quiere
está
interesado
en
trabajar
con
el
ley
que
se
para
tener
las
guías
de
cómo
acceder
a
ello.
En
ese
trabajo
exploramos
la
capacidad
de
los
lm's
más
específicamente
gpt4
y
chat
gpt
para
notar
datos
complejos
relacionados
con
la
salud
mental.
¿Por
qué?
Bueno
pues
porque
una
de
las
principales
ventajas
de
usar
los
lm's
es
su
capacidad
para
procesar
grandes
cantidades
de
datos
entonces
examinamos
y
exploramos
estudiamos
un
rendimiento
para
comprender
hasta
que
punto
estos
modelos
pueden
reproducir
el
comportamiento
humano
y
podrían
actuar
como
asesores
para
etiquetar
colecciones
en
este
campo.
El
de
presín
data
set
proviene
de
una
tarea
nueva
de
risk
que
básicamente
consiste
en
realizar
rankings
de
frases
indicativas
de
la
presencia
de
síntomas
crínicos
es
una
tarea
introducida
por
primera
vez
en
2023
y
de
nuevo
de
presín
al
igual
que
nuestro
recurso
anterior
abarca
todos
los
síntomas
presentes
en
el
vd2.
Las
frases
proceden
de
red
de
nuevo
y
se
organizan
una
colección
al
estilo
3
donde
había
un
conjunto
de
4
millones
de
frases
provenientes
de
más
de
3
mil
usuarios
únicos
de
red.
En
cada
participante
de
risk
cada
laboratorio
presentó
21
rankings
de
frases
ordenadas
por
elemancia
de
creciente,
es
decir
que
cada
ranking
tenía
en
la
primera
posición
del
mismo
la
frase
que
ese
método
consideraba
más
relevante
respecto
al
síntoma
y
cada
laboratorio
podía
presentar
hasta
5
variandos
es
decir
hasta
5
métodos
y
los
rankings
tenían
hasta
1.000.
Entonces
en
este
nuevo
recurso
obtuvimos
las
frases
candidatas
aprovechando
estos
métodos
teniendo
en
cuenta
solo
las
50
primeras
frases
ranqueadas
de
los
modelos
propuestos
un
punto
total
de
37
modelos
diferentes
propuestos.
De
esta
manera
la
principal
diferencia
con
el
proceso
de
recolección
de
sentencias
candidatas
respecto
a
nuestro
trabajo
anterior
es
que
venían
de
37
modelos
distintos
en
medio
de
unico
solo
y
las
frases
tendrían
mucha
más
variedad
y
sería
mucho
más
rica,
mucho
más
ricas
en
diversidad.
Aquí
de
nuevo
muestro
algunos
ejemplos
de
frases
para
el
síntoma
pérdida
de
energía,
pasa
un
poco
el
mismo
patrón
que
con
veíamos
en
BDISEN
en
las
frases
con
relevancia
a
cero
vemos
que
sí
que
semánticamente
están
relacionadas
con
el
síntoma
con
en
este
caso
pérdida
de
energía
pero
no
muestra
ningún
riesgo
por
ejemplo
aprender
nuevas
ideas
con
su
energía
pero
construye
conexiones
neuronales
en
cambio
la
sentencia
que
tiene
una
relevancia
como
uno
vemos
que
si
realmente
hay
un
riesgo
asociado
a
la
persona
que
lo
está
escribiendo
por
ejemplo
en
la
primera
frase
de
la
relevancia
uno
es
incluso
lavar
los
dientes
es
demasiado
cansado
para
mí
ahora
mismo.
En
este
nuevo
trabajo
el
proceso
de
notación
de
nuevo
el
concepto
de
relevancia
es
el
mismo
una
frase
solo
debe
considerarse
relevante
si
proporciona
información
sobre
el
estado
del
individuo
relacionado
con
el
síntoma
del
BDI2
y
en
ese
trabajo
diseñamos
guidelines
y
diseñamos
guías
para
guiar
el
proceso
de
evaluación.
Estas
guidelines
se
proporcionaron
tanto
a
los
anotadores
humanos
y
también
para
realizar
in
context
learning
de
los
LLMS
así
podríamos
hacer
una
comparación
justa
ya
que
el
conocimiento
previo
a
nivel
de
guías
de
cómo
anotar
de
los
humanos
y
los
LLMS
sería
el
mismo
y
en
ese
trabajo
seleccionamos
a
tres
evaluadores
humanos
con
diseta
formación
para
ver
cómo
podría
influir
su
conocimiento
respecto
a
la
notación
y
respecto
a
los
LLMS.
En
este
caso
usamos
un
profesional
del
clínico,
un
estudiante
predoctoral
con
conocimiento
en
el
área
y
un
postdoctoral
también
con
conocimiento
en
el
área.
En
esta
diapositiva
pues
muestro
un
poco
las
guidelines
que
básicamente
explican
el
objetivo
de
esa
tarea
el
concepto
derelevancia
y
una
frase
con
ejemplos
para
las
categorías
positivas
y
negativas
para
cada
síntoma.
Una
vez
hecho
todo
este
proceso
el
gran
tru
las
flaves
verdaderas
siempre
se
han
creado
en
base
a
las
anotaciones
de
los
humanos
nunca
de
los
LLMS
y
creamos
dos
clases
de
gran
tru
deítases
el
primero
que
llamamos
consensus
donde
las
entecias
relevantes
son
consideradas
por
los
tres
humanos
es
decir
una
frase
solo
es
considerada
relevante
si
los
tres
anotadores
la
consideran
relevante
y
de
nuevo
un
majority
voting
donde
al
menos
dos
humanos
consideran
la
sentencia
como
relevante.
Entonces
podríamos
decir
que
consensus
es
un
poco
más
estricto
a
la
hora
de
considerar
una
sentencia
relevante
y
mayor
y
es
un
poco
más
tiesi.
En
esta
diapositiva
muestro
el
número
de
sentencias
y
también
el
acuerdo
la
agreement
de
las
anotaciones
por
síntoma
si
vemos
el
primer
bloque
de
la
tabla
vemos
que
el
número
de
sentencias
está
cercano
etiquetadas
perdón
está
cercano
al
mil
para
cada
uno
de
los
síntomas
y
de
nuevo
el
número
de
sentencias
relevantes
de
todas
esas
mil
anotadas
es
muy
pequeño
en
este
caso
en
este
trabajo
puso
lo
del
11
por
ciento
lo
que
de
nuevo
refleja
cómo
difícil
son
estas
tareas
también
aquí
mostramos
el
agreement
cómo
de
acuerdo
estuvo
el
modelo
GPT4
respecto
a
los
deitas
ex
al
consensus
y
majority
aquí
sólo
mostramos
GPT4
y
no
es
GPT
porque
fue
el
que
obtuvo
mejor
rendimiento
y
vemos
que
el
porcentaje
de
acuerdo
con
los
humanos
con
los
deitas
es
bastante
bastante
alto
sobre
todo
en
el
en
el
tema
y
que
es
un
poco
más
flexible
para
la
mayoría
de
síntomas
está
superior
la
delimiento
superior
al
80
por
ciento
de
las
frases
en
los
últimos
tres
lo
que
se
la
tabla
lo
que
muestro
es
una
comparación
a
pares
entre
el
lm
gp
t4
y
cada
humano
de
manera
individual
respecto
a
los
juicios
de
los
otros
dos
humanos
entonces
aquí
podemos
ver
una
comparación
individual
entre
cada
humano
y
gp
t4
para
todos
los
casos
el
uno
a
los
humanos
siempre
han
tenido
mejor
de
acuerdo
con
los
otros
dos
humanos
con
el
resto
respecto
a
gp
t4
con
sólo
una
excepción
para
el
síntoma
pesimismo
el
gp
t4
estuvo
más
de
acuerdo
con
los
humanos
que
el
propio
estudiante
predo
en
esta
segunda
tabla
muestro
estos
valores
para
el
resto
de
síntomas
que
más
o
menos
si
en
el
mismo
patrón
y
en
la
última
columna
muestro
la
media
de
todos
los
resultados
y
viendo
la
media
entre
la
agreement
de
cada
anotador
individual
respecto
a
gp
t4
vemos
que
los
humanos
siempre
están
un
paso
por
encima
respecto
al
lm
en
esta
segunda
tabla
muestro
en
mayor
detalle
por
el
resultado
de
este
acuerdo
de
relevancia
entre
los
anotadores
humanos
y
los
osl
lm
en
este
caso
en
la
primera
fila
chat
gp
t
y
en
la
segunda
fila
gp
t4
viendo
un
poco
estos
resultados
lo
que
podemos
ver
es
que
primero
me
le
dejan
con
sensus
chat
gp
t
casi
acierta
a
obtener
todas
las
entencias
relevantes
del
corpus
de
hecho
viendo
esta
mantiene
confusión
vemos
que
acertado
a
nivel
de
relevancia
en
2358
sentencias
y
sólo
ha
dejado
pasar
no
ha
pasado
por
su
filtro
de
relevancia
113
de
ellas
y
gp
t4
pues
ha
recuperado
como
relevantes
2296
y
sólo
ha
dejado
escapar
digamos
175
el
principal
problema
de
estos
modelos
tanto
de
chat
gp
t
como
gp
t4
que
vimos
en
este
escenario
es
que
tienen
a
sobreclasificar
las
sentencias
como
relevantes
por
ejemplo
gp
t4
de
las
del
total
no
relevantes
4.755
las
etiqueto
como
relevantes
cuando
en
realidad
no
lo
era
este
patrón
se
se
ve
también
en
mayor
y
lo
que
pasa
que
mayor
tiene
este
caso
pues
hay
más
entencias
relevantes
porque
son
de
este
un
poco
más
un
poco
más
flexible
en
cuanto
a
la
comparación
entre
los
modelos
usando
una
medida
de
acuerdo
de
agreement
cogen
kappa
aquí
sí
que
vemos
un
poco
más
a
diferencia
entre
el
rendimiento
de
los
modelos
donde
gp
t4
está
un
peluño
por
encima
de
chat
gp
en
base
a
estos
resultados
y
en
base
analizando
todos
estos
agreements
pues
los
resultados
dan
pie
a
proponer
estrategias
híbridas
de
etiquetado
ya
que
los
lm
en
este
caso
son
mejoresidentificando
sentencias
marcadas
como
relevante
y
en
nuestro
escenario
podrían
actuar
como
filtro
previo
para
eliminar
sentencias
no
relevantes
del
pul
total
de
sentencias
del
conjunto
total
de
sentencias
candidatas
a
etiquetar
por
ejemplo
en
nuestro
caso
si
hubiéramos
usado
gp
t4
de
primeras
podríamos
haber
reducido
el
trabajo
humano
un
68
por
ciento
eliminando
la
necesidad
de
anotar
15
mil
sentencias
a
continuación
vuelve
a
un
poco
de
las
conclusiones
y
trabajo
futuro
que
tenemos
pensado
en
base
a
estos
dos
a
estos
dos
artículos
que
expuesto
como
conclusiones
hemos
construido
dos
recetas
de
antrados
de
síntomas
que
incluyen
flases
frases
relacionadas
con
los
21
síntomas
del
bdi
2
en
principio
en
el
primer
trabajo
por
lo
menos
por
lo
menos
bdi
sen
revelando
diferencias
lingüísticas
y
emocionales
y
la
capacidad
de
clasificación
de
estos
moderos
y
también
evaluamos
el
potencial
de
los
lm
escoma
anotadores
en
este
ámbito
obteniendo
resultados
bastante
prometedores
a
pesar
de
que
aún
queda
mucho
más
gente
mejora
para
considerarlos
y
que
no
afecten
a
la
calidad
de
las
de
las
colecciones
como
trabajo
futuro
tenemos
pensado
a
dar
nuestros
enfocas
pues
a
otros
cuestionados
de
depresión
a
otras
enfermedades
hacia
distintos
lenguajes
en
línea
con
la
con
la
filosofía
y
con
la
idea
de
somos
en
el
ep
estamos
actualmente
trabajando
en
colecciones
de
redes
sociales
y
comunidades
disponibilantes
y
también
desarrollar
modelos
text
to
text
y
lm
es
opensource
que
ofrecen
explicaciones
fíables
para
detectar
no
sólo
detectarse
también
explicar
por
qué
han
decidido
que
etiqueta
esa
frase
como
relevante
la
presencia
en
la
presencia
de
síntomas
de
presencia
y
eso
es
un
poco
todo
y
si
te
alguna
pregunta
pues
estoy
encantado
de
responder
muchas
gracias
a
sancho
por
la
presentación
la
verdad
que
bueno
súper
bien
explicado
se
nota
que
lo
tienes
muy
bien
trabajado
de
la
desis
y
tal
me
ha
encantado
y
además
me
quedo
con
con
esto
que
dices
al
final
de
los
trabajos
futuros
o
sea
que
si
podemos
ayudar
con
cualquier
cosa
aunque
sea
sólo
darle
visibilidad
a
lo
que
hagáis
yo
encantadísima
porque
ya
te
decía
al
principio
realmente
me
parecen
aplicaciones
super
importantes
no
de
del
del
pln
o
sea
que
bastante
alucinante
martínez
también
le
parece
súper
interesante
y
que
se
ha
explicado
muy
claro
no
sé
si
lo
estás
leyendo
genial
pues
nada
además
el
tiempo
perfecto
media
ahorita
nada
sin
más
ninguna
pregunta
lo
dejamos
por
aquí
ya
también
compartí
los
los
enlaces
que
compartiste
en
QR
pues
acaso
era
más
fácil
para
la
gente
así
que
muchas
gracias
gracias
(V
constitucional
哥
)