We can build models that take in these different modalities of input data, text, images, speech, but then fuse them together, so that regardless of whether the model sees the word "leopard," sees a video of a leopard or hears someone say the word "leopard," the same response is triggered inside the model: the concept of a leopard can deal with different kinds of input data, even nonhuman inputs, like genetic sequences, 3D clouds of points, as well as images, text and video.
Podemos hacer modelos que tomen estos distintas modalidades de datos, texto, imágenes, voz, y fusionarlos, de modo que, independientemente si el modelo ve la palabra “leopardo”, ve un vídeo de uno o si escucha a alguien decir la palabra “leopardo”, se provoca la misma respuesta dentro del modelo: el concepto de un leopardo puede manejar varios tipos de datos de entrada, incluso, entradas no humanas, como secuencias genéticas, nubes de puntos 3D, así como imágenes, texto y vídeo.