datificate
commited on
Commit
•
4af923b
1
Parent(s):
230b42c
Update README.md
Browse files
README.md
CHANGED
@@ -9,10 +9,10 @@ datasets:
|
|
9 |
---
|
10 |
La descripción en Español se encuentra después de la descripción en Inglés.
|
11 |
|
12 |
-
# (English)
|
13 |
-
|
14 |
|
15 |
-
It was trained on Spanish Wikipedia using **Transfer Learning and Fine-tuning techniques**. The training took around 70 hours
|
16 |
|
17 |
It was fine-tuned from the [English pre-trained GPT-2 small](https://huggingface.co/gpt2) using the Hugging Face libraries (Transformers and Tokenizers) wrapped into the [fastai v2](https://dev.fast.ai/) Deep Learning framework. All the fine-tuning fastai v2 techniques were used.
|
18 |
|
@@ -28,17 +28,17 @@ This preliminary version is now available on Hugging Face.
|
|
28 |
|
29 |
## Authors
|
30 |
|
31 |
-
The model was trained and evaluated by [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) and [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), founders of [Datificate](https://datificate.com), a space
|
32 |
-
The training was possible thanks to the computing power of several GPUs (GPU NVIDIA GTX1080-Ti) of the [IAI Lab](http://iai.khu.ac.kr/) (Kyung Hee University)
|
33 |
|
34 |
As stated before, this work is mainly based in the work of [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
|
35 |
|
36 |
|
37 |
-
# (Español)
|
38 |
|
39 |
-
|
40 |
|
41 |
-
Fué entrenado con la Wikipedia en Español usando ** técnicas de Aprendizaje por Transferencia y afinación
|
42 |
|
43 |
Fue afinado del modelo en Inglés [English pre-trained GPT-2 small](https://huggingface.co/gpt2) utilizando las librerías de Hugging Face (Transformers y Tokenizers) integradas con el framework de Deep Learning [fastai v2](https://dev.fast.ai/). Se usaron técnicas de afinamiento fino de fastai v2.
|
44 |
|
@@ -55,7 +55,8 @@ La versión preliminar del modelo se encuentra en Hugging Face.
|
|
55 |
## Autores
|
56 |
|
57 |
El modelo fue entreando y evaluado por [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) y [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), fundadores de [Datificate](https://datificate.com), un espacio para aprender Machine Learning en Español.
|
58 |
-
El entrenamiento fue posible gracias al poder computacional de varias GPUs (GPU NVIDIA GTX1080-Ti) del Laboratorio de Inteligencia Artificial Industrial [IAI Lab](http://iai.khu.ac.kr/) (Universidad de Kyung Hee) al cual Josué pertenece como investigador Postdoctoral en Inteligencia Artificial Industrial.
|
59 |
|
60 |
-
|
|
|
|
|
61 |
|
|
|
9 |
---
|
10 |
La descripción en Español se encuentra después de la descripción en Inglés.
|
11 |
|
12 |
+
# (English) GPT2-small-spanish: a Language Model for Spanish text generation (and more NLP tasks...)
|
13 |
+
GPT2-small-spanish is a state-of-the-art language model for Spanish based on the GPT-2 small model.
|
14 |
|
15 |
+
It was trained on Spanish Wikipedia using **Transfer Learning and Fine-tuning techniques**. The training took around 70 hours with four GPU NVIDIA GTX 1080-Ti with 11GB of DDR5 and with around 3GB of (processed) training data.
|
16 |
|
17 |
It was fine-tuned from the [English pre-trained GPT-2 small](https://huggingface.co/gpt2) using the Hugging Face libraries (Transformers and Tokenizers) wrapped into the [fastai v2](https://dev.fast.ai/) Deep Learning framework. All the fine-tuning fastai v2 techniques were used.
|
18 |
|
|
|
28 |
|
29 |
## Authors
|
30 |
|
31 |
+
The model was trained and evaluated by [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) and [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), founders of [Datificate](https://datificate.com), a space for learning Machine Learning in Spanish.
|
32 |
+
The training was possible thanks to the computing power of several GPUs (GPU NVIDIA GTX1080-Ti) of the [IAI Lab](http://iai.khu.ac.kr/) (Kyung Hee University) from which Josué is attached as a Postdoctoral Researcher in Industrial Artificial Intelligence.
|
33 |
|
34 |
As stated before, this work is mainly based in the work of [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
|
35 |
|
36 |
|
37 |
+
# (Español) GPT2-small-spanish: un modelo de lenguaje para generación de texto en Español (y algunas otras tareas de NLP...)
|
38 |
|
39 |
+
GPT2-small-spanish es un modelo de lenguaje de vanguardia en Español basado en el modelo pequeño GPT-2.
|
40 |
|
41 |
+
Fué entrenado con la Wikipedia en Español usando ** técnicas de Aprendizaje por Transferencia y afinación de modelos**. El entrenamiento del modelo tomó alrededor 70 horas con una GPU NVIDIA GTX 1080-Ti con 11GB de DDR5 y con aproximadamente 3GB de datos de entrenamiento preprocesados.
|
42 |
|
43 |
Fue afinado del modelo en Inglés [English pre-trained GPT-2 small](https://huggingface.co/gpt2) utilizando las librerías de Hugging Face (Transformers y Tokenizers) integradas con el framework de Deep Learning [fastai v2](https://dev.fast.ai/). Se usaron técnicas de afinamiento fino de fastai v2.
|
44 |
|
|
|
55 |
## Autores
|
56 |
|
57 |
El modelo fue entreando y evaluado por [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) y [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), fundadores de [Datificate](https://datificate.com), un espacio para aprender Machine Learning en Español.
|
|
|
58 |
|
59 |
+
El entrenamiento fue posible gracias al poder computacional de varias GPUs (GPU NVIDIA GTX1080-Ti) del Laboratorio de Inteligencia Artificial Industrial [IAI Lab](http://iai.khu.ac.kr/) (Universidad de Kyung Hee) al cual Josué pertenece como investigador postdoctoral en Inteligencia Artificial Industrial.
|
60 |
+
|
61 |
+
Como fue mencionado anteriormente, este trabajo está basado en el trabajo de [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
|
62 |
|