datificate commited on
Commit
4af923b
1 Parent(s): 230b42c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -10
README.md CHANGED
@@ -9,10 +9,10 @@ datasets:
9
  ---
10
  La descripción en Español se encuentra después de la descripción en Inglés.
11
 
12
- # (English) GPT-2 small spanish: a Language Model for Spanish text generation (and more NLP tasks...)
13
- GPT-2 small spanish is a state-of-the-art language model for Spanish based on the GPT-2 small model.
14
 
15
- It was trained on Spanish Wikipedia using **Transfer Learning and Fine-tuning techniques**. The training took around 70 hours of training with four GPU NVIDIA GTX 1080-Ti with 11GB of DDR5 and with around han 3GB of (processed) training data.
16
 
17
  It was fine-tuned from the [English pre-trained GPT-2 small](https://huggingface.co/gpt2) using the Hugging Face libraries (Transformers and Tokenizers) wrapped into the [fastai v2](https://dev.fast.ai/) Deep Learning framework. All the fine-tuning fastai v2 techniques were used.
18
 
@@ -28,17 +28,17 @@ This preliminary version is now available on Hugging Face.
28
 
29
  ## Authors
30
 
31
- The model was trained and evaluated by [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) and [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), founders of [Datificate](https://datificate.com), a space to learn Machine Learning in Spanish.
32
- The training was possible thanks to the computing power of several GPUs (GPU NVIDIA GTX1080-Ti) of the [IAI Lab](http://iai.khu.ac.kr/) (Kyung Hee University) to which Josué is attached as a Postdoctoral Researcher in Industrial Artificial Intelligence.
33
 
34
  As stated before, this work is mainly based in the work of [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
35
 
36
 
37
- # (Español) GPT-2 small spanish: un modelo de lenguaje para generación de texto en Español (y algunas otras tareas de NLP...)
38
 
39
- GPT-2 small spanish es un modelo de lenguaje de vanguardia en Español basado en el modelo pequeño GPT-2.
40
 
41
- Fué entrenado con la Wikipedia en Español usando ** técnicas de Aprendizaje por Transferencia y afinación fina**. El entrenamiento del modelo tomó aproximadamente 70 horas con una GPU NVIDIA GTX 1080-Ti con 11GB de DDR5 y con aproximadamente 3GB de datos de entrenamiento preprocesados.
42
 
43
  Fue afinado del modelo en Inglés [English pre-trained GPT-2 small](https://huggingface.co/gpt2) utilizando las librerías de Hugging Face (Transformers y Tokenizers) integradas con el framework de Deep Learning [fastai v2](https://dev.fast.ai/). Se usaron técnicas de afinamiento fino de fastai v2.
44
 
@@ -55,7 +55,8 @@ La versión preliminar del modelo se encuentra en Hugging Face.
55
  ## Autores
56
 
57
  El modelo fue entreando y evaluado por [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) y [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), fundadores de [Datificate](https://datificate.com), un espacio para aprender Machine Learning en Español.
58
- El entrenamiento fue posible gracias al poder computacional de varias GPUs (GPU NVIDIA GTX1080-Ti) del Laboratorio de Inteligencia Artificial Industrial [IAI Lab](http://iai.khu.ac.kr/) (Universidad de Kyung Hee) al cual Josué pertenece como investigador Postdoctoral en Inteligencia Artificial Industrial.
59
 
60
- Como fue mencionado anteriormente, este trabajo esta basado en el trabajo de [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
 
 
61
 
 
9
  ---
10
  La descripción en Español se encuentra después de la descripción en Inglés.
11
 
12
+ # (English) GPT2-small-spanish: a Language Model for Spanish text generation (and more NLP tasks...)
13
+ GPT2-small-spanish is a state-of-the-art language model for Spanish based on the GPT-2 small model.
14
 
15
+ It was trained on Spanish Wikipedia using **Transfer Learning and Fine-tuning techniques**. The training took around 70 hours with four GPU NVIDIA GTX 1080-Ti with 11GB of DDR5 and with around 3GB of (processed) training data.
16
 
17
  It was fine-tuned from the [English pre-trained GPT-2 small](https://huggingface.co/gpt2) using the Hugging Face libraries (Transformers and Tokenizers) wrapped into the [fastai v2](https://dev.fast.ai/) Deep Learning framework. All the fine-tuning fastai v2 techniques were used.
18
 
 
28
 
29
  ## Authors
30
 
31
+ The model was trained and evaluated by [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) and [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), founders of [Datificate](https://datificate.com), a space for learning Machine Learning in Spanish.
32
+ The training was possible thanks to the computing power of several GPUs (GPU NVIDIA GTX1080-Ti) of the [IAI Lab](http://iai.khu.ac.kr/) (Kyung Hee University) from which Josué is attached as a Postdoctoral Researcher in Industrial Artificial Intelligence.
33
 
34
  As stated before, this work is mainly based in the work of [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
35
 
36
 
37
+ # (Español) GPT2-small-spanish: un modelo de lenguaje para generación de texto en Español (y algunas otras tareas de NLP...)
38
 
39
+ GPT2-small-spanish es un modelo de lenguaje de vanguardia en Español basado en el modelo pequeño GPT-2.
40
 
41
+ Fué entrenado con la Wikipedia en Español usando ** técnicas de Aprendizaje por Transferencia y afinación de modelos**. El entrenamiento del modelo tomó alrededor 70 horas con una GPU NVIDIA GTX 1080-Ti con 11GB de DDR5 y con aproximadamente 3GB de datos de entrenamiento preprocesados.
42
 
43
  Fue afinado del modelo en Inglés [English pre-trained GPT-2 small](https://huggingface.co/gpt2) utilizando las librerías de Hugging Face (Transformers y Tokenizers) integradas con el framework de Deep Learning [fastai v2](https://dev.fast.ai/). Se usaron técnicas de afinamiento fino de fastai v2.
44
 
 
55
  ## Autores
56
 
57
  El modelo fue entreando y evaluado por [Josué Obregon](https://www.linkedin.com/in/josue-obregon/) y [Berny Carrera](https://www.linkedin.com/in/bernycarrera/), fundadores de [Datificate](https://datificate.com), un espacio para aprender Machine Learning en Español.
 
58
 
59
+ El entrenamiento fue posible gracias al poder computacional de varias GPUs (GPU NVIDIA GTX1080-Ti) del Laboratorio de Inteligencia Artificial Industrial [IAI Lab](http://iai.khu.ac.kr/) (Universidad de Kyung Hee) al cual Josué pertenece como investigador postdoctoral en Inteligencia Artificial Industrial.
60
+
61
+ Como fue mencionado anteriormente, este trabajo está basado en el trabajo de [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/).
62