beamaia commited on
Commit
3660329
1 Parent(s): c64d853

Upload folder using huggingface_hub

Browse files
.ipynb_checkpoints/README-checkpoint.md ADDED
@@ -0,0 +1,116 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ library_name: peft,huggingface,pytorch,trl,dataset
4
+ tags:
5
+ - SFT
6
+ - Zeroshot
7
+ base_model: mistralai/Mistral-7B-Instruct-v0.2
8
+ model-index:
9
+ - name: Weni/workflow-test1
10
+ results: []
11
+ languages:
12
+
13
+ ---
14
+
15
+ # Weni/workflow-test1
16
+
17
+ This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2] on the dataset Weni/zeroshot-3.2.0 with the SFT trainer. It is part of the Zeroshot project for [Weni](https://weni.ai/).
18
+
19
+ It achieves the following results on the evaluation set:
20
+ - Loss: 0
21
+
22
+ ## Intended uses & limitations
23
+
24
+ This model has not been trained to avoid specific intructions.
25
+
26
+ ## Training procedure
27
+
28
+ Finetuning was done on the model mistralai/Mistral-7B-Instruct-v0.2 with the following prompt:
29
+
30
+ ```
31
+ Portuguese:
32
+ <s>[INST]Você é muito especialista em classificar a frase do usuário em um chatbot sobre: {context}
33
+ Pare, pense bem e responda com APENAS UM ÚNICO `id` da classe que melhor represente a intenção para a frase do usuário de acordo com a análise de seu contexto, responda APENAS com o `id` da classe só se você tiver muita certeza e não explique o motivo. Na ausência, falta de informações ou caso a frase do usuário não se enquadre em nenhuma classe, classifique como "-1".
34
+
35
+ # Essas são as Classes com seus Id e Contexto:
36
+ ```python
37
+ {all_classes}
38
+ ```
39
+
40
+ # Frase do usuário: {input}
41
+ # Id da Classe: [/INST] \n {output_id} </s>
42
+
43
+
44
+ Spanish:
45
+ <s>[INST]Eres muy experto en clasificar la frase del usuario en un chatbot sobre: {context}
46
+ Deténgase, piense bien y responda con SOLO UN ÚNICO `id` de la clase que mejor represente la intención para la frase del usuario de acuerdo con el análisis de su contexto, responda SOLO con el `id` de la clase si está muy seguro y no explique el motivo. En ausencia, falta de información o en caso de que la frase del usuario no se ajuste a ninguna clase, clasifique como "-1".
47
+
48
+ # Estas son las Clases con sus Id y Contexto:
49
+ {all_classes}
50
+
51
+ # Frase del usuario: {input}
52
+ # Id de la Clase: [/INST] \n {output_id} </s>
53
+
54
+
55
+ English:
56
+ <s>[INST]You are very expert in classifying the user sentence in a chatbot about: {context}
57
+ Stop, think carefully, and respond with ONLY ONE SINGLE `id` of the class that best represents the intention for the user's sentence according to the analysis of its context, respond ONLY with the `id` of the class if you are very sure and do not explain the reason. In the absence, lack of information, or if the user's sentence does not fit into any class, classify as "-1".
58
+
59
+ # These are the Classes and its Context:
60
+ {all_classes}
61
+
62
+ # User's sentence: {input}
63
+ # Class Id: [/INST] \n {output_id} </s>
64
+ ```
65
+
66
+ ### Training hyperparameters
67
+
68
+ The following hyperparameters were used during training:
69
+ - learning_rate: 2e-4
70
+ - per_device_train_batch_size: 8
71
+ - per_device_eval_batch_size: 2
72
+ - gradient_accumulation_steps: 1
73
+ - num_gpus: 2
74
+ - total_train_batch_size: 16
75
+ - optimizer: AdamW
76
+ - lr_scheduler_type: cosine
77
+ - num_steps: 0
78
+ - quantization_type: bitsandbytes
79
+ - LoRA: - bits: {training_arguments.bits}
80
+ - use_exllama: {training_arguments.use_exllama}
81
+ - device_map: {training_arguments.device_map}
82
+ - use_cache: {training_arguments.use_cache}
83
+ - lora_r: {training_arguments.lora_r}
84
+ - lora_alpha: {training_arguments.lora_alpha}
85
+ - lora_dropout: {training_arguments.lora_dropout}
86
+ - bias: {training_arguments.bias}
87
+ - target_modules: {training_arguments.target_modules}
88
+ - task_type: {training_arguments.task_type}
89
+
90
+ ### Training results
91
+
92
+ 0
93
+
94
+ ### Framework versions
95
+
96
+ - git+https://github.com/huggingface/transformers@main
97
+ - datasets==2.17.1
98
+ - peft==0.8.2
99
+ - safetensors==0.4.2
100
+ - evaluate==0.4.1
101
+ - bitsandbytes==0.42
102
+ - huggingface_hub==0.20.3
103
+ - seqeval==1.2.2
104
+ - optimum==1.17.1
105
+ - auto-gptq==0.7.0
106
+ - gpustat==1.1.1
107
+ - deepspeed==0.13.2
108
+ - wandb==0.16.3
109
+ - git+https://github.com/huggingface/trl.git@main
110
+ - git+https://github.com/huggingface/accelerate.git@main
111
+ - coloredlogs==15.0.1
112
+ - traitlets==5.14.1
113
+ - autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl
114
+
115
+ ### Hardware
116
+ - Cloud provided: runpod.io
.ipynb_checkpoints/README_old-checkpoint.md ADDED
@@ -0,0 +1,77 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ library_name: peft
4
+ tags:
5
+ - trl
6
+ - sft
7
+ - generated_from_trainer
8
+ base_model: mistralai/Mistral-7B-Instruct-v0.2
9
+ model-index:
10
+ - name: ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
11
+ results: []
12
+ ---
13
+
14
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
15
+ should probably proofread and complete it, then remove this comment. -->
16
+
17
+ # ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
18
+
19
+ This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2) on an unknown dataset.
20
+ It achieves the following results on the evaluation set:
21
+ - Loss: 0.4078
22
+
23
+ ## Model description
24
+
25
+ More information needed
26
+
27
+ ## Intended uses & limitations
28
+
29
+ More information needed
30
+
31
+ ## Training and evaluation data
32
+
33
+ More information needed
34
+
35
+ ## Training procedure
36
+
37
+ ### Training hyperparameters
38
+
39
+ The following hyperparameters were used during training:
40
+ - learning_rate: 0.0002
41
+ - train_batch_size: 16
42
+ - eval_batch_size: 16
43
+ - seed: 42
44
+ - distributed_type: multi-GPU
45
+ - num_devices: 2
46
+ - gradient_accumulation_steps: 4
47
+ - total_train_batch_size: 128
48
+ - total_eval_batch_size: 32
49
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
50
+ - lr_scheduler_type: linear
51
+ - lr_scheduler_warmup_ratio: 0.1
52
+ - training_steps: 201
53
+ - mixed_precision_training: Native AMP
54
+
55
+ ### Training results
56
+
57
+ | Training Loss | Epoch | Step | Validation Loss |
58
+ |:-------------:|:-----:|:----:|:---------------:|
59
+ | 1.5561 | 0.1 | 20 | 0.8398 |
60
+ | 0.594 | 0.2 | 40 | 0.5099 |
61
+ | 0.4849 | 0.3 | 60 | 0.4661 |
62
+ | 0.4516 | 0.4 | 80 | 0.4328 |
63
+ | 0.4237 | 0.5 | 100 | 0.4192 |
64
+ | 0.4235 | 0.59 | 120 | 0.4142 |
65
+ | 0.4128 | 0.69 | 140 | 0.4110 |
66
+ | 0.4152 | 0.79 | 160 | 0.4090 |
67
+ | 0.4092 | 0.89 | 180 | 0.4080 |
68
+ | 0.41 | 0.99 | 200 | 0.4078 |
69
+
70
+
71
+ ### Framework versions
72
+
73
+ - PEFT 0.8.2
74
+ - Transformers 4.39.0.dev0
75
+ - Pytorch 2.1.0+cu118
76
+ - Datasets 2.17.1
77
+ - Tokenizers 0.15.1
README.md CHANGED
@@ -1,77 +1,116 @@
1
  ---
2
- license: apache-2.0
3
- library_name: peft
4
  tags:
5
- - trl
6
- - sft
7
- - generated_from_trainer
8
  base_model: mistralai/Mistral-7B-Instruct-v0.2
9
  model-index:
10
- - name: ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
11
  results: []
 
 
12
  ---
13
 
14
- <!-- This model card has been generated automatically according to the information the Trainer had access to. You
15
- should probably proofread and complete it, then remove this comment. -->
16
 
17
- # ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
18
 
19
- This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2) on an unknown dataset.
20
  It achieves the following results on the evaluation set:
21
- - Loss: 0.4078
22
 
23
- ## Model description
24
 
25
- More information needed
26
 
27
- ## Intended uses & limitations
28
 
29
- More information needed
30
 
31
- ## Training and evaluation data
 
 
 
32
 
33
- More information needed
 
 
 
34
 
35
- ## Training procedure
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
36
 
37
  ### Training hyperparameters
38
 
39
  The following hyperparameters were used during training:
40
- - learning_rate: 0.0002
41
- - train_batch_size: 16
42
- - eval_batch_size: 16
43
- - seed: 42
44
- - distributed_type: multi-GPU
45
- - num_devices: 2
46
- - gradient_accumulation_steps: 4
47
- - total_train_batch_size: 128
48
- - total_eval_batch_size: 32
49
- - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
50
- - lr_scheduler_type: linear
51
- - lr_scheduler_warmup_ratio: 0.1
52
- - training_steps: 201
53
- - mixed_precision_training: Native AMP
 
 
 
 
 
 
54
 
55
  ### Training results
56
 
57
- | Training Loss | Epoch | Step | Validation Loss |
58
- |:-------------:|:-----:|:----:|:---------------:|
59
- | 1.5561 | 0.1 | 20 | 0.8398 |
60
- | 0.594 | 0.2 | 40 | 0.5099 |
61
- | 0.4849 | 0.3 | 60 | 0.4661 |
62
- | 0.4516 | 0.4 | 80 | 0.4328 |
63
- | 0.4237 | 0.5 | 100 | 0.4192 |
64
- | 0.4235 | 0.59 | 120 | 0.4142 |
65
- | 0.4128 | 0.69 | 140 | 0.4110 |
66
- | 0.4152 | 0.79 | 160 | 0.4090 |
67
- | 0.4092 | 0.89 | 180 | 0.4080 |
68
- | 0.41 | 0.99 | 200 | 0.4078 |
69
-
70
 
71
  ### Framework versions
72
 
73
- - PEFT 0.8.2
74
- - Transformers 4.39.0.dev0
75
- - Pytorch 2.1.0+cu118
76
- - Datasets 2.17.1
77
- - Tokenizers 0.15.1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+ license: mit
3
+ library_name: peft,huggingface,pytorch,trl,dataset
4
  tags:
5
+ - SFT
6
+ - Zeroshot
 
7
  base_model: mistralai/Mistral-7B-Instruct-v0.2
8
  model-index:
9
+ - name: Weni/workflow-test1
10
  results: []
11
+ languages:
12
+
13
  ---
14
 
15
+ # Weni/workflow-test1
 
16
 
17
+ This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2] on the dataset Weni/zeroshot-3.2.0 with the SFT trainer. It is part of the Zeroshot project for [Weni](https://weni.ai/).
18
 
 
19
  It achieves the following results on the evaluation set:
20
+ - Loss: 0
21
 
22
+ ## Intended uses & limitations
23
 
24
+ This model has not been trained to avoid specific intructions.
25
 
26
+ ## Training procedure
27
 
28
+ Finetuning was done on the model mistralai/Mistral-7B-Instruct-v0.2 with the following prompt:
29
 
30
+ ```
31
+ Portuguese:
32
+ <s>[INST]Você é muito especialista em classificar a frase do usuário em um chatbot sobre: {context}
33
+ Pare, pense bem e responda com APENAS UM ÚNICO `id` da classe que melhor represente a intenção para a frase do usuário de acordo com a análise de seu contexto, responda APENAS com o `id` da classe só se você tiver muita certeza e não explique o motivo. Na ausência, falta de informações ou caso a frase do usuário não se enquadre em nenhuma classe, classifique como "-1".
34
 
35
+ # Essas são as Classes com seus Id e Contexto:
36
+ ```python
37
+ {all_classes}
38
+ ```
39
 
40
+ # Frase do usuário: {input}
41
+ # Id da Classe: [/INST] \n {output_id} </s>
42
+
43
+
44
+ Spanish:
45
+ <s>[INST]Eres muy experto en clasificar la frase del usuario en un chatbot sobre: {context}
46
+ Deténgase, piense bien y responda con SOLO UN ÚNICO `id` de la clase que mejor represente la intención para la frase del usuario de acuerdo con el análisis de su contexto, responda SOLO con el `id` de la clase si está muy seguro y no explique el motivo. En ausencia, falta de información o en caso de que la frase del usuario no se ajuste a ninguna clase, clasifique como "-1".
47
+
48
+ # Estas son las Clases con sus Id y Contexto:
49
+ {all_classes}
50
+
51
+ # Frase del usuario: {input}
52
+ # Id de la Clase: [/INST] \n {output_id} </s>
53
+
54
+
55
+ English:
56
+ <s>[INST]You are very expert in classifying the user sentence in a chatbot about: {context}
57
+ Stop, think carefully, and respond with ONLY ONE SINGLE `id` of the class that best represents the intention for the user's sentence according to the analysis of its context, respond ONLY with the `id` of the class if you are very sure and do not explain the reason. In the absence, lack of information, or if the user's sentence does not fit into any class, classify as "-1".
58
+
59
+ # These are the Classes and its Context:
60
+ {all_classes}
61
+
62
+ # User's sentence: {input}
63
+ # Class Id: [/INST] \n {output_id} </s>
64
+ ```
65
 
66
  ### Training hyperparameters
67
 
68
  The following hyperparameters were used during training:
69
+ - learning_rate: 2e-4
70
+ - per_device_train_batch_size: 8
71
+ - per_device_eval_batch_size: 2
72
+ - gradient_accumulation_steps: 1
73
+ - num_gpus: 2
74
+ - total_train_batch_size: 16
75
+ - optimizer: AdamW
76
+ - lr_scheduler_type: cosine
77
+ - num_steps: 0
78
+ - quantization_type: bitsandbytes
79
+ - LoRA: - bits: {training_arguments.bits}
80
+ - use_exllama: {training_arguments.use_exllama}
81
+ - device_map: {training_arguments.device_map}
82
+ - use_cache: {training_arguments.use_cache}
83
+ - lora_r: {training_arguments.lora_r}
84
+ - lora_alpha: {training_arguments.lora_alpha}
85
+ - lora_dropout: {training_arguments.lora_dropout}
86
+ - bias: {training_arguments.bias}
87
+ - target_modules: {training_arguments.target_modules}
88
+ - task_type: {training_arguments.task_type}
89
 
90
  ### Training results
91
 
92
+ 0
 
 
 
 
 
 
 
 
 
 
 
 
93
 
94
  ### Framework versions
95
 
96
+ - git+https://github.com/huggingface/transformers@main
97
+ - datasets==2.17.1
98
+ - peft==0.8.2
99
+ - safetensors==0.4.2
100
+ - evaluate==0.4.1
101
+ - bitsandbytes==0.42
102
+ - huggingface_hub==0.20.3
103
+ - seqeval==1.2.2
104
+ - optimum==1.17.1
105
+ - auto-gptq==0.7.0
106
+ - gpustat==1.1.1
107
+ - deepspeed==0.13.2
108
+ - wandb==0.16.3
109
+ - git+https://github.com/huggingface/trl.git@main
110
+ - git+https://github.com/huggingface/accelerate.git@main
111
+ - coloredlogs==15.0.1
112
+ - traitlets==5.14.1
113
+ - autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl
114
+
115
+ ### Hardware
116
+ - Cloud provided: runpod.io
README_old.md ADDED
@@ -0,0 +1,77 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ library_name: peft
4
+ tags:
5
+ - trl
6
+ - sft
7
+ - generated_from_trainer
8
+ base_model: mistralai/Mistral-7B-Instruct-v0.2
9
+ model-index:
10
+ - name: ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
11
+ results: []
12
+ ---
13
+
14
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
15
+ should probably proofread and complete it, then remove this comment. -->
16
+
17
+ # ZeroShot-3.3.3-Mistral-7b-Multilanguage-1-epoch-3.2.0
18
+
19
+ This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2) on an unknown dataset.
20
+ It achieves the following results on the evaluation set:
21
+ - Loss: 0.4078
22
+
23
+ ## Model description
24
+
25
+ More information needed
26
+
27
+ ## Intended uses & limitations
28
+
29
+ More information needed
30
+
31
+ ## Training and evaluation data
32
+
33
+ More information needed
34
+
35
+ ## Training procedure
36
+
37
+ ### Training hyperparameters
38
+
39
+ The following hyperparameters were used during training:
40
+ - learning_rate: 0.0002
41
+ - train_batch_size: 16
42
+ - eval_batch_size: 16
43
+ - seed: 42
44
+ - distributed_type: multi-GPU
45
+ - num_devices: 2
46
+ - gradient_accumulation_steps: 4
47
+ - total_train_batch_size: 128
48
+ - total_eval_batch_size: 32
49
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
50
+ - lr_scheduler_type: linear
51
+ - lr_scheduler_warmup_ratio: 0.1
52
+ - training_steps: 201
53
+ - mixed_precision_training: Native AMP
54
+
55
+ ### Training results
56
+
57
+ | Training Loss | Epoch | Step | Validation Loss |
58
+ |:-------------:|:-----:|:----:|:---------------:|
59
+ | 1.5561 | 0.1 | 20 | 0.8398 |
60
+ | 0.594 | 0.2 | 40 | 0.5099 |
61
+ | 0.4849 | 0.3 | 60 | 0.4661 |
62
+ | 0.4516 | 0.4 | 80 | 0.4328 |
63
+ | 0.4237 | 0.5 | 100 | 0.4192 |
64
+ | 0.4235 | 0.59 | 120 | 0.4142 |
65
+ | 0.4128 | 0.69 | 140 | 0.4110 |
66
+ | 0.4152 | 0.79 | 160 | 0.4090 |
67
+ | 0.4092 | 0.89 | 180 | 0.4080 |
68
+ | 0.41 | 0.99 | 200 | 0.4078 |
69
+
70
+
71
+ ### Framework versions
72
+
73
+ - PEFT 0.8.2
74
+ - Transformers 4.39.0.dev0
75
+ - Pytorch 2.1.0+cu118
76
+ - Datasets 2.17.1
77
+ - Tokenizers 0.15.1