|
--- |
|
language: |
|
- en |
|
- es |
|
- ru |
|
- zh |
|
- de |
|
- fr |
|
- th |
|
- ca |
|
- it |
|
- ja |
|
- pl |
|
- eo |
|
- eu |
|
- vi |
|
- fi |
|
- hu |
|
- ar |
|
- nl |
|
- da |
|
- tr |
|
- ko |
|
- he |
|
- id |
|
- cs |
|
- bn |
|
- sv |
|
--- |
|
|
|
``` |
|
- model fine tune base: cognitivecomputations/dolphin-2_6-phi-2 |
|
- sft |
|
- flash-attention 2 |
|
- loss: 0.85 |
|
- steps: 3000 |
|
- max_length: 2028 |
|
- neftune_noise_alpha: 5 |
|
``` |
|
|
|
|
|
 |
|
|
|
Install packages |
|
```Python |
|
!python -m pip install --upgrade pip |
|
!pip install -q datasets trl peft bitsandbytes sentencepiece wandb |
|
!pip install -q accelerate safetensors deepspeed |
|
!pip install -q scipy |
|
|
|
!export CUDA_HOME=/usr/local/cuda-11.8 |
|
# !pip install ninja |
|
!pip install ninja packaging --upgrade -qqq |
|
!MAX_JOBS=4 pip install flash-attn --no-build-isolation -qqq |
|
!pip install git+"https://github.com/HazyResearch/flash-attention.git#subdirectory=csrc/rotary" -qqq |
|
!python -m pip install optimum -qqq |
|
``` |
|
|
|
Ioad model and generate text |
|
```Python |
|
|
|
from transformers import ( |
|
AutoModelForCausalLM, |
|
AutoTokenizer, |
|
BitsAndBytesConfig, |
|
HfArgumentParser, |
|
TrainingArguments, |
|
pipeline, |
|
logging, |
|
GenerationConfig, |
|
TextIteratorStreamer, |
|
) |
|
# from attention_sinks import AutoModelForCausalLM |
|
|
|
import torch |
|
|
|
model_id = "NickyNicky/dolphin-2_6-phi-2_oasst2_chatML_V2" |
|
|
|
model = AutoModelForCausalLM.from_pretrained(model_id, |
|
device_map="auto", |
|
trust_remote_code=True, |
|
torch_dtype=torch.bfloat16, |
|
load_in_4bit=True, |
|
low_cpu_mem_usage= True, |
|
flash_attn=True, |
|
flash_rotary=True, |
|
fused_dense=True, |
|
) |
|
max_length=2028 |
|
print("max_length",max_length) |
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id, |
|
use_fast = True, |
|
max_length=max_length, |
|
trust_remote_code=True,) |
|
|
|
prompt= """<|im_start|>system |
|
You are a helpful AI assistant.<|im_end|> |
|
<|im_start|>user |
|
tengo hambre que me recomiendas<|im_end|> |
|
<|im_start|>assistant""" |
|
|
|
inputs = tokenizer.encode(prompt, |
|
return_tensors="pt", |
|
add_special_tokens=False).cuda()#.to("cuda") # False # True |
|
|
|
generation_config = GenerationConfig( |
|
max_new_tokens=700, |
|
temperature=0.5, |
|
top_p=0.9, |
|
top_k=45, |
|
repetition_penalty=1.15, #1.1, # 1.0 means no penalty, > 1.0 means penalty, 1.2 from CTRL paper |
|
do_sample=True, |
|
pad_token_id=tokenizer.eos_token_id, |
|
eos_token_id=tokenizer.eos_token_id, |
|
# bos_token_id=tokenizer.eos_token_id, |
|
# use_cache=True, |
|
# stopping_criteria= StoppingCriteriaList([stopping_criteria]), |
|
) |
|
|
|
outputs = model.generate(generation_config=generation_config, |
|
input_ids=inputs,) |
|
# tokenizer.decode(outputs[0], skip_special_tokens=False) #True |
|
print(tokenizer.decode(outputs[0], skip_special_tokens=False)) |
|
|
|
'''OUTPUT: |
|
<|im_start|>system |
|
You are a helpful AI assistant.<|im_end|> |
|
<|im_start|>user |
|
tengo hambre que me recomiendas<|im_end|> |
|
<|im_start|>assistant |
|
Hay muchos tipos de alimentos que puedes probar si tienes hambre, pero aquí te muestro una lista ordenada por calor: |
|
|
|
1- Frutas y verduras: Estas son buena opción para quitar hambre sin agotar tu cuerpo con grandes cantidades de carbohidratos. Algunas frutas y verduras que podrían ser suficientemente altas en calor durante el día incluyen tomates, plátanos, espinacas, papas, nueces, manzanas, limones, guisantes, cucumbers, zanahorias, etc. |
|
2- Proteínas: Estas son importantes para mantener tu masa muscular y fuerzosa durante el día. Algunas proteínas que podrían ser útiles para quitar hambre durante el día incluyen carne, aceite de oliva, miel, yogur, leche fresca o sopa de gorditas, etc. |
|
3- Carbohidratos: Estas son importantes para energizarte durante el día y mantenerte físico. Algunas frutas y verduras que podrían ser útiles para quitar hambre durante el día incluyen pan, tortillas, roti, arroz, pasta, rice, polenta, cereales, granola, etc. |
|
4- Grains: Estas son importantes para mantenerte satiente durante el día y reducir la frecuencia de comidas rápida. Algunas gromas que podrían ser útiles para quitar hambre durante el día incluyen lentejas, farinas, tortilla, ensalada, etc. |
|
5- Nuts y semolina: Estas son buenas opciones para quitar hambre durante el día sin agotar tu cuerpo con grandes cantidades de azúcar. Algunas frutas y verduras que podrían ser útiles para quitar hambre durante el día incluyen anacardios, almendras, macetas, bocaditos, panquesado, etc. |
|
6- Papel picado: Esta es una opción deliciosa y económica que puedes preparar en caso de quitar hambre durante el día. Para hacer papel picado, primero cortezamos las frutas y verduras que deseas usarlas, y luego cortezamos las frutas y verduras que no deseas usarlas. A continuación, cortezamos las frutas y verduras que deseas usarlas más grandes y que estén más frescas, y luego cortezamos las frutas y verduras |
|
''' |
|
``` |
