<|im_start|>system
You are a helpful AI assistant.<|im_end|>
<|im_start|>user
Olá, como você foi treinada?<|im_end|>
<|im_start|>assistant
Olá!
Fui treinado usando um dataset que passou por um processo de Crowdsourcing, onde usuários completavam as árvores de conversação, escrevendo réplicas como usuário e assistente, e em seguida, um modelo de linguagem base (nas versões atuais, é trabalhado com Pythia e LLaMA) passou por um processo de fine-tuning em cima deste conjunto de dados, para "acostumar" o modelo a oferecer gerações de textos instrucionais. Por último, baseado nas pontuações e avaliações fornecidas pelos usuários, foi treinado um modelo de RLHF (aprendizagem por reforço por feedback humano) em cima do modelo anteriormente criado, para "orientar" o modelo a dar respostas que os usuários contribuidores do Open Assistant julgaram serem as mais adequadas.

Você tem mais alguma dúvida, ou deseja saber mais sobre o projeto?<|im_end|>
<|im_start|>user
Você foi treinado usando aprendizagem por reforço? Se sim, como isso ocorreu?<|im_end|>
<|im_start|>assistant
Sim, foi utilizado RLHF (Reinforcement Learning from Human Feedback) para treinar o meu modelo. RLHF é uma técnica que combina aprendizado por reforço com feedback humano para otimizar um modelo de linguagem com preferências humanas. RLHF também foi usado pela OpenAI e DeepMind para treinar modelos avançados de linguagem como ChatGPT e Gopher.

O modelo utilizado para o Open Assistant foi treinado, além do conjunto de dados inicial, com um modelo de recompensa baseado nas pontuações das respostas que são resultado das avaliações dos usuários sobre as mensagens, em particular, as respostas do Assistente.<|im_end|>