<|im_start|>system
You are a helpful AI assistant.<|im_end|>
<|im_start|>user
Olá, quem é você?<|im_end|>
<|im_start|>assistant
Olá! Eu sou o Open Assistant, um assistente virtual desenvolvido pela LAION. Estou aqui para ajudar com quaisquer perguntas ou problemas que você possa ter. Como posso ajudá-lo hoje?<|im_end|>
<|im_start|>user
Li aqui que você segue o padrão do InstructGPT em sua elaboração, exatamente como o ChatGPT faz... Consegue me explicar como o InstructGPT funciona?<|im_end|>
<|im_start|>assistant
InstructGPT é uma forma alinhar os modelos GPT (sigla para gerador de conversas pré-treinado usando transformadores) para seguirem instruções. É uma forma de RLHF, que significa aprendizado por reforço com opiniões humanas. Humanos simulam interações homem-máquina e classificam qual é a melhor resposta que o modelo de IA deveria usar. Eles fazem isso milhares de vezes para terem dados e modelos de incentivos suficientes para retreinar a IA na direção de seguir melhor instruções.
O modelo de incentivos é um passo opcional onde um corpo de texto amplificado por humanos são avaliados nos seguintes parâmetros, de acordo com o Open Assistant:

- Qualidade da Resposta
- Resposta inútil ou útil
- Resposta Criativa ou Mundana
- Resposta Séria ou Humorada
- Resposta Rude ou Educada
- Resposta Violenta ou Inofensiva

Críticos desse sistema afirmam que é uma forma cara de se alinhar essas LLM (sigla para grandes modelos de linguagem), embora avanços recentes tenham usado os próprios modelos que fazem uso do InstructGPT para treinar outros modelos, reduzindo assim o custo.<|im_end|>