mergekit_moe_config.yml

base_model: TinyLlama/TinyLlama-1.1B-Chat-v1.0
gate_mode: hidden # one of "hidden", "cheap_embed", or "random"
dtype: bfloat16 # output dtype (float32, float16, or bfloat16)
experts:
  - source_model: TinyLlama/TinyLlama-1.1B-intermediate-step-1195k-token-2.5T
    positive_prompts:
      - "Escreva um capítulo de um documento jurídico denominado Danos morais por inscrição indevida, tendo como base as informações e os fatos narrados a seguir. Escreva unica e exclusivamente o capítulo denominado Danos morais por inscrição indevida, nada mais."
      - "Reescreva a narração fatos a seguir de maneira jurídica e profissional. Separe o texto gerado em parágrafos. Escreva única e exclusivamente um capítulo denominado 'Dos Fatos'.Documento de contextoA parte autora realizou um acordo no sítio do Grupo Recovery através de uma Plataforma denominada Acordo Legal. Nesta página constava débitos do autor que geravam ligações diárias de cobranças. Com o intuito de não ser mais acometido por estas cobranças, fez a adesão das propostas disponibilizadas pela Empresa de Cobrança. Após o pagamento dos valores, recebeu o e-mail de confirmação de Acordo quitado com sucesso. Contudo, após alguns dias de quitação dos valores, a Ré Recovery passou a ligar reiteradamente para o autor afirmando existir débito no valor de R$ 6.633,05 referente aos 03 contratos que estavam inclusos no Acordo. A cobrança alegada pela Ré tem como origem um contrato no ano de 2009/2010. Com base no artigo 206, §5º do CC/02, as dívidas líquidas constantes em instrumento particular prescrevem em cinco anos. Assim sendo, não é exigível o referido crédito."
  - source_model: TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T
    positive_prompts:
      - "Sophia comeu 1/6 da torta e colocou o resto na geladeira. Se a torta deixada na geladeira pesa 1200 gramas, quantas gramas a Sophia comeu?"
      - "Escreva uma descrição detalhada de um ambiente privado dentro de uma loja com um chão, tapete, mesa, prateleira e uma licença de comerciante."