---
library_name: transformers
tags:
- MoE
- Mixtral
license: apache-2.0
datasets:
- togethercomputer/RedPajama-Data-1T
- SpeakLeash
language:
- pl
- en
---

# Mixtral-8x7B-v0.1-pl

<!-- Provide a quick summary of what the model is/does. -->

Mixtral-8x7B-v0.1-pl is a [Mixtral 8x7b](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1) model fine-tuned using 2.2B Polish 
tokens selected from the [SpeakLeash](https://speakleash.org/). 
This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. 
In order to preserve English capabilities, we include about 600M tokens from the [RedPajama dataset](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T).

The training was made possible thanks to TPU Research Cloud program. The model was trained on a TPUv3-256.

Our codebase is based on [the Focused Transformer repo](https://github.com/CStanKonrad/long_llama) and [EasyLM](https://github.com/young-geng/EasyLM).

## Example output

**Poniższy artykuł opisuje historię Polski. Polska to kraj, który** w ciągu wieków był świadkiem wielu 
ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze 
wydarzenia z historii Polski, od czasów starożytnych do współczesności. Historia Polski - starożytność Polska to kraj, 
który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I 
przyjął chrzest, co zapoczątkowało proces ...

## Model Card Contact

maciej.pioro at ideas-ncbr.pl