library_name: transformers
tags:
- MoE
- Mixtral
license: apache-2.0
datasets:
- togethercomputer/RedPajama-Data-1T
- SpeakLeash
language:
- pl
- en
Mixtral-8x7B-v0.1-pl
Mixtral-8x7B-v0.1-pl is a Mixtral 8x7b model fine-tuned using 2.2B Polish tokens selected from the SpeakLeash. This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. In order to preserve English capabilities, we include about 600M tokens from the RedPajama dataset.
The training was made possible thanks to TPU Research Cloud program. The model was trained on a TPUv3-256.
Our codebase is based on the Focused Transformer repo and EasyLM.
Example output
Poni偶szy artyku艂 opisuje histori臋 Polski. Polska to kraj, kt贸ry w ci膮gu wiek贸w by艂 艣wiadkiem wielu wa偶nych wydarze艅, kt贸re mia艂y wp艂yw na jej rozw贸j. W artykule przedstawiono najwa偶niejsze wydarzenia z historii Polski, od czas贸w staro偶ytnych do wsp贸艂czesno艣ci. Historia Polski - staro偶ytno艣膰 Polska to kraj, kt贸ry ma d艂ug膮 i bogat膮 histori臋. Pierwsze wzmianki o Polsce pochodz膮 z czas贸w staro偶ytnych. W 966 roku Mieszko I przyj膮艂 chrzest, co zapocz膮tkowa艂o proces ...
Model Card Contact
maciej.pioro at ideas-ncbr.pl