rhysjones's picture
Update README.md
d347deb verified
metadata
license: apache-2.0
datasets:
  - allenai/MADLAD-400

Mae'r model LLM yn seiliedig ar mistralai/Mistral-7B-v0.1, gyda hyfforddiant parhaus am 3 Epoch cyfan o ddata Cymreig o'r dataset allenai/MADLAD-400.

Pwrpas y model yw fod yn gychwyn i hyfforddiant cywrain pellach i greu casgliad o LLMs Cymreig penodol.

Mae'r fersiwn 2 epoch gyda training evals ychydig yn is na'r fersiwn yma. Mae'n syniad arbrofi gyda'r ddau fersiwn.


Contains information from allenai/MADLAD-400 which is made available under the ODC Attribution License.