Update README.md

README.md

@@ -1,5 +1,89 @@
 ---
 license: gpl-3.0
 language:
+- gmh
 - de
----
+widget:
+- text: >-
+    Wir Graf Hainreich von Schavnberg veriehen Offenlich an disem brief vnd , di
+    in sehent, Hornt oder lesent, Das fur vns vnd fur vnsern brueder chomen ist
+    der Erwirdig abpt datz wilhering vnd Her wernhart chelner da selben vnd der
+    Erwerig wolbeschaiden Peter vnd hat der selb Peter pope nach vnserm rat vnd
+    nach seiner besten vreunt rat vnd willen vnd wort aller seiner Erben dem vor
+    geschriben erwirdigen Herren abpt dvrch sein recht notdurft vnd durch sein
+    leibnar sein Hueb ze Strashaim , di Sein rechtz Erbaigen gewesen ist vnd di
+    in von seinen vodern also Herman vnd das Gotzhaus ze wilhering di
+    vorgenanten Hueb mit allen den rechten vnd gelegen sind, versuecht vnd
+    vnuersuecht, durch di lieb vnd durch ze wilhering den vorgeschriben peter
+    poppen begnat haben mit vntz an seinen tod in dem chloster vnd auch
+    Hausfrawen frawen Ofmein vnd Jansen seins Suns. wer auch, das iemand , So
+    geit der oft genant Peter Poppe Gotzhaus ze wilhering Sechtzich Phunt
+    wienner Phenning auf der oft des selben an aller der stat, ob der Ens, vnd
+    wort geschehen vnd vertaidingt an disem brief verschriben stet vnd lob
+    laisten, stat haben vnd ze volfuren geuarde vnd dar vber zu gib ich disen
+    brief dem oft geschriben Abbt Herman vnd dem Gotzhaus ze gnadigen Herren
+    Graf gundem Insigel vnd mit wernhart des Hager vnd der Alhartinger.
+---
+
+#  XLM-RoBERTa (base) Middle High German Charter Masked Language Model
+This model is a fine-tuned version of xlm-roberta-base on Middle High German (gmh; ISO 639-2; c. 1050–1500) charters of the [monasterium.net](https://www.icar-us.eu/en/cooperation/online-portals/monasterium-net/) data set.
+
+## Model description
+Please refer this model together with to the [XLM-RoBERTa (base-sized model)](https://huggingface.co/xlm-roberta-base) card or the paper [Unsupervised Cross-lingual Representation Learning at Scale by Conneau et al.](https://arxiv.org/abs/1911.02116) for additional information.
+
+## Intended uses & limitations
+This model can be used for sequence prediction tasks, i.e., fill-masks.
+
+## Training and evaluation data
+The model was fine-tuned using the Middle High German Monasterium charters.
+It was trained on a Tesla V100-SXM2-16GB GPU.
+
+## Training hyperparameters
+The following hyperparameters were used during training:
+- num_train_epochs: 15
+- learning_rate: 2e-5
+- weight-decay: 0,01
+- train_batch_size: 16
+- eval_batch_size: 16
+- num_proc: 4
+- block_size: 256
+
+
+## Training results
+
+| Epoch | Training Loss | Validation Loss |
+|-------|---------------|------------------|
+| 1     | 2.423800      | 2.025645         |
+| 2     | 1.876500      | 1.700380         |
+| 3     | 1.702100      | 1.565900         |
+| 4     | 1.582400      | 1.461868         |
+| 5     | 1.506000      | 1.393849         |
+| 6     | 1.407300      | 1.359359         |
+| 7     | 1.385400      | 1.317869         |
+| 8     | 1.336700      | 1.285630         |
+| 9     | 1.301300      | 1.246812         |
+| 10    | 1.273500      | 1.219290         |
+| 11    | 1.245600      | 1.198312         |
+| 12    | 1.225800      | 1.198695         |
+| 13    | 1.214100      | 1.194895         |
+| 14    | 1.209500      | 1.177452         |
+| 15    | 1.200300      | 1.177396         |
+
+Perplexity: 3.25
+
+## Updates
+- 2023-03-30: Upload
+
+
+## Citation
+Please cite the following papers when using this model.
+
+```
+@misc{xlm-roberta-base-mhg-charter-mlm,
+  title={xlm-roberta-base-mhg-charter-mlm},
+  author={Atzenhofer-Baumgartner, Florian},
+  year         = { 2023 },
+  url          = { https://huggingface.co/atzenhofer/xlm-roberta-base-mhg-charter-mlm },
+  publisher    = { Hugging Face }
+}
+```