Bazsalanszky
commited on
Commit
•
3011a51
1
Parent(s):
72ad70f
Update README.md
Browse files
README.md
CHANGED
@@ -46,4 +46,42 @@ inputs = tokenizer("Magyarország\nFővárosa:", return_tensors = "pt").to("cpu"
|
|
46 |
from transformers import TextStreamer
|
47 |
text_streamer = TextStreamer(tokenizer)
|
48 |
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 250)
|
49 |
-
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
46 |
from transformers import TextStreamer
|
47 |
text_streamer = TextStreamer(tokenizer)
|
48 |
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 250)
|
49 |
+
```
|
50 |
+
|
51 |
+
## Példa kimenet
|
52 |
+
|
53 |
+
Itt van egy példa arra, hogy hogyan viselkedik a modell a tanítás előtt és a tanítás után.
|
54 |
+
|
55 |
+
**Bemenet**: `Magyarország\nFővárosa: `
|
56 |
+
|
57 |
+
### Tanítás előtt
|
58 |
+
|
59 |
+
```
|
60 |
+
Magyarország
|
61 |
+
Fővárosa: Budapest
|
62 |
+
Népesség: 10 000 000 fő
|
63 |
+
Terület: 93 030 km²
|
64 |
+
|
65 |
+
## Magyarország
|
66 |
+
|
67 |
+
Hungary is a landlocked country in Central Europe. It is situated in the Carpathian Basin and is bordered by Slovakia to the north, Ukraine to the northeast, Romania to the east and southeast, Serbia to the south, Croatia to the southwest, Slovenia to the west, and Austria to the northwest. The country's capital and largest city is Budapest. Hungary is a member of the European Union, NATO, the OECD, the Visegr
|
68 |
+
```
|
69 |
+
|
70 |
+
### Tanítás után
|
71 |
+
|
72 |
+
```
|
73 |
+
Magyarország
|
74 |
+
Fővárosa: 1,7 millió lakosú Budapest
|
75 |
+
Népesség: 10 millió
|
76 |
+
Nyelv: magyar
|
77 |
+
|
78 |
+
A magyarok a honfoglalás után a mai Magyarország területén telepedtek le. A 11. században a Kárpát-medencében létrejött a Magyar Királyság, amely a 16. században a Habsburg Birodalom része lett. A 19. században a magyarok a szabadságharcot követően a Habsburg Birodalom része lett, majd 1918-ban függetlenné vált. A második világháború után a Szovjetunió szövetségese lett, majd 1989-ben a kommun
|
79 |
+
```
|
80 |
+
|
81 |
+
## TODO
|
82 |
+
|
83 |
+
- [ ] Több példa
|
84 |
+
- [ ] Példák újragenerálása több token-el
|
85 |
+
- [ ] Újrataníáts több cikkel
|
86 |
+
- [ ] Újratanítás kevésbé formális tartalommal (pl . [Bazsalanszky/reddit_hu](https://huggingface.co/datasets/Bazsalanszky/reddit_hu))
|
87 |
+
- [ ] Kipróbálni milyen ha ezt tanítjuk tovább egy instrukció követő adatkészleten
|