Hugging Face's logo

RylanSchaeffer
/
collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd0

Safetensors
gemma2
trl
sft
Generated from Trainer
Model card Files Community
collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd0 / README.md
RylanSchaeffer's picture
RylanSchaeffer
End of training
5c916f3 verified
preview code
|
raw
history blame contribute delete
16.6 kB
metadata
license: gemma
base_model: google/gemma-2-2b
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd0
    results: []

collapse_gemma-2-2b_hs2_accumulate_iter11_sftsd0

This model is a fine-tuned version of google/gemma-2-2b on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.0972
  • Num Input Tokens Seen: 57637736

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 8e-06
  • train_batch_size: 8
  • eval_batch_size: 16
  • seed: 0
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: constant_with_warmup
  • lr_scheduler_warmup_ratio: 0.05
  • num_epochs: 1

Training results

Training Loss Epoch Step Validation Loss Input Tokens Seen
No log 0 0 1.3909 0
1.6702 0.0048 5 1.3890 274216
1.7923 0.0095 10 1.3680 541184
1.4986 0.0143 15 1.3206 819976
1.5142 0.0191 20 1.2688 1095056
1.3889 0.0238 25 1.2318 1370656
1.3587 0.0286 30 1.1985 1645656
1.1457 0.0334 35 1.1961 1925936
0.9981 0.0382 40 1.2120 2197920
0.8253 0.0429 45 1.2501 2472376
0.7178 0.0477 50 1.2900 2748904
0.5007 0.0525 55 1.3346 3016944
0.444 0.0572 60 1.2951 3291264
0.4447 0.0620 65 1.2466 3563840
0.3044 0.0668 70 1.2693 3830896
0.2642 0.0715 75 1.2227 4102680
0.3298 0.0763 80 1.2361 4379024
0.2985 0.0811 85 1.2145 4655328
0.2451 0.0859 90 1.2161 4937112
0.2532 0.0906 95 1.2096 5218128
0.375 0.0954 100 1.1938 5493576
0.289 0.1002 105 1.1947 5770328
0.1574 0.1049 110 1.1874 6049328
0.3759 0.1097 115 1.1851 6325552
0.2427 0.1145 120 1.1837 6610192
0.2257 0.1192 125 1.1819 6892072
0.1955 0.1240 130 1.1734 7171040
0.2644 0.1288 135 1.1726 7439616
0.1902 0.1336 140 1.1729 7712336
0.2276 0.1383 145 1.1752 7993304
0.2112 0.1431 150 1.1703 8267944
0.2477 0.1479 155 1.1689 8538664
0.1573 0.1526 160 1.1661 8812544
0.1529 0.1574 165 1.1633 9084840
0.2697 0.1622 170 1.1603 9354376
0.155 0.1669 175 1.1664 9627880
0.2587 0.1717 180 1.1585 9900592
0.1548 0.1765 185 1.1552 10177088
0.2937 0.1813 190 1.1693 10452280
0.2339 0.1860 195 1.1561 10724920
0.2026 0.1908 200 1.1545 11001192
0.2147 0.1956 205 1.1566 11274040
0.1414 0.2003 210 1.1515 11546672
0.2323 0.2051 215 1.1534 11817992
0.1533 0.2099 220 1.1526 12089480
0.14 0.2146 225 1.1463 12365984
0.1898 0.2194 230 1.1484 12639416
0.2115 0.2242 235 1.1471 12920944
0.2441 0.2290 240 1.1456 13194920
0.18 0.2337 245 1.1457 13472976
0.1868 0.2385 250 1.1437 13750128
0.1601 0.2433 255 1.1445 14020560
0.1777 0.2480 260 1.1449 14292552
0.2047 0.2528 265 1.1402 14564888
0.1425 0.2576 270 1.1429 14841608
0.2403 0.2623 275 1.1423 15113080
0.1517 0.2671 280 1.1403 15387104
0.1189 0.2719 285 1.1384 15661744
0.1925 0.2767 290 1.1422 15929144
0.2971 0.2814 295 1.1411 16211016
0.1877 0.2862 300 1.1355 16479672
0.1461 0.2910 305 1.1430 16749592
0.1857 0.2957 310 1.1376 17026336
0.2592 0.3005 315 1.1343 17298512
0.1672 0.3053 320 1.1342 17575064
0.2067 0.3100 325 1.1332 17854904
0.2002 0.3148 330 1.1331 18130160
0.1643 0.3196 335 1.1326 18399608
0.1651 0.3244 340 1.1321 18678344
0.171 0.3291 345 1.1312 18951800
0.1323 0.3339 350 1.1295 19225944
0.2588 0.3387 355 1.1320 19499856
0.2399 0.3434 360 1.1316 19771272
0.1582 0.3482 365 1.1295 20044040
0.2115 0.3530 370 1.1286 20315888
0.2802 0.3577 375 1.1303 20584672
0.1257 0.3625 380 1.1302 20862920
0.2851 0.3673 385 1.1301 21143672
0.1692 0.3720 390 1.1275 21420672
0.1253 0.3768 395 1.1282 21690272
0.1186 0.3816 400 1.1294 21964296
0.1799 0.3864 405 1.1287 22236320
0.1645 0.3911 410 1.1270 22508600
0.1555 0.3959 415 1.1259 22789664
0.2175 0.4007 420 1.1241 23057640
0.138 0.4054 425 1.1253 23326680
0.103 0.4102 430 1.1266 23597896
0.2432 0.4150 435 1.1239 23872536
0.2285 0.4197 440 1.1235 24145512
0.2308 0.4245 445 1.1249 24421016
0.1546 0.4293 450 1.1212 24700832
0.1554 0.4341 455 1.1214 24981344
0.1487 0.4388 460 1.1230 25259784
0.2857 0.4436 465 1.1205 25541392
0.1433 0.4484 470 1.1215 25811664
0.2118 0.4531 475 1.1252 26083832
0.1689 0.4579 480 1.1200 26355200
0.2952 0.4627 485 1.1198 26624656
0.1463 0.4674 490 1.1204 26893408
0.1937 0.4722 495 1.1193 27169048
0.2256 0.4770 500 1.1187 27444320
0.261 0.4818 505 1.1203 27722760
0.2065 0.4865 510 1.1181 28007144
0.2435 0.4913 515 1.1180 28284584
0.2162 0.4961 520 1.1182 28558768
0.0977 0.5008 525 1.1156 28832184
0.1592 0.5056 530 1.1172 29106024
0.2281 0.5104 535 1.1191 29380552
0.2133 0.5151 540 1.1155 29653184
0.1949 0.5199 545 1.1149 29931800
0.2195 0.5247 550 1.1162 30206216
0.1479 0.5295 555 1.1172 30479464
0.2328 0.5342 560 1.1165 30744912
0.1147 0.5390 565 1.1162 31016856
0.1808 0.5438 570 1.1172 31290632
0.1348 0.5485 575 1.1138 31565776
0.191 0.5533 580 1.1129 31840416
0.1971 0.5581 585 1.1141 32115112
0.2878 0.5628 590 1.1132 32382568
0.1397 0.5676 595 1.1145 32652336
0.1622 0.5724 600 1.1147 32926376
0.1645 0.5772 605 1.1126 33202408
0.1748 0.5819 610 1.1129 33479448
0.1364 0.5867 615 1.1191 33755856
0.1537 0.5915 620 1.1132 34023888
0.2257 0.5962 625 1.1120 34300240
0.193 0.6010 630 1.1129 34575272
0.1591 0.6058 635 1.1140 34846568
0.2357 0.6105 640 1.1127 35111368
0.2122 0.6153 645 1.1104 35381512
0.2296 0.6201 650 1.1126 35652760
0.2162 0.6249 655 1.1105 35934616
0.1512 0.6296 660 1.1085 36204072
0.1565 0.6344 665 1.1101 36480472
0.1804 0.6392 670 1.1120 36750216
0.2327 0.6439 675 1.1099 37026448
0.137 0.6487 680 1.1101 37304624
0.1508 0.6535 685 1.1115 37584368
0.2355 0.6582 690 1.1094 37859192
0.1842 0.6630 695 1.1079 38140704
0.2053 0.6678 700 1.1100 38422936
0.1421 0.6725 705 1.1092 38700416
0.1501 0.6773 710 1.1084 38981096
0.2319 0.6821 715 1.1094 39257496
0.1176 0.6869 720 1.1101 39533328
0.1939 0.6916 725 1.1071 39810760
0.1603 0.6964 730 1.1056 40078576
0.1874 0.7012 735 1.1070 40354912
0.139 0.7059 740 1.1098 40624408
0.2035 0.7107 745 1.1069 40901880
0.2135 0.7155 750 1.1057 41168008
0.1524 0.7202 755 1.1047 41445360
0.2232 0.7250 760 1.1040 41726120
0.1531 0.7298 765 1.1032 42005192
0.161 0.7346 770 1.1049 42278432
0.2795 0.7393 775 1.1041 42546952
0.179 0.7441 780 1.1050 42823136
0.1964 0.7489 785 1.1039 43099096
0.1943 0.7536 790 1.1040 43374520
0.1432 0.7584 795 1.1045 43648920
0.1129 0.7632 800 1.1038 43922904
0.2349 0.7679 805 1.1034 44202160
0.1664 0.7727 810 1.1029 44481880
0.212 0.7775 815 1.1047 44763008
0.1529 0.7823 820 1.1044 45034848
0.1846 0.7870 825 1.1022 45313728
0.1814 0.7918 830 1.1009 45596136
0.2488 0.7966 835 1.1031 45876792
0.1445 0.8013 840 1.1036 46149456
0.1875 0.8061 845 1.1017 46428088
0.2112 0.8109 850 1.1002 46699200
0.16 0.8156 855 1.1011 46978064
0.1861 0.8204 860 1.1026 47260120
0.1451 0.8252 865 1.1020 47535184
0.2099 0.8300 870 1.1009 47805592
0.1349 0.8347 875 1.1017 48083288
0.1281 0.8395 880 1.1039 48359856
0.2059 0.8443 885 1.1011 48635480
0.1273 0.8490 890 1.1012 48907152
0.1119 0.8538 895 1.1017 49190432
0.1578 0.8586 900 1.1003 49466416
0.1527 0.8633 905 1.1007 49742840
0.1948 0.8681 910 1.1022 50006928
0.2125 0.8729 915 1.1012 50280032
0.1793 0.8777 920 1.1007 50554592
0.1295 0.8824 925 1.1002 50832056
0.1383 0.8872 930 1.1009 51107552
0.2569 0.8920 935 1.0993 51381432
0.1212 0.8967 940 1.1002 51665232
0.2039 0.9015 945 1.1034 51944288
0.2036 0.9063 950 1.1003 52220224
0.1233 0.9110 955 1.0989 52500992
0.1297 0.9158 960 1.0979 52774096
0.1562 0.9206 965 1.0985 53048096
0.1706 0.9254 970 1.1013 53323848
0.2443 0.9301 975 1.1002 53605952
0.1889 0.9349 980 1.0978 53880704
0.1236 0.9397 985 1.0987 54156976
0.1949 0.9444 990 1.0998 54432432
0.2046 0.9492 995 1.0986 54713288
0.2039 0.9540 1000 1.0977 54987288
0.2096 0.9587 1005 1.0978 55272664
0.1781 0.9635 1010 1.0987 55548680
0.2138 0.9683 1015 1.0978 55831208
0.1476 0.9731 1020 1.0972 56108072
0.1788 0.9778 1025 1.0975 56385328
0.1646 0.9826 1030 1.0974 56662832
0.1682 0.9874 1035 1.0977 56937776
0.1583 0.9921 1040 1.0964 57203296
0.1243 0.9969 1045 1.0963 57468416

Framework versions

  • Transformers 4.44.0
  • Pytorch 2.4.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1