Hugging Face's logo

RylanSchaeffer
/
collapse_gemma-2-2b_hs2_accumulate_iter18_sftsd1

Safetensors
gemma2
trl
sft
Generated from Trainer
Model card Files Community
collapse_gemma-2-2b_hs2_accumulate_iter18_sftsd1 / README.md
RylanSchaeffer's picture
RylanSchaeffer
End of training
bb27a06 verified
preview code
|
raw
history blame contribute delete
26.5 kB
metadata
license: gemma
base_model: google/gemma-2-2b
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: collapse_gemma-2-2b_hs2_accumulate_iter18_sftsd1
    results: []

collapse_gemma-2-2b_hs2_accumulate_iter18_sftsd1

This model is a fine-tuned version of google/gemma-2-2b on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.0987
  • Num Input Tokens Seen: 92143336

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 8e-06
  • train_batch_size: 8
  • eval_batch_size: 16
  • seed: 1
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: constant_with_warmup
  • lr_scheduler_warmup_ratio: 0.05
  • num_epochs: 1

Training results

Training Loss Epoch Step Validation Loss Input Tokens Seen
No log 0 0 1.3909 0
1.6987 0.0029 5 1.3904 270960
1.6486 0.0058 10 1.3832 543776
1.6449 0.0087 15 1.3606 806136
1.5808 0.0116 20 1.3291 1069472
1.5584 0.0144 25 1.2860 1329032
1.4797 0.0173 30 1.2449 1597912
1.3686 0.0202 35 1.2173 1866088
1.2231 0.0231 40 1.1920 2134728
1.0982 0.0260 45 1.1923 2409176
0.9703 0.0289 50 1.2209 2669112
0.9416 0.0318 55 1.2490 2934120
0.7829 0.0347 60 1.2681 3202328
0.7175 0.0375 65 1.2750 3468824
0.6113 0.0404 70 1.3062 3737368
0.4934 0.0433 75 1.3147 4000568
0.4708 0.0462 80 1.3241 4269560
0.3086 0.0491 85 1.2773 4527344
0.3285 0.0520 90 1.2721 4793952
0.3032 0.0549 95 1.2753 5062120
0.2329 0.0578 100 1.2260 5326728
0.3035 0.0606 105 1.2274 5600864
0.2459 0.0635 110 1.2213 5864096
0.2759 0.0664 115 1.2208 6122280
0.18 0.0693 120 1.2135 6389656
0.1301 0.0722 125 1.2084 6654192
0.2706 0.0751 130 1.1997 6926752
0.2556 0.0780 135 1.2031 7195712
0.2105 0.0809 140 1.2011 7464520
0.1426 0.0837 145 1.1993 7730008
0.1783 0.0866 150 1.2052 7998384
0.1648 0.0895 155 1.1888 8273232
0.1672 0.0924 160 1.1909 8546224
0.1124 0.0953 165 1.1949 8821008
0.1286 0.0982 170 1.1836 9091072
0.1845 0.1011 175 1.1917 9359184
0.2387 0.1040 180 1.1794 9619376
0.2107 0.1068 185 1.1842 9885592
0.1587 0.1097 190 1.1820 10152520
0.1815 0.1126 195 1.1793 10415520
0.1845 0.1155 200 1.1765 10682032
0.1766 0.1184 205 1.1769 10953560
0.1884 0.1213 210 1.1726 11223304
0.1853 0.1242 215 1.1755 11495576
0.184 0.1271 220 1.1777 11757464
0.1219 0.1299 225 1.1683 12015416
0.1437 0.1328 230 1.1761 12289472
0.1693 0.1357 235 1.1720 12558632
0.1442 0.1386 240 1.1686 12822488
0.2042 0.1415 245 1.1665 13079816
0.2118 0.1444 250 1.1705 13346176
0.1309 0.1473 255 1.1677 13611488
0.1784 0.1502 260 1.1683 13875176
0.1946 0.1530 265 1.1684 14141064
0.2299 0.1559 270 1.1637 14405528
0.1208 0.1588 275 1.1620 14674184
0.1641 0.1617 280 1.1586 14938784
0.1519 0.1646 285 1.1576 15202512
0.1524 0.1675 290 1.1634 15459472
0.1406 0.1704 295 1.1566 15724376
0.1566 0.1733 300 1.1578 15991128
0.1077 0.1761 305 1.1562 16258728
0.0978 0.1790 310 1.1572 16531472
0.1482 0.1819 315 1.1593 16795440
0.11 0.1848 320 1.1581 17054568
0.1224 0.1877 325 1.1565 17320832
0.1237 0.1906 330 1.1548 17589160
0.1225 0.1935 335 1.1549 17859592
0.1546 0.1964 340 1.1556 18122264
0.1408 0.1992 345 1.1552 18385856
0.121 0.2021 350 1.1556 18659936
0.2222 0.2050 355 1.1535 18918392
0.1528 0.2079 360 1.1541 19182728
0.1534 0.2108 365 1.1531 19450968
0.1442 0.2137 370 1.1496 19714280
0.1244 0.2166 375 1.1492 19977192
0.1912 0.2195 380 1.1534 20245192
0.1174 0.2224 385 1.1512 20509528
0.1046 0.2252 390 1.1502 20777056
0.1868 0.2281 395 1.1460 21041064
0.1649 0.2310 400 1.1449 21300688
0.1247 0.2339 405 1.1452 21571768
0.1122 0.2368 410 1.1434 21841096
0.2296 0.2397 415 1.1419 22107696
0.1551 0.2426 420 1.1422 22377296
0.1198 0.2455 425 1.1438 22647200
0.1214 0.2483 430 1.1441 22909288
0.1918 0.2512 435 1.1455 23176680
0.1422 0.2541 440 1.1450 23446384
0.1168 0.2570 445 1.1442 23711824
0.099 0.2599 450 1.1412 23974416
0.1084 0.2628 455 1.1436 24238504
0.1797 0.2657 460 1.1436 24504696
0.177 0.2686 465 1.1398 24765792
0.1445 0.2714 470 1.1427 25032552
0.1558 0.2743 475 1.1380 25295104
0.1002 0.2772 480 1.1363 25555720
0.1082 0.2801 485 1.1421 25817792
0.1059 0.2830 490 1.1393 26081592
0.1164 0.2859 495 1.1368 26347656
0.096 0.2888 500 1.1381 26617936
0.1255 0.2917 505 1.1374 26884744
0.1734 0.2945 510 1.1373 27149264
0.1357 0.2974 515 1.1365 27417000
0.1836 0.3003 520 1.1372 27682520
0.0934 0.3032 525 1.1400 27949544
0.0914 0.3061 530 1.1380 28216896
0.1157 0.3090 535 1.1353 28479296
0.146 0.3119 540 1.1351 28755216
0.1954 0.3148 545 1.1357 29019640
0.1166 0.3176 550 1.1334 29281320
0.1295 0.3205 555 1.1343 29546448
0.1361 0.3234 560 1.1355 29805376
0.1249 0.3263 565 1.1329 30074584
0.1307 0.3292 570 1.1340 30343192
0.1761 0.3321 575 1.1352 30600184
0.1241 0.3350 580 1.1304 30865784
0.1802 0.3379 585 1.1308 31131480
0.1077 0.3407 590 1.1331 31400416
0.2017 0.3436 595 1.1331 31672048
0.1348 0.3465 600 1.1299 31937752
0.1469 0.3494 605 1.1312 32203736
0.0765 0.3523 610 1.1303 32469208
0.1269 0.3552 615 1.1302 32734112
0.0929 0.3581 620 1.1305 33006400
0.2169 0.3610 625 1.1301 33270272
0.0898 0.3638 630 1.1272 33532832
0.1692 0.3667 635 1.1290 33797256
0.09 0.3696 640 1.1289 34063048
0.0708 0.3725 645 1.1301 34326024
0.1575 0.3754 650 1.1272 34597328
0.1042 0.3783 655 1.1269 34858432
0.1163 0.3812 660 1.1316 35121080
0.1444 0.3841 665 1.1375 35389184
0.1591 0.3869 670 1.1321 35649584
0.0957 0.3898 675 1.1245 35917320
0.2456 0.3927 680 1.1294 36187656
0.1111 0.3956 685 1.1298 36444688
0.103 0.3985 690 1.1280 36709440
0.0784 0.4014 695 1.1259 36972760
0.1514 0.4043 700 1.1284 37233720
0.1235 0.4072 705 1.1293 37497496
0.086 0.4100 710 1.1256 37762992
0.1205 0.4129 715 1.1255 38029864
0.0625 0.4158 720 1.1272 38296328
0.1199 0.4187 725 1.1257 38559600
0.1254 0.4216 730 1.1238 38833968
0.13 0.4245 735 1.1254 39100088
0.0957 0.4274 740 1.1274 39366176
0.1801 0.4303 745 1.1217 39636032
0.0944 0.4332 750 1.1207 39903584
0.1007 0.4360 755 1.1252 40163224
0.1033 0.4389 760 1.1256 40428144
0.1029 0.4418 765 1.1218 40697240
0.0746 0.4447 770 1.1230 40962568
0.1095 0.4476 775 1.1250 41228136
0.1302 0.4505 780 1.1244 41496296
0.1077 0.4534 785 1.1234 41760456
0.1226 0.4563 790 1.1204 42022912
0.1361 0.4591 795 1.1195 42291248
0.1083 0.4620 800 1.1202 42562552
0.1502 0.4649 805 1.1204 42833160
0.1147 0.4678 810 1.1204 43098648
0.1306 0.4707 815 1.1216 43360472
0.114 0.4736 820 1.1220 43628632
0.1 0.4765 825 1.1198 43889976
0.1245 0.4794 830 1.1207 44162040
0.1761 0.4822 835 1.1200 44429408
0.1565 0.4851 840 1.1190 44694248
0.1473 0.4880 845 1.1174 44967944
0.0811 0.4909 850 1.1188 45233848
0.0874 0.4938 855 1.1186 45501712
0.1277 0.4967 860 1.1189 45770224
0.1056 0.4996 865 1.1173 46026120
0.0927 0.5025 870 1.1164 46293248
0.1233 0.5053 875 1.1164 46559048
0.1055 0.5082 880 1.1181 46817752
0.132 0.5111 885 1.1189 47088288
0.108 0.5140 890 1.1168 47354792
0.1097 0.5169 895 1.1170 47621808
0.1805 0.5198 900 1.1151 47892168
0.1229 0.5227 905 1.1151 48164096
0.1484 0.5256 910 1.1181 48434336
0.1245 0.5284 915 1.1175 48701160
0.0801 0.5313 920 1.1155 48966920
0.0684 0.5342 925 1.1150 49231088
0.1012 0.5371 930 1.1172 49500872
0.0826 0.5400 935 1.1169 49764080
0.0547 0.5429 940 1.1156 50037824
0.1756 0.5458 945 1.1166 50313056
0.1313 0.5487 950 1.1165 50584128
0.1571 0.5515 955 1.1141 50847832
0.1404 0.5544 960 1.1148 51107992
0.1436 0.5573 965 1.1144 51370408
0.1767 0.5602 970 1.1130 51639728
0.15 0.5631 975 1.1121 51905288
0.1444 0.5660 980 1.1147 52176536
0.13 0.5689 985 1.1159 52449872
0.1294 0.5718 990 1.1149 52714680
0.1163 0.5746 995 1.1136 52980096
0.0975 0.5775 1000 1.1133 53242168
0.1348 0.5804 1005 1.1144 53515240
0.0872 0.5833 1010 1.1130 53776040
0.0634 0.5862 1015 1.1133 54042552
0.1704 0.5891 1020 1.1138 54309432
0.0965 0.5920 1025 1.1138 54576264
0.1 0.5949 1030 1.1143 54840264
0.1074 0.5977 1035 1.1140 55106192
0.101 0.6006 1040 1.1116 55370344
0.1473 0.6035 1045 1.1112 55637160
0.0814 0.6064 1050 1.1133 55906880
0.1764 0.6093 1055 1.1135 56178392
0.103 0.6122 1060 1.1120 56439152
0.1243 0.6151 1065 1.1120 56708416
0.1113 0.6180 1070 1.1122 56975080
0.1242 0.6208 1075 1.1118 57234312
0.0737 0.6237 1080 1.1114 57504112
0.1164 0.6266 1085 1.1145 57764192
0.1563 0.6295 1090 1.1125 58029744
0.144 0.6324 1095 1.1097 58296288
0.1292 0.6353 1100 1.1100 58559256
0.0958 0.6382 1105 1.1111 58816976
0.1067 0.6411 1110 1.1117 59088408
0.1166 0.6440 1115 1.1126 59349992
0.1541 0.6468 1120 1.1108 59608656
0.0775 0.6497 1125 1.1102 59877288
0.1546 0.6526 1130 1.1120 60144648
0.0741 0.6555 1135 1.1118 60414784
0.1158 0.6584 1140 1.1101 60687248
0.1345 0.6613 1145 1.1108 60956640
0.1763 0.6642 1150 1.1115 61222976
0.0611 0.6671 1155 1.1117 61489536
0.1453 0.6699 1160 1.1115 61762704
0.1826 0.6728 1165 1.1092 62028760
0.0834 0.6757 1170 1.1094 62298616
0.1709 0.6786 1175 1.1107 62568072
0.1787 0.6815 1180 1.1090 62832512
0.1068 0.6844 1185 1.1086 63094744
0.1228 0.6873 1190 1.1074 63363208
0.1137 0.6902 1195 1.1071 63643528
0.0934 0.6930 1200 1.1072 63911528
0.1905 0.6959 1205 1.1072 64172360
0.1285 0.6988 1210 1.1090 64439392
0.1405 0.7017 1215 1.1103 64711128
0.1031 0.7046 1220 1.1102 64974024
0.1651 0.7075 1225 1.1092 65234672
0.1112 0.7104 1230 1.1070 65493112
0.1175 0.7133 1235 1.1075 65758712
0.1216 0.7161 1240 1.1082 66024680
0.0749 0.7190 1245 1.1098 66295584
0.1513 0.7219 1250 1.1079 66559520
0.1151 0.7248 1255 1.1068 66834168
0.181 0.7277 1260 1.1075 67097544
0.1586 0.7306 1265 1.1087 67356608
0.0934 0.7335 1270 1.1081 67622152
0.0991 0.7364 1275 1.1070 67885504
0.1203 0.7392 1280 1.1060 68156088
0.1323 0.7421 1285 1.1049 68427920
0.1043 0.7450 1290 1.1056 68688672
0.1415 0.7479 1295 1.1070 68953512
0.1361 0.7508 1300 1.1058 69222744
0.1713 0.7537 1305 1.1041 69493152
0.1207 0.7566 1310 1.1047 69759064
0.123 0.7595 1315 1.1051 70028704
0.1134 0.7623 1320 1.1061 70292648
0.1002 0.7652 1325 1.1054 70559392
0.1196 0.7681 1330 1.1049 70828480
0.1276 0.7710 1335 1.1047 71101208
0.1287 0.7739 1340 1.1054 71367200
0.109 0.7768 1345 1.1039 71634640
0.1795 0.7797 1350 1.1032 71902800
0.1094 0.7826 1355 1.1032 72174800
0.125 0.7854 1360 1.1053 72432704
0.1531 0.7883 1365 1.1055 72700696
0.122 0.7912 1370 1.1034 72965800
0.0804 0.7941 1375 1.1032 73231184
0.146 0.7970 1380 1.1033 73498048
0.1349 0.7999 1385 1.1025 73761088
0.107 0.8028 1390 1.1037 74028624
0.0812 0.8057 1395 1.1038 74291768
0.1222 0.8085 1400 1.1045 74563544
0.1458 0.8114 1405 1.1054 74832776
0.1657 0.8143 1410 1.1023 75101176
0.1954 0.8172 1415 1.1017 75369232
0.0891 0.8201 1420 1.1022 75638216
0.0955 0.8230 1425 1.1041 75900240
0.1365 0.8259 1430 1.1035 76159624
0.1079 0.8288 1435 1.1004 76422720
0.0682 0.8316 1440 1.1013 76686592
0.0583 0.8345 1445 1.1029 76949056
0.1214 0.8374 1450 1.1024 77218632
0.1268 0.8403 1455 1.1006 77478560
0.1053 0.8432 1460 1.1008 77743768
0.108 0.8461 1465 1.1031 78017344
0.0866 0.8490 1470 1.1021 78276936
0.0885 0.8519 1475 1.1003 78544376
0.0623 0.8548 1480 1.1005 78808896
0.1158 0.8576 1485 1.1015 79078776
0.1327 0.8605 1490 1.1018 79345224
0.0456 0.8634 1495 1.1017 79606728
0.0962 0.8663 1500 1.1019 79872616
0.1048 0.8692 1505 1.1017 80139096
0.0817 0.8721 1510 1.1008 80403584
0.1074 0.8750 1515 1.1015 80670528
0.1072 0.8779 1520 1.1015 80938992
0.1117 0.8807 1525 1.1014 81204304
0.0757 0.8836 1530 1.1020 81466168
0.1819 0.8865 1535 1.1017 81736616
0.1645 0.8894 1540 1.0998 82000800
0.1252 0.8923 1545 1.0981 82269024
0.1398 0.8952 1550 1.0987 82540928
0.1036 0.8981 1555 1.1008 82807760
0.1573 0.9010 1560 1.1002 83066216
0.1581 0.9038 1565 1.0993 83339256
0.0878 0.9067 1570 1.0996 83604536
0.092 0.9096 1575 1.1001 83865496
0.1575 0.9125 1580 1.0991 84126424
0.08 0.9154 1585 1.0989 84391176
0.0513 0.9183 1590 1.1008 84660208
0.1259 0.9212 1595 1.1026 84930128
0.15 0.9241 1600 1.1019 85195328
0.0984 0.9269 1605 1.0990 85453816
0.1439 0.9298 1610 1.0993 85723592
0.1366 0.9327 1615 1.0992 85987408
0.1144 0.9356 1620 1.0992 86250040
0.1167 0.9385 1625 1.0995 86516408
0.1447 0.9414 1630 1.1004 86779568
0.1233 0.9443 1635 1.0990 87049088
0.1037 0.9472 1640 1.0979 87317264
0.1341 0.9500 1645 1.0985 87581184
0.1036 0.9529 1650 1.0992 87846968
0.1435 0.9558 1655 1.0976 88100656
0.1207 0.9587 1660 1.0968 88363744
0.1299 0.9616 1665 1.0978 88629744
0.1279 0.9645 1670 1.0990 88894456
0.1122 0.9674 1675 1.0988 89162032
0.1317 0.9703 1680 1.0972 89431088
0.1591 0.9731 1685 1.0972 89703328
0.1128 0.9760 1690 1.0987 89967664
0.1896 0.9789 1695 1.0985 90232816
0.0941 0.9818 1700 1.0973 90500560
0.1163 0.9847 1705 1.0960 90769384
0.0629 0.9876 1710 1.0973 91037864
0.1257 0.9905 1715 1.0987 91299848
0.0984 0.9934 1720 1.0984 91567824
0.086 0.9962 1725 1.0988 91834832
0.1386 0.9991 1730 1.0985 92091840

Framework versions

  • Transformers 4.44.0
  • Pytorch 2.4.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1