Hugging Face's logo

RylanSchaeffer
/
collapse_gemma-2-2b_hs2_accumulate_iter19_sftsd2

Safetensors
gemma2
trl
sft
Generated from Trainer
Model card Files Community
collapse_gemma-2-2b_hs2_accumulate_iter19_sftsd2 / README.md
RylanSchaeffer's picture
RylanSchaeffer
End of training
584fea3 verified
preview code
|
raw
history blame contribute delete
27.8 kB
metadata
license: gemma
base_model: google/gemma-2-2b
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: collapse_gemma-2-2b_hs2_accumulate_iter19_sftsd2
    results: []

collapse_gemma-2-2b_hs2_accumulate_iter19_sftsd2

This model is a fine-tuned version of google/gemma-2-2b on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.1080
  • Num Input Tokens Seen: 98464968

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 8e-06
  • train_batch_size: 8
  • eval_batch_size: 16
  • seed: 2
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: constant_with_warmup
  • lr_scheduler_warmup_ratio: 0.05
  • num_epochs: 1

Training results

Training Loss Epoch Step Validation Loss Input Tokens Seen
No log 0 0 1.3909 0
1.566 0.0027 5 1.3903 269240
1.6034 0.0055 10 1.3837 534920
1.5271 0.0082 15 1.3636 803440
1.5903 0.0109 20 1.3339 1075112
1.4414 0.0137 25 1.2941 1347136
1.3672 0.0164 30 1.2546 1608088
1.3486 0.0191 35 1.2329 1883384
1.2328 0.0219 40 1.2053 2147208
1.0687 0.0246 45 1.2000 2413576
1.0229 0.0274 50 1.2220 2678528
1.0549 0.0301 55 1.2386 2944424
0.8001 0.0328 60 1.2753 3212016
0.827 0.0356 65 1.2962 3480872
0.6043 0.0383 70 1.2797 3745240
0.5734 0.0410 75 1.3074 4008872
0.5398 0.0438 80 1.2996 4283816
0.3939 0.0465 85 1.2942 4560864
0.4721 0.0492 90 1.2616 4834608
0.3256 0.0520 95 1.2648 5110216
0.3049 0.0547 100 1.2537 5380104
0.3462 0.0574 105 1.2385 5655128
0.33 0.0602 110 1.2168 5924072
0.2754 0.0629 115 1.2392 6191600
0.2427 0.0657 120 1.2336 6461192
0.2005 0.0684 125 1.2499 6729224
0.2823 0.0711 130 1.2266 7001096
0.2541 0.0739 135 1.2273 7267936
0.2096 0.0766 140 1.2258 7534808
0.3232 0.0793 145 1.2267 7807176
0.1664 0.0821 150 1.2066 8075744
0.1768 0.0848 155 1.2219 8346440
0.295 0.0875 160 1.2019 8614872
0.2027 0.0903 165 1.2076 8884480
0.1438 0.0930 170 1.2002 9150992
0.2161 0.0957 175 1.2000 9419696
0.152 0.0985 180 1.2019 9687968
0.1512 0.1012 185 1.2031 9960504
0.2432 0.1039 190 1.1993 10226056
0.1829 0.1067 195 1.2022 10496824
0.2622 0.1094 200 1.1973 10767928
0.1414 0.1122 205 1.2021 11032952
0.16 0.1149 210 1.1940 11305872
0.1348 0.1176 215 1.1937 11576432
0.1244 0.1204 220 1.1973 11851016
0.1393 0.1231 225 1.1868 12122248
0.1372 0.1258 230 1.1894 12391544
0.2017 0.1286 235 1.1933 12659424
0.2157 0.1313 240 1.1891 12935120
0.1222 0.1340 245 1.1908 13209320
0.1636 0.1368 250 1.1943 13487384
0.1724 0.1395 255 1.1907 13749784
0.1335 0.1422 260 1.1872 14021680
0.143 0.1450 265 1.1853 14289216
0.0801 0.1477 270 1.1805 14557664
0.1594 0.1504 275 1.1833 14821848
0.096 0.1532 280 1.1829 15088088
0.1399 0.1559 285 1.1820 15362192
0.1576 0.1587 290 1.1823 15635952
0.1494 0.1614 295 1.1823 15903016
0.0803 0.1641 300 1.1824 16170560
0.1924 0.1669 305 1.1808 16433512
0.153 0.1696 310 1.1789 16703256
0.1633 0.1723 315 1.1771 16969712
0.2378 0.1751 320 1.1752 17232240
0.1494 0.1778 325 1.1740 17497112
0.1492 0.1805 330 1.1671 17756264
0.1529 0.1833 335 1.1758 18025664
0.102 0.1860 340 1.1801 18289112
0.1487 0.1887 345 1.1672 18557120
0.1233 0.1915 350 1.1746 18822168
0.1628 0.1942 355 1.1735 19093248
0.2002 0.1970 360 1.1701 19364880
0.1004 0.1997 365 1.1704 19622184
0.1483 0.2024 370 1.1693 19896912
0.1489 0.2052 375 1.1689 20167288
0.1008 0.2079 380 1.1702 20430640
0.1688 0.2106 385 1.1733 20691032
0.1465 0.2134 390 1.1709 20966304
0.1459 0.2161 395 1.1658 21240608
0.0888 0.2188 400 1.1679 21510808
0.0849 0.2216 405 1.1704 21780056
0.1339 0.2243 410 1.1663 22048176
0.1438 0.2270 415 1.1653 22318760
0.1227 0.2298 420 1.1686 22588136
0.1704 0.2325 425 1.1675 22858288
0.1241 0.2352 430 1.1626 23127464
0.0752 0.2380 435 1.1648 23395536
0.102 0.2407 440 1.1658 23663200
0.1354 0.2435 445 1.1626 23931888
0.1178 0.2462 450 1.1594 24207088
0.1556 0.2489 455 1.1623 24477104
0.1249 0.2517 460 1.1635 24748184
0.135 0.2544 465 1.1580 25015840
0.0997 0.2571 470 1.1613 25274800
0.183 0.2599 475 1.1565 25538784
0.1524 0.2626 480 1.1608 25811528
0.1299 0.2653 485 1.1596 26081360
0.1025 0.2681 490 1.1542 26348112
0.1945 0.2708 495 1.1577 26607088
0.1138 0.2735 500 1.1553 26879376
0.1872 0.2763 505 1.1565 27151544
0.1329 0.2790 510 1.1523 27416848
0.1458 0.2817 515 1.1539 27684560
0.1452 0.2845 520 1.1551 27954048
0.1423 0.2872 525 1.1534 28220112
0.0822 0.2900 530 1.1515 28494712
0.1274 0.2927 535 1.1528 28761360
0.1398 0.2954 540 1.1513 29029520
0.1851 0.2982 545 1.1519 29301128
0.1634 0.3009 550 1.1573 29575880
0.0755 0.3036 555 1.1507 29842672
0.1418 0.3064 560 1.1509 30111712
0.1712 0.3091 565 1.1518 30379128
0.1914 0.3118 570 1.1454 30647232
0.1385 0.3146 575 1.1479 30905808
0.1112 0.3173 580 1.1553 31173776
0.114 0.3200 585 1.1492 31445496
0.1453 0.3228 590 1.1466 31710376
0.1367 0.3255 595 1.1467 31983840
0.1817 0.3283 600 1.1466 32260416
0.0955 0.3310 605 1.1466 32524816
0.1501 0.3337 610 1.1478 32796840
0.1512 0.3365 615 1.1445 33060472
0.1882 0.3392 620 1.1483 33327176
0.086 0.3419 625 1.1461 33596136
0.0982 0.3447 630 1.1438 33864384
0.1159 0.3474 635 1.1442 34132792
0.1253 0.3501 640 1.1473 34409424
0.1011 0.3529 645 1.1501 34679192
0.0758 0.3556 650 1.1444 34951400
0.1218 0.3583 655 1.1435 35227760
0.1123 0.3611 660 1.1459 35502112
0.1567 0.3638 665 1.1445 35771360
0.1027 0.3665 670 1.1425 36035184
0.1843 0.3693 675 1.1420 36301448
0.1262 0.3720 680 1.1451 36569816
0.2147 0.3748 685 1.1414 36840840
0.1026 0.3775 690 1.1389 37109896
0.148 0.3802 695 1.1421 37380912
0.1004 0.3830 700 1.1412 37651504
0.1456 0.3857 705 1.1399 37915944
0.1328 0.3884 710 1.1408 38187424
0.1516 0.3912 715 1.1409 38452472
0.1423 0.3939 720 1.1401 38725544
0.0693 0.3966 725 1.1411 39002936
0.145 0.3994 730 1.1369 39283776
0.0908 0.4021 735 1.1383 39556048
0.1767 0.4048 740 1.1386 39827376
0.0885 0.4076 745 1.1348 40095824
0.1309 0.4103 750 1.1362 40365560
0.1427 0.4130 755 1.1353 40639216
0.1133 0.4158 760 1.1353 40905800
0.0964 0.4185 765 1.1383 41184040
0.1247 0.4213 770 1.1381 41449464
0.1036 0.4240 775 1.1375 41718976
0.0943 0.4267 780 1.1362 41988192
0.1213 0.4295 785 1.1392 42252704
0.0691 0.4322 790 1.1395 42515528
0.0992 0.4349 795 1.1395 42778600
0.1536 0.4377 800 1.1385 43050368
0.1415 0.4404 805 1.1359 43317456
0.107 0.4431 810 1.1363 43579336
0.0727 0.4459 815 1.1364 43851016
0.1084 0.4486 820 1.1350 44119640
0.1327 0.4513 825 1.1331 44388024
0.1569 0.4541 830 1.1323 44658024
0.0889 0.4568 835 1.1370 44926688
0.1194 0.4596 840 1.1365 45197880
0.1314 0.4623 845 1.1336 45473008
0.0597 0.4650 850 1.1368 45745296
0.055 0.4678 855 1.1364 46015736
0.1205 0.4705 860 1.1365 46293592
0.1283 0.4732 865 1.1349 46568376
0.1195 0.4760 870 1.1309 46840344
0.1391 0.4787 875 1.1355 47110488
0.1324 0.4814 880 1.1324 47377704
0.1026 0.4842 885 1.1300 47635920
0.1301 0.4869 890 1.1327 47908560
0.124 0.4896 895 1.1341 48177136
0.1325 0.4924 900 1.1297 48446816
0.1446 0.4951 905 1.1292 48714528
0.1525 0.4978 910 1.1325 48984416
0.1612 0.5006 915 1.1309 49255328
0.1277 0.5033 920 1.1285 49522720
0.141 0.5061 925 1.1295 49794632
0.1233 0.5088 930 1.1309 50059784
0.0937 0.5115 935 1.1296 50334856
0.1243 0.5143 940 1.1282 50606240
0.1368 0.5170 945 1.1296 50873896
0.1006 0.5197 950 1.1287 51146576
0.0868 0.5225 955 1.1274 51419272
0.1008 0.5252 960 1.1267 51691160
0.1 0.5279 965 1.1308 51958064
0.0645 0.5307 970 1.1296 52226760
0.0955 0.5334 975 1.1296 52497824
0.13 0.5361 980 1.1304 52770296
0.1249 0.5389 985 1.1275 53040968
0.1615 0.5416 990 1.1263 53307232
0.0752 0.5443 995 1.1275 53579368
0.131 0.5471 1000 1.1288 53851264
0.0688 0.5498 1005 1.1296 54118360
0.1028 0.5526 1010 1.1283 54388792
0.1286 0.5553 1015 1.1263 54649048
0.1078 0.5580 1020 1.1243 54911104
0.1046 0.5608 1025 1.1260 55177560
0.1033 0.5635 1030 1.1274 55450744
0.1 0.5662 1035 1.1249 55720440
0.0748 0.5690 1040 1.1250 55995040
0.1346 0.5717 1045 1.1253 56272760
0.1358 0.5744 1050 1.1248 56548912
0.1207 0.5772 1055 1.1265 56816872
0.1846 0.5799 1060 1.1280 57079520
0.1064 0.5826 1065 1.1259 57346080
0.0912 0.5854 1070 1.1232 57613104
0.0811 0.5881 1075 1.1243 57877976
0.1331 0.5909 1080 1.1235 58157936
0.0908 0.5936 1085 1.1234 58427112
0.1493 0.5963 1090 1.1230 58696168
0.0947 0.5991 1095 1.1224 58964768
0.0883 0.6018 1100 1.1225 59233552
0.1224 0.6045 1105 1.1237 59508416
0.0844 0.6073 1110 1.1243 59780056
0.1231 0.6100 1115 1.1219 60053512
0.0704 0.6127 1120 1.1228 60323992
0.1217 0.6155 1125 1.1247 60591480
0.1333 0.6182 1130 1.1247 60860808
0.1773 0.6209 1135 1.1233 61129280
0.0739 0.6237 1140 1.1230 61396264
0.1076 0.6264 1145 1.1237 61676200
0.1018 0.6291 1150 1.1227 61939504
0.0889 0.6319 1155 1.1217 62206840
0.0848 0.6346 1160 1.1220 62479304
0.1288 0.6374 1165 1.1210 62744128
0.1336 0.6401 1170 1.1189 63009680
0.1311 0.6428 1175 1.1220 63283488
0.0721 0.6456 1180 1.1224 63551544
0.0833 0.6483 1185 1.1202 63828120
0.159 0.6510 1190 1.1216 64097744
0.1364 0.6538 1195 1.1222 64365456
0.122 0.6565 1200 1.1217 64639512
0.0556 0.6592 1205 1.1209 64917008
0.0958 0.6620 1210 1.1224 65186600
0.1396 0.6647 1215 1.1221 65457240
0.1406 0.6674 1220 1.1219 65724384
0.183 0.6702 1225 1.1201 65991472
0.1442 0.6729 1230 1.1202 66247368
0.1432 0.6756 1235 1.1193 66519352
0.1047 0.6784 1240 1.1177 66793464
0.1665 0.6811 1245 1.1211 67057776
0.1044 0.6839 1250 1.1204 67336200
0.1104 0.6866 1255 1.1177 67599384
0.1749 0.6893 1260 1.1179 67867712
0.0799 0.6921 1265 1.1200 68128816
0.0796 0.6948 1270 1.1188 68394968
0.1661 0.6975 1275 1.1176 68670640
0.0956 0.7003 1280 1.1166 68940800
0.1501 0.7030 1285 1.1181 69209672
0.1093 0.7057 1290 1.1189 69479976
0.0632 0.7085 1295 1.1171 69747392
0.1077 0.7112 1300 1.1172 70015144
0.0881 0.7139 1305 1.1179 70285856
0.0972 0.7167 1310 1.1200 70554584
0.107 0.7194 1315 1.1186 70823800
0.1226 0.7222 1320 1.1184 71086808
0.1196 0.7249 1325 1.1198 71361488
0.088 0.7276 1330 1.1188 71640264
0.102 0.7304 1335 1.1177 71912832
0.1277 0.7331 1340 1.1172 72182800
0.1844 0.7358 1345 1.1174 72448048
0.1159 0.7386 1350 1.1191 72715976
0.1276 0.7413 1355 1.1187 72990168
0.0715 0.7440 1360 1.1169 73255144
0.142 0.7468 1365 1.1169 73516344
0.158 0.7495 1370 1.1182 73794232
0.1622 0.7522 1375 1.1167 74065848
0.1652 0.7550 1380 1.1155 74333144
0.1542 0.7577 1385 1.1164 74599680
0.1395 0.7604 1390 1.1150 74868184
0.0988 0.7632 1395 1.1163 75131992
0.0901 0.7659 1400 1.1163 75396456
0.1068 0.7687 1405 1.1165 75659952
0.1644 0.7714 1410 1.1169 75936512
0.1194 0.7741 1415 1.1158 76201496
0.1356 0.7769 1420 1.1134 76478872
0.1126 0.7796 1425 1.1144 76746472
0.0919 0.7823 1430 1.1150 77017520
0.1469 0.7851 1435 1.1155 77284784
0.1433 0.7878 1440 1.1149 77551680
0.0743 0.7905 1445 1.1138 77821136
0.1669 0.7933 1450 1.1142 78093368
0.1076 0.7960 1455 1.1145 78362664
0.0973 0.7987 1460 1.1113 78635256
0.0809 0.8015 1465 1.1130 78904024
0.0797 0.8042 1470 1.1152 79176312
0.1293 0.8069 1475 1.1165 79444528
0.1529 0.8097 1480 1.1143 79718240
0.1049 0.8124 1485 1.1136 79991048
0.0838 0.8152 1490 1.1137 80259104
0.1662 0.8179 1495 1.1144 80530856
0.1528 0.8206 1500 1.1128 80796672
0.0886 0.8234 1505 1.1138 81055744
0.0816 0.8261 1510 1.1160 81325704
0.1051 0.8288 1515 1.1127 81598344
0.1674 0.8316 1520 1.1123 81866048
0.1408 0.8343 1525 1.1113 82139456
0.1149 0.8370 1530 1.1134 82424128
0.1034 0.8398 1535 1.1147 82693032
0.0741 0.8425 1540 1.1131 82962848
0.1875 0.8452 1545 1.1126 83233240
0.1677 0.8480 1550 1.1145 83504368
0.1579 0.8507 1555 1.1140 83775296
0.13 0.8535 1560 1.1137 84048072
0.0949 0.8562 1565 1.1117 84320136
0.1196 0.8589 1570 1.1126 84584048
0.126 0.8617 1575 1.1116 84856504
0.0681 0.8644 1580 1.1104 85127256
0.1589 0.8671 1585 1.1110 85391472
0.1435 0.8699 1590 1.1120 85670424
0.1237 0.8726 1595 1.1115 85933648
0.1618 0.8753 1600 1.1128 86205312
0.0772 0.8781 1605 1.1142 86474080
0.138 0.8808 1610 1.1137 86747368
0.1592 0.8835 1615 1.1122 87022320
0.1275 0.8863 1620 1.1115 87281000
0.0641 0.8890 1625 1.1114 87544016
0.1032 0.8917 1630 1.1112 87813640
0.1413 0.8945 1635 1.1123 88083872
0.1243 0.8972 1640 1.1095 88363088
0.1232 0.9000 1645 1.1105 88638376
0.1382 0.9027 1650 1.1098 88906088
0.1171 0.9054 1655 1.1087 89179912
0.1533 0.9082 1660 1.1117 89448520
0.1143 0.9109 1665 1.1124 89718944
0.1055 0.9136 1670 1.1099 89987376
0.111 0.9164 1675 1.1090 90265384
0.0757 0.9191 1680 1.1111 90531896
0.1295 0.9218 1685 1.1122 90801128
0.1262 0.9246 1690 1.1090 91080224
0.1637 0.9273 1695 1.1088 91346424
0.0961 0.9300 1700 1.1094 91620224
0.1968 0.9328 1705 1.1078 91891560
0.1257 0.9355 1710 1.1094 92164248
0.1734 0.9382 1715 1.1109 92435768
0.1424 0.9410 1720 1.1101 92704608
0.1874 0.9437 1725 1.1099 92983192
0.1318 0.9465 1730 1.1084 93243792
0.1153 0.9492 1735 1.1086 93517248
0.1283 0.9519 1740 1.1081 93791240
0.1191 0.9547 1745 1.1075 94059424
0.1424 0.9574 1750 1.1089 94326944
0.1458 0.9601 1755 1.1093 94594848
0.1361 0.9629 1760 1.1081 94861000
0.1238 0.9656 1765 1.1060 95141936
0.1341 0.9683 1770 1.1077 95409544
0.2192 0.9711 1775 1.1079 95681696
0.1611 0.9738 1780 1.1059 95946160
0.088 0.9765 1785 1.1061 96209080
0.1224 0.9793 1790 1.1095 96476168
0.109 0.9820 1795 1.1088 96749632
0.0898 0.9848 1800 1.1047 97023680
0.0734 0.9875 1805 1.1051 97298760
0.0984 0.9902 1810 1.1070 97563008
0.1193 0.9930 1815 1.1065 97826504
0.1278 0.9957 1820 1.1063 98091392
0.1163 0.9984 1825 1.1074 98363120

Framework versions

  • Transformers 4.44.0
  • Pytorch 2.4.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1