AraT5v2-base-1024-p-l-akk-en-20240712-212743

This model is a fine-tuned version of UBC-NLP/AraT5v2-base-1024 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1234

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 4e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 25

Training results

Training Loss	Epoch	Step	Validation Loss
7.7733	0.0884	500	0.7064
0.5896	0.1767	1000	0.4223
0.3694	0.2651	1500	0.3706
0.2998	0.3535	2000	0.3643
0.2951	0.4419	2500	0.2568
0.275	0.5302	3000	0.2534
0.2594	0.6186	3500	0.2449
0.2538	0.7070	4000	0.2313
0.2505	0.7953	4500	0.2303
0.2559	0.8837	5000	0.2237
0.2449	0.9721	5500	0.2190
0.2443	1.0604	6000	0.2165
0.2334	1.1488	6500	0.2142
0.2373	1.2372	7000	0.2116
0.2239	1.3256	7500	0.2103
0.2261	1.4139	8000	0.2079
0.2249	1.5023	8500	0.2057
0.2232	1.5907	9000	0.2055
0.214	1.6790	9500	0.2023
0.2176	1.7674	10000	0.2008
0.2062	1.8558	10500	0.1991
0.2132	1.9441	11000	0.1980
0.2016	2.0325	11500	0.2008
0.2103	2.1209	12000	0.2001
0.2611	2.2093	12500	0.1967
0.2045	2.2976	13000	0.1945
0.2027	2.3860	13500	0.1924
0.1992	2.4744	14000	0.1913
0.2019	2.5627	14500	0.1903
0.1985	2.6511	15000	0.1890
0.1936	2.7395	15500	0.1888
0.1981	2.8279	16000	0.1870
0.1986	2.9162	16500	0.1866
0.1919	3.0046	17000	0.1847
0.1888	3.0930	17500	0.1839
0.1957	3.1813	18000	0.1834
0.1919	3.2697	18500	0.1820
0.1845	3.3581	19000	0.1811
0.1924	3.4464	19500	0.1804
0.1861	3.5348	20000	0.1793
0.1773	3.6232	20500	0.1777
0.1826	3.7116	21000	0.1782
0.19	3.7999	21500	0.1765
0.1827	3.8883	22000	0.1752
0.1848	3.9767	22500	0.1751
0.1828	4.0650	23000	0.1736
0.1759	4.1534	23500	0.1741
0.179	4.2418	24000	0.1723
0.1812	4.3302	24500	0.1722
0.1788	4.4185	25000	0.1711
0.1808	4.5069	25500	0.1705
0.1757	4.5953	26000	0.1693
0.1694	4.6836	26500	0.1687
0.1701	4.7720	27000	0.1681
0.179	4.8604	27500	0.1676
0.1771	4.9487	28000	0.1664
0.1753	5.0371	28500	0.1665
0.1726	5.1255	29000	0.1653
0.1683	5.2139	29500	0.1644
0.1639	5.3022	30000	0.1641
0.1688	5.3906	30500	0.1637
0.1675	5.4790	31000	0.1631
0.1679	5.5673	31500	0.1622
0.1701	5.6557	32000	0.1619
0.1672	5.7441	32500	0.1613
0.1661	5.8324	33000	0.1604
0.1677	5.9208	33500	0.1595
0.1689	6.0092	34000	0.1595
0.1678	6.0976	34500	0.1590
0.165	6.1859	35000	0.1587
0.1636	6.2743	35500	0.1585
0.1641	6.3627	36000	0.1575
0.1598	6.4510	36500	0.1573
0.1563	6.5394	37000	0.1566
0.1612	6.6278	37500	0.1572
0.1668	6.7162	38000	0.1556
0.1625	6.8045	38500	0.1552
0.1561	6.8929	39000	0.1540
0.1571	6.9813	39500	0.1544
0.1628	7.0696	40000	0.1540
0.1582	7.1580	40500	0.1535
0.1481	7.2464	41000	0.1535
0.1537	7.3347	41500	0.1525
0.159	7.4231	42000	0.1519
0.1579	7.5115	42500	0.1512
0.1595	7.5999	43000	0.1518
0.1578	7.6882	43500	0.1504
0.1514	7.7766	44000	0.1505
0.1534	7.8650	44500	0.1501
0.157	7.9533	45000	0.1500
0.1558	8.0417	45500	0.1495
0.1545	8.1301	46000	0.1496
0.1506	8.2185	46500	0.1490
0.1525	8.3068	47000	0.1482
0.1546	8.3952	47500	0.1476
0.1544	8.4836	48000	0.1475
0.1482	8.5719	48500	0.1472
0.1483	8.6603	49000	0.1472
0.1455	8.7487	49500	0.1467
0.1514	8.8370	50000	0.1458
0.1537	8.9254	50500	0.1464
0.1508	9.0138	51000	0.1458
0.1428	9.1022	51500	0.1450
0.1478	9.1905	52000	0.1461
0.1472	9.2789	52500	0.1449
0.1498	9.3673	53000	0.1443
0.1502	9.4556	53500	0.1443
0.1458	9.5440	54000	0.1441
0.1441	9.6324	54500	0.1433
0.1525	9.7207	55000	0.1434
0.148	9.8091	55500	0.1426
0.1458	9.8975	56000	0.1429
0.1476	9.9859	56500	0.1425
0.1413	10.0742	57000	0.1426
0.1488	10.1626	57500	0.1421
0.1457	10.2510	58000	0.1415
0.1429	10.3393	58500	0.1417
0.1382	10.4277	59000	0.1416
0.1466	10.5161	59500	0.1413
0.1412	10.6045	60000	0.1410
0.1447	10.6928	60500	0.1408
0.1426	10.7812	61000	0.1406
0.1488	10.8696	61500	0.1402
0.1402	10.9579	62000	0.1396
0.1385	11.0463	62500	0.1393
0.1415	11.1347	63000	0.1390
0.1429	11.2230	63500	0.1397
0.1415	11.3114	64000	0.1389
0.1407	11.3998	64500	0.1387
0.1349	11.4882	65000	0.1384
0.1418	11.5765	65500	0.1388
0.1394	11.6649	66000	0.1378
0.1415	11.7533	66500	0.1376
0.134	11.8416	67000	0.1373
0.1435	11.9300	67500	0.1370
0.1386	12.0184	68000	0.1373
0.1295	12.1068	68500	0.1368
0.1379	12.1951	69000	0.1365
0.1436	12.2835	69500	0.1368
0.1312	12.3719	70000	0.1361
0.139	12.4602	70500	0.1358
0.1395	12.5486	71000	0.1358
0.1317	12.6370	71500	0.1356
0.1445	12.7253	72000	0.1352
0.1394	12.8137	72500	0.1355
0.1351	12.9021	73000	0.1346
0.1369	12.9905	73500	0.1347
0.1328	13.0788	74000	0.1352
0.132	13.1672	74500	0.1347
0.137	13.2556	75000	0.1344
0.1382	13.3439	75500	0.1342
0.1346	13.4323	76000	0.1334
0.1322	13.5207	76500	0.1334
0.1354	13.6090	77000	0.1333
0.1322	13.6974	77500	0.1335
0.1304	13.7858	78000	0.1331
0.1332	13.8742	78500	0.1332
0.136	13.9625	79000	0.1326
0.1361	14.0509	79500	0.1329
0.1324	14.1393	80000	0.1328
0.1321	14.2276	80500	0.1321
0.1349	14.3160	81000	0.1320
0.1336	14.4044	81500	0.1323
0.1272	14.4928	82000	0.1318
0.1317	14.5811	82500	0.1316
0.1274	14.6695	83000	0.1317
0.1331	14.7579	83500	0.1312
0.132	14.8462	84000	0.1312
0.1318	14.9346	84500	0.1307
0.128	15.0230	85000	0.1305
0.1282	15.1113	85500	0.1307
0.128	15.1997	86000	0.1305
0.1359	15.2881	86500	0.1304
0.1269	15.3765	87000	0.1304
0.1237	15.4648	87500	0.1303
0.1372	15.5532	88000	0.1302
0.1343	15.6416	88500	0.1300
0.1336	15.7299	89000	0.1297
0.1258	15.8183	89500	0.1295
0.1225	15.9067	90000	0.1298
0.1285	15.9951	90500	0.1291
0.1254	16.0834	91000	0.1295
0.1283	16.1718	91500	0.1294
0.1257	16.2602	92000	0.1297
0.1279	16.3485	92500	0.1292
0.1304	16.4369	93000	0.1291
0.1253	16.5253	93500	0.1290
0.1181	16.6136	94000	0.1285
0.1293	16.7020	94500	0.1287
0.1271	16.7904	95000	0.1293
0.1274	16.8788	95500	0.1287
0.1331	16.9671	96000	0.1284
0.1338	17.0555	96500	0.1286
0.1297	17.1439	97000	0.1283
0.1227	17.2322	97500	0.1280
0.1226	17.3206	98000	0.1280
0.1255	17.4090	98500	0.1280
0.1266	17.4973	99000	0.1277
0.1247	17.5857	99500	0.1274
0.1254	17.6741	100000	0.1275
0.1193	17.7625	100500	0.1277
0.1279	17.8508	101000	0.1276
0.1251	17.9392	101500	0.1270
0.1264	18.0276	102000	0.1271
0.1249	18.1159	102500	0.1270
0.1279	18.2043	103000	0.1267
0.1254	18.2927	103500	0.1266
0.1276	18.3811	104000	0.1269
0.1165	18.4694	104500	0.1263
0.122	18.5578	105000	0.1265
0.1281	18.6462	105500	0.1261
0.1224	18.7345	106000	0.1265
0.1209	18.8229	106500	0.1264
0.1233	18.9113	107000	0.1264
0.1218	18.9996	107500	0.1256
0.1217	19.0880	108000	0.1261
0.1227	19.1764	108500	0.1265
0.1303	19.2648	109000	0.1263
0.1188	19.3531	109500	0.1258
0.1221	19.4415	110000	0.1260
0.1249	19.5299	110500	0.1261
0.1295	19.6182	111000	0.1257
0.1226	19.7066	111500	0.1252
0.1199	19.7950	112000	0.1253
0.1177	19.8834	112500	0.1253
0.1193	19.9717	113000	0.1255
0.1181	20.0601	113500	0.1256
0.1207	20.1485	114000	0.1256
0.1235	20.2368	114500	0.1257
0.1209	20.3252	115000	0.1253
0.115	20.4136	115500	0.1251
0.1176	20.5019	116000	0.1252
0.1215	20.5903	116500	0.1249
0.124	20.6787	117000	0.1247
0.1211	20.7671	117500	0.1245
0.1222	20.8554	118000	0.1246
0.1205	20.9438	118500	0.1248
0.1251	21.0322	119000	0.1248
0.1212	21.1205	119500	0.1243
0.1151	21.2089	120000	0.1247
0.1197	21.2973	120500	0.1246
0.122	21.3856	121000	0.1248
0.1226	21.4740	121500	0.1248
0.1214	21.5624	122000	0.1247
0.1232	21.6508	122500	0.1242
0.118	21.7391	123000	0.1245
0.1179	21.8275	123500	0.1242
0.1201	21.9159	124000	0.1243
0.1205	22.0042	124500	0.1245
0.1182	22.0926	125000	0.1242
0.115	22.1810	125500	0.1243
0.1203	22.2694	126000	0.1239
0.1184	22.3577	126500	0.1240
0.1221	22.4461	127000	0.1239
0.1214	22.5345	127500	0.1238
0.1183	22.6228	128000	0.1239
0.1188	22.7112	128500	0.1242
0.1181	22.7996	129000	0.1237
0.1172	22.8879	129500	0.1237
0.122	22.9763	130000	0.1236
0.1194	23.0647	130500	0.1239
0.1171	23.1531	131000	0.1238
0.1178	23.2414	131500	0.1238
0.1192	23.3298	132000	0.1239
0.1193	23.4182	132500	0.1238
0.1201	23.5065	133000	0.1235
0.1208	23.5949	133500	0.1234
0.1194	23.6833	134000	0.1235
0.1155	23.7717	134500	0.1235
0.1177	23.8600	135000	0.1233
0.1187	23.9484	135500	0.1235
0.1167	24.0368	136000	0.1236
0.116	24.1251	136500	0.1235
0.1151	24.2135	137000	0.1235
0.1204	24.3019	137500	0.1235
0.1105	24.3902	138000	0.1235
0.1211	24.4786	138500	0.1234
0.1192	24.5670	139000	0.1235
0.1188	24.6554	139500	0.1234
0.1245	24.7437	140000	0.1234
0.1177	24.8321	140500	0.1234
0.1209	24.9205	141000	0.1234

Framework versions

• Transformers 4.41.2
• Pytorch 2.5.0.dev20240625
• Datasets 2.20.0
• Tokenizers 0.19.1