model

This model is a fine-tuned version of on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1642

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 500

Training results

Training Loss	Epoch	Step	Validation Loss
0.6463	1.0	125	0.3498
0.3649	2.0	250	0.2858
0.3467	3.0	375	0.2906
0.3338	4.0	500	0.2813
0.3129	5.0	625	0.2571
0.312	6.0	750	0.2579
0.2993	7.0	875	0.2612
0.3045	8.0	1000	0.2559
0.2949	9.0	1125	0.2855
0.2899	10.0	1250	0.2508
0.2961	11.0	1375	0.2522
0.2827	12.0	1500	0.2398
0.285	13.0	1625	0.2732
0.283	14.0	1750	0.2722
0.2782	15.0	1875	0.2292
0.273	16.0	2000	0.2360
0.2791	17.0	2125	0.2410
0.2757	18.0	2250	0.2414
0.2823	19.0	2375	0.2413
0.2722	20.0	2500	0.2338
0.2702	21.0	2625	0.2236
0.2671	22.0	2750	0.2392
0.2712	23.0	2875	0.2327
0.2594	24.0	3000	0.2342
0.2672	25.0	3125	0.2271
0.2599	26.0	3250	0.2400
0.2687	27.0	3375	0.2424
0.2709	28.0	3500	0.2211
0.2656	29.0	3625	0.2385
0.2663	30.0	3750	0.2303
0.2585	31.0	3875	0.2282
0.2665	32.0	4000	0.2355
0.2579	33.0	4125	0.2288
0.2537	34.0	4250	0.2289
0.2625	35.0	4375	0.2239
0.2519	36.0	4500	0.2223
0.2581	37.0	4625	0.2241
0.2522	38.0	4750	0.2165
0.2581	39.0	4875	0.2165
0.2599	40.0	5000	0.2281
0.2568	41.0	5125	0.2328
0.2587	42.0	5250	0.2235
0.259	43.0	5375	0.2220
0.2535	44.0	5500	0.2238
0.2529	45.0	5625	0.2270
0.2544	46.0	5750	0.2261
0.2538	47.0	5875	0.2155
0.2489	48.0	6000	0.2272
0.2455	49.0	6125	0.2403
0.2551	50.0	6250	0.2153
0.2499	51.0	6375	0.2268
0.2484	52.0	6500	0.2140
0.247	53.0	6625	0.2389
0.2412	54.0	6750	0.2081
0.2468	55.0	6875	0.2211
0.2505	56.0	7000	0.2163
0.2423	57.0	7125	0.2176
0.2399	58.0	7250	0.2311
0.2413	59.0	7375	0.2174
0.241	60.0	7500	0.2210
0.2371	61.0	7625	0.2151
0.2398	62.0	7750	0.2024
0.2393	63.0	7875	0.2179
0.2306	64.0	8000	0.2027
0.2387	65.0	8125	0.2086
0.2416	66.0	8250	0.2090
0.2368	67.0	8375	0.2033
0.2359	68.0	8500	0.2179
0.2305	69.0	8625	0.2206
0.2389	70.0	8750	0.2019
0.2339	71.0	8875	0.2079
0.235	72.0	9000	0.2092
0.2351	73.0	9125	0.2134
0.2312	74.0	9250	0.2118
0.2255	75.0	9375	0.2077
0.2296	76.0	9500	0.2059
0.2218	77.0	9625	0.2110
0.2287	78.0	9750	0.2223
0.2304	79.0	9875	0.2180
0.2262	80.0	10000	0.1907
0.2273	81.0	10125	0.2000
0.2342	82.0	10250	0.2008
0.2367	83.0	10375	0.2295
0.2335	84.0	10500	0.2081
0.2296	85.0	10625	0.2062
0.2314	86.0	10750	0.1943
0.2266	87.0	10875	0.2067
0.229	88.0	11000	0.2018
0.2267	89.0	11125	0.2151
0.224	90.0	11250	0.1999
0.2296	91.0	11375	0.2067
0.2291	92.0	11500	0.2086
0.2224	93.0	11625	0.2009
0.231	94.0	11750	0.1991
0.2198	95.0	11875	0.2136
0.2223	96.0	12000	0.2140
0.2209	97.0	12125	0.2006
0.221	98.0	12250	0.2053
0.2273	99.0	12375	0.1901
0.2273	100.0	12500	0.1960
0.218	101.0	12625	0.1943
0.2206	102.0	12750	0.1999
0.2243	103.0	12875	0.2039
0.2245	104.0	13000	0.1972
0.2269	105.0	13125	0.2042
0.2278	106.0	13250	0.1981
0.2197	107.0	13375	0.2134
0.2183	108.0	13500	0.2095
0.2222	109.0	13625	0.2123
0.2172	110.0	13750	0.2034
0.2157	111.0	13875	0.1922
0.2165	112.0	14000	0.2151
0.218	113.0	14125	0.2106
0.2268	114.0	14250	0.1957
0.2179	115.0	14375	0.2138
0.2186	116.0	14500	0.1927
0.2221	117.0	14625	0.2025
0.2139	118.0	14750	0.2048
0.2212	119.0	14875	0.2053
0.2211	120.0	15000	0.1995
0.2153	121.0	15125	0.2007
0.2145	122.0	15250	0.1994
0.2152	123.0	15375	0.1901
0.2165	124.0	15500	0.2112
0.2182	125.0	15625	0.1977
0.2181	126.0	15750	0.1831
0.2125	127.0	15875	0.2020
0.2139	128.0	16000	0.2021
0.2143	129.0	16125	0.1927
0.2152	130.0	16250	0.1997
0.2119	131.0	16375	0.2061
0.2121	132.0	16500	0.1961
0.2165	133.0	16625	0.1877
0.212	134.0	16750	0.1891
0.208	135.0	16875	0.2004
0.2087	136.0	17000	0.2104
0.2105	137.0	17125	0.1885
0.2124	138.0	17250	0.1977
0.2184	139.0	17375	0.1940
0.2104	140.0	17500	0.1905
0.2102	141.0	17625	0.1870
0.2142	142.0	17750	0.1869
0.2148	143.0	17875	0.1855
0.2161	144.0	18000	0.1982
0.206	145.0	18125	0.1880
0.2103	146.0	18250	0.1961
0.2105	147.0	18375	0.1961
0.2165	148.0	18500	0.1948
0.2104	149.0	18625	0.2104
0.2104	150.0	18750	0.1938
0.2075	151.0	18875	0.2002
0.2116	152.0	19000	0.1900
0.2093	153.0	19125	0.1928
0.2029	154.0	19250	0.1871
0.2065	155.0	19375	0.1968
0.2046	156.0	19500	0.1913
0.2072	157.0	19625	0.1893
0.2044	158.0	19750	0.1922
0.2081	159.0	19875	0.1993
0.2114	160.0	20000	0.1943
0.2054	161.0	20125	0.1999
0.201	162.0	20250	0.1956
0.2051	163.0	20375	0.1874
0.2077	164.0	20500	0.1953
0.2061	165.0	20625	0.1966
0.2081	166.0	20750	0.2032
0.2015	167.0	20875	0.1852
0.2053	168.0	21000	0.1951
0.2037	169.0	21125	0.2035
0.2093	170.0	21250	0.1945
0.1983	171.0	21375	0.1875
0.2	172.0	21500	0.1846
0.2057	173.0	21625	0.1936
0.2119	174.0	21750	0.1957
0.2068	175.0	21875	0.2052
0.2026	176.0	22000	0.1928
0.2012	177.0	22125	0.1962
0.1973	178.0	22250	0.1892
0.2127	179.0	22375	0.2102
0.2015	180.0	22500	0.1855
0.2044	181.0	22625	0.1912
0.198	182.0	22750	0.1867
0.1974	183.0	22875	0.1840
0.2035	184.0	23000	0.1870
0.2035	185.0	23125	0.1967
0.2108	186.0	23250	0.1778
0.1999	187.0	23375	0.1845
0.2044	188.0	23500	0.1980
0.2004	189.0	23625	0.1964
0.1978	190.0	23750	0.1768
0.2001	191.0	23875	0.1939
0.2003	192.0	24000	0.1894
0.1988	193.0	24125	0.1863
0.1969	194.0	24250	0.1842
0.203	195.0	24375	0.1831
0.2061	196.0	24500	0.1897
0.1985	197.0	24625	0.1923
0.2023	198.0	24750	0.1881
0.1992	199.0	24875	0.1948
0.2021	200.0	25000	0.1968
0.1999	201.0	25125	0.1874
0.1958	202.0	25250	0.1896
0.2002	203.0	25375	0.2087
0.1981	204.0	25500	0.1798
0.1957	205.0	25625	0.1939
0.1979	206.0	25750	0.1950
0.1967	207.0	25875	0.1904
0.2014	208.0	26000	0.1940
0.1958	209.0	26125	0.1940
0.2017	210.0	26250	0.1992
0.1981	211.0	26375	0.1782
0.1944	212.0	26500	0.1853
0.2025	213.0	26625	0.1903
0.1954	214.0	26750	0.1866
0.1936	215.0	26875	0.1976
0.1912	216.0	27000	0.1915
0.1968	217.0	27125	0.1733
0.1962	218.0	27250	0.1914
0.2013	219.0	27375	0.1930
0.1934	220.0	27500	0.1833
0.1977	221.0	27625	0.1891
0.1981	222.0	27750	0.1906
0.2001	223.0	27875	0.1793
0.1962	224.0	28000	0.1888
0.197	225.0	28125	0.1837
0.195	226.0	28250	0.1876
0.195	227.0	28375	0.1875
0.1956	228.0	28500	0.1895
0.1926	229.0	28625	0.1982
0.1929	230.0	28750	0.1866
0.1908	231.0	28875	0.1853
0.1901	232.0	29000	0.1927
0.1965	233.0	29125	0.1810
0.1932	234.0	29250	0.1817
0.1947	235.0	29375	0.1748
0.1894	236.0	29500	0.1748
0.1939	237.0	29625	0.1853
0.1946	238.0	29750	0.1887
0.1916	239.0	29875	0.1759
0.1893	240.0	30000	0.1857
0.1929	241.0	30125	0.1952
0.1909	242.0	30250	0.1979
0.1928	243.0	30375	0.1862
0.1893	244.0	30500	0.1756
0.1849	245.0	30625	0.1869
0.195	246.0	30750	0.1853
0.1924	247.0	30875	0.1908
0.1923	248.0	31000	0.1938
0.1904	249.0	31125	0.1836
0.189	250.0	31250	0.1904
0.1918	251.0	31375	0.1845
0.1855	252.0	31500	0.1934
0.1884	253.0	31625	0.1810
0.1899	254.0	31750	0.1844
0.1917	255.0	31875	0.1865
0.1859	256.0	32000	0.1990
0.1885	257.0	32125	0.1840
0.1924	258.0	32250	0.1913
0.192	259.0	32375	0.1828
0.194	260.0	32500	0.1905
0.1882	261.0	32625	0.1899
0.1909	262.0	32750	0.1967
0.1903	263.0	32875	0.1878
0.1848	264.0	33000	0.1849
0.1924	265.0	33125	0.1869
0.1914	266.0	33250	0.1918
0.1904	267.0	33375	0.1827
0.1874	268.0	33500	0.1850
0.1897	269.0	33625	0.1892
0.1863	270.0	33750	0.1846
0.1867	271.0	33875	0.1897
0.1958	272.0	34000	0.1817
0.1932	273.0	34125	0.1991
0.1911	274.0	34250	0.1825
0.1884	275.0	34375	0.1897
0.1868	276.0	34500	0.1816
0.1903	277.0	34625	0.1835
0.1914	278.0	34750	0.1810
0.1867	279.0	34875	0.1760
0.185	280.0	35000	0.1911
0.185	281.0	35125	0.1826
0.1867	282.0	35250	0.1770
0.1835	283.0	35375	0.1864
0.1904	284.0	35500	0.1788
0.1945	285.0	35625	0.1824
0.1859	286.0	35750	0.1961
0.1795	287.0	35875	0.1848
0.1826	288.0	36000	0.1963
0.1823	289.0	36125	0.1779
0.1878	290.0	36250	0.1821
0.186	291.0	36375	0.1803
0.1863	292.0	36500	0.1803
0.1865	293.0	36625	0.1775
0.1848	294.0	36750	0.1836
0.187	295.0	36875	0.1847
0.1848	296.0	37000	0.1748
0.1809	297.0	37125	0.1753
0.1819	298.0	37250	0.1820
0.1815	299.0	37375	0.1816
0.1913	300.0	37500	0.1889
0.1831	301.0	37625	0.1906
0.1879	302.0	37750	0.1769
0.1843	303.0	37875	0.1752
0.1887	304.0	38000	0.1813
0.1877	305.0	38125	0.1805
0.1894	306.0	38250	0.1947
0.1818	307.0	38375	0.1798
0.1928	308.0	38500	0.1808
0.1823	309.0	38625	0.1821
0.1871	310.0	38750	0.1839
0.1901	311.0	38875	0.1850
0.1809	312.0	39000	0.1779
0.1847	313.0	39125	0.1800
0.1848	314.0	39250	0.1821
0.18	315.0	39375	0.1819
0.1856	316.0	39500	0.1743
0.1792	317.0	39625	0.1836
0.1865	318.0	39750	0.1744
0.1826	319.0	39875	0.1720
0.1811	320.0	40000	0.1902
0.1823	321.0	40125	0.1854
0.183	322.0	40250	0.1946
0.1797	323.0	40375	0.1769
0.1876	324.0	40500	0.1847
0.185	325.0	40625	0.1850
0.1792	326.0	40750	0.1903
0.178	327.0	40875	0.1803
0.1813	328.0	41000	0.1969
0.1865	329.0	41125	0.1952
0.1808	330.0	41250	0.1722
0.1795	331.0	41375	0.1760
0.1836	332.0	41500	0.1817
0.1807	333.0	41625	0.1796
0.1847	334.0	41750	0.1729
0.188	335.0	41875	0.1789
0.1862	336.0	42000	0.1945
0.1781	337.0	42125	0.1946
0.1795	338.0	42250	0.1840
0.1809	339.0	42375	0.1710
0.1859	340.0	42500	0.1770
0.1789	341.0	42625	0.1894
0.1834	342.0	42750	0.1859
0.181	343.0	42875	0.1750
0.1834	344.0	43000	0.1682
0.1804	345.0	43125	0.1901
0.182	346.0	43250	0.1791
0.1738	347.0	43375	0.1874
0.1806	348.0	43500	0.1717
0.1846	349.0	43625	0.1853
0.1833	350.0	43750	0.1703
0.1862	351.0	43875	0.1896
0.1802	352.0	44000	0.2023
0.1826	353.0	44125	0.1908
0.1797	354.0	44250	0.1781
0.1755	355.0	44375	0.1956
0.173	356.0	44500	0.1860
0.1778	357.0	44625	0.1816
0.1821	358.0	44750	0.1833
0.1727	359.0	44875	0.1845
0.179	360.0	45000	0.1764
0.1773	361.0	45125	0.1805
0.1812	362.0	45250	0.1755
0.1814	363.0	45375	0.1767
0.1732	364.0	45500	0.1901
0.184	365.0	45625	0.1817
0.1747	366.0	45750	0.1902
0.1749	367.0	45875	0.1757
0.1805	368.0	46000	0.1786
0.1844	369.0	46125	0.1910
0.1799	370.0	46250	0.1827
0.1755	371.0	46375	0.1745
0.1778	372.0	46500	0.1746
0.1758	373.0	46625	0.1890
0.1775	374.0	46750	0.1684
0.1802	375.0	46875	0.1899
0.1776	376.0	47000	0.1859
0.1817	377.0	47125	0.1934
0.178	378.0	47250	0.1788
0.1804	379.0	47375	0.1956
0.1751	380.0	47500	0.1797
0.1752	381.0	47625	0.1707
0.1776	382.0	47750	0.1779
0.1783	383.0	47875	0.1694
0.1777	384.0	48000	0.1757
0.1786	385.0	48125	0.1755
0.1759	386.0	48250	0.1666
0.1807	387.0	48375	0.1666
0.1778	388.0	48500	0.1869
0.1756	389.0	48625	0.1785
0.182	390.0	48750	0.1890
0.1826	391.0	48875	0.1804
0.1792	392.0	49000	0.1653
0.1727	393.0	49125	0.1755
0.1803	394.0	49250	0.1965
0.1708	395.0	49375	0.2001
0.1792	396.0	49500	0.1707
0.1745	397.0	49625	0.1894
0.1776	398.0	49750	0.1839
0.1752	399.0	49875	0.1858
0.1762	400.0	50000	0.1737
0.1745	401.0	50125	0.1763
0.1754	402.0	50250	0.1910
0.1802	403.0	50375	0.1933
0.1814	404.0	50500	0.1740
0.1722	405.0	50625	0.1753
0.1789	406.0	50750	0.1808
0.1714	407.0	50875	0.1993
0.1742	408.0	51000	0.1798
0.1691	409.0	51125	0.1890
0.1794	410.0	51250	0.1686
0.1772	411.0	51375	0.1910
0.1735	412.0	51500	0.1886
0.1769	413.0	51625	0.1786
0.1731	414.0	51750	0.1862
0.1708	415.0	51875	0.1851
0.1772	416.0	52000	0.1783
0.1779	417.0	52125	0.1746
0.174	418.0	52250	0.1773
0.1759	419.0	52375	0.1755
0.1767	420.0	52500	0.1813
0.1751	421.0	52625	0.1910
0.1792	422.0	52750	0.1767
0.1753	423.0	52875	0.1766
0.173	424.0	53000	0.1751
0.171	425.0	53125	0.1833
0.1757	426.0	53250	0.1798
0.1789	427.0	53375	0.1855
0.1738	428.0	53500	0.1779
0.1758	429.0	53625	0.1646
0.1746	430.0	53750	0.1740
0.1725	431.0	53875	0.1807
0.1735	432.0	54000	0.1825
0.1741	433.0	54125	0.1807
0.1737	434.0	54250	0.1805
0.1738	435.0	54375	0.1749
0.1743	436.0	54500	0.1753
0.1835	437.0	54625	0.1808
0.179	438.0	54750	0.1699
0.172	439.0	54875	0.1752
0.1766	440.0	55000	0.1766
0.1762	441.0	55125	0.1870
0.1746	442.0	55250	0.1743
0.175	443.0	55375	0.1762
0.1692	444.0	55500	0.1751
0.1731	445.0	55625	0.1833
0.1697	446.0	55750	0.1777
0.1718	447.0	55875	0.1780
0.1692	448.0	56000	0.1804
0.1661	449.0	56125	0.1890
0.1757	450.0	56250	0.1926
0.1701	451.0	56375	0.1866
0.1753	452.0	56500	0.1775
0.1733	453.0	56625	0.1739
0.1741	454.0	56750	0.1734
0.1673	455.0	56875	0.1771
0.1747	456.0	57000	0.1734
0.1692	457.0	57125	0.1814
0.1695	458.0	57250	0.1820
0.1707	459.0	57375	0.1810
0.1657	460.0	57500	0.1765
0.169	461.0	57625	0.1725
0.1721	462.0	57750	0.1830
0.1666	463.0	57875	0.1720
0.1679	464.0	58000	0.1745
0.1696	465.0	58125	0.1853
0.1671	466.0	58250	0.1756
0.1703	467.0	58375	0.1847
0.1814	468.0	58500	0.1840
0.1744	469.0	58625	0.1862
0.1712	470.0	58750	0.1794
0.1744	471.0	58875	0.1793
0.1706	472.0	59000	0.1620
0.1706	473.0	59125	0.1793
0.1744	474.0	59250	0.1838
0.1668	475.0	59375	0.1705
0.1711	476.0	59500	0.1823
0.1745	477.0	59625	0.1737
0.1713	478.0	59750	0.1690
0.1713	479.0	59875	0.1870
0.178	480.0	60000	0.1758
0.1705	481.0	60125	0.1629
0.1648	482.0	60250	0.1880
0.173	483.0	60375	0.1760
0.1744	484.0	60500	0.1790
0.1751	485.0	60625	0.1751
0.1733	486.0	60750	0.1735
0.1652	487.0	60875	0.1957
0.1671	488.0	61000	0.1904
0.174	489.0	61125	0.1823
0.1731	490.0	61250	0.1756
0.1732	491.0	61375	0.1905
0.1746	492.0	61500	0.1648
0.1719	493.0	61625	0.1812
0.1702	494.0	61750	0.1866
0.1694	495.0	61875	0.1837
0.1675	496.0	62000	0.1753
0.1702	497.0	62125	0.1748
0.1645	498.0	62250	0.1835
0.1706	499.0	62375	0.1835
0.1688	500.0	62500	0.1663

Framework versions

• Transformers 4.33.2
• Pytorch 2.0.1+cu118
• Datasets 2.14.5
• Tokenizers 0.13.3