train_multirc_1745950259

This model is a fine-tuned version of google/gemma-3-1b-it on the multirc dataset. It achieves the following results on the evaluation set:

• Loss: 0.1614
• Num Input Tokens Seen: 76963024

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.2484	0.0326	200	0.6355	385088
0.3208	0.0653	400	0.4245	770352
0.1411	0.0979	600	0.3163	1160480
0.2614	0.1305	800	0.2726	1543296
0.2522	0.1631	1000	0.2444	1931808
0.2371	0.1958	1200	0.2288	2315744
0.1397	0.2284	1400	0.2195	2710208
0.1629	0.2610	1600	0.2126	3095216
0.2661	0.2937	1800	0.2071	3483504
0.2605	0.3263	2000	0.2013	3872976
0.2698	0.3589	2200	0.2015	4254272
0.2451	0.3915	2400	0.1960	4637376
0.2687	0.4242	2600	0.1969	5019664
0.324	0.4568	2800	0.1926	5406912
0.2514	0.4894	3000	0.1911	5786080
0.2455	0.5221	3200	0.1902	6167600
0.2054	0.5547	3400	0.1880	6553904
0.1655	0.5873	3600	0.1872	6936656
0.1806	0.6200	3800	0.1866	7321136
0.2114	0.6526	4000	0.1875	7709856
0.124	0.6852	4200	0.1841	8100560
0.1888	0.7178	4400	0.1841	8482208
0.1977	0.7505	4600	0.1823	8868016
0.2002	0.7831	4800	0.1807	9254560
0.1195	0.8157	5000	0.1825	9634544
0.1446	0.8484	5200	0.1820	10013984
0.1921	0.8810	5400	0.1796	10397792
0.194	0.9136	5600	0.1783	10784512
0.1986	0.9462	5800	0.1780	11165168
0.2217	0.9789	6000	0.1781	11553056
0.2011	1.0114	6200	0.1776	11940352
0.2058	1.0440	6400	0.1768	12331920
0.2058	1.0767	6600	0.1772	12726352
0.2139	1.1093	6800	0.1757	13105200
0.254	1.1419	7000	0.1751	13483648
0.0881	1.1746	7200	0.1752	13862816
0.1533	1.2072	7400	0.1754	14252288
0.1656	1.2398	7600	0.1745	14638816
0.2036	1.2725	7800	0.1748	15024560
0.1034	1.3051	8000	0.1758	15412000
0.194	1.3377	8200	0.1751	15789456
0.134	1.3703	8400	0.1731	16173616
0.1653	1.4030	8600	0.1771	16558464
0.174	1.4356	8800	0.1735	16945488
0.1719	1.4682	9000	0.1729	17338800
0.1527	1.5009	9200	0.1726	17729104
0.2196	1.5335	9400	0.1728	18107328
0.1493	1.5661	9600	0.1767	18497776
0.1614	1.5987	9800	0.1728	18881008
0.2694	1.6314	10000	0.1714	19266960
0.1692	1.6640	10200	0.1706	19650480
0.2029	1.6966	10400	0.1702	20041120
0.1037	1.7293	10600	0.1705	20421120
0.2118	1.7619	10800	0.1697	20808496
0.2037	1.7945	11000	0.1726	21195024
0.2269	1.8271	11200	0.1699	21570368
0.1764	1.8598	11400	0.1694	21950896
0.2841	1.8924	11600	0.1693	22333376
0.1231	1.9250	11800	0.1703	22714512
0.1654	1.9577	12000	0.1687	23099888
0.1695	1.9903	12200	0.1687	23482400
0.1833	2.0228	12400	0.1690	23860160
0.2318	2.0555	12600	0.1691	24249008
0.2494	2.0881	12800	0.1683	24639552
0.1944	2.1207	13000	0.1723	25026880
0.1707	2.1534	13200	0.1685	25410448
0.1489	2.1860	13400	0.1681	25785744
0.1268	2.2186	13600	0.1742	26163104
0.2354	2.2512	13800	0.1676	26546240
0.1276	2.2839	14000	0.1677	26923408
0.2175	2.3165	14200	0.1709	27309344
0.1811	2.3491	14400	0.1698	27698752
0.1945	2.3818	14600	0.1669	28082208
0.2164	2.4144	14800	0.1673	28468576
0.2	2.4470	15000	0.1673	28856272
0.2092	2.4796	15200	0.1678	29234704
0.1251	2.5123	15400	0.1681	29617728
0.23	2.5449	15600	0.1666	30004032
0.1796	2.5775	15800	0.1663	30386752
0.0725	2.6102	16000	0.1655	30774224
0.2443	2.6428	16200	0.1665	31164304
0.1942	2.6754	16400	0.1668	31548832
0.1799	2.7081	16600	0.1668	31943568
0.1525	2.7407	16800	0.1663	32327088
0.1352	2.7733	17000	0.1655	32713728
0.2005	2.8059	17200	0.1700	33093744
0.2382	2.8386	17400	0.1654	33484336
0.1283	2.8712	17600	0.1656	33875072
0.2451	2.9038	17800	0.1645	34264832
0.1448	2.9365	18000	0.1656	34652800
0.17	2.9691	18200	0.1649	35036144
0.1508	3.0016	18400	0.1654	35410304
0.1096	3.0343	18600	0.1642	35808688
0.1706	3.0669	18800	0.1640	36200720
0.2372	3.0995	19000	0.1647	36580112
0.149	3.1321	19200	0.1643	36961872
0.2051	3.1648	19400	0.1641	37345136
0.0988	3.1974	19600	0.1647	37732992
0.1688	3.2300	19800	0.1667	38118784
0.1648	3.2627	20000	0.1640	38503392
0.1908	3.2953	20200	0.1642	38885696
0.1063	3.3279	20400	0.1656	39270320
0.155	3.3606	20600	0.1640	39665472
0.2497	3.3932	20800	0.1639	40049680
0.2037	3.4258	21000	0.1644	40436560
0.1391	3.4584	21200	0.1637	40820704
0.2608	3.4911	21400	0.1642	41202080
0.1417	3.5237	21600	0.1652	41588560
0.0863	3.5563	21800	0.1644	41977888
0.1849	3.5890	22000	0.1629	42361392
0.1323	3.6216	22200	0.1650	42746416
0.159	3.6542	22400	0.1663	43126400
0.1628	3.6868	22600	0.1630	43513248
0.1948	3.7195	22800	0.1637	43896720
0.1135	3.7521	23000	0.1630	44278640
0.124	3.7847	23200	0.1632	44666464
0.1919	3.8174	23400	0.1653	45047360
0.1369	3.8500	23600	0.1636	45426496
0.197	3.8826	23800	0.1654	45813536
0.2109	3.9152	24000	0.1666	46192656
0.1359	3.9479	24200	0.1633	46576928
0.1656	3.9805	24400	0.1634	46965120
0.1318	4.0131	24600	0.1656	47347920
0.1612	4.0457	24800	0.1625	47741360
0.152	4.0783	25000	0.1624	48131120
0.1178	4.1109	25200	0.1625	48513200
0.1465	4.1436	25400	0.1631	48894496
0.2268	4.1762	25600	0.1626	49280736
0.2154	4.2088	25800	0.1622	49662304
0.1038	4.2415	26000	0.1629	50049312
0.189	4.2741	26200	0.1634	50433008
0.1928	4.3067	26400	0.1635	50815824
0.1498	4.3393	26600	0.1632	51200224
0.1832	4.3720	26800	0.1630	51585680
0.2309	4.4046	27000	0.1631	51969184
0.1372	4.4372	27200	0.1623	52363216
0.1387	4.4699	27400	0.1629	52737552
0.1246	4.5025	27600	0.1627	53112128
0.0982	4.5351	27800	0.1627	53489200
0.1712	4.5677	28000	0.1630	53870832
0.1486	4.6004	28200	0.1627	54260848
0.2301	4.6330	28400	0.1625	54647840
0.1798	4.6656	28600	0.1618	55035376
0.2457	4.6983	28800	0.1620	55421296
0.1169	4.7309	29000	0.1624	55807776
0.1411	4.7635	29200	0.1630	56188960
0.1717	4.7961	29400	0.1626	56576864
0.1064	4.8288	29600	0.1618	56959888
0.1472	4.8614	29800	0.1634	57347776
0.1702	4.8940	30000	0.1622	57727072
0.1703	4.9267	30200	0.1624	58119904
0.1409	4.9593	30400	0.1627	58503776
0.132	4.9919	30600	0.1619	58892528
0.15	5.0245	30800	0.1623	59278112
0.1254	5.0571	31000	0.1631	59663264
0.0984	5.0897	31200	0.1628	60047056
0.2309	5.1224	31400	0.1617	60433680
0.1656	5.1550	31600	0.1620	60809376
0.1558	5.1876	31800	0.1621	61186608
0.0815	5.2202	32000	0.1618	61567504
0.1143	5.2529	32200	0.1623	61958976
0.1347	5.2855	32400	0.1614	62346176
0.2239	5.3181	32600	0.1621	62734064
0.189	5.3508	32800	0.1617	63124752
0.1051	5.3834	33000	0.1626	63517792
0.1161	5.4160	33200	0.1621	63894896
0.1412	5.4486	33400	0.1620	64277584
0.2505	5.4813	33600	0.1624	64661856
0.0739	5.5139	33800	0.1620	65043136
0.1443	5.5465	34000	0.1618	65439360
0.1029	5.5792	34200	0.1620	65819600
0.1551	5.6118	34400	0.1620	66199376
0.1125	5.6444	34600	0.1617	66583936
0.1913	5.6771	34800	0.1619	66968960
0.1412	5.7097	35000	0.1618	67361344
0.2458	5.7423	35200	0.1619	67746288
0.2288	5.7749	35400	0.1618	68131952
0.1375	5.8076	35600	0.1620	68514656
0.1579	5.8402	35800	0.1631	68904544
0.2005	5.8728	36000	0.1620	69286320
0.1358	5.9055	36200	0.1623	69676640
0.1665	5.9381	36400	0.1621	70057024
0.1923	5.9707	36600	0.1620	70432848
0.0917	6.0033	36800	0.1620	70819440
0.173	6.0359	37000	0.1625	71203008
0.2115	6.0685	37200	0.1620	71588672
0.1411	6.1012	37400	0.1619	71972608
0.1135	6.1338	37600	0.1623	72358032
0.2256	6.1664	37800	0.1626	72749840
0.1064	6.1990	38000	0.1618	73128448
0.2192	6.2317	38200	0.1617	73518048
0.2084	6.2643	38400	0.1621	73911328
0.1655	6.2969	38600	0.1624	74293168
0.1889	6.3296	38800	0.1620	74668864
0.1041	6.3622	39000	0.1622	75058640
0.1833	6.3948	39200	0.1625	75440784
0.188	6.4274	39400	0.1623	75822528
0.1771	6.4601	39600	0.1623	76198368
0.1381	6.4927	39800	0.1623	76581104
0.1757	6.5253	40000	0.1623	76963024

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1