train_mnli_1744902583

This model is a fine-tuned version of google/gemma-3-1b-it on the mnli dataset. It achieves the following results on the evaluation set:

• Loss: 0.1431
• Num Input Tokens Seen: 64338040

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
1.0008	0.0091	200	1.0761	320544
0.4345	0.0181	400	0.6162	640416
0.3422	0.0272	600	0.3727	964160
0.393	0.0362	800	0.2813	1285344
0.2407	0.0453	1000	0.2493	1608256
0.3042	0.0543	1200	0.2353	1932352
0.2108	0.0634	1400	0.2252	2252192
0.1865	0.0724	1600	0.2188	2579136
0.1768	0.0815	1800	0.2139	2898880
0.2349	0.0905	2000	0.2095	3221312
0.1955	0.0996	2200	0.2075	3542752
0.2041	0.1086	2400	0.2020	3866688
0.1775	0.1177	2600	0.2009	4189440
0.1858	0.1268	2800	0.1970	4512768
0.1975	0.1358	3000	0.1939	4833792
0.165	0.1449	3200	0.1914	5157664
0.1926	0.1539	3400	0.1891	5479168
0.2202	0.1630	3600	0.1885	5803680
0.2021	0.1720	3800	0.1863	6125472
0.174	0.1811	4000	0.1844	6448128
0.1662	0.1901	4200	0.1830	6771360
0.1894	0.1992	4400	0.1820	7097088
0.1514	0.2082	4600	0.1806	7418432
0.1859	0.2173	4800	0.1782	7739200
0.1568	0.2264	5000	0.1770	8062528
0.1878	0.2354	5200	0.1754	8382240
0.1906	0.2445	5400	0.1749	8703872
0.1772	0.2535	5600	0.1753	9021760
0.1937	0.2626	5800	0.1727	9343744
0.147	0.2716	6000	0.1714	9663168
0.164	0.2807	6200	0.1708	9983680
0.1614	0.2897	6400	0.1703	10305504
0.1803	0.2988	6600	0.1687	10628064
0.1838	0.3078	6800	0.1682	10947264
0.1569	0.3169	7000	0.1694	11268736
0.1212	0.3259	7200	0.1668	11593952
0.1893	0.3350	7400	0.1659	11912448
0.1358	0.3441	7600	0.1651	12230144
0.142	0.3531	7800	0.1653	12551712
0.1556	0.3622	8000	0.1644	12870016
0.1632	0.3712	8200	0.1633	13192096
0.17	0.3803	8400	0.1653	13513696
0.1119	0.3893	8600	0.1624	13838880
0.1607	0.3984	8800	0.1627	14159072
0.1202	0.4074	9000	0.1620	14481184
0.1507	0.4165	9200	0.1618	14802624
0.1725	0.4255	9400	0.1608	15129216
0.1272	0.4346	9600	0.1600	15445632
0.1594	0.4436	9800	0.1609	15768224
0.1255	0.4527	10000	0.1598	16090112
0.1446	0.4618	10200	0.1594	16413248
0.1584	0.4708	10400	0.1588	16741440
0.183	0.4799	10600	0.1584	17061536
0.1133	0.4889	10800	0.1576	17383360
0.1505	0.4980	11000	0.1571	17708608
0.1562	0.5070	11200	0.1568	18032288
0.173	0.5161	11400	0.1573	18353024
0.1788	0.5251	11600	0.1566	18677184
0.1536	0.5342	11800	0.1596	18999136
0.1596	0.5432	12000	0.1562	19316576
0.1599	0.5523	12200	0.1551	19640544
0.1393	0.5614	12400	0.1545	19959648
0.1228	0.5704	12600	0.1544	20279232
0.11	0.5795	12800	0.1563	20601792
0.1337	0.5885	13000	0.1542	20923456
0.1557	0.5976	13200	0.1537	21242368
0.1648	0.6066	13400	0.1544	21561952
0.1715	0.6157	13600	0.1528	21881856
0.1488	0.6247	13800	0.1547	22210080
0.1782	0.6338	14000	0.1526	22529216
0.1417	0.6428	14200	0.1523	22849376
0.1364	0.6519	14400	0.1525	23171168
0.159	0.6609	14600	0.1532	23493152
0.1592	0.6700	14800	0.1527	23815360
0.1641	0.6791	15000	0.1515	24137696
0.1118	0.6881	15200	0.1517	24455584
0.1373	0.6972	15400	0.1513	24779040
0.1566	0.7062	15600	0.1508	25099584
0.1176	0.7153	15800	0.1510	25420512
0.1357	0.7243	16000	0.1507	25746912
0.1514	0.7334	16200	0.1516	26070048
0.1751	0.7424	16400	0.1502	26389952
0.1592	0.7515	16600	0.1500	26706080
0.1665	0.7605	16800	0.1510	27029344
0.1348	0.7696	17000	0.1500	27349920
0.1204	0.7787	17200	0.1505	27671008
0.1408	0.7877	17400	0.1491	27993280
0.1473	0.7968	17600	0.1493	28319712
0.1282	0.8058	17800	0.1488	28640832
0.1448	0.8149	18000	0.1504	28964096
0.1576	0.8239	18200	0.1487	29286752
0.1442	0.8330	18400	0.1493	29606528
0.1437	0.8420	18600	0.1511	29925408
0.1293	0.8511	18800	0.1486	30247104
0.1282	0.8601	19000	0.1483	30566528
0.1247	0.8692	19200	0.1481	30887744
0.0964	0.8782	19400	0.1484	31208352
0.1624	0.8873	19600	0.1482	31526720
0.152	0.8964	19800	0.1474	31848736
0.174	0.9054	20000	0.1473	32169056
0.1181	0.9145	20200	0.1470	32490752
0.1135	0.9235	20400	0.1472	32813120
0.1153	0.9326	20600	0.1474	33133696
0.1264	0.9416	20800	0.1477	33452320
0.1549	0.9507	21000	0.1467	33776032
0.1469	0.9597	21200	0.1468	34099680
0.1443	0.9688	21400	0.1474	34424928
0.1377	0.9778	21600	0.1464	34748544
0.1307	0.9869	21800	0.1463	35071104
0.128	0.9959	22000	0.1472	35388960
0.0938	1.0050	22200	0.1461	35712792
0.1508	1.0140	22400	0.1469	36032952
0.1698	1.0231	22600	0.1460	36353656
0.157	1.0321	22800	0.1457	36671480
0.1168	1.0412	23000	0.1466	36990680
0.0976	1.0503	23200	0.1460	37312248
0.1567	1.0593	23400	0.1457	37633848
0.1533	1.0684	23600	0.1462	37954104
0.1638	1.0774	23800	0.1459	38272056
0.1458	1.0865	24000	0.1454	38594968
0.1605	1.0955	24200	0.1457	38918264
0.1375	1.1046	24400	0.1453	39242584
0.1434	1.1136	24600	0.1451	39566872
0.1207	1.1227	24800	0.1454	39889656
0.137	1.1317	25000	0.1452	40209528
0.1206	1.1408	25200	0.1451	40535352
0.1382	1.1498	25400	0.1448	40858264
0.1518	1.1589	25600	0.1452	41182296
0.1182	1.1680	25800	0.1448	41502296
0.1384	1.1770	26000	0.1446	41824280
0.1282	1.1861	26200	0.1448	42148504
0.1589	1.1951	26400	0.1450	42470008
0.1303	1.2042	26600	0.1452	42789400
0.1889	1.2132	26800	0.1449	43109688
0.0996	1.2223	27000	0.1445	43433720
0.1313	1.2313	27200	0.1444	43755288
0.1475	1.2404	27400	0.1448	44072376
0.1867	1.2494	27600	0.1443	44391832
0.1318	1.2585	27800	0.1448	44714776
0.138	1.2675	28000	0.1449	45035480
0.1451	1.2766	28200	0.1442	45354808
0.1608	1.2857	28400	0.1441	45678200
0.1368	1.2947	28600	0.1445	45998328
0.193	1.3038	28800	0.1440	46314552
0.1264	1.3128	29000	0.1441	46639640
0.1665	1.3219	29200	0.1440	46962616
0.1297	1.3309	29400	0.1441	47284152
0.1252	1.3400	29600	0.1442	47605208
0.127	1.3490	29800	0.1438	47925944
0.1625	1.3581	30000	0.1442	48250168
0.1181	1.3671	30200	0.1437	48570040
0.1558	1.3762	30400	0.1440	48891448
0.1246	1.3853	30600	0.1437	49216568
0.1452	1.3943	30800	0.1440	49535352
0.1331	1.4034	31000	0.1437	49859864
0.1442	1.4124	31200	0.1438	50183160
0.1307	1.4215	31400	0.1439	50505176
0.1283	1.4305	31600	0.1441	50823608
0.1138	1.4396	31800	0.1442	51142072
0.1366	1.4486	32000	0.1437	51462648
0.1234	1.4577	32200	0.1447	51788568
0.134	1.4667	32400	0.1435	52107544
0.1197	1.4758	32600	0.1438	52430680
0.1917	1.4848	32800	0.1441	52750648
0.179	1.4939	33000	0.1439	53070040
0.1157	1.5030	33200	0.1439	53392248
0.1338	1.5120	33400	0.1437	53715256
0.1238	1.5211	33600	0.1434	54035320
0.1594	1.5301	33800	0.1437	54359832
0.1076	1.5392	34000	0.1435	54681080
0.0996	1.5482	34200	0.1432	55004920
0.1136	1.5573	34400	0.1433	55328216
0.1068	1.5663	34600	0.1435	55651352
0.1269	1.5754	34800	0.1433	55973688
0.099	1.5844	35000	0.1437	56295192
0.1574	1.5935	35200	0.1436	56617656
0.1345	1.6025	35400	0.1433	56938168
0.1602	1.6116	35600	0.1435	57260536
0.136	1.6207	35800	0.1434	57581848
0.1444	1.6297	36000	0.1437	57900760
0.1473	1.6388	36200	0.1441	58226104
0.1587	1.6478	36400	0.1433	58548024
0.142	1.6569	36600	0.1435	58869400
0.1227	1.6659	36800	0.1437	59192472
0.138	1.6750	37000	0.1437	59516888
0.1185	1.6840	37200	0.1435	59840056
0.0866	1.6931	37400	0.1435	60166712
0.1334	1.7021	37600	0.1438	60488984
0.1368	1.7112	37800	0.1434	60810360
0.1189	1.7203	38000	0.1436	61132280
0.1546	1.7293	38200	0.1432	61456312
0.1326	1.7384	38400	0.1436	61776888
0.1584	1.7474	38600	0.1436	62093144
0.1069	1.7565	38800	0.1433	62410264
0.1101	1.7655	39000	0.1433	62732824
0.1397	1.7746	39200	0.1431	63054168
0.1819	1.7836	39400	0.1433	63375640
0.1069	1.7927	39600	0.1434	63697560
0.1161	1.8017	39800	0.1433	64016568
0.1234	1.8108	40000	0.1433	64338040

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1