train_mrpc_1744902650

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the mrpc dataset. It achieves the following results on the evaluation set:

• Loss: 0.1346
• Num Input Tokens Seen: 69324064

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.2244	0.9685	200	0.1962	346816
0.1918	1.9395	400	0.1881	694112
0.1536	2.9104	600	0.1850	1040448
0.1504	3.8814	800	0.1776	1386944
0.1755	4.8523	1000	0.1746	1733568
0.1771	5.8232	1200	0.1786	2080576
0.1558	6.7942	1400	0.1688	2428000
0.1238	7.7651	1600	0.1706	2772832
0.1199	8.7361	1800	0.1651	3119936
0.1868	9.7070	2000	0.1700	3464864
0.1499	10.6780	2200	0.1619	3812608
0.1786	11.6489	2400	0.1612	4157312
0.1341	12.6199	2600	0.1547	4504256
0.1369	13.5908	2800	0.1599	4850880
0.1649	14.5617	3000	0.1585	5197664
0.1475	15.5327	3200	0.1579	5543392
0.1337	16.5036	3400	0.1543	5889024
0.1319	17.4746	3600	0.1573	6234688
0.1299	18.4455	3800	0.1530	6580608
0.1197	19.4165	4000	0.1536	6926432
0.1744	20.3874	4200	0.1596	7272896
0.1424	21.3584	4400	0.1483	7618208
0.1229	22.3293	4600	0.1563	7965376
0.1187	23.3002	4800	0.1504	8312352
0.1098	24.2712	5000	0.1433	8657568
0.1274	25.2421	5200	0.1454	9004576
0.1182	26.2131	5400	0.1488	9351552
0.127	27.1840	5600	0.1462	9699840
0.0553	28.1550	5800	0.1458	10045120
0.1225	29.1259	6000	0.1419	10392096
0.0949	30.0969	6200	0.1513	10738624
0.1178	31.0678	6400	0.1398	11084512
0.1053	32.0387	6600	0.1401	11432096
0.1312	33.0097	6800	0.1385	11779520
0.1573	33.9782	7000	0.1437	12126016
0.0921	34.9492	7200	0.1377	12472160
0.1304	35.9201	7400	0.1469	12819680
0.0748	36.8910	7600	0.1373	13166368
0.1233	37.8620	7800	0.1417	13513280
0.0945	38.8329	8000	0.1363	13860256
0.0818	39.8039	8200	0.1395	14205856
0.1278	40.7748	8400	0.1396	14553152
0.1151	41.7458	8600	0.1350	14898752
0.1024	42.7167	8800	0.1427	15245344
0.0798	43.6877	9000	0.1422	15590560
0.1077	44.6586	9200	0.1427	15939776
0.0844	45.6295	9400	0.1519	16286016
0.0794	46.6005	9600	0.1351	16633088
0.1168	47.5714	9800	0.1458	16978656
0.0707	48.5424	10000	0.1447	17325024
0.1021	49.5133	10200	0.1464	17673440
0.0732	50.4843	10400	0.1346	18018272
0.057	51.4552	10600	0.1434	18364992
0.0978	52.4262	10800	0.1405	18710720
0.073	53.3971	11000	0.1381	19057408
0.0918	54.3680	11200	0.1367	19403360
0.0946	55.3390	11400	0.1353	19749408
0.0784	56.3099	11600	0.1381	20096416
0.1012	57.2809	11800	0.1463	20442944
0.0702	58.2518	12000	0.1367	20789120
0.0572	59.2228	12200	0.1430	21136768
0.1031	60.1937	12400	0.1415	21482944
0.0828	61.1646	12600	0.1522	21830400
0.0685	62.1356	12800	0.1439	22177696
0.0505	63.1065	13000	0.1456	22523776
0.0524	64.0775	13200	0.1431	22871744
0.0828	65.0484	13400	0.1434	23218432
0.0925	66.0194	13600	0.1545	23565280
0.0414	66.9879	13800	0.1469	23911616
0.0926	67.9588	14000	0.1423	24257984
0.0685	68.9298	14200	0.1507	24604960
0.1582	69.9007	14400	0.1599	24951648
0.0602	70.8717	14600	0.1546	25297664
0.0812	71.8426	14800	0.1617	25644032
0.0638	72.8136	15000	0.1513	25989408
0.0733	73.7845	15200	0.1505	26337760
0.0582	74.7554	15400	0.1678	26684800
0.0537	75.7264	15600	0.1564	27029856
0.0615	76.6973	15800	0.1598	27376160
0.0463	77.6683	16000	0.1575	27723904
0.062	78.6392	16200	0.1646	28071104
0.0489	79.6102	16400	0.1548	28417344
0.0723	80.5811	16600	0.1537	28766240
0.0761	81.5521	16800	0.1655	29111104
0.081	82.5230	17000	0.1558	29456800
0.0595	83.4939	17200	0.1701	29804640
0.0672	84.4649	17400	0.1776	30151168
0.0587	85.4358	17600	0.1601	30497536
0.0569	86.4068	17800	0.1593	30845536
0.0511	87.3777	18000	0.1652	31191456
0.0468	88.3487	18200	0.1683	31539136
0.0538	89.3196	18400	0.1788	31884000
0.0804	90.2906	18600	0.1819	32231584
0.0524	91.2615	18800	0.1744	32577088
0.0568	92.2324	19000	0.1737	32924768
0.0289	93.2034	19200	0.1811	33271392
0.051	94.1743	19400	0.1772	33619232
0.0731	95.1453	19600	0.1872	33965280
0.0821	96.1162	19800	0.1895	34311712
0.055	97.0872	20000	0.1805	34658112
0.0294	98.0581	20200	0.1813	35004384
0.0776	99.0291	20400	0.2008	35351392
0.0505	99.9976	20600	0.1912	35698272
0.0266	100.9685	20800	0.1915	36045088
0.0737	101.9395	21000	0.2107	36391968
0.0342	102.9104	21200	0.1845	36739040
0.0368	103.8814	21400	0.1940	37084768
0.0527	104.8523	21600	0.2040	37431808
0.0441	105.8232	21800	0.1975	37779232
0.0475	106.7942	22000	0.2045	38126112
0.0552	107.7651	22200	0.1974	38472672
0.0325	108.7361	22400	0.1975	38818464
0.042	109.7070	22600	0.2076	39165472
0.0393	110.6780	22800	0.2216	39511328
0.0416	111.6489	23000	0.2190	39858048
0.0626	112.6199	23200	0.2097	40205184
0.0357	113.5908	23400	0.2135	40552448
0.029	114.5617	23600	0.2149	40899872
0.0358	115.5327	23800	0.2264	41246848
0.0492	116.5036	24000	0.2084	41593088
0.0455	117.4746	24200	0.2388	41938464
0.0615	118.4455	24400	0.2249	42284064
0.0326	119.4165	24600	0.2143	42631296
0.1058	120.3874	24800	0.2096	42976992
0.0347	121.3584	25000	0.2289	43321920
0.0507	122.3293	25200	0.2206	43669344
0.0178	123.3002	25400	0.2284	44016096
0.0628	124.2712	25600	0.2192	44363232
0.0478	125.2421	25800	0.2342	44706400
0.0501	126.2131	26000	0.2404	45054080
0.0327	127.1840	26200	0.2278	45400864
0.0399	128.1550	26400	0.2368	45746688
0.0301	129.1259	26600	0.2504	46093216
0.02	130.0969	26800	0.2547	46440960
0.0499	131.0678	27000	0.2402	46785984
0.0258	132.0387	27200	0.2453	47133856
0.0421	133.0097	27400	0.2474	47481088
0.0383	133.9782	27600	0.2421	47827904
0.0283	134.9492	27800	0.2509	48175392
0.0151	135.9201	28000	0.2335	48521536
0.0423	136.8910	28200	0.2454	48867904
0.0442	137.8620	28400	0.2565	49212704
0.0171	138.8329	28600	0.2545	49561312
0.0631	139.8039	28800	0.2582	49907264
0.0607	140.7748	29000	0.2605	50254720
0.0427	141.7458	29200	0.2611	50600480
0.0139	142.7167	29400	0.2551	50947456
0.0496	143.6877	29600	0.2523	51295040
0.0368	144.6586	29800	0.2561	51641376
0.0338	145.6295	30000	0.2605	51988288
0.0225	146.6005	30200	0.2646	52334112
0.0235	147.5714	30400	0.2674	52683008
0.0607	148.5424	30600	0.2600	53028128
0.0191	149.5133	30800	0.2690	53374400
0.0128	150.4843	31000	0.2567	53720704
0.0098	151.4552	31200	0.2568	54067392
0.0184	152.4262	31400	0.2692	54414880
0.0348	153.3971	31600	0.2698	54760672
0.0196	154.3680	31800	0.2725	55106400
0.0536	155.3390	32000	0.2705	55452512
0.0217	156.3099	32200	0.2659	55798400
0.0144	157.2809	32400	0.2646	56146592
0.021	158.2518	32600	0.2666	56493696
0.0414	159.2228	32800	0.2737	56840064
0.0486	160.1937	33000	0.2623	57186368
0.0291	161.1646	33200	0.2709	57532416
0.0202	162.1356	33400	0.2825	57880832
0.0182	163.1065	33600	0.2800	58227680
0.0113	164.0775	33800	0.2821	58574880
0.0097	165.0484	34000	0.2670	58922528
0.024	166.0194	34200	0.2745	59269760
0.009	166.9879	34400	0.2712	59615872
0.0231	167.9588	34600	0.2725	59962368
0.0259	168.9298	34800	0.2647	60308640
0.0137	169.9007	35000	0.2900	60655616
0.0395	170.8717	35200	0.2780	61003136
0.0247	171.8426	35400	0.2830	61350016
0.0107	172.8136	35600	0.2773	61696224
0.0334	173.7845	35800	0.2698	62044256
0.0301	174.7554	36000	0.2739	62389792
0.0115	175.7264	36200	0.2739	62738496
0.0328	176.6973	36400	0.2808	63084544
0.042	177.6683	36600	0.2885	63431712
0.0145	178.6392	36800	0.2799	63778656
0.0206	179.6102	37000	0.2792	64124736
0.0274	180.5811	37200	0.2714	64471808
0.0085	181.5521	37400	0.2799	64820352
0.0183	182.5230	37600	0.2737	65167904
0.013	183.4939	37800	0.2703	65513280
0.0215	184.4649	38000	0.2746	65859136
0.0186	185.4358	38200	0.2739	66205888
0.0121	186.4068	38400	0.2708	66552576
0.0631	187.3777	38600	0.2737	66899904
0.0085	188.3487	38800	0.2769	67245856
0.0166	189.3196	39000	0.2763	67591648
0.044	190.2906	39200	0.2758	67937440
0.0242	191.2615	39400	0.2790	68285088
0.0098	192.2324	39600	0.2790	68631104
0.0137	193.2034	39800	0.2790	68978016
0.0276	194.1743	40000	0.2790	69324064

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1