train_cola_1744902676

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the cola dataset. It achieves the following results on the evaluation set:

• Loss: 0.2180
• Num Input Tokens Seen: 28700680

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.3
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.2387	0.4158	200	0.2220	143936
0.2187	0.8316	400	0.2210	287392
0.2391	1.2474	600	0.2389	430968
0.2342	1.6632	800	0.2184	574456
0.2927	2.0790	1000	0.2210	718448
0.2461	2.4948	1200	0.4683	862224
0.2379	2.9106	1400	0.2203	1004880
0.2184	3.3264	1600	0.2197	1148296
0.2266	3.7422	1800	0.2200	1292616
0.2283	4.1580	2000	0.2213	1436240
0.237	4.5738	2200	0.2233	1579408
0.2409	4.9896	2400	0.2310	1723056
0.2164	5.4054	2600	0.2214	1866504
0.2459	5.8212	2800	0.2183	2009832
0.2374	6.2370	3000	0.2197	2153504
0.2412	6.6528	3200	0.2213	2296672
0.2362	7.0686	3400	0.2322	2440240
0.2924	7.4844	3600	0.3167	2583952
0.26	7.9002	3800	0.2201	2727536
0.2442	8.3160	4000	0.2193	2870176
0.2279	8.7318	4200	0.2234	3013792
0.2339	9.1476	4400	0.2249	3157976
0.2365	9.5634	4600	0.2262	3301400
0.2319	9.9792	4800	0.2256	3445528
0.2366	10.3950	5000	0.2238	3588176
0.2388	10.8108	5200	0.2244	3731888
0.2316	11.2266	5400	0.2250	3876072
0.2419	11.6424	5600	0.2279	4020200
0.2367	12.0582	5800	0.2246	4162880
0.2353	12.4740	6000	0.2238	4305664
0.2307	12.8898	6200	0.2228	4449504
0.2276	13.3056	6400	0.2227	4592824
0.2457	13.7214	6600	0.2293	4737208
0.2256	14.1372	6800	0.2214	4880104
0.2398	14.5530	7000	0.2188	5024232
0.2372	14.9688	7200	0.2203	5167336
0.2329	15.3846	7400	0.2225	5311512
0.197	15.8004	7600	0.2223	5454712
0.2387	16.2162	7800	0.2267	5598576
0.2378	16.6320	8000	0.2194	5741776
0.2408	17.0478	8200	0.2377	5885896
0.2507	17.4636	8400	0.2188	6030472
0.2394	17.8794	8600	0.2220	6172872
0.235	18.2952	8800	0.2288	6316224
0.2343	18.7110	9000	0.2227	6460064
0.2505	19.1268	9200	0.2219	6603384
0.231	19.5426	9400	0.2193	6746616
0.2379	19.9584	9600	0.2189	6890808
0.2322	20.3742	9800	0.2272	7033840
0.2247	20.7900	10000	0.2181	7177136
0.2452	21.2058	10200	0.2501	7320168
0.2379	21.6216	10400	0.2266	7464136
0.2408	22.0374	10600	0.2299	7607816
0.2347	22.4532	10800	0.2283	7751560
0.2257	22.8690	11000	0.2211	7895400
0.232	23.2848	11200	0.2185	8038480
0.2332	23.7006	11400	0.2250	8182416
0.2322	24.1164	11600	0.2210	8325888
0.2367	24.5322	11800	0.2344	8468992
0.2406	24.9480	12000	0.2397	8612096
0.2384	25.3638	12200	0.2245	8756152
0.2273	25.7796	12400	0.2198	8899640
0.2415	26.1954	12600	0.2357	9042656
0.2325	26.6112	12800	0.2200	9186656
0.2367	27.0270	13000	0.2210	9329688
0.2161	27.4428	13200	0.2194	9472184
0.5683	27.8586	13400	0.5191	9616056
0.2789	28.2744	13600	0.2584	9759824
0.2405	28.6902	13800	0.2359	9903824
0.2502	29.1060	14000	0.2235	10046680
0.2305	29.5218	14200	0.2206	10190040
0.2308	29.9376	14400	0.2246	10333816
0.2545	30.3534	14600	0.2279	10476752
0.2304	30.7692	14800	0.2190	10620240
0.2551	31.1850	15000	0.2225	10763368
0.2381	31.6008	15200	0.2349	10906568
0.2369	32.0166	15400	0.2373	11049768
0.2162	32.4324	15600	0.2229	11193256
0.2328	32.8482	15800	0.2194	11336648
0.2223	33.2640	16000	0.2198	11481080
0.2279	33.6798	16200	0.2199	11624376
0.2437	34.0956	16400	0.2326	11766832
0.2366	34.5114	16600	0.2408	11910672
0.2366	34.9272	16800	0.2194	12054512
0.2355	35.3430	17000	0.2241	12198464
0.2385	35.7588	17200	0.2267	12341536
0.2353	36.1746	17400	0.2206	12485368
0.2412	36.5904	17600	0.2337	12629496
0.2389	37.0062	17800	0.2353	12772208
0.24	37.4220	18000	0.2189	12915888
0.229	37.8378	18200	0.2240	13058896
0.2411	38.2536	18400	0.2316	13201856
0.2391	38.6694	18600	0.2231	13344736
0.2193	39.0852	18800	0.2190	13489016
0.2228	39.5010	19000	0.2199	13632312
0.2438	39.9168	19200	0.2216	13775960
0.2551	40.3326	19400	0.2248	13918888
0.2339	40.7484	19600	0.2184	14062184
0.2411	41.1642	19800	0.2312	14206632
0.2671	41.5800	20000	0.2194	14349800
0.2429	41.9958	20200	0.2432	14493096
0.23	42.4116	20400	0.2210	14636824
0.243	42.8274	20600	0.2204	14780056
0.2313	43.2432	20800	0.2211	14922952
0.2309	43.6590	21000	0.2190	15066120
0.2288	44.0748	21200	0.2192	15209536
0.2299	44.4906	21400	0.2228	15353920
0.2325	44.9064	21600	0.2223	15497376
0.2288	45.3222	21800	0.2214	15641208
0.2282	45.7380	22000	0.2204	15784536
0.235	46.1538	22200	0.2182	15928528
0.2436	46.5696	22400	0.2292	16072048
0.2395	46.9854	22600	0.2352	16214832
0.2212	47.4012	22800	0.2201	16358208
0.2271	47.8170	23000	0.2205	16501568
0.1985	48.2328	23200	0.2250	16645480
0.2462	48.6486	23400	0.2190	16789224
0.2262	49.0644	23600	0.2228	16932768
0.2424	49.4802	23800	0.2227	17076672
0.2555	49.8960	24000	0.2211	17220000
0.2638	50.3119	24200	0.2187	17363816
0.2286	50.7277	24400	0.2194	17508072
0.2424	51.1435	24600	0.2337	17651488
0.2185	51.5593	24800	0.2201	17795328
0.2346	51.9751	25000	0.2201	17938368
0.23	52.3909	25200	0.2240	18081176
0.2331	52.8067	25400	0.2300	18224696
0.229	53.2225	25600	0.2229	18369136
0.2094	53.6383	25800	0.2201	18511824
0.2422	54.0541	26000	0.2191	18655008
0.2331	54.4699	26200	0.2200	18798592
0.235	54.8857	26400	0.2262	18942016
0.2388	55.3015	26600	0.2289	19085296
0.2318	55.7173	26800	0.2287	19229616
0.2389	56.1331	27000	0.2352	19373160
0.2446	56.5489	27200	0.2191	19516200
0.2422	56.9647	27400	0.2319	19659656
0.2224	57.3805	27600	0.2222	19803672
0.2312	57.7963	27800	0.2270	19947800
0.2333	58.2121	28000	0.2197	20090864
0.2483	58.6279	28200	0.2180	20234160
0.2327	59.0437	28400	0.2292	20378152
0.2313	59.4595	28600	0.2183	20521096
0.2455	59.8753	28800	0.2191	20664744
0.2272	60.2911	29000	0.2229	20808544
0.2365	60.7069	29200	0.2251	20952064
0.2254	61.1227	29400	0.2206	21095536
0.2386	61.5385	29600	0.2252	21239216
0.2309	61.9543	29800	0.2196	21382704
0.2266	62.3701	30000	0.2186	21526584
0.2328	62.7859	30200	0.2214	21670744
0.2344	63.2017	30400	0.2186	21813952
0.2369	63.6175	30600	0.2182	21956992
0.2086	64.0333	30800	0.2184	22100720
0.2412	64.4491	31000	0.2202	22244240
0.2445	64.8649	31200	0.2219	22388368
0.2273	65.2807	31400	0.2282	22531840
0.232	65.6965	31600	0.2245	22674688
0.2387	66.1123	31800	0.2180	22817880
0.2413	66.5281	32000	0.2229	22962360
0.2425	66.9439	32200	0.2219	23105624
0.2392	67.3597	32400	0.2225	23248272
0.2352	67.7755	32600	0.2256	23391888
0.2327	68.1913	32800	0.2195	23535616
0.2273	68.6071	33000	0.2202	23678976
0.2392	69.0229	33200	0.2268	23823128
0.2328	69.4387	33400	0.2225	23966488
0.2295	69.8545	33600	0.2223	24110648
0.225	70.2703	33800	0.2228	24253072
0.2327	70.6861	34000	0.2246	24396528
0.2282	71.1019	34200	0.2218	24540040
0.2364	71.5177	34400	0.2227	24683144
0.2289	71.9335	34600	0.2272	24827048
0.2431	72.3493	34800	0.2195	24970840
0.2274	72.7651	35000	0.2217	25115672
0.2355	73.1809	35200	0.2204	25258416
0.2263	73.5967	35400	0.2208	25402448
0.2439	74.0125	35600	0.2209	25545128
0.2179	74.4283	35800	0.2203	25688392
0.2285	74.8441	36000	0.2253	25831720
0.2412	75.2599	36200	0.2238	25975928
0.2342	75.6757	36400	0.2214	26119704
0.2211	76.0915	36600	0.2204	26262696
0.2218	76.5073	36800	0.2206	26406024
0.2367	76.9231	37000	0.2227	26550088
0.24	77.3389	37200	0.2211	26693856
0.2468	77.7547	37400	0.2205	26837120
0.2265	78.1705	37600	0.2227	26980600
0.2348	78.5863	37800	0.2218	27124888
0.2326	79.0021	38000	0.2215	27266800
0.2311	79.4179	38200	0.2209	27410736
0.2216	79.8337	38400	0.2218	27553360
0.2337	80.2495	38600	0.2215	27696864
0.2289	80.6653	38800	0.2218	27839840
0.2305	81.0811	39000	0.2219	27983384
0.2206	81.4969	39200	0.2214	28127512
0.2329	81.9127	39400	0.2214	28270104
0.2304	82.3285	39600	0.2214	28413680
0.2262	82.7443	39800	0.2217	28557552
0.2416	83.1601	40000	0.2215	28700680

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1