🌟 Gemma-3-12B Indic 🌟

Get ready! This isn't just any language model; it's Google's Gemma-3-12B, supercharged with full Supervised Fine-Tuning (SFT) specifically for Indic languages, starting with Telugu! Trained on a custom dataset packed with Telugu questions and answers, this model is designed to understand, converse, and generate text like a native speaker.

We're working our way through all major Indic languages to create a comprehensive multilingual Indic assistant.

Indic Language Support Roadmap

Language	Status	ISO Code
Telugu (తెలుగు)	✅ Completed	te
Hindi (हिंदी)	🔄 Coming soon	hi
Tamil (தமிழ்)	🔄 Coming soon	ta
Malayalam (മലയാളം)	🔄 Coming soon	ml
Kannada (ಕನ್ನಡ)	🔄 Coming soon	kn
Bengali (বাংলা)	🔄 Coming soon	bn
Marathi (मराठी)	🔄 Coming soon	mr
Punjabi (ਪੰਜਾਬੀ)	🔄 Coming soon	pa
Gujarati (ગુજરાતી)	🔄 Coming soon	gu
Odia (ଓଡ଼ିଆ)	🔄 Coming soon	or
Assamese (অসমীয়া)	🔄 Coming soon	as

✨ Sample Interaction ✨

Curious about what it can do? Here's a sneak peek:

User ( ప్రశ్న ): ఇండియాలో గ్రోసరీస్ మీద డబ్బులు సేవ్ చేయడానికి బెస్ట్ వేస్ ఏంటి? (What are the best ways to save money on groceries in India?)

Model ( జవాబు ): ఇండియాలో కిరాణా సామాన్ల మీద డబ్బులు సేవ్ చేయడానికి కొన్ని బెస్ట్ వేస్ ఇక్కడ ఉన్నాయి, చూడు:

బడ్జెట్ పెట్టుకో: ఫస్ట్ థింగ్ ఫస్ట్, కిరాణా షాపింగ్ కి ఒక ఫిక్స్‌డ్ బడ్జెట్ పెట్టుకో. నెలకి ఎంత ఖర్చు పెట్టాలో ముందుగానే డిసైడ్ అయితే, ఎక్కువ ఖర్చు పెట్టకుండా ఉండొచ్చు.

ప్లాన్ ప్రకారం షాపింగ్: షాపింగ్ కి వెళ్ళేముందు ఏం కొనాలి, ఎంత కొనాలి అని ఒక లిస్ట్ ప్రిపేర్ చేసుకో. లిస్ట్ లేకుండా వెళ్తే, అన్నీ కొనేస్తాం, బడ్జెట్ కూడా దాటిపోతుంది.

డిస్కౌంట్స్ వెతుకు: సూపర్ మార్కెట్స్ లో డిస్కౌంట్స్, ఆఫర్స్ చాలా ఉంటాయి. వాటిని గమనిస్తూ ఉండు. కొన్నిసార్లు బండిల్ డీల్స్ కూడా ఉంటాయి, అవి చూస్తే మంచి సేవింగ్స్ ఉంటాయి.

బల్క్ లో కొనడం బెటర్: కొన్ని ఐటమ్స్ ని బల్క్ లో కొంటే రేట్ తక్కువ వస్తుంది. ముఖ్యంగా పప్పులు, నూనెలు, పప్పులు లాంటివి ఎక్కువ రోజులు నిల్వ ఉంటాయి కాబట్టి బల్క్ లో కొనొచ్చు.

సీజనల్ గా కొనడం స్మార్ట్: ఏ సీజన్ లో ఏది తక్కువ రేటుకి దొరుకుతుందో చూసుకొని కొనడం చాలా ముఖ్యం. సమ్మర్ లో పండ్లు, వింటర్ లో వెజిటేబుల్స్ తక్కువ రేటుకి వస్తాయి. వాటిని యూస్ చేసుకో.

🚀 Model & Training Details

This model didn't train itself! Here's the behind-the-scenes scoop:

Base Model: google/gemma-3-12b-pt
Fine-tuning Method: Full SFT (Supervised Fine-Tuning)
Current Language: Telugu (te) - First in our Indic series
Hardware: 🔥 8 x NVIDIA H100 GPUs 🔥 (Powered by Modal)
Training Time: Approx. 3 hours (9744 seconds)
Dataset: Custom Telugu QA dataset (40k samples)
Validation Split: 10% (36k train / 4k validation)
Frameworks: LLaMA Factory, transformers, accelerate, DeepSpeed (ZeRO Stage 2 w/ CPU Offload)
Precision: BF16

Key Hyperparameters:

Batch Size (Per Device): 2
Gradient Accumulation: 32 (Effective Batch Size: 512)
Learning Rate: 2e-5 (Cosine Scheduler)
Epochs Trained: ~2.97
Max Sequence Length: 4096

Training Metrics:

Final Train Loss: 0.7232
Train Samples/Second: 11.083
Total FLOPs: ~7.88e18 (That's a lot of math! 🤓)

🔮 Coming Soon

Exciting developments on the horizon:

Indic TTS (Text-to-Speech) - We're developing a companion TTS model that will bring these responses to life with natural-sounding Indic language speech synthesis!
Hindi-first LLM - We're working on a specialized fine-tuning track with Hindi as the primary language, while still maintaining multilingual Indic capabilities.
More Indic languages - We're methodically working through all major Indic languages to create the most comprehensive Indic language assistant available.

Usage

Get started with the model using the transformers library:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Load model and tokenizer
model_name = "bharathkumar1922001/Gemma3-12b-Indic"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Recommend using eager attention based on stability testing
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16, # Match training precision
    device_map="auto",          # Loads across available GPUs/CPU
    attn_implementation="eager" # Recommended for Gemma 3 stability
)
model.eval() # Set to evaluation mode for inference

# Format your prompt using the model's template
question = "ఆర్థిక మాంద్యాన్ని ప్రభుత్వాలు ఎలా పరిష్కరించగలవు?" # Example: How can governments solve economic recession?
prompt = f"<start_of_turn>user\n{question}<end_of_turn>\n<start_of_turn>model\n"

# Tokenize and generate
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512, # Adjust max length as needed
    temperature=0.7,    # Controls randomness (lower = more deterministic)
    top_p=0.95,         # Nucleus sampling probability
    top_k=50,           # Top-k sampling
    do_sample=True,     # Enable sampling based strategies
    eos_token_id=tokenizer.eos_token_id # Or specific ID like tokenizer.convert_tokens_to_ids("<end_of_turn>")[0]
)

# Decode the response (excluding the input prompt)
response_ids = outputs[0, inputs.input_ids.shape[1]:]
response = tokenizer.decode(response_ids, skip_special_tokens=True)

print("--- Question ---")
print(question)
print("\n--- Response ---")
print(response)

Contact

For collaborations, custom deployments, or any queries regarding this model, please reach out to us.

bharathkumar1922001
/

Gemma3-12b-Indic

You need to agree to share your contact information to access this model