garboab/greta-2.5-sft

Greta 2.5 SFT

Deep reasoning fine-tune of Greta

Usage

import json
import torch

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda:0"

tokenizer = AutoTokenizer.from_pretrained("garboab/greta-2.5-sft", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("garboab/greta-2.5-sft", trust_remote_code=True)

model.to(device)
model.eval()

context = {
    "brand": "Vargen & Thor",
    "title": "Kroma hamrad kromad kastrull med lock",
    "attributes": {
        "Allmänt": {
            "Varumärke": "Vargen & Thor",
            "Serie": "Kroma",
            "Artikelnummer": "513369-01",
            "Antal": "1 st",
            "Materialkompositon": "Rostfritt stål",
            "Bruttovikt (kg)": "1,628",
            "Skötselråd": "Tål maskindisk.",
            "Tål temperaturer upp till (°C)": "300",
            "Passar följande hälltyper": "Glaskeramik\nGas\nInduktion"
        },
        "Mått": {
            "Diameter (cm)": "16",
            "Bredd (cm)": "17,3",
            "Höjd (cm)": "8",
            "Kapacitet (L)": "1,6",
            "Bredd inklusive handtag": "33.7"
        }
        },
        "category": "Kök & Matlagning / Stekpannor & Kokkärl / Kastruller"
}

input_ids = tokenizer.apply_chat_template(
    [
        {"role": "listen", "content": "Du är Greta, en AI-assistent som hjälper till med e-handel."},
        {"role": "context", "content": json.dumps(context, indent=4)},
        {"role": "user", "content": "Skriv en FAQ på 2 punkter om produkten, tack!"},
     ],
    tokenize=True,
    add_generation_prompt=True
)
original_len = len(input_ids)

outputs = model.generate(
    input_ids = torch.tensor([input_ids], device=device),
    max_new_tokens = 2048,
    do_sample = False,
    use_cache = True
)

print(tokenizer.decode(outputs[0].cpu().tolist()[original_len:]))