f

app.py

@@ -3,16 +3,17 @@ import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 from peft import PeftModel
 
+# Pfade zu deinem Basismodell und dem feingetunten LoRA-Adapter
 BASE_MODEL = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"
 ADAPTER = "cheberle/autotrain-llama-milch"
 
-print("Loading tokenizer...")
+print("Lade Tokenizer...")
 tokenizer = AutoTokenizer.from_pretrained(
     BASE_MODEL,
     trust_remote_code=True
 )
 
-print("Loading base model...")
+print("Lade Basismodell...")
 base_model = AutoModelForCausalLM.from_pretrained(
     BASE_MODEL,
     trust_remote_code=True,
@@ -20,7 +21,7 @@ base_model = AutoModelForCausalLM.from_pretrained(
     torch_dtype=torch.float16
 )
 
-print("Loading finetuned adapter...")
+print("Lade feingetunten Adapter...")
 model = PeftModel.from_pretrained(
     base_model,
     ADAPTER,
@@ -28,23 +29,52 @@ model = PeftModel.from_pretrained(
 )
 model.eval()
 
-def generate_text(prompt):
+def klassifiziere_lebensmittel(produkt_text):
+    """
+    Diese Funktion erstellt ein Prompt auf Deutsch, das das Modell anweist,
+    eine Lebensmittel-Kategorie (als einzelnes Label) für den eingegebenen
+    Produkttext zurückzugeben.
+    Temperatur=0.0 und do_sample=False sorgen für deterministischen Output.
+    """
+    prompt = (
+        f"Du bist ein Modell zur Klassifikation von Lebensmitteln. "
+        f"Analysiere die Produktbeschreibung auf Deutsch: \"{produkt_text}\".\n"
+        f"Gib bitte nur eine einzige passende Lebensmittel-Kategorie (auf Deutsch) zurück."
+    )
+
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     with torch.no_grad():
         output = model.generate(
             **inputs,
-            max_new_tokens=128,
-            temperature=0.7,
-            top_p=0.9,
-            top_k=50,
-            do_sample=True
+            max_new_tokens=30,   # Begrenze die Länge des Modell-Antwort
+            temperature=0.0,     # Keine "kreativen" Abweichungen
+            top_p=1.0,
+            do_sample=False
         )
-    return tokenizer.decode(output[0], skip_special_tokens=True)
 
+    # Ausgabe dekodieren und bereinigen
+    decoded = tokenizer.decode(output[0], skip_special_tokens=True).strip()
+
+    # Falls das Modell mehrzeiligen Text ausgibt, nehmen wir die letzte Zeile
+    lines = decoded.split("\n")
+    label = lines[-1].strip()
+
+    return label
+
+# Gradio-Interface aufbauen
 with gr.Blocks() as demo:
-    prompt_box = gr.Textbox(lines=4, label="Prompt")
-    output_box = gr.Textbox(lines=6, label="Output")
-    btn = gr.Button("Generate")
-    btn.click(fn=generate_text, inputs=prompt_box, outputs=output_box)
+    produkt_box = gr.Textbox(
+        lines=2,
+        label="Produktbeschreibung",
+        placeholder="z.B. 'Aeschbach Trinkschokolade Milch, 1 kg'"
+    )
+    output_box = gr.Textbox(
+        lines=1,
+        label="Prediziertes Lebensmittel-Label",
+        placeholder="Hier erscheint das Ergebnis"
+    )
+
+    classify_button = gr.Button("Kategorie bestimmen")
+    classify_button.click(fn=klassifiziere_lebensmittel, inputs=produkt_box, outputs=output_box)
 
 demo.launch()