Update README.md

README.md

@@ -6,17 +6,76 @@ base_model:
 - Qwen/Qwen2.5-0.5B-Instruct
 pipeline_tag: text-generation
 ---
-```text
-<|im_start|>system
+This is Qwen2.5-0.5B-Instruct finetuned to perform question-answering on basic RAG systems, while using the <think> reasoning mechanism.
+
+The usage of this template is strict
+
+Sample inference:
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "cnmoro/Qwen2.5-0.5B-Rag-Thinking"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")
+
+prompt = """<|im_start|>system
 Você responde perguntas do usuário, sempre utilizando o contexto fornecido como base.
 Escreva o seu raciocínio para responder a pergunta, entre as tags <think> e </think>.<|im_end|>
 <|im_start|>user
 Contexto:
-$CONTEXT
+Limpar o vaso sanitário é uma tarefa que não interessa às pessoas. Muitos, no entanto, rezam
+por uma tecnologia que possa salvá-los da missão desagradável. Aparentemente, essas
+orações foram atendidas: um grupo de cientistas chineses desenvolveu o conceito de um
+vaso sanitário autolimpante e conseguiu torná-lo realidade. Graças à impressão 3D,
+pesquisadores da Universidade de Ciência e Tecnologia de Huazhong conseguiram
+revolucionar a desagradável tarefa doméstica. O vaso sanitário autolimpante, conhecido
+como “ARSFT”, uma sigla para “abrasion-resistant super slippery toilet flush” — a
+tecnologia que permite a limpeza automática — surgiu de uma combinação complexa
+de plástico e grãos de areia que repelem água. Em inglês simples, a tecnologia
+garante que nenhuma substância grude na superfície. Portanto, além de ser
+uma salvação para muitos, esta pode ser uma alternativa mais sustentável aos vasos sanitários
+convencionais. O site New Scientist entrevistou um dos cientistas do projeto,
+Yike Li, que criou o vaso sanitário autolimpante. Segundo Li, os chineses usaram,
+além da combinação de plástico e grãos de areia, um laser para unir as
+partículas, criando assim o vaso sanitário autolimpante impresso em 3D. Após a impressão,
+os pesquisadores usaram óleo de silicone para lubrificar a superfície do vaso sanitário, conseguindo
+penetrá-lo devido à estrutura do modelo. Isso gerou a
+capacidade de autolimpeza do vaso sanitário, com os seguintes materiais não deixando marcas após
+a descarga: Leite; Iogurte; Mel; Água barrenta; Gel de amido misturado com mingau.
+Os cientistas chineses também testaram o vaso sanitário autolimpante com fezes sintéticas,
+usando uma mistura de missô, fermento, óleo de amendoim e água, conseguindo imitar
+excrementos humanos. Embora possa ser estranho que cientistas trabalhem para criar tecnologias de vaso sanitário,
+várias inovações aparentemente “desnecessárias” podem ter um grande impacto global.
+O vaso sanitário autolimpante criado por pesquisadores chineses pode reduzir consideravelmente o desperdício de água.
+Segundo cientistas chineses, o vaso sanitário autolimpante pode suportar mil ciclos de raspagem
+graças à sua capacidade super escorregadia. Portanto, o vaso sanitário autolimpante tem
+um novo método de descarga que minimiza o consumo de água – e o desperdício. O Daily Mail
+aponta que, desde sua invenção no século XVIII, embora o vaso sanitário tenha
+aumentado a higiene, uma quantidade significativa de água é necessária devido à adesão
+entre a superfície do vaso sanitário e as fezes e urina humanas. Em todo o mundo, as
+descargas de vasos sanitários correspondem a 141 bilhões de litros de água diariamente. Portanto, além
+de economizar um recurso valioso para a humanidade, o vaso sanitário autolimpante também tem outro
+benefício ambiental. Em locais como banheiros públicos e químicos, especialmente
+onde não há conexão com o sistema de saneamento, o vaso sanitário autolimpante
+aparece como uma solução ideal.
 
 Pergunta:
-$QUESTION<|im_end|>
+Quais materiais foram testados no vaso, em relação à aderência?<|im_end|>
 <|im_start|>assistant
-<think>$RACIOCINIO</think>
-$RESPOSTA<|im_end|>
+<think>"""
+
+inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
+outputs = model.generate(**inputs, max_new_tokens=384, temperature=0.5, do_sample=True)
+
+input_length = inputs.input_ids.shape[1]
+generated_tokens = outputs[0, input_length:]
+generated_text = tokenizer.decode(generated_tokens, skip_special_tokens=True)
+
+# Remove the stop token from the generated text
+generated_text = "<think>" + generated_text
+
+print(generated_text)
+# <think>Para responder à pergunta sobre os materiais utilizados no vaso, preciso procurar no texto trechos que mencionem a adesão do vaso sanitário ao material usado para suas fezes e urinas.</think>
+# Em vários experimentos, cientistas chineses testaram o vaso sanitário autolimpante com fezes sintéticas usando uma mistura de missô, fermento, óleo de amendoim e água, e obtiveram resultados similares a excrementos humanos. Embora possa ser estranho que cientistas trabalhem para criar tecnologias de vaso sanitário, o vaso sanitário autolimpante pode reduzir consideravelmente o desperdício de água.
 ```