Llama 3.2-1B UNAL Instruct FT

Descripción

Modelo basado en Meta-Llama-3.2-1B, ajustado con LoRA para tareas de generación de texto en español. Fue entrenado utilizando el dataset Grade Works UNAL Dataset Instruct, el cual contiene preguntas y respuestas derivadas de trabajos de grado de la Universidad Nacional de Colombia.

El entrenamiento se realizó en Google Colab Free con GPU, de manera diferida, y tomó aproximadamente 7 horas.

Notebook

https://github.com/julianVelandia/FinetuningLLMGradeWorksUNALDatasetInstruct

Características

Modelo base: Meta-Llama-3.2-1B.
Técnica de ajuste: LoRA (Low-Rank Adaptation).
Formato de entrenamiento: Instrucción basada en pares pregunta-respuesta.
Idiomas soportados: Español.
Tamaño: 1B parámetros.

Dataset utilizado

El modelo fue entrenado con el dataset Grade Works UNAL Dataset Instruct, que contiene:

16,700 registros de pares pregunta-respuesta.
Fuente: Trabajos de grado de la Universidad Nacional de Colombia.
Formato: prompt (pregunta), completion (respuesta), fragment (texto base).

Licencia

Apache 2.0