Llama3 Finetuned Alpaca

--- language: - es - en license: apache-2.0 pipeline_tag: text-generation inference: parameters: temperature: 0.7 tags: - llama - unsloth - lora - fine-tuned - alpaca - text-generation datasets: - yahma/alpaca-cleaned base_model: unsloth/Llama-3.2-1B --- # Llama 3.2 1B Fine‐tuned with Unsloth (LoRA) Modelo **Llama 3.2 1B** entrenado con **Unsloth** y adaptadores **LoRA** (r=8) sobre 500 ejemplos del dataset `alpaca-cleaned`. ## 🤖 Descripción del modelo - **Arquitectura base:** Llama 3.2 1B - **Técnica:** LoRA (Low‐Rank Adaptation) - **Cuantización:** 4‐bit (NF4) ## 🚀 Cómo usar el modelo ```python from unsloth import FastLanguageModel model, tokenizer = FastLanguageModel.from_pretrained( "Samuel11111997/llama3-finetuned-alpaca", max_seq_length=512, load_in_4bit=True, ) # Generar texto inputs = tokenizer("### Instruction:\nExplica qué es el fine‐tuning\n\n### Response:\n", return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=128) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` ## 📈 Resultados del entrenamiento Entorno: Google Colab (Tesla T4) Épocas: 3 Learning rate: 2e‐4 Pérdida final: 1.13 ## 🌍 Impacto ambiental Hardware: Tesla T4 Tiempo: ~3 min/época ## 🔗 Proyecto Repositorio ai-mastery: https://github.com/spl248/ai-mastery/ Artículo técnico: https://medium.com/@spulido248/fine-tuning-de-llama-3-2-con-unsloth-el-siguiente-nivel-de-la-especializaci%C3%B3n-en-ia-9c909337c8e6 Vídeo demo: Al finalizar este video. ## 📝 Licencia Apache 2.0