MiniCPM5 1B T Wix Ru

--- license: apache-2.0 base_model: openbmb/MiniCPM5-1B datasets: - t-tech/T-Wix language: - ru library_name: transformers pipeline_tag: text-generation tags: - lora - sft - unsloth - trl - russian - gguf - experimental --- # MiniCPM5-1B-T-Wix-ru > ⚠️ **Экспериментальная версия.** Учебный/исследовательский прогон без формальной оценки качества — метрики на бенчмарках не снимались (доступен только eval loss в tensorboard-логах обучения). Не предназначена для продакшена. Русифицированная версия [openbmb/MiniCPM5-1B](https://huggingface.co/openbmb/MiniCPM5-1B): LoRA SFT на русскоязычном датасете [t-tech/T-Wix](https://huggingface.co/datasets/t-tech/T-Wix) (~461 тыс. диалогов, сабсеты general + reasoning + long_context; english_corpus исключён). Базовая модель официально поддерживает только английский и китайский — этот тюнинг адаптирует её к русскому языку. ## Структура репозитория | Путь | Содержимое | |---|---| | `/` (корень) | merged-модель, bf16 safetensors — для transformers / vLLM | | `/lora` | LoRA-адаптер (r=32) отдельно — для подключения к базовой модели через PEFT | | `/gguf` | GGUF для llama.cpp / Ollama: F16, BF16, Q8_0 | ## Запуск ### transformers ```python from transformers import AutoModelForCausalLM, AutoTokenizer repo = "kaufkino/MiniCPM5-1B-T-Wix-ru" model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto") tokenizer = AutoTokenizer.from_pretrained(repo) messages = [{"role": "user", "content": "Расскажи о Санкт-Петербурге"}] inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device) out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.95, do_sample=True) print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True)) ``` У базовой модели есть гибридный thinking-режим (`<think>…</think>`), переключается параметром `enable_thinking` в `apply_chat_template`. Рекомендации базовой карточки: think — temperature 0.9 / top_p 0.95, no-think — temperature 0.7 / top_p 0.95. ### llama.cpp ```bash llama-cli -m minicpm5-1b-t-wix-ru-q8_0.gguf -cnv -p "Ты полезный ассистент." ``` ## Детали обучения | Параметр | Значение | |---|---| | Метод | LoRA SFT ([Unsloth](https://github.com/unslothai/unsloth) 2026.7.3 + TRL SFTTrainer) | | LoRA | r=32, alpha=64, dropout=0, все linear-проекции (q/k/v/o/gate/up/down) | | Эпохи | 2...