LFM2.5 350M T Wix Ru

LFM2.5-350M-T-Wix-ru

⚠️ Экспериментальная версия. Учебный/исследовательский прогон без формальной оценки на бенчмарках (снимался только training loss + смоук-квизы). Не для продакшена. Младшая модель линейки — для edge/CPU-инференса; см. также 1.2B-версию.

Русифицированная версия LiquidAI/LFM2.5-350M: LoRA SFT на русскоязычном датасете t-tech/T-Wix (~463 тыс. диалогов, english_corpus исключён; в этом прогоне использован случайный сабсэмпл 200 тыс.). Базовая модель официально поддерживает en/ar/zh/fr/de/ja/ko, но не русский — этот тюнинг адаптирует её к русскому языку.

Что улучшилось, а что нет

✅ Улучшилось:

• Русский стал беглым и структурным — базовая модель 350M на русском выдавала грамматически сломанный текст с выдуманными словами и иноязычными (китайскими/корейскими) вставками; после тюнинга ответы связные и оформленные.
• Математические/рассуждающие ответы теперь на русском (база сваливалась в английский или мешанину).
• Формат вызова инструментов (<|tool_call_start|>[func(args)]<|tool_call_end|>) полностью сохранён (9/10 на многофункциональном смоуке — столько же, сколько у базы, регресса нет).

⚠️ Известные ограничения (ожидаемы для класса 350M):

• Фактология на русском галлюцинирует — сильнее, чем у 1.2B (меньше ёмкость). Как и у старшей модели, знания плохо переносятся из английского в русскоязычную генерацию. Для фактов на русском нужен RAG.
• Перевод EN→RU слабый (осмысленный, но с ошибками).
• Арифметика ненадёжна (может ошибаться в простых умножениях/дробях; иногда верный ответ при неверной логике).

Для более качественных ответов используйте 1.2B-версию. Эта 350M-модель — компромисс размера/скорости для устройств с ограниченными ресурсами.

Структура репозитория

Путь	Содержимое
/ (корень)	merged-модель, bf16 safetensors — для transformers / vLLM
/lora	LoRA-адаптер (r=32) отдельно — для подключения к базе через PEFT
/gguf	GGUF для llama.cpp / Ollama: F16, Q8_0

Запуск

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kaufkino/LFM2.5-350M-T-Wix-ru"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(repo)

messages = [{"role": "user", "content": "Расскажи о Санкт-Петербурге"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.5, top_p=0.95,
                     do_sample=True, repetition_penalty=1.1)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Рекомендации по инференсу (из смоук-тестов): temperature=0.5, top_p=0.95, repetition_penalty=1.1 — так меньше зацикливаний и иноязычных вставок.

llama.cpp

llama-cli -m lfm25-350m-twix-ru-q8_0.gguf -cnv -p "Ты полезный ассистент."

Детали обучения

Параметр	Значение
Метод	LoRA SFT (Unsloth 2026.7.3 + TRL SFTTrainer)
LoRA	r=32, alpha=64, dropout=0
target_modules	q/k/v/out_proj (attention), w1/w2/w3 (MLP), in_proj (conv-блоки LFM2)
Эпохи	1
Контекст	8192 токенов, packing
Батч	4 × grad_accum 8 = 32
LR	1e-4, cosine, warmup 3%
Оптимизатор	adamw_8bit, weight decay 0.01
Точность	bf16
Данные	T-Wix без english_corpus, сабсэмпл 200k диалогов
Финальный train loss	~1.49

Инфраструктура

Обучение проводилось на облачном GPU-сервере Selectel (реферальная ссылка) — 1× NVIDIA RTX 4090 24 ГБ, ~6.5 часов.

---

EN: Experimental Russian-language adaptation of LFM2.5-350M via LoRA SFT (r=32, 1 epoch, 8192 ctx, packing) on the T-Wix dataset (200k-example subsample, english_corpus excluded). The base model does not officially support Russian. Russian fluency improves markedly (the 350M base produced broken text with foreign-script insertions); however factual knowledge transfers poorly from English into Russian generation — more so than the 1.2B sibling due to smaller capacity — so the model answers factual questions correctly in English but hallucinates in Russian; use RAG for Russian facts. Translation and arithmetic remain weak. Native tool-call format is fully preserved (9/10, same as base — no regression). This is the smaller model of the pair; for higher quality use the 1.2B version. Repo contains merged bf16 safetensors (root), the LoRA adapter (/lora), and GGUF F16/Q8_0 (/gguf). Research artifact, not for production.