Warmly Qwen35 08b Enko GGUF

--- license: apache-2.0 base_model: - neureps/Qwen3.5-0.8B-enko language: - ko - en pipeline_tag: image-text-to-text tags: - gguf - llama.cpp - korean - warmly - lora --- # warmly-qwen35-08b-enko-gguf — 0.8B 온디바이스 소형 티어 (프루닝·증류 GGUF) EN/KO 어휘 프루닝 마스터 [neureps/Qwen3.5-0.8B-enko](https://huggingface.co/neureps/Qwen3.5-0.8B-enko) 기반. [Warmly(온기)](https://github.com/neureps/warmly) 앱의 **소형 티어(저·중램 기기)** 배포 모델이자 이미지 캡셔너를 담는다. 한 모델이 캡션(비전)과 댓글(텍스트)을 모두 낸다. ## ★ 현재 배포 — `v3.1/` (2026-07-23) **소형 티어 배포 = 증류 v3c 가중치(Q4_K_M) + 페르소나 어댑터.** "v3.1"은 판정 프로토콜을 새로 세운 뒤 재검증한 릴리스 라벨이다(**재학습 아님 — 베이스 가중치는 v3c**). base와 어댑터는 **한 몸으로** 배포한다. | 파일 (`v3.1/`) | 크기 | 설명 | | --- | --- | --- | | `v3.1/Qwen3.5-0.8B-enko-distill-v3c-Q4_K_M-imatrix-domain.gguf` | 419MB | 텍스트 본체 (v3c 가중치·Q4_K_M·도메인 imatrix) | | `v3.1/louie-v3.1-f16.gguf` | 12.2MB | 페르소나 어댑터(LoRA) — 5번째 캐릭터 "루이" | | `Qwen3.5-0.8B-enko-mmproj-q8_0.gguf` (루트 공용) | 111MB | 비전 프로젝터 | **스택 합계 ≈ 542MB.** **페르소나 어댑터 방식:** 본체에는 4개 캐릭터가 학습돼 있고, 5번째 캐릭터만 12.2MB 어댑터로 얹는다. llama.cpp `--lora … --lora-init-without-apply`로 로드한 뒤 **요청별로 스케일을 토글**한다 — 기존 4인은 `scale 0`(본체와 출력이 글자까지 동일=항등), 루이는 `scale 1`. 캐릭터 추가에 본체 재배포가 필요 없다. ```bash # llama-server 기동 llama-server -m v3.1/Qwen3.5-0.8B-enko-distill-v3c-Q4_K_M-imatrix-domain.gguf \ --mmproj Qwen3.5-0.8B-enko-mmproj-q8_0.gguf \ --lora v3.1/louie-v3.1-f16.gguf --lora-init-without-apply # 요청 본문에서 페르소나별 스케일 (루이=1, 그 외=0) curl .../completion -d '{"prompt":"...", "lora":[{"id":0,"scale":1}]}' ``` **품질(Gemma 4 12B 심사, gold144 N=144, 프로덕션 샘플링):** 루이 결함율 **13.2%**(회상 속 지명은 캐릭터 정의라 제외). 재양자화 전(Q5_K_M 베이스) 12.5%와 동급. ## 파일 구조 - **루트** — 캡셔너/폴백용 base GGUF + 공용 비전 프로젝터 - `Qwen3.5-0.8B-enko-Q4_K_M.gguf` (419MB, 증류 전 base 텍스트 본체) - `Qwen3.5-0.8B-enko-mmproj-q8_0.gguf` (111MB, 비전 프로젝터 — 전 버전 공용) - **`v3.1/`** — 현재 배포(위 참조) - **`variants/`** — 증류 개선 이력(아래) - **`adapters/`** — 페르소나 어댑터 원본 위치(`louie-v1-f16.gguf`, `v3.1/louie-v3.1`과 동일 가중치) ## `variants/` — 증류 개선 이력 증류 어댑터([`warmly-qwen35-08b-enko-distill`](https://huggingface.co/neureps/warmly-qwen35-08b-enko-distill))를 병합·재양자화한 GGUF. imatrix는 모델 종속이라 각 병합본에서 재산출한다(캘리브레이션 = 도메인 `calib.txt`). | 버전 | 파일 | 판정 | | --- | --- | --- | | **v3c** ★현행 배포 계보 | `variants/…-distill-v3c-{IQ4_XS 395MB, Q4_K_M 419MB, Q5_K_M 466MB}-imatrix-domain.gguf` + `imatrix-domain-distill-v3c.gguf` | 혼합 피벗(하드워드 접지를 페르소나 목소리로 재생성해 혼합). 심사 결함율 v2 51%→**45%**·사물오접지 20→...

--- license: apache-2.0 base_model: - neureps/Qwen3.5-0.8B-enko language: - ko - en pipeline_tag: image-text-to-text tags: - gguf - llama.cpp - korean - warmly --- # warmly-qwen35-08b-enko-gguf — 0.8B 캡셔너 / 저사양 폴백 (프루닝 GGUF) EN/KO 어휘 프루닝 마스터 [neureps/Qwen3.5-0.8B-enko](https://huggingface.co/neureps/Qwen3.5-0.8B-enko)의 GGUF 양자화입니다. [Warmly(온기)](https://github.com/neureps/warmly) 앱에서의 역할: - **이미지 캡셔너** — 캡셔너 3파전 승자(2026-07-13): 2B q4_0의 환각(두부)을 내지 않음 - **저사양 기기 폴백 후보** — 한국어 댓글 직접 생성은 기각(8~9/20, 한국어 의미 접지 부족), 영어 댓글은 ~16/20으로 강함 - B안(0.8B 영어 생성 + NMT 번역) 트랙의 생성기 ## 파일 | 파일 | 크기 | 설명 | | --- | --- | --- | | `Qwen3.5-0.8B-enko-Q4_K_M.gguf` | 420MB | 텍스트 본체. Q4_K_M (imatrix 미적용) | | `Qwen3.5-0.8B-enko-mmproj-q8_0.gguf` | 111MB | 비전 프로젝터 | 캡셔너 스택 합계 ~531MB. 한국어 생성 스모크 테스트 통과(CPU 70~80 tok/s). ## `variants/` — 증류 v1 GGUF (개선 트랙, 2026-07-15) Kanana-1.5-8B 교사 증류 어댑터([`warmly-qwen35-08b-enko-distill`](https://huggingface.co/neureps/warmly-qwen35-08b-enko-distill) `v1`)를 병합·재양자화한 GGUF. **개선 버전이 나올 것을 감안해 파일명에 `-distill-v1-`을 박았다**(다음은 `-distill-v2-`). imatrix는 모델 종속이라 **distill-v1 병합본에서 재산출**(캘리브레이션 = 도메인 `calib.txt`). | 파일 | 크기 | 설명 | | --- | --- | --- | | `variants/Qwen3.5-0.8B-enko-distill-v1-IQ4_XS-imatrix-domain.gguf` | 395MB | 증류 v1 본체 (1GB 언더 스택용) | | `variants/Qwen3.5-0.8B-enko-distill-v1-Q4_K_M-imatrix-domain.gguf` | 419MB | 증류 v1 본체 (동크기 상위 품질) | | `variants/imatrix-domain-distill-v1.gguf` | 1.1MB | distill-v1 병합본에서 재산출한 도메인 imatrix | **★ 1GB 언더 스택 실증: IQ4_XS 395 + mmproj q8_0 111 = 506MB.** 비전 프로젝터는 위 캡셔너용 `mmproj-q8_0`을 공용(증류는 텍스트 모듈만 학습, 비전 타워 불변). **증류 v1 판정(실측 D3):** 0.8B base 대비 블라인드 승률 ~79%·어색 ~27→~12/60로 크게 개선. 단 **자기비하 안전 경계선 1건 + 접지 한계**로 현 상태 배포 부적합, **저사양 폴백 후보**. 2B distill(어색 ~6)에는 못 미침(~2배). 상세·판정은 어댑터 리포 카드와 `plans/2026-07-15-d3-plan-08b-distill.md` §9. ## `variants/` — 증류 v2 GGUF (D4, 2026-07-16) ★배포 가능 폴백 v2 어댑터([`warmly-qwen35-08b-enko-distill` `v2`](https://huggingface.co/neureps/warmly-qwen35-08b-enko-distill))를 병합·재양자화. **입력 커버리지 보강**(캡션 리치화·KO 브리지·anti-foreign·답글 증강)으로 v1의 두 차단 요인 해결. | 파일 | 크기 | 설명 | | --- | --- | --- | | `variants/Qwen3.5-0.8B-enko-distill-v2-IQ4_XS-imatrix-domain.gguf` | 414MB | 증류 v2 본체 (1GB 언더 스택용) | | `variants/Qwen3.5-0.8B-enko-distill-v2-Q4_K_M-imatrix-domain.gguf` | 440MB | 증류 v2 본체 | | `variants/imatrix-domain-distill-v2.gguf` | 1.1MB | distill-v2 병합본에서 재산출한 도메인 imatrix | **v2 판정(실측 D4, vs v...

Source context: 405 downloads · 0 likes · Pipeline image-text-to-text · Repo neureps/warmly-qwen35-08b-enko-gguf