Loading
Vous avez un workflow ComfyUI ? Obtenez une documentation lisible directement dans votre navigateur.Rendre un workflow lisible.Essayer maintenant ↗
> 🇬🇧 English | 🇷🇺 Русский | 🇨🇳 中文
Source du modèle
Description de la source
🇬🇧 English | 🇷🇺 Русский | 🇨🇳 中文
Quantized vision projector () for in GGUF format, Q8_0. Use alongside the main text-backbone GGUF weights in or compatible runtimes.
Sources
1 sourceVérifié 16 oct.
Artefacts du modèle
1 artefactExtraits de sources
2 extraits
mmproj| File | Type | Quant |
|---|---|---|
mmproj-qwen3.5-9b-q8_0.gguf | vision projector | Q8_0 |
The text backbone weights are not included — use them from the original repo or your own GGUF quant.
# CLI
llama-cli \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--image photo.jpg \
-p "Describe the image"
# Server
llama-server \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--port 8080
llama-quantizeQ8_0 for mmproj delivers near-lossless vision encoding quality with a meaningful size reduction vs F16.
Квантованный проектор видения (mmproj) для Qwen3.5-9B в формате GGUF, Q8_0.
Используется совместно с основными весами (text backbone) в llama.cpp и совместимых инструментах.
| Файл | Тип | Квант |
|---|---|---|
mmproj-qwen3.5-9b-q8_0.gguf | vision projector | Q8_0 |
Основные веса модели в этот репозиторий не включены — используй их из оригинального репо или своего GGUF-кванта.
# CLI
llama-cli \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--image фото.jpg \
-p "Опиши изображение"
# Сервер
llama-server \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--port 8080
llama-quantizeQ8_0 для mmproj обеспечивает минимальные потери качества vision-encoder при существенном снижении размера по сравнению с F16.
这是 Qwen3.5-9B 的量化 视觉投影器(mmproj),GGUF 格式,Q8_0 量化。
需配合主干文本权重在 llama.cpp 或兼容运行时中使用。
| 文件 | 类型 | 量化 |
|---|---|---|
mmproj-qwen3.5-9b-q8_0.gguf | 视觉投影器 | Q8_0 |
本仓库不包含文本主干权重——请从原始仓库或自行量化的 GGUF 中获取。
# 命令行
llama-cli \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--image photo.jpg \
-p "描述这张图片"
# 服务端
llama-server \
--model qwen3.5-9b-Q4_K_M.gguf \
--mmproj mmproj-qwen3.5-9b-q8_0.gguf \
--port 8080
llama-quantizemmproj 采用 Q8_0 量化,视觉编码质量损失极小,同时相比 F16 显著减小了文件体积。
--- license: apache-2.0 base_model: Qwen/Qwen3.5-9B tags: - gguf - mmproj - multimodal - quantized - llama-cpp - vision language: - en - ru - zh --- # Qwen3.5-9B — mmproj Q8_0 GGUF > 🇬🇧 English | 🇷🇺 Русский | 🇨🇳 中文 --- ## 🇬🇧 English Quantized **vision projector** (`mmproj`) for **Qwen3.5-9B** in GGUF format, Q8_0. Use alongside the main text-backbone GGUF weights in **llama.cpp** or compatible runtimes. ### Files | File | Type | Quant | |---|---|---| | `mmproj-qwen3.5-9b-q8_0.gguf` | vision projector | Q8_0 | > The text backbone weights are **not included** — use them from the original repo or your own GGUF quant. ### Usage ```bash # CLI llama-cli \ --model qwen3.5-9b-Q4_K_M.gguf \ --mmproj mmproj-qwen3.5-9b-q8_0.gguf \ --image photo.jpg \ -p "Describe the image" # Server llama-server \ --model qwen3.5-9b-Q4_K_M.gguf \ --mmproj mmproj-qwen3.5-9b-q8_0.gguf \ --port 8080 ``` ### Details - **Base model:** [Qwen/Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B) - **Source format:** F16 GGUF - **Quantization tool:** llama.cpp `llama-quantize` - **Quant author:** [AVert888](https://huggingface.co/AVert888) Q8_0 for mmproj delivers near-lossless vision encoding quality with a meaningful size reduction vs F16. --- ## 🇷🇺 Русский Квантованный **проектор видения** (`mmproj`) для **Qwen3.5-9B** в формате GGUF, Q8_0. Используется совместно с основными весами (text backbone) в **llama.cpp** и совместимых инструментах. ### Файлы | Файл | Тип | Квант | |---|---|---| | `mmproj-qwen3.5-9b-q8_0.gguf` | vision projector | Q8_0 | > Основные веса модели в этот репозиторий **не включены** — используй их из оригинального репо или своего GGUF-кванта. ### Использование ```bash # CLI llama-cli \ --model qwen3.5-9b-Q4_K_M.gguf \ --mmproj mmproj-qwen3.5-9b-q8_0.gguf \ --image фото.jpg \ -p "Опиши изображение" # Сервер llama-server \ --model qwen3.5-9b-Q4_K_M.gguf \ --mmproj mmproj-qwen3.5-9b-q8_0.gguf \ --port 8080 ``` ### Детали - **Базовая модель:** [Qwen/Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B) - **Исходный формат:** F16 GGUF - **Инструмент квантизации:** llama.cpp `llama-quantize` - **Автор кванта:** [AVert888](https://huggingface.co/AVert888) Q8_0 для mmproj обеспечивает минимальные потери качества vision-encoder при существенном снижении размера по сравнению с F16. --- ## 🇨🇳 中文 这是 **Qwen3.5-9B** 的量化 **...
Source context: 321 downloads · 1 likes · Repo AVert888/Qwen3.5-9B-mmproj-q8_0-GGUF