ModelVérifiéExterne

GLM 4.6V MXFP4 MoE GGUF

This is a imatrix MXFP4MOE quantization of the model GLM-4.6V, based on the imatrix from unsloth.

Sourcehuggingface.co/jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF/tree/d5af51efdac0130eaf4454c9362b2833e40cbb7b

TypeOtherModèle de basezai-org/GLM-4.6VVersionRevision d5af51eÉditeur@jamiefutchCClasse

Source du modèle

Type: Other
Taille du fichier: 948 MB–14,7 GB
Modèle de base: zai-org/GLM-4.6V
Version: vRevision d5af51e
Mis à jour: 4 oct. 2026
Éditeur: @jamiefutch
Téléchargements: 61
Source: Hugging Face

Description de la source

This is a imatrix MXFP4_MOE quantization of the model GLM-4.6V, based on the imatrix from unsloth.

Get the latest llama.cpp in order to run it.

For the mmproj, try to use the largest version you can fit in memory in order to get the best results.
F32 > BF16 > F16 > Q8_0.

Sources

1 source

Hugging FacePrincipalVersion d5af51efdac0130eaf4454c9362b2833e40cbb7b

huggingface.co/jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF/tree/d5af51efdac0130eaf4454c9362b2833e40cbb7b

Vérifié 4 oct.

Artefacts du modèle

8 artefacts

GLM-4.6V-MXFP4_MOE-00001-of-00004.gguf

gguf · 14,6 GB · SHA-256 a93f792301f6…53da · Hugging Face

Télécharger

GLM-4.6V-MXFP4_MOE-00002-of-00004.gguf

gguf · 14,7 GB · SHA-256 a7d93eccf8ee…92e4 · Hugging Face

Télécharger

GLM-4.6V-MXFP4_MOE-00003-of-00004.gguf

gguf · 14,7 GB · SHA-256 b9b09b4b6e53…9a9b · Hugging Face

Télécharger

GLM-4.6V-MXFP4_MOE-00004-of-00004.gguf

gguf · 12,6 GB · SHA-256 596dba45fc40…f361 · Hugging Face

Télécharger

mmproj-BF16.gguf

gguf · 1,65 GB · SHA-256 5ad73809d750…35d2 · Hugging Face

Télécharger

mmproj-F16.gguf

gguf · 1,60 GB · SHA-256 d3c5b2a5089b…29a2 · Hugging Face

Télécharger

mmproj-F32.gguf

gguf · 3,20 GB · SHA-256 ec76cf75dfd9…ed41 · Hugging Face

Télécharger

mmproj-Q8_0.gguf

gguf · 948 MB · SHA-256 b1edd7b50526…6931 · Hugging Face

Télécharger

Extraits de sources

3 extraits

Readme11 juil.huggingface.co/jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF

--- pipeline_tag: image-text-to-text base_model: - zai-org/GLM-4.6V --- This is a imatrix MXFP4_MOE quantization of the model [GLM-4.6V](https://huggingface.co/zai-org/GLM-4.6V), based on the imatrix from unsloth. Get the latest [llama.cpp](https://github.com/ggml-org/llama.cpp/releases) in order to run it. For the mmproj, try to use the largest version you can fit in memory in order to get the best results. F32 > BF16 > F16 > Q8_0.

Note4 oct.huggingface.co/jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF

Source context: 61 downloads · 2 likes · Pipeline image-text-to-text · Repo jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF

Note18 juil.huggingface.co/jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF

Source context: 210 downloads · 2 likes · Pipeline image-text-to-text · Repo jamiefutch/GLM-4.6V-MXFP4_MOE-GGUF