Parakeet Primeline Onnx

--- language: - de license: cc-by-4.0 tags: - asr - speech-recognition - german - sherpa-onnx - onnx - parakeet - tdt base_model: primeline/parakeet-primeline pipeline_tag: automatic-speech-recognition --- # parakeet-primeline-onnx sherpa-onnx-kompatibler ONNX-Export (int8-quantisiert) von [primeline/parakeet-primeline](https://huggingface.co/primeline/parakeet-primeline), einem deutschen Fine-Tune von [nvidia/parakeet-tdt-0.6b-v3](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3) (FastConformer-TDT, 0.6B Parameter). Erstellt für [VoxJuris](https://github.com/) — eine Windows-Diktier-App für deutsche Rechtssprache — zur lokalen (Offline-)Spracherkennung ohne GPU. ## Dateien | Datei | Beschreibung | |---|---| | `encoder.int8.onnx` + `encoder.int8.onnx.data` | Encoder, int8-quantisiert (Gewichte in externer Datei) | | `decoder.int8.onnx` | Prediction-Network, int8-quantisiert | | `joiner.int8.onnx` | Joiner-Network, int8-quantisiert | | `tokens.txt` | Token-Vokabular für sherpa-onnx | | `bpe.vocab` | BPE-Vokabular (Referenz, von sherpa-onnx nicht zwingend benötigt) | ## Verwendung mit sherpa-onnx ```python import sherpa_onnx recognizer = sherpa_onnx.OfflineRecognizer.from_transducer( encoder="encoder.int8.onnx", decoder="decoder.int8.onnx", joiner="joiner.int8.onnx", tokens="tokens.txt", model_type="nemo_transducer", num_threads=4, decoding_method="greedy_search", ) ``` Ebenso nutzbar über das `org.k2fsa.sherpa.onnx`-NuGet-Paket (C#) mit `OfflineRecognizerConfig.ModelConfig.ModelType = "nemo_transducer"`. ## Konvertierung Export via NeMo (`nemo.collections.asr`) → sherpa-onnx `export-onnx-nemo-transducer-models.py`, anschließend dynamische int8-Quantisierung via `onnxruntime.quantization.quantize_dynamic`. TDT-Erkennung in sherpa-onnx basiert auf dem Substring `"tdt"` im `url`-Metadatenfeld des Encoders — entsprechend gesetzt. ## Lizenz CC-BY-4.0, wie das Basismodell [primeline/parakeet-primeline](https://huggingface.co/primeline/parakeet-primeline) und [nvidia/parakeet-tdt-0.6b-v3](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3). Attribution: primeline (Fine-Tune) und NVIDIA (Basismodell/Architektur).

Source context: 0 downloads · 2 likes · Pipeline automatic-speech-recognition · Repo flozen1981/parakeet-primeline-onnx