LFM2.5 VL 1.6B Vietnamese Bill Diagnosis LoRA

--- language: - vi tags: - vision-language - qwen - vlm - lora - adapter - peft license: apache-2.0 datasets: - minhduc168/dataset-qwen-vlm-extract-bill-diagnosis base_model: - LiquidAI/LFM2.5-VL-1.6B pipeline_tag: image-to-text --- # LFM 2.5 VL 1.6B Bill Diagnosis Vietnamese (LoRA Adapter) Đây là **LoRA Adapter** được tinh chỉnh để trích xuất thông tin từ hóa đơn đơn thuốc/ phiếu thu và chuẩn đoán bệnh tiếng Việt. Adapter này được huấn luyện trên nền mô hình gốc [LiquidAI/LFM2.5-VL-1.6B](https://huggingface.co/LiquidAI/LFM2.5-VL-1.6B). ## Thông tin mô hình - **Loại mô hình:** LoRA (Low-Rank Adaptation) - **Mục đích:** Trích xuất dữ liệu có cấu trúc (JSON) từ hình ảnh tài liệu y tế và tài chính. - **Dữ liệu huấn luyện:** [minhduc168/dataset-qwen-vlm-extract-bill-diagnosis](https://huggingface.co/datasets/minhduc168/dataset-qwen-vlm-extract-bill-diagnosis) ## Ưu điểm của LoRA - Kích thước nhẹ (chỉ vài trăm MB thay vì vài GB). - Có thể dễ dàng tích hợp vào mô hình gốc mà không cần thay đổi trọng số gốc. - Phù hợp cho việc triển khai linh hoạt hoặc tiếp tục tinh chỉnh trên tập dữ liệu riêng. ## Hướng dẫn sử dụng Để sử dụng Adapter này, bạn cần tải mô hình gốc và sau đó nạp trọng số LoRA bằng thư viện `peft`. ```python from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from peft import PeftModel import torch model_id = "LiquidAI/LFM2.5-VL-1.6B" adapter_id = "minhduc168/LFM2.5-VL-1.6B-Vietnamese-LoRA" # 1. Tải mô hình gốc model = Qwen2VLForConditionalGeneration.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map="auto" ) # 2. Nạp LoRA Adapter model = PeftModel.from_pretrained(model, adapter_id) # 3. Tải Processor processor = AutoProcessor.from_pretrained(model_id) model.eval() print("Model và Adapter đã sẵn sàng!") ``` **Các lưu ý** - **Base Model**: Đảm bảo cài đặt thư viện `peft`: `pip install peft` - **Phiên bản nén**: Nếu muốn sử dụng bản đã gộp sẵn trọng số hoặc bản GGUF để tiết kiệm tài nguyên, vui lòng tham khảo tại: [minhduc168/LFM2.5-VL-1.6B-Vietnamese-bill-diagnosis](https://huggingface.co/minhduc168/LFM2.5-VL-1.6B-Vietnamese-bill-diagnosis). **Liên hệ** Nếu có bất kỳ câu hỏi nào về bộ dataset hoặc quá trình training, vui lòng mở một Discussion tại repo này!