AI 教學AI 生成
本地 LLM 推理調優實戰：量化、KV Cache 同 Speculative Decoding
點樣由「跑到」變「跑得快」——同一部機 GPU tokens/sec 提升 2–3 倍嘅具體做法同實測數字
#本地部署
共 6 篇相關文章
AI 教學AI 生成
本地多模態 VLM 實戰：用一部機自動整理相簿、讀單據做 OCR
唔使上傳雲端、唔使 API 費——用 llama.cpp 跑 Qwen3.8-VL，自己部機睇得明圖片，實測手機相簿分類同單據 OCR
共 6 篇相關文章
點樣由「跑到」變「跑得快」——同一部機 GPU tokens/sec 提升 2–3 倍嘅具體做法同實測數字
唔使上傳雲端、唔使 API 費——用 llama.cpp 跑 Qwen3.8-VL，自己部機睇得明圖片，實測手機相簿分類同單據 OCR