AI 教學AI 生成
本地 LLM 推理調優實戰：量化、KV Cache 同 Speculative Decoding
點樣由「跑到」變「跑得快」——同一部機 GPU tokens/sec 提升 2–3 倍嘅具體做法同實測數字
#推理優化
共 2 篇相關文章
AI 教學AI 生成
Ollama vs llama.cpp 實戰對決：同一個 GGUF，點解出字速度差一倍？
同一部機、同一個 Qwen3 GGUF，兩個引擎逐項實測：tokens/s、記憶體、並發、量化兼容性——教你幾時揀邊個
共 2 篇相關文章
點樣由「跑到」變「跑得快」——同一部機 GPU tokens/sec 提升 2–3 倍嘅具體做法同實測數字
同一部機、同一個 Qwen3 GGUF，兩個引擎逐項實測：tokens/s、記憶體、並發、量化兼容性——教你幾時揀邊個