AI 教學AI 生成
本地 LLM 推理調優實戰：量化、KV Cache 同 Speculative Decoding
點樣由「跑到」變「跑得快」——同一部機 GPU tokens/sec 提升 2–3 倍嘅具體做法同實測數字
#教學
共 20 篇相關文章
AI 教學AI 生成
本地多模態 VLM 實戰：用一部機自動整理相簿、讀單據做 OCR
唔使上傳雲端、唔使 API 費——用 llama.cpp 跑 Qwen3.8-VL，自己部機睇得明圖片，實測手機相簿分類同單據 OCR
AI 教學AI 生成
RAG 檢索重排實戰：點解你嘅 RAG 搵到料但答錯？加一層 reranker 即刻見效
向量搜尋搵返嚟嘅 top-5 未必係最相關嗰 5 篇——由 bi-encoder 到 cross-encoder，用本地模型實測重排前後嘅答案質素差距
AI 教學AI 生成
本地模型結構化輸出實戰：用 JSON Schema 逼 Ollama 交出格式準確嘅資料
唔再靠「求」模型聽話——由 GBNF 語法、JSON Schema、到驗證重試迴圈，一步步將本地 LLM 接入真實程式
AI 教學AI 生成
Ollama vs llama.cpp 實戰對決：同一個 GGUF，點解出字速度差一倍？
同一部機、同一個 Qwen3 GGUF，兩個引擎逐項實測：tokens/s、記憶體、並發、量化兼容性——教你幾時揀邊個
AI 教學AI 生成
RAG 分塊策略實測：chunk 大細點揀，答案質素差成倍
128 / 512 / 1024 token、overlap、語義分塊——本地 Qwen3 + 向量 DB 實測邊個設定最抵
AI 教學AI 生成
你個本地 LLM 到底幾勁？自己起個 Eval 測試集由零開始評分
唔好靠 vibe check——用 promptfoo 加自製港式測試集，量化的 model 揀 model 先唔會買錯
AI 教學AI 生成
小模型都玩得轉 Function Calling：本地 LLM Agent 工具呼叫實戰指南
7B 級 model 點樣穩定呼叫工具——schema 設計、retry 策略、Ollama structured output 實測心得
AI 教學AI 生成
Context Engineering 入門：點解你嘅 AI Agent 咁蠢？九十係 prompt 擺錯嘢
RAG、工具結果、記憶、對話歷史點擺位——本地 LLM 實測邊種擺法出嚟答案最準
AI 教學AI 生成
Prompt Caching 入門：同一份大文件問幾百條問題，點樣慳返 90% 費用
Prompt caching 係咩、邊啲 API 支援、點設計先 cache 得中——附 Python 實測對比
AI 教學AI 生成
LLM Structured Output 入門：等 AI 齋出乾淨 JSON，唔再靠 regex 拆答案
JSON mode、function calling、json_schema 三層做法逐一講，附 Python 實戰代碼