之前在給一家企業做內部知識庫時最頭疼的問題不是文檔存儲而是“用戶問一句自然語言系統能不能找到真正相關的文檔”。最初用 MySQL 的 LIKE 模糊匹配只能命中關鍵詞用戶問“差旅報銷怎么走流程”而文檔里寫的是“申請差旅費用需要提交審批單”這種語義上的差異直接導致檢索結果為空。后來把方案改成 Milvus 向量數據庫 RAG 檢索增強生成才真正把問題解決。這篇文章會圍繞 Milvus 2.6 和 RAG 展開從“向量數據庫到底是什么”講起再到 Docker Compose 部署 Milvus Standalone、Python 客戶端接入、文檔切塊、Embedding 寫入、相似度檢索、LLM 回答的完整鏈路。適合剛接觸 RAG 的開發者也適合準備在企業項目里落地向量檢索的同學。讀完你不僅能搭出一套可演示的知識庫問答系統還能理解每一步背后的設計原因以及后續上生產時要注意的坑。1. 背景與核心概念1.1 什么是向量數據庫先做一個通俗類比。傳統關系型數據庫存的是行和列里面是字符串、數字、日期這類結構化數據查詢方式以精確匹配和范圍過濾為主。向量數據庫則多了一種核心能力它可以存儲“向量”也就是一串浮點數例如[0.121, -0.051, 0.882, ...]并且能根據向量之間的“距離”快速找到最相近的向量。這串浮點數從哪里來它來自 Embedding 模型。我們可以把一段文字、一張圖片甚至一段音視頻都交給 Embedding 模型處理模型會輸出一個固定維度的向量。這個向量在向量空間中代表了原文的語義位置。語義相近的文本其向量距離更近語義無關的文本其向量距離更遠。向量數據庫就是專門為這種“語義相似度檢索”設計的存儲和計算引擎。在企業場景中向量數據庫通常被用于推薦系統、相似圖片檢索、去重、多模態搜索以及目前最熱門的 RAG 知識庫問答。它解決的核心問題是在海量非結構化數據中通過語義而不是關鍵詞完成近似度搜索。1.2 什么是 RAGRAG 的全稱是 Retrieval-Augmented Generation檢索增強生成。它的思路很簡單大模型在回答用戶問題之前先從外部知識庫中檢索出相關資料把資料拼接到 Prompt 中再讓大模型依據這些資料生成答案。之所以需要 RAG是因為大模型存在三個天然問題。第一是知識時效性差模型訓練完成之后訓練數據以外的知識它并不知道第二是私有數據不可見企業內部文檔、客服記錄、項目手冊不會出現在模型訓練集中第三是幻覺問題面對不確定的內容大模型可能會一本正經地“編造”答案。RAG 通過實時檢索外部知識把回答限定在檢索到的資料范圍內既能補充實時知識又能顯著降低幻覺概率。RAG 的典型流程可以分為離線索引和在線查詢兩個階段。離線階段把文檔切塊、向量化、寫入向量數據庫在線階段把用戶問題向量化在向量數據庫中檢索 TopK 相關片段組裝成 Prompt 后交給大模型生成回答。1.3 為什么選擇 Milvus 2.6市面上的向量數據庫并不少有開源的 Chroma、Qdrant、Weaviate也有 Elasticsearch 自帶的向量檢索能力。但從生產落地和項目規模來看Milvus 是國內開發者和企業中使用非常廣泛的開源向量數據庫之一。Milvus 2.6 的定位是高可用、可擴展的云原生向量數據庫。它的核心優勢可以歸納為幾點。第一是索引類型豐富支持 FLAT、IVF、HNSW、DISKANN 等標準向量索引也支持稀疏向量和混合檢索第二是存儲與計算分離的架構設計適合數據量從千萬級到億級以上的場景第三是 SDK 完善官方提供 Python、Java、Go、C# 等語言的客戶端第四是周邊生態成熟Dify、LangChain、LlamaIndex、Haystack 等框架內都提供了 Milvus 的集成組件。Milvus 2.6 具體到版本層面在稀疏向量、多向量檢索、GPU 索引等能力上做了持續增強。如果你的項目還停留在概念驗證階段用 Milvus 2.6 起步后續平滑升級到集群模式也相對容易。1.4 RAG 與向量數據庫的關系需要強調一點RAG 并不必然需要向量數據庫。你完全可以用 Elasticsearch 的 BM25 關鍵詞檢索來做召回也可以直接用關系型數據庫存向量然后暴力掃描或者用 Faiss 這類向量檢索庫。但實際工程中向量數據庫承擔的不只是“存向量”還包括索引加速、標量過濾、數據生命周期管理、高可用和擴展能力。在 RAG 鏈路中向量數據庫負責的是“召回”這一步。召回質量直接決定最終回答質量。如果向量數據庫檢索不到相關片段大模型再強也無濟于事。這也是為什么很多人說RAG 的上限由大模型決定下限卻由檢索質量決定。2. 環境準備與版本說明2.1 技術棧選型在動手之前先確定整個示例的技術棧。本文以 Milvus 2.6 作為向量數據庫使用 Docker Compose 部署 Standalone 單機版本編程語言選擇 Python客戶端使用 pymilvusEmbedding 模型選擇開源的BAAI/bge-m3這個模型對中文語義理解效果較好輸出 1024 維向量LLM 部分為了不依賴特定云廠商示例使用 Ollama 啟動本地模型如果企業項目中已經使用 OpenAI、通義、DeepSeek 等服務的 OpenAI 兼容接口也可以直接替換。版本這里需要說明Milvus 處于快速迭代期本文使用的鏡像 tag 和 SDK 版本以你實際環境為準。建議控制在 2.6.x 的同一大版本內因為大版本升級往往涉及 API 變化和配置遷移。2.2 部署方式對比Milvus 的部署方式主要有四種適合不同階段。部署方式特點適用場景Milvus Lite進程內嵌隨 Python 環境啟動無需 Docker本地學習、快速原型驗證Standalone 單機一個 Milvus 實例依賴 etcd 和 MinIO中小規模數據、項目測試、單機生產Cluster 集群分架構部署支持分布式擴容大規模數據、高并發生產環境云托管服務官方托管版免運維預算充足、團隊缺少運維人力對于第一次接觸 Milvus 的同學推薦從 Standalone 開始既能完整體驗真實服務的部署流程又不需要處理復雜的集群調度問題。2.3 Docker Compose 部署 Milvus Standalone演示環境以 Linux 或 macOS 為主Windows 也可以使用 Docker Desktop。先確保機器上已經安裝 Docker 和 Docker Compose 插件。命令驗證如下。docker --version docker compose version如果命令能正常輸出版本號說明環境就緒。然后創建一個項目目錄在目錄下新建docker-compose.yml。# docker-compose.yml version: 3.5 services: etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.18 environment: - ETCD_AUTO_COMPACTION_MODErevision - ETCD_AUTO_COMPACTION_RETENTION1000 - ETCD_QUOTA_BACKEND_BYTES4294967296 - ETCD_SNAPSHOT_COUNT50000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd command: etcd -advertise-client-urlshttp://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd healthcheck: test: [CMD, etcdctl, endpoint, health] interval: 30s timeout: 20s retries: 3 minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data command: minio server /minio_data --console-address :9001 healthcheck: test: [CMD, curl, -f, http://localhost:9000/minio/health/live] interval: 30s timeout: 20s retries: 3 standalone: container_name: milvus-standalone image: milvusdb/milvus:v2.6.1 command: [milvus, run, standalone] security_opt: - seccomp:unconfined environment: ETCD_ENDPOINTS: etcd:2379 MINIO_ADDRESS: minio:9000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus healthcheck: test: [CMD, curl, -f, http://localhost:9091/healthz] interval: 30s start_period: 90s timeout: 20s retries: 3 ports: - 19530:19530 - 9091:9091 depends_on: - etcd - minio這個 Compose 文件包含了三個服務etcd 負責存儲 Milvus 的元數據MinIO 負責存儲日志和索引文件standalone 是 Milvus 主服務。19530是客戶端連接的 gRPC 端口9091是健康檢查和管理端口。啟動命令如下。docker compose up -d首次啟動需要拉取鏡像具體耗時取決于網絡和 Docker Hub 的訪問情況。啟動后查看容器狀態。docker compose ps docker logs milvus-standalone -f當看到 Milvus 相關服務啟動完成的日志并且curl http://localhost:9091/healthz返回正常響應說明部署成功。有一點要注意seccomp:unconfined這個配置在部分內核版本上是必須的如果啟動失敗提示權限問題可以優先檢查這一項。2.4 安裝 Python 依賴Milvus 服務啟動之后需要安裝 Python 客戶端。新建一個 Python 虛擬環境然后安裝依賴。python3 -m venv venv source venv/bin/activate pip install pymilvus sentence-transformers requests在實際項目中建議把依賴寫入requirements.txt文件方便復現環境。pymilvus 與 Milvus 服務端有版本匹配關系建議安裝與服務端大版本一致的 SDK例如 Milvus 2.6 對應 pymilvus 2.6 系列。3. Milvus 核心原理與檢索機制3.1 核心概念Collection、Field、Schema在 Milvus 中Collection可以類比關系型數據庫中的表Field類比字段Entity類比一行數據。每個 Collection 必須有一個主鍵字段此外可以包含標量字段和向量字段。向量字段可以有一個或多個用來承載 Embedding 結果。創建 Collection 時需要定義 Schema。Schema 需要說明每個字段的名稱、數據類型、是否主鍵、向量維度等信息。例如一個典型的 RAG 知識庫集合包含四個字段id主鍵、content文本內容、source文檔來源、embedding文本向量。需要區分的是Milvus 的 Schema 設計是“先定義后使用”的不像傳統數據庫可以隨意 ALTER TABLE。雖然 2.6 版本支持部分動態字段但生產環境中仍然建議在創建集合前仔細設計字段避免后續頻繁變更 Schema。3.2 向量索引原理在解釋 Milvus 的檢索機制之前先看一個看似簡單的問題如果數據量只有幾千條直接暴力計算所有向量與查詢向量的距離也就是 FLAT 索引完全沒有問題。可當數據量漲到一億條每次查詢都做全量距離計算延遲和 CPU 開銷都會高到不可接受。因此 Milvus 支持多種 ANN 近似最近鄰索引。IVF系列索引先通過聚類把向量空間劃分為多個桶查詢時只搜索相近的若干個桶犧牲少量精度換速度HNSW則基于多層跳表結構構建一張可導航的小世界圖查詢時從高層入口逐層逼近目標節點召回率高延遲也比較穩定是當前最常用的索引類型之一DISKANN適合超大數據量可以把索引放到磁盤上減少內存占用。HNSW 有四個關鍵參數值得關注。M控制每個節點的最大連接數值越大圖越稠密召回率越高但內存和構建時間也會增加efConstruction控制建圖時的動態候選列表大小影響索引構建質量ef是查詢時的候選列表大小值越大檢索越精確但耗時越高metric_type指定距離計算方式。一般來說M取 16 到 32efConstruction取 200 左右ef取 64 到 128是比較穩妥的起步配置。3.3 距離度量類型Milvus 常用的距離度量有三種。L2歐氏距離計算的是兩個向量之間的直線距離值越小越相似IP內積通常用于歸一化向量值越大越相似COSINE余弦相似度計算的是向量夾角的余弦值值越大越相似關注“方向”而不是“長度”。對于文本 Embedding推薦使用COSINE。因為很多 Embedding 模型輸出的向量雖然沒有強制歸一化但語義相似度更適合用余弦來衡量。在使用 COSINE 時Milvus 內部通常會對向量做歸一化處理查詢效果更穩定。如果使用 OpenAI 的text-embedding-ada-002官方也建議使用余弦相似度。3.4 標量過濾與混合檢索真實業務中單純的向量檢索往往不夠。例如知識庫中既包含技術文檔也包含財務制度用戶可能只想在“財務”分類下檢索。這時就需要在向量檢索之前或同時增加標量過濾條件。Milvus 支持在 search 請求中攜帶filter表達式例如source finance實現向量相似度檢索和標量條件過濾的一體化查詢。這種能力對 RAG 系統很重要它允許我們按權限、按文檔分類、按時間范圍縮小召回范圍避免向大模型喂入大量無關內容。4. RAG 知識庫完整實戰4.1 整體流程設計為了讓思路更清晰先把整個 RAG 系統的數據流拆開。文檔加載 - 文本切塊 - Embedding 向量化 - 寫入 Milvus Collection ↓ 用戶提問 - 問題 Embedding - Milvus 相似度檢索 - 召回 TopK 片段 ↓ 組裝 Prompt ↓ 大模型生成回答并返回前半部分是離線索引流程后半部分是在線查詢流程。兩個流程共享同一個 Embedding 模型因此模型必須保持一致否則向量空間不同檢索結果沒有意義。4.2 項目結構規劃本文用一個最小可運行的項目來演示目錄結構如下。rag-milvus/ ├── docker-compose.yml ├── config.py ├── build_kb.py └── query_kb.pyconfig.py統一管理 Milvus 連接參數、集合名、Embedding 模型、分塊參數等build_kb.py負責文檔切塊、向量化并寫入 Milvusquery_kb.py負責接收問題、檢索、組裝 Prompt 并調用大模型生成回答。4.3 編寫公共配置先創建config.py把整個鏈路中的關鍵參數集中到一個地方。# config.py MILVUS_HOST 127.0.0.1 MILVUS_PORT 19530 COLLECTION_NAME knowledge_base # Embedding 模型配置 EMBEDDING_MODEL BAAI/bge-m3 EMBEDDING_DIM 1024 # 文檔切塊參數 CHUNK_SIZE 300 CHUNK_OVERLAP 50 # 檢索參數 TOP_K 5 # LLM 服務配置 LLM_BASE_URL http://localhost:11434 LLM_MODEL qwen2.5:7b這里的EMBEDDING_DIM必須和所選 Embedding 模型的輸出維度一致。如果使用其他模型請先確認模型輸出維度例如BAAI/bge-base-zh-v1.5是 768 維text-embedding-ada-002是 1536 維。維度和 Collection 定義不匹配會在插入數據時報錯。4.4 文檔切塊與向量化寫入接下來編寫build_kb.py。這一步做的事情包括連接 Milvus、創建 Collection、加載本地文檔、切塊、生成向量、插入數據。# build_kb.py from pymilvus import ( connections, utility, CollectionSchema, FieldSchema, DataType, Collection ) from sentence_transformers import SentenceTransformer from config import ( MILVUS_HOST, MILVUS_PORT, COLLECTION_NAME, EMBEDDING_MODEL, EMBEDDING_DIM, CHUNK_SIZE, CHUNK_OVERLAP ) # 1. 連接 Milvus connections.connect(hostMILVUS_HOST, portMILVUS_PORT) # 2. 文本切塊 def chunks_from_text(text, sizeCHUNK_SIZE, overlapCHUNK_OVERLAP): chunks [] step size - overlap start 0 while start len(text): piece text[start: start size] if piece: chunks.append(piece) start step if len(piece) size: break return chunks # 3. 創建 Collection def create_collection(): if utility.has_collection(COLLECTION_NAME): existing Collection(COLLECTION_NAME) print(f集合 {COLLECTION_NAME} 已存在) return existing fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue, auto_idTrue), FieldSchema(namecontent, dtypeDataType.VARCHAR, max_length2048), FieldSchema(namesource, dtypeDataType.VARCHAR, max_length512), FieldSchema(nameembedding, dtypeDataType.FLOAT_VECTOR, dimEMBEDDING_DIM), ] schema CollectionSchema(fields, descriptionRAG knowledge base with Milvus 2.6) collection Collection(nameCOLLECTION_NAME, schemaschema) index_params { metric_type: COSINE, index_type: HNSW, params: {M: 16, efConstruction: 200} } collection.create_index(field_nameembedding, index_paramsindex_params) print(f集合 {COLLECTION_NAME} 創建完成) return collection # 4. 入口函數 def build(): model SentenceTransformer(EMBEDDING_MODEL) collection create_collection() # 實際項目中將這個列表替換為文檔讀取邏輯 documents [ { source: internal_manual.txt, text: 差旅費用報銷流程如下第一步提交申請第二步填寫明細 第三步等待審批財務在五個工作日內完成打款。如果需要加急 請提前聯系財務部門并說明原因。 }, { source: faq.txt, text: 發票丟失時可以在系統中申請電子發票復印件經項目經理確認后 財務按原件流程處理。補交申請需要在報銷截止日前完成。 } ] rows [] for doc in documents: chunks chunks_from_text(doc[text]) if not chunks: continue vectors model.encode(chunks).tolist() for chunk, vec in zip(chunks, vectors): rows.append({ content: chunk, source: doc[source], embedding: vec }) collection.insert(rows) collection.flush() collection.load() print(f已寫入 {len(rows)} 個向量片段) if __name__ __main__: build()這段代碼有幾個細節值得說明。chunks_from_text函數采用固定字符長度切塊并允許相鄰片段之間存在重疊目的是減少句子被從中間截斷帶來的語義損失。create_collection中通過utility.has_collection判斷集合是否已存在避免重復創建報錯。embedding字段的維度必須與模型輸出維度一致。最后插入數據后調用flush強制落盤load將數據加載到內存這樣后續查詢才能命中索引。執行導庫腳本。python build_kb.py如果一切正常會輸出類似下面的結果。集合 knowledge_base 創建完成 已寫入 2 個向量片段由于示例文檔較短寫入片段較少。真實項目中文檔數量可能是幾千甚至上百萬這時需要批量插入并考慮分批提交。4.5 檢索與問答再創建query_kb.py實現用戶問題檢索和回答生成。# query_kb.py from pymilvus import connections, Collection from sentence_transformers import SentenceTransformer import requests from config import ( MILVUS_HOST, MILVUS_PORT, COLLECTION_NAME, EMBEDDING_MODEL, TOP_K, LLM_BASE_URL, LLM_MODEL ) connections.connect(hostMILVUS_HOST, portMILVUS_PORT) model SentenceTransformer(EMBEDDING_MODEL) def call_llm(messages): # 以 Ollama 為例OpenAI 兼容服務可以替換為對應地址 resp requests.post( f{LLM_BASE_URL}/api/chat, json{ model: LLM_MODEL, messages: messages, stream: False }, timeout60 ) resp.raise_for_status() return resp.json()[message][content] def search(query): query_vec model.encode([query]).tolist() collection Collection(COLLECTION_NAME) collection.load() results collection.search( dataquery_vec, anns_fieldembedding, param{metric_type: COSINE, params: {ef: 64}}, limitTOP_K, output_fields[content, source] ) docs [] for hit in results[0]: content hit.entity.get(content) source hit.entity.get(source) docs.append(f[來源:{source}] {content}相似度:{hit.distance:.4f}) return docs def ask(question): docs search(question) context \n.join(docs) messages [ { role: system, content: 你是一個知識庫助理請嚴格基于提供的參考資料回答問題 如果資料中沒有相關內容請明確說明不知道不要編造。 }, { role: user, content: f參考資料\n{context}\n\n問題{question} } ] answer call_llm(messages) return answer, docs if __name__ __main__: q 發票丟失了還能報銷嗎 answer, refs ask(q) print(檢索到的參考資料) for r in refs: print(r) print(\n回答) print(answer)search函數將用戶問題向量化然后在 Milvus 中執行相似度檢索返回前TOP_K個片段。ask函數把檢索結果組裝進 Prompt再調用大模型。這里使用的 Prompt 模板是 RAG 中最基礎的形態明確要求模型只依據參考資料回答。在運行前需要確保 Ollama 服務已啟動并且已經拉取了配置文件中指定的模型。ollama pull qwen2.5:7b ollama serve然后運行問答腳本。python query_kb.py預期輸出大致如下。大模型的具體表述每次可能不同但關鍵信息應該來自檢索到的資料。檢索到的參考資料 [來源:faq.txt] 發票丟失時可以在系統中申請電子發票復印件經項目經理確認后財務按原件流程處理。補交申請需要在報銷截止日前完成。相似度:0.xxxx 回答 可以報銷。發票丟失后您可以在系統中申請電子發票復印件經過項目經理確認后財務會按原件流程處理但需要注意補交申請應在報銷截止日前完成。到這里一個最小可用的 RAG 知識庫問答系統已經跑通了。接下來我們看看這個鏈路中經常出現的問題以及對應的排查方法。5. 常見問題與排查思路問題現象常見原因解決思路docker compose up -d啟動后服務不斷重啟鏡像 tag 不存在或 Docker 配置不支持查看docker logs確認鏡像版本和security_opt配置Python 連接 Milvus 提示 19530 端口拒絕連接Milvus Standalone 未啟動或端口映射錯誤使用docker compose ps查看容器狀態確認防火墻放行端口插入數據時報維度錯誤Collection 的向量維度與 Embedding 模型輸出維度不一致查詢模型輸出維度重新創建 Collection或者更換模型檢索結果為空數據未 load或查詢向量與集合向量不在同一語義空間調用collection.load()并確認使用同一個 Embedding 模型大模型回答與檢索資料無關Prompt 中檢索上下文拼接錯誤檢查output_fields是否提取到content并觀察檢索到的文本內容Ollama 請求超時模型未啟動或機器性能不足先運行ollama list確認模型換更小的模型測試查詢延遲越來越高未建索引或索引類型不合適數據量增大檢查describe_index必要時重建 HNSW 索引這里重點說一下“檢索結果為空”的排查。遇到這類問題不要急著調大模型 Prompt先單獨跑一遍search函數打印檢索到的片段。如果 Milvus 返回結果為空最常見的原因有兩個一是集合創建后插入數據但沒有調用load二是查詢時用了不同的 Embedding 模型導致查詢向量和庫里向量完全不在一個語義空間。另一個高頻問題是 Docker 啟動失敗。很多初學者看到milvus-standalone容器反復重啟就束手無策。排查順序應該是先用docker logs milvus-standalone查看主服務日志再檢查 etcd 和 MinIO 的健康狀態最后確認宿主機端口是否被占用。Milvus 依賴 etcd 的元數據和 MinIO 的存儲如果這兩個組件不健康主服務必然無法正常工作。6. RAG 與 Milvus 工程化最佳實踐6.1 文檔切塊策略切塊是 RAG 系統中影響檢索質量最重要的因素之一但它又容易被忽略。切塊太小單個片段信息量不足容易召回語義不完整的碎片切塊太大片段中混入大量無關內容向量被平均后可能偏離核心主題而且大塊文本會占用更多 Prompt token。一個比較實用的策略是“結構化小塊 重疊窗口”。如果文檔有清晰的標題和段落結構可以盡量按標題層級切塊保證每個 chunk 在語義上自洽。如果沒有結構可以使用固定字符切塊并讓相鄰 chunk 重疊 10% 到 20%。例如CHUNK_SIZE300CHUNK_OVERLAP50這樣句子不容易被硬生生截斷。更復雜的項目還可以考慮先切句子再把相鄰句子按 token 上限合并或者引入語義切塊模型。切塊上線后務必人工抽檢幾個典型問題的召回結果根據實際效果調整參數。6.2 Embedding 模型選擇與向量維度中文場景下目前開源社區使用較多的有 BGE 系列、M3E 系列以及近年出現的BAAI/bge-m3。這類模型對中文語義理解比較友好模型體積也能接受。如果業務數據以英文為主OpenAI 的 embedding 系列或 SentenceTransformers 下的英文模型都是可選方案。選擇 Embedding 模型時不能只看效果還要關注向量維度。維度越高單個向量占用的存儲越大檢索計算量也越大。比如