turbovec長度歸一化評分RaBitQ量化偏差消除技巧如何大幅提升召回率【免費下載鏈接】turbovecA vector index built on TurboQuant, written in Rust with Python bindings項目地址: https://gitcode.com/GitHub_Trending/tu/turbovecturbovec是一個用 Rust 編寫、帶 Python 綁定的向量索引基于 Google 的 TurboQuant 量化算法構建。它的核心技巧之一是長度歸一化評分length-renormalized scoring——一個借鑒自 RaBitQ 論文的量化偏差消除方法用每個向量額外存儲的一個標量把系統性偏低的內積估計修正為無偏估計且檢索時零額外開銷。對于用 2-bit / 4-bit 低比特量化做向量檢索的工程師這是召回率提升最直接的一招。什么是量化偏差為什么低比特下更嚴重向量檢索常用內積衡量相似度。但量化把 float32 向量壓成 2~4 比特的整數碼會引入一個隱蔽問題量化重建出的單位方向會比原向量略短導致內積被系統性低估。比特越高如 8-bit重建越接近原向量偏差越小比特越低2-bit縮短效應越明顯低估越嚴重結果就是某些本該排在前列的候選向量分數被壓低召回率下降。對新手來說一個直覺理解Lloyd-Max 標量量化的重建值平均比原值縮水一點1536 個坐標逐個縮水后內積整體被拉低。RaBitQ 的長度歸一化修正原理一句話RaBitQSIGMOD 2024 論文提出的思路非常簡潔turbovec 將其適配進自己的編碼管線編碼時對每個向量計算一個標量原向量的范數 ÷旋轉后的單位向量與其量化重建的內積即||v|| / ?u, x??檢索時把每個候選的量化內積分數乘以這個標量即可把向下偏的估計校正為無偏。關鍵在于代價極低編碼時只多算一次 d 維點積官方給出的實測100 萬個 d1536 向量額外編碼耗時不到 1 秒每個向量只多存1 個 float32檢索內核在堆插入前乘一下零檢索時計算開銷收益在低比特位寬下最顯著——那里量化收縮最大。turbovec 的 README 明確說明Lloyd-Max 碼本已逼近香農失真率下界2.7 倍以內而這個長度歸一化步驟消除的正是碼本在內積估計器本身上的殘余偏差。 核心公式score_corrected ?query_code, candidate_code? × (||v|| / ?u, x??)編碼管線中的位置歸一化 → 旋轉 → 量化 → 長度歸一化turbovec 的編碼流程中長度歸一化是最后一步評分修正與前面幾步緊密配合歸一化剝離向量長度norm單獨存為一個浮點數向量變成超球面上的單位方向確定性正交旋轉全局置換 塊 Hadamard讓每個坐標服從已知的近高斯分布且跨平臺逐比特一致TQ 校準可選每坐標擬合 shift/scale 兩個標量把有限維度下的分布漂移映射回碼本設計目標Lloyd-Max 標量量化按數學預計算的最優分桶2-bit 用 4 桶、4-bit 用 16 桶長度歸一化評分計算每向量的修正標量||v|| / ?u, x??與壓縮碼一起落盤。 相關實現可參考turbovec/src/encode.rs 中的標量推導注釋以及 README.md 的管線說明。在磁盤格式上這組標量被存放在.tv文件的scales 段n_vectors × f32緊跟在 codes 段之后見 docs/api.md 的格式定義。早期版本中該標量只存||v||后來才升級為 RaBitQ 風格的||v|| / ?u_rot, x??修正記錄見 CHANGELOG.md。對使用者的實際影響召回率與相似度模式召回率提升官方基準100K 向量、對比 FAISSIndexPQ顯示帶長度歸一化修正的 TQ 在 OpenAI d1536 / d3072 多個格點上 R1 領先 0.9~2.9 個百分點在低維、漂移更大的 GloVe d200 上2-bit R1 達到 0.572超過 FAISS 的 0.564。低比特位寬下這一修正正是少花內存還能反超的關鍵。cosine 模式下的長度歸一化如果你用的是框架集成LangChain / LlamaIndex / Haystack / Agnoturbovec 提供兩種相似度模式而長度歸一化在其中又有一層含義cosine默認文檔向量和查詢向量在進索引前先做L2 歸一化除以各自的范數于是引擎的原始內積就是 [-1, 1] 區間內的真實余弦相似度與向量幅度無關——這是長度歸一化在評分語義上的直接體現dot_product向量原樣存儲分數是原始內積排序對幅度敏感閾值需要按數據集校準。零向量無法歸一化norm 為 0實現中會保持原樣與參考文檔庫的行為一致。 實現見 turbovec-python/python/turbovec/_similarity.py 中的l2_normalize_rows?？焖偕鲜? 行代碼用上這些能力from turbovec import TurboQuantIndex index TurboQuantIndex(dim1536, bit_width2) # 低比特下長度歸一化修正收益最大 index.add(vectors) scores, indices index.search(query, k10)不需要手動做任何修正——長度歸一化標量在add()時自動計算并隨write()/sync()持久化檢索內核自動應用。常見問題 FAQQ1這個修正會增加檢索延遲嗎不會。修正量在編碼時一次算好檢索內核只是堆插入前多乘一個浮點數屬于零檢索時開銷設計。Q2高比特如 8-bit還需要它嗎仍會自動應用收益小但無損主要受益場景是 2-bit 和 4-bit 低比特位寬。Q3它和 TQ 校準是什么關系兩者互補TQ 校準index.calibrate(sample)修正分布漂移長度歸一化修正內積低估前者可顯式開啟、后者默認生效。Q4想深入了解源碼從哪看推薦順序turbovec/src/encode.rs 的標量推導 → docs/api.md 的.tv格式定義 → README.md 的管線總覽 → turbovec-python/python/turbovec/_similarity.py 的相似度模式?！久赓M下載鏈接】turbovecA vector index built on TurboQuant, written in Rust with Python bindings項目地址: https://gitcode.com/GitHub_Trending/tu/turbovec創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 turbovec長度歸一化評分：RaBitQ量化偏差消除技巧如何大幅提升召回率
turbovec長度歸一化評分RaBitQ量化偏差消除技巧如何大幅提升召回率【免費下載鏈接】turbovecA vector index built on TurboQuant, written in Rust with Python bindings項目地址: https://gitcode.com/GitHub_Trending/tu/turbovecturbovec是一個用 Rust 編寫、帶 Python 綁定的向量索引基于 Google 的 TurboQuant 量化算法構建。它的核心技巧之一是長度歸一化評分length-renormalized scoring——一個借鑒自 RaBitQ 論文的量化偏差消除方法用每個向量額外存儲的一個標量把系統性偏低的內積估計修正為無偏估計且檢索時零額外開銷。對于用 2-bit / 4-bit 低比特量化做向量檢索的工程師這是召回率提升最直接的一招。什么是量化偏差為什么低比特下更嚴重向量檢索常用內積衡量相似度。但量化把 float32 向量壓成 2~4 比特的整數碼會引入一個隱蔽問題量化重建出的單位方向會比原向量略短導致內積被系統性低估。比特越高如 8-bit重建越接近原向量偏差越小比特越低2-bit縮短效應越明顯低估越嚴重結果就是某些本該排在前列的候選向量分數被壓低召回率下降。對新手來說一個直覺理解Lloyd-Max 標量量化的重建值平均比原值縮水一點1536 個坐標逐個縮水后內積整體被拉低。RaBitQ 的長度歸一化修正原理一句話RaBitQSIGMOD 2024 論文提出的思路非常簡潔turbovec 將其適配進自己的編碼管線編碼時對每個向量計算一個標量原向量的范數 ÷旋轉后的單位向量與其量化重建的內積即||v|| / ?u, x??檢索時把每個候選的量化內積分數乘以這個標量即可把向下偏的估計校正為無偏。關鍵在于代價極低編碼時只多算一次 d 維點積官方給出的實測100 萬個 d1536 向量額外編碼耗時不到 1 秒每個向量只多存1 個 float32檢索內核在堆插入前乘一下零檢索時計算開銷收益在低比特位寬下最顯著——那里量化收縮最大。turbovec 的 README 明確說明Lloyd-Max 碼本已逼近香農失真率下界2.7 倍以內而這個長度歸一化步驟消除的正是碼本在內積估計器本身上的殘余偏差。 核心公式score_corrected ?query_code, candidate_code? × (||v|| / ?u, x??)編碼管線中的位置歸一化 → 旋轉 → 量化 → 長度歸一化turbovec 的編碼流程中長度歸一化是最后一步評分修正與前面幾步緊密配合歸一化剝離向量長度norm單獨存為一個浮點數向量變成超球面上的單位方向確定性正交旋轉全局置換 塊 Hadamard讓每個坐標服從已知的近高斯分布且跨平臺逐比特一致TQ 校準可選每坐標擬合 shift/scale 兩個標量把有限維度下的分布漂移映射回碼本設計目標Lloyd-Max 標量量化按數學預計算的最優分桶2-bit 用 4 桶、4-bit 用 16 桶長度歸一化評分計算每向量的修正標量||v|| / ?u, x??與壓縮碼一起落盤。 相關實現可參考turbovec/src/encode.rs 中的標量推導注釋以及 README.md 的管線說明。在磁盤格式上這組標量被存放在.tv文件的scales 段n_vectors × f32緊跟在 codes 段之后見 docs/api.md 的格式定義。早期版本中該標量只存||v||后來才升級為 RaBitQ 風格的||v|| / ?u_rot, x??修正記錄見 CHANGELOG.md。對使用者的實際影響召回率與相似度模式召回率提升官方基準100K 向量、對比 FAISSIndexPQ顯示帶長度歸一化修正的 TQ 在 OpenAI d1536 / d3072 多個格點上 R1 領先 0.9~2.9 個百分點在低維、漂移更大的 GloVe d200 上2-bit R1 達到 0.572超過 FAISS 的 0.564。低比特位寬下這一修正正是少花內存還能反超的關鍵。cosine 模式下的長度歸一化如果你用的是框架集成LangChain / LlamaIndex / Haystack / Agnoturbovec 提供兩種相似度模式而長度歸一化在其中又有一層含義cosine默認文檔向量和查詢向量在進索引前先做L2 歸一化除以各自的范數于是引擎的原始內積就是 [-1, 1] 區間內的真實余弦相似度與向量幅度無關——這是長度歸一化在評分語義上的直接體現dot_product向量原樣存儲分數是原始內積排序對幅度敏感閾值需要按數據集校準。零向量無法歸一化norm 為 0實現中會保持原樣與參考文檔庫的行為一致。 實現見 turbovec-python/python/turbovec/_similarity.py 中的l2_normalize_rows?？焖偕鲜? 行代碼用上這些能力from turbovec import TurboQuantIndex index TurboQuantIndex(dim1536, bit_width2) # 低比特下長度歸一化修正收益最大 index.add(vectors) scores, indices index.search(query, k10)不需要手動做任何修正——長度歸一化標量在add()時自動計算并隨write()/sync()持久化檢索內核自動應用。常見問題 FAQQ1這個修正會增加檢索延遲嗎不會。修正量在編碼時一次算好檢索內核只是堆插入前多乘一個浮點數屬于零檢索時開銷設計。Q2高比特如 8-bit還需要它嗎仍會自動應用收益小但無損主要受益場景是 2-bit 和 4-bit 低比特位寬。Q3它和 TQ 校準是什么關系兩者互補TQ 校準index.calibrate(sample)修正分布漂移長度歸一化修正內積低估前者可顯式開啟、后者默認生效。Q4想深入了解源碼從哪看推薦順序turbovec/src/encode.rs 的標量推導 → docs/api.md 的.tv格式定義 → README.md 的管線總覽 → turbovec-python/python/turbovec/_similarity.py 的相似度模式?！久赓M下載鏈接】turbovecA vector index built on TurboQuant, written in Rust with Python bindings項目地址: https://gitcode.com/GitHub_Trending/tu/turbovec創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考