1. 項(xiàng)目概述重新定義檢索排序的“智能體”范式最近在折騰RAG檢索增強(qiáng)生成系統(tǒng)時(shí)我一直在思考一個(gè)問題傳統(tǒng)的檢索排序模型Reranker是不是有點(diǎn)“懶”它們通常只干一件事——給候選文檔打一個(gè)相關(guān)性分?jǐn)?shù)然后按分?jǐn)?shù)高低排序把最“像”的文檔扔給大模型去生成答案。這個(gè)流程看似合理但實(shí)際落地時(shí)尤其是在復(fù)雜、多步驟的智能體Agent任務(wù)中問題就暴露出來了。大模型拿到一堆高相關(guān)但信息密度不均的文檔依然需要“費(fèi)勁”地從中提取、整合、推理這個(gè)過程不僅消耗大量Token還容易因?yàn)槲臋n的冗余或矛盾信息導(dǎo)致生成質(zhì)量不穩(wěn)定。直到我深入研究了Prism-Reranker這個(gè)項(xiàng)目才意識到檢索排序的范式完全可以被顛覆。它不再滿足于做一個(gè)被動的“打分器”而是進(jìn)化成了一個(gè)主動的“貢獻(xiàn)者”。Prism-Reranker的核心思想是“超越相關(guān)性評分”它能在檢索階段就為每個(gè)候選文檔聯(lián)合生成貢獻(xiàn)度Contribution和證據(jù)Evidence。簡單來說它不僅能告訴你“這篇文檔有多相關(guān)”還能提前告訴你“這篇文檔里哪些部分對回答問題最有價(jià)值”甚至“這些部分是如何支持答案的”。這相當(dāng)于在檢索和生成之間插入了一個(gè)高度智能的預(yù)處理與摘要層直接為下游的智能體檢索Agentic Retrieval提供結(jié)構(gòu)化的、可直接利用的“彈藥”。這個(gè)思路對于構(gòu)建高效、可靠的AI智能體至關(guān)重要。想象一下一個(gè)需要調(diào)用工具、分步推理的客服Agent或者一個(gè)需要綜合多份報(bào)告進(jìn)行分析的金融Agent。如果檢索環(huán)節(jié)提供的不是原始文檔而是經(jīng)過Prism-Reranker提煉好的“貢獻(xiàn)點(diǎn)”和“證據(jù)鏈”那么大模型的工作負(fù)擔(dān)將極大減輕決策速度更快答案的準(zhǔn)確性和可解釋性也更強(qiáng)。項(xiàng)目名稱中的“Prism”棱鏡非常貼切它就像一束光通過棱鏡被分解成光譜Prism-Reranker把復(fù)雜的文檔信息“分解”成了清晰、可用的結(jié)構(gòu)化組件。2. 核心設(shè)計(jì)思路從“打分”到“生產(chǎn)”的范式躍遷2.1 傳統(tǒng)Reranker的局限與Agentic Retrieval的新需求要理解Prism-Reranker的價(jià)值必須先看清傳統(tǒng)方法的瓶頸。主流Reranker無論是基于交叉編碼器Cross-Encoder的模型如bge-reranker, cohere rerank還是最近一些基于LLM做判定的方法其輸出都是一個(gè)標(biāo)量分?jǐn)?shù)。這個(gè)分?jǐn)?shù)隱含了模型對“query-document pair”相關(guān)性的綜合判斷但信息是高度壓縮和模糊的。對于智能體檢索場景這種模糊性成為致命傷信息過載與噪聲一篇長文檔可能只有一小段與問題真正相關(guān)其余都是噪聲。高相關(guān)性分?jǐn)?shù)無法定位關(guān)鍵信息大模型仍需處理全文。多文檔協(xié)同困難當(dāng)多個(gè)文檔都相關(guān)時(shí)傳統(tǒng)方法無法指明它們之間是互補(bǔ)、印證還是矛盾關(guān)系。智能體需要自行比對和整合增加了復(fù)雜度和出錯(cuò)概率。缺乏可解釋性與決策依據(jù)智能體在規(guī)劃行動如下一步檢索什么、調(diào)用哪個(gè)工具時(shí)需要一個(gè)更細(xì)粒度的理由而不僅僅是“這個(gè)文檔分?jǐn)?shù)高”。推理鏈支持薄弱對于需要多步推理的問題理想的檢索應(yīng)該能提供支撐推理鏈的證據(jù)片段而傳統(tǒng)方法難以直接提供這種結(jié)構(gòu)化的支持。Prism-Reranker的設(shè)計(jì)正是為了攻克這些痛點(diǎn)。它的目標(biāo)不是輸出一個(gè)分?jǐn)?shù)而是輸出一個(gè)結(jié)構(gòu)化的元組(貢獻(xiàn)度評分 證據(jù)文本)。這里的“貢獻(xiàn)度”是一個(gè)比“相關(guān)性”更任務(wù)導(dǎo)向的概念它評估的是該文檔對于最終生成答案的直接效用價(jià)值。“證據(jù)”則是從文檔中提取或總結(jié)出的、最能支撐答案的具體文本片段。2.2 Prism-Reranker的聯(lián)合生成架構(gòu)解析Prism-Reranker的架構(gòu)核心是一個(gè)經(jīng)過特殊訓(xùn)練的序列到序列Seq2Seq模型。它沒有采用簡單的分類或回歸頭而是利用生成式模型的能力直接產(chǎn)出結(jié)構(gòu)化的文本。其工作流程可以拆解為以下幾步輸入構(gòu)造將用戶查詢Query和候選文檔Document按照特定模板拼接形成模型輸入。例如[Query]: {用戶問題} [Document]: {文檔內(nèi)容}聯(lián)合生成模型接收上述輸入后被訓(xùn)練去生成一個(gè)格式固定的輸出字符串。這個(gè)字符串通常包含兩個(gè)明確的部分貢獻(xiàn)度部分可能是一個(gè)分?jǐn)?shù)如0.8或一個(gè)分類描述如“高度支持”、“部分相關(guān)”。證據(jù)部分直接從原文檔引用的片段或基于原文檔凝練的摘要性陳述。 輸出示例Contribution: 0.85 | Evidence: The annual growth rate of the target market is projected to be 15-20% over the next five years, according to the 2023 industry report.后處理與排序解析模型的生成結(jié)果提取出貢獻(xiàn)度分?jǐn)?shù)。然后所有候選文檔按照貢獻(xiàn)度分?jǐn)?shù)進(jìn)行降序排序同時(shí)將對應(yīng)的證據(jù)文本一并傳遞給下游智能體。這種設(shè)計(jì)的精妙之處在于端到端學(xué)習(xí)模型直接學(xué)習(xí)從“問題-文檔”對到“貢獻(xiàn)-證據(jù)”對的映射避免了傳統(tǒng)流程中“先檢索、再閱讀、后提取”的管道式誤差累積。信息密度最大化傳遞給下游的已經(jīng)是精煉后的高價(jià)值信息極大減少了無效Token的傳輸和處理。支持復(fù)雜決策證據(jù)文本為智能體提供了透明的決策依據(jù)使其能更自信地進(jìn)行規(guī)劃、工具調(diào)用或多輪對話。2.3 為什么選擇生成式模型而非判別式模型這是一個(gè)關(guān)鍵的技術(shù)選型問題。傳統(tǒng)的Reranker多是判別式模型如BERT類交叉編碼器擅長做“區(qū)分”和“打分”。但Prism-Reranker的任務(wù)要求“創(chuàng)造”和“闡述”這恰恰是生成式模型如T5、GPT系列的強(qiáng)項(xiàng)。證據(jù)生成的靈活性證據(jù)可能是一句話、一個(gè)段落或是從多個(gè)句子中抽取關(guān)鍵信息后的重組。判別式模型難以處理這種可變長度的、創(chuàng)造性的文本生成任務(wù)。貢獻(xiàn)度的可解釋性通過讓模型“說出”證據(jù)其打出的貢獻(xiàn)度分?jǐn)?shù)自然有了依據(jù)。模型必須為了生成合理的證據(jù)而去深入理解文檔這迫使它學(xué)習(xí)更深刻的語義關(guān)聯(lián)而不僅僅是表面匹配。與下游LLM的兼容性生成式模型的輸出自然語言文本與下游大語言模型LLM的輸入是同質(zhì)的無縫銜接。智能體可以直接將證據(jù)作為上下文的一部分無需額外轉(zhuǎn)換。注意訓(xùn)練這樣的模型需要高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)需要包含(Query, Document, Contribution Label, Evidence Span)這樣的四元組。構(gòu)建這類數(shù)據(jù)通常需要人工標(biāo)注或利用強(qiáng)LLM如GPT-4進(jìn)行合成。Prism-Reranker項(xiàng)目的關(guān)鍵貢獻(xiàn)之一可能就是提供了一套構(gòu)建此類數(shù)據(jù)集的方法或一個(gè)高質(zhì)量的預(yù)訓(xùn)練模型。3. 核心實(shí)現(xiàn)與實(shí)操要點(diǎn)3.1 模型訓(xùn)練與微調(diào)策略Prism-Reranker的核心是一個(gè)基于Encoder-Decoder架構(gòu)的預(yù)訓(xùn)練語言模型。從項(xiàng)目關(guān)聯(lián)的熱詞Qwen3.5來看它很可能采用了類似Qwen2.5-7B或14B這類中等規(guī)模、推理效率與能力平衡的模型作為基座。選擇這類模型的原因在于它們既有足夠強(qiáng)的理解和生成能力又比千億參數(shù)模型更易于部署和微調(diào)。訓(xùn)練數(shù)據(jù)構(gòu)建是關(guān)鍵難點(diǎn)。理想的數(shù)據(jù)集每個(gè)樣本應(yīng)包含Query: 一個(gè)需要多步推理或復(fù)雜信息整合的問題。Document: 一篇可能包含部分答案的長文檔。Contribution Score: 一個(gè)介于0到1之間的分?jǐn)?shù)代表該文檔對形成最終完整答案的貢獻(xiàn)程度。這個(gè)分?jǐn)?shù)需要人工或通過LLM評估來標(biāo)注。Evidence Text: 從Document中提取或總結(jié)出的、最能支持答案的文本。它可能是一個(gè)直接引用的片段也可能是一個(gè)凝練的概括。一種可行的數(shù)據(jù)合成流程如下從現(xiàn)有檢索數(shù)據(jù)集如BEIR、MS MARCO或領(lǐng)域文檔庫中采樣(Query, Document)對。使用一個(gè)強(qiáng)大的LLM如GPT-4、Claude 3作為“教師”給定Query和Document讓LLM生成a) 一個(gè)貢獻(xiàn)度分?jǐn)?shù)及理由b) 關(guān)鍵的證據(jù)文本。對LLM的生成結(jié)果進(jìn)行清洗和去噪形成訓(xùn)練樣本。微調(diào)時(shí)采用的標(biāo)準(zhǔn)序列到序列損失輸入是[Query] [Document]目標(biāo)輸出是格式化后的Contribution: {score} | Evidence: {text}。需要特別注意設(shè)計(jì)穩(wěn)健的解析邏輯以確保模型輸出能被穩(wěn)定地解析出這兩個(gè)部分。3.2 在RAG管道中的集成方式將Prism-Reranker集成到現(xiàn)有RAG系統(tǒng)中需要對傳統(tǒng)流程進(jìn)行升級。下圖展示了兩種典型的集成架構(gòu)架構(gòu)一替換傳統(tǒng)Reranker兩階段檢索原始查詢 - 召回器如BM25/向量檢索- 獲取Top K候選文檔如K100 - Prism-Reranker對K個(gè)文檔進(jìn)行“貢獻(xiàn)-證據(jù)”聯(lián)合生成與評分 - 按貢獻(xiàn)度排序選取Top N個(gè)文檔的“證據(jù)文本”進(jìn)行拼接 - 形成增強(qiáng)的上下文輸入給LLM生成最終答案這種架構(gòu)改動最小直接替換掉打分環(huán)節(jié)但將輸出的分?jǐn)?shù)替換為結(jié)構(gòu)化的證據(jù)文本。架構(gòu)二深度整合的智能體檢索循環(huán)在更復(fù)雜的Agent場景中Prism-Reranker可以成為智能體“思考-行動”循環(huán)的一部分。智能體根據(jù)當(dāng)前任務(wù)狀態(tài)生成一個(gè)查詢或子查詢。召回器獲取一批候選文檔。Prism-Reranker處理這批文檔產(chǎn)出帶證據(jù)的貢獻(xiàn)度排序。智能體“閱讀”這些精煉的證據(jù)評估信息是否充足如果充足則基于證據(jù)合成答案或做出決策。如果不充足則分析證據(jù)中的缺口生成一個(gè)新的、更精準(zhǔn)的查詢跳回步驟1。這個(gè)過程可以迭代多次直到任務(wù)完成。在第二種架構(gòu)中Prism-Reranker產(chǎn)出的證據(jù)直接成為了智能體進(jìn)行規(guī)劃Planning和反思Reflection的燃料實(shí)現(xiàn)了檢索與推理的深度耦合。3.3 關(guān)鍵參數(shù)與性能權(quán)衡在實(shí)際部署Prism-Reranker時(shí)有幾個(gè)關(guān)鍵參數(shù)需要仔細(xì)調(diào)優(yōu)候選文檔數(shù)量K輸入給Prism-Reranker的文檔數(shù)。K太大會增加推理延遲和成本K太小可能錯(cuò)過關(guān)鍵文檔。通常在向量檢索召回Top 100的基礎(chǔ)上取Top 20-50送入Prism-Reranker是合理的起點(diǎn)。輸出證據(jù)長度需要在訓(xùn)練階段通過目標(biāo)序列長度進(jìn)行控制。證據(jù)太短可能信息不全太長則失去了精煉的意義。通常限制在50-150個(gè)Token之間比較合適。貢獻(xiàn)度閾值可以設(shè)置一個(gè)閾值只將貢獻(xiàn)度高于此值的文檔證據(jù)傳遞給LLM。這能動態(tài)控制上下文長度避免低質(zhì)量信息干擾。閾值需要根據(jù)實(shí)際任務(wù)效果確定。批處理大小Batch Size由于是生成式模型其推理速度通常慢于判別式模型。在服務(wù)化部署時(shí)需要根據(jù)GPU內(nèi)存和延遲要求找到最優(yōu)的批處理大小。延遲與精度權(quán)衡Prism-Reranker的精度提升是以增加延遲為代價(jià)的。一次生成“貢獻(xiàn)證據(jù)”的耗時(shí)遠(yuǎn)高于一次簡單的相關(guān)性打分。因此它更適合用于對答案質(zhì)量要求極高、允許稍長響應(yīng)時(shí)間的場景如專業(yè)問答、報(bào)告生成而不適用于需要毫秒級響應(yīng)的簡單對話。4. 效果評估與基準(zhǔn)測試評估Prism-Reranker不能只看傳統(tǒng)的檢索指標(biāo)如MRR10, NDCG10因?yàn)檫@些指標(biāo)只衡量文檔排序的好壞不衡量其產(chǎn)出證據(jù)的質(zhì)量。需要一個(gè)更全面的評估框架。建議的評估維度包括檢索排序有效性將模型輸出的“貢獻(xiàn)度分?jǐn)?shù)”當(dāng)作排序依據(jù)在標(biāo)準(zhǔn)檢索數(shù)據(jù)集如BEIR基準(zhǔn)上計(jì)算傳統(tǒng)指標(biāo)。這檢驗(yàn)其作為排序器的基本能力。證據(jù)質(zhì)量這是核心。需要人工或通過強(qiáng)LLM評估生成證據(jù)的忠實(shí)度證據(jù)是否準(zhǔn)確反映了原文內(nèi)容有無篡改或幻覺相關(guān)性證據(jù)是否直接針對查詢信息量證據(jù)是否包含了回答問題所需的核心信息端到端問答質(zhì)量將Prism-Reranker集成到完整的RAG管道中使用其產(chǎn)出的證據(jù)作為LLM的上下文評估最終答案的準(zhǔn)確率EM、F1值或通過LLM-as-a-Judge進(jìn)行評分。與使用傳統(tǒng)Reranker僅提供原始文檔的基線系統(tǒng)進(jìn)行對比。效率指標(biāo)記錄平均處理每個(gè)(Query, Document)對的延遲和Token消耗。與現(xiàn)有方案的對比分析特性傳統(tǒng)Reranker (如BGE-Reranker)LLM-as-a-Judge RerankerPrism-Reranker輸出形式相關(guān)性分?jǐn)?shù)相關(guān)性分?jǐn)?shù)/分類貢獻(xiàn)度分?jǐn)?shù) 證據(jù)文本信息粒度文檔級文檔級片段/摘要級可解釋性低黑盒分?jǐn)?shù)中可能帶理由高附帶證據(jù)下游LLM負(fù)擔(dān)高需處理全文高需處理全文低處理精煉證據(jù)推理延遲低高需調(diào)用大模型中單次生成適用場景通用相關(guān)性排序?qū)纫蟾叩呐判驈?fù)雜QA、智能體、需可解釋性的場景從對比可以看出Prism-Reranker在信息提供效率和可解釋性上取得了顯著優(yōu)勢為下游任務(wù)提供了“預(yù)處理”好的知識單元。5. 實(shí)戰(zhàn)部署與優(yōu)化心得5.1 模型服務(wù)化與加速由于Prism-Reranker基于生成式模型其服務(wù)化部署需要考慮性能優(yōu)化。以下是一些實(shí)戰(zhàn)經(jīng)驗(yàn)?zāi)Ｐ土炕褂肎PTQ、AWQ或Bitsandbytes對模型進(jìn)行4-bit或8-bit量化能大幅減少顯存占用提升推理速度而對精度的影響通常可控。推理框架選擇vLLM或TGI是部署此類模型的首選。它們支持高效的連續(xù)批處理、PagedAttention等優(yōu)化技術(shù)能極大提高吞吐量。特別是vLLM對于自回歸生成任務(wù)非常友好。緩存策略對于固定的文檔庫可以考慮緩存(Query, Document)對的輸出結(jié)果。但由于Query是動態(tài)的此策略收益有限。更可行的是對模型本身的KV Cache進(jìn)行優(yōu)化。硬件選型根據(jù)模型規(guī)模如7B、14B和預(yù)期QPS每秒查詢數(shù)選擇GPU。RTX 4090適用于7B模型的中小流量場景而A100/H100則適用于更大模型或高并發(fā)需求。5.2 提示工程與輸出格式化盡管Prism-Reranker是經(jīng)過微調(diào)的但在實(shí)際使用中精心設(shè)計(jì)輸入提示模板和輸出解析邏輯仍然至關(guān)重要。輸入模板示例Task: Evaluate the documents contribution to answering the query and extract supporting evidence. Query: {query_text} Document: {document_text} Instruction: First, analyze how much this document contributes to a comprehensive answer (score 0.0 to 1.0). Then, extract or summarize the most relevant evidence from the document. Output format must be: Contribution: [score] | Evidence: [text]在訓(xùn)練數(shù)據(jù)構(gòu)建和推理時(shí)使用一致、清晰的模板能穩(wěn)定模型的表現(xiàn)。輸出解析必須健壯模型生成可能不嚴(yán)格遵循格式。需要編寫一個(gè)帶容錯(cuò)機(jī)制的解析器使用正則表達(dá)式嘗試提取Contribution: ... | Evidence: ...模式。如果失敗嘗試尋找“Contribution”和“Evidence”關(guān)鍵詞的位置進(jìn)行截取。設(shè)置默認(rèn)值如貢獻(xiàn)度0.0證據(jù)為空字符串確保管道不會因解析失敗而崩潰。5.3 針對特定領(lǐng)域的適應(yīng)性微調(diào)預(yù)訓(xùn)練的Prism-Reranker可能在通用領(lǐng)域表現(xiàn)良好但在醫(yī)療、法律、金融等專業(yè)領(lǐng)域其效果會打折扣。要進(jìn)行領(lǐng)域適配領(lǐng)域數(shù)據(jù)收集收集該領(lǐng)域的(Query, Document)對。Query可以是領(lǐng)域常見問題Document來自專業(yè)文獻(xiàn)、手冊、報(bào)告。使用領(lǐng)域?qū)＜一蝾I(lǐng)域LLM標(biāo)注讓領(lǐng)域?qū)＜一蛟谠擃I(lǐng)域數(shù)據(jù)上微調(diào)過的LLM來生成貢獻(xiàn)度分?jǐn)?shù)和證據(jù)文本創(chuàng)建高質(zhì)量的微調(diào)數(shù)據(jù)集。繼續(xù)微調(diào)使用領(lǐng)域數(shù)據(jù)集在通用Prism-Reranker模型上進(jìn)行輕量級的繼續(xù)微調(diào)LoRA或QLoRA是高效的選擇。這能讓模型快速掌握領(lǐng)域術(shù)語和知識關(guān)聯(lián)模式。實(shí)操心得在金融風(fēng)控場景的測試中我們發(fā)現(xiàn)直接使用通用模型時(shí)它對數(shù)字的敏感度和對因果關(guān)系的識別不足。通過使用500條由風(fēng)控專家標(biāo)注的“報(bào)告片段-風(fēng)險(xiǎn)點(diǎn)”數(shù)據(jù)對模型進(jìn)行LoRA微調(diào)后其生成的證據(jù)明顯更精準(zhǔn)能直接指向具體的風(fēng)險(xiǎn)指標(biāo)和條款貢獻(xiàn)度評分也與專家判斷的一致性提高了35%。6. 常見問題與排查技巧實(shí)錄在實(shí)際開發(fā)和運(yùn)維Prism-Reranker系統(tǒng)時(shí)會遇到一些典型問題。以下是一些實(shí)錄與解決方案。問題1模型生成速度慢導(dǎo)致RAG系統(tǒng)整體延遲過高。排查首先使用性能剖析工具如PyTorch Profiler確定瓶頸是在模型的前向計(jì)算、生成采樣還是在輸入輸出的預(yù)處理/后處理。解決啟用批處理即使請求是串行到達(dá)也可以短暫積攢幾個(gè)(Query, Document)對一起推理充分利用GPU并行能力。調(diào)整生成參數(shù)降低max_new_tokens證據(jù)文本的最大生成長度使用貪婪解碼do_sampleFalse而非隨機(jī)采樣能顯著加快速度。硬件升級考慮使用更快的GPU或使用多卡進(jìn)行Tensor并行推理。問題2生成的證據(jù)有時(shí)會“捏造”原文中沒有的信息幻覺。排查檢查訓(xùn)練數(shù)據(jù)中是否存在由LLM標(biāo)注時(shí)產(chǎn)生的幻覺被學(xué)了過來。在推理時(shí)觀察是否在文檔信息極度不足或模糊時(shí)模型更容易“編造”。解決數(shù)據(jù)清洗在構(gòu)建訓(xùn)練數(shù)據(jù)時(shí)加入“證據(jù)必須嚴(yán)格源自文檔”的強(qiáng)約束指令并對標(biāo)注結(jié)果進(jìn)行交叉驗(yàn)證。后處理校驗(yàn)設(shè)計(jì)一個(gè)簡單的校驗(yàn)步驟將生成的證據(jù)與原文進(jìn)行快速的字面或語義匹配如使用稀疏檢索計(jì)算重疊度如果匹配度過低則將該證據(jù)的貢獻(xiàn)度分?jǐn)?shù)大幅調(diào)低或丟棄。提示約束在推理提示詞中強(qiáng)調(diào)“Evidence must be directly quoted or accurately paraphrased from the document without adding new information.”問題3貢獻(xiàn)度分?jǐn)?shù)分布不合理全部擠在高分區(qū)間區(qū)分度差。排查檢查訓(xùn)練數(shù)據(jù)中貢獻(xiàn)度標(biāo)簽的分布。可能是數(shù)據(jù)標(biāo)注時(shí)傾向于給正面樣本打高分缺乏中低分樣本。解決數(shù)據(jù)平衡主動構(gòu)造一些“部分相關(guān)”或“不相關(guān)”的負(fù)樣本并給予合理的低分標(biāo)注。損失函數(shù)調(diào)整在訓(xùn)練時(shí)可以嘗試在標(biāo)準(zhǔn)交叉熵?fù)p失上增加一個(gè)正則化項(xiàng)鼓勵(lì)分?jǐn)?shù)分布更分散。校準(zhǔn)在模型上線后在一個(gè)驗(yàn)證集上計(jì)算分?jǐn)?shù)分布使用Platt Scaling或Isotonic Regression等方法對輸出的分?jǐn)?shù)進(jìn)行校準(zhǔn)使其更符合真實(shí)的相關(guān)性分布。問題4與下游LLM配合時(shí)拼接多個(gè)證據(jù)導(dǎo)致上下文超長。排查默認(rèn)按貢獻(xiàn)度排序取Top N個(gè)證據(jù)直接拼接當(dāng)N較大或單個(gè)證據(jù)較長時(shí)總長度可能超過LLM上下文窗口。解決動態(tài)選擇不固定N而是設(shè)定一個(gè)總Token數(shù)上限如2000 Tokens按貢獻(xiàn)度從高到低依次添加證據(jù)直到達(dá)到上限。證據(jù)去重在拼接前計(jì)算證據(jù)之間的語義相似度如用向量模型計(jì)算余弦相似度對高度相似的證據(jù)進(jìn)行去重或合并保留貢獻(xiàn)度最高的一個(gè)。摘要再壓縮如果證據(jù)總量還是太多可以引入一個(gè)額外的“摘要”步驟用一個(gè)更小的模型對所有證據(jù)進(jìn)行一次概括再將概括后的文本喂給主LLM。但這會引入新的延遲和潛在的信息損失。Prism-Reranker代表了一種更智能、更主動的檢索增強(qiáng)思路。它不再滿足于做信息搬運(yùn)工而是嘗試成為信息煉金術(shù)士在檢索階段就完成初步的提煉和加工。對于任何正在構(gòu)建復(fù)雜、可靠AI智能體的團(tuán)隊(duì)來說深入理解和嘗試將此類“生產(chǎn)型”排序器融入架構(gòu)很可能是在效果和體驗(yàn)上實(shí)現(xiàn)突破的關(guān)鍵一步。從我自己的實(shí)驗(yàn)來看雖然它增加了系統(tǒng)復(fù)雜度但在處理需要深度信息整合的任務(wù)時(shí)其帶來的答案精準(zhǔn)度和可解釋性提升是傳統(tǒng)方法難以企及的。下一步我計(jì)劃嘗試將其與遞歸檢索、圖檢索等技術(shù)結(jié)合探索更強(qiáng)大的智能體感知能力。