本文整理自 AICon 深圳直播《如何約束 Agent》通過AI音視頻轉錄總結工具Ai好記視頻轉文字整理以下為精煉整理后的會議筆記內容。Agent能不能在真實業務里可靠地干活一直是個讓人頭疼的問題。很多人把它歸結為模型幻覺或推理能力不足但這場直播提出了一個更尖銳的判斷Agent當前最大的可靠性挑戰其實在模型之外。阿里云可觀測團隊的張鑫做主嘉賓包括深耕AI領域的創業者王仿、騰訊游戲一線研發的任磊達圍繞Agent的工程實踐和可靠性展開核心就是Harness Engineering怎么給一個能力足夠強的AI配上靠譜的約束機制。Agent可靠性的核心挑戰不在模型能力1、模型之外的系統性失敗張鑫認為模型能力雖然在持續增強但進入真實業務環境后絕大部分失敗發生在模型之外。Agent怎么知道正在操作的業務對象是什么、它當前的狀態、與其他對象的關系、可靠的數據來源、可執行的工具以及如何驗證是否達到了預期狀態。這些問題不解決即使換成更強的模型Agent依然是盲人摸象甚至會用篤定的語氣聲稱任務已完成、實際并沒完成。真正的挑戰是讓Agent在持續變化的環境里形成「理解、行動、觀察、驗證」的閉環核心是讓Agent真正理解真實業務系統把業務對象、關系、狀態和證據組織起來而不是面對零散的文檔數據。2、Harness的本質是為強能力配安全機制王仿從Harness Engineering的角度打了個比方討論Harness恰恰說明模型能力已經足夠強。就像發動機馬力不大時不需要方向盤和剎車馬力極強時才要配套安全防護。Harness不是限制模型能力而是讓它在可控范圍內做事。實習生出錯有主管兜底但線上生產環境的正式員工若誤操作退款或觸發不可控操作對企業影響就大了。所以Harness是工程上繞不開的話題也是AI在企業落地的關鍵OpenAI等也都在構建模型之上的Harness能力。3、Prompt失控與人機交互工程任磊達結合實踐分享Agent技術正在把工程技巧吸收進模型內部形成互利互升的關系。他分享了一次燒了七八億Token、吐出四萬行代碼的Prompt失控經歷強調Prompt不是虛概念而是包含人機交互的協同工程怎樣與AI交互、怎樣定義AI任務、怎樣讓產出符合預期、怎樣實現正向ROI。當工程ROI需要擺正時就得探索與模型的交互協同模式。Harness Engineering的工程實踐1、企業級Harness的核心要素王仿介紹其所在公司面向企業的Harness Engineering實踐核心在于幾個方面上下文管理機制企業任務需要分階段注入上下文比如退款流程要明確各階段接收什么上下文、形成什么新上下文、帶入哪些其他維度的信息。系統集成把ERP、WMS等系統集成進來讓模型在可控環境下調用。Skill調度復雜業務場景下Skill越多模型能力可能越差要解決正確調度的問題。穩定性保障企業任務要每天成百上千次重復穩定執行不能時好時壞。權限與可觀測解決權限問題、避免黑盒企業特別厭惡黑盒過程要能隨時介入。2、工程化承接不確定性張鑫補充Harness Engineering并不是消滅模型幻覺或不確定性而是用一個工程化的系統去承接和約束這種不確定性。未給上下文就亂發揮其實就是幻覺。核心在于兩點讓Agent正確地干事、做正確的事。可觀測能力至關重要只有觀測到Agent邏輯才能優化流程從觀測數據中學習、蒸餾知識、分析錯誤原因實現正確回歸形成飛輪效應。3、人機協同的流程架構任磊達從使用者視角區分了Harness的兩層。底層架構聚焦可觀測性等工程基礎上層流程關注人在何時介入、怎樣促進飛輪轉起來。清晰的架構能提升人在其中的效率讓產出更穩定可控。他推動的做法是讓每個人都參與進來、接受Agent協作從而對領域知識進行迭代演化而不是一個人完成整個團隊的活動。Agent的工作環境要像給新員工配工位1、新員工類比與四大核心問題張鑫把Agent比作企業新員工提出適合AI的工作環境要解決四個問題跟人類入職邏輯一致。看得懂理解系統內的業務對象比如模塊、class及其調用關系。做得到提供有清晰描述的工具但粒度要權衡太細則上下文爆炸太大則理解偏差、陷入幻覺。可被證明要有強大的可觀測能力未觀測到可能觸發P0故障還需要測試驅動開發TDD模式。做不壞、能回滾權限可控關鍵步驟要人參與有backup方案。2、漸進式信息披露與本體論張鑫進一步強調理想的工作環境不是一次性把信息塞給Agent而是讓它圍繞任務持續、漸進式地披露信息。企業問題通常不是沒有數據工具而是工具和數據割裂日志在A系統、工具在B人、告警與變更關聯不明。需要用本體論讓Agent對全局有全面了解再按系統結構逐層完成理解。3、數字員工視角的環境構建王仿從企業數字員工的角度補充。本體論要前置把人做的上下文翻譯成AI能理解的語言定義任務對象、關系、邊界、規則、流程、決策邏輯技術再入場實現感知、計算、判斷。他還對比了封閉環境與企業環境的差異IDE、瀏覽器這類封閉環境可以通過模型訓練讓AI具備使用工具的能力但企業環境無法直接訓練只能通過Harness Engineering實現。4、工作流程中的Agent嵌入任磊達分享了工作流程層面的實踐。今年AI的一個明顯特點是需要先與Agent澄清流程觀察它工作過程中的錯誤反哺到前期的澄清里直到足夠清晰后拆分子任務或做D級圖編排完成后review過程。這需要與具體業務開發綁定、有反饋才能轉起loop、更好迭代。現在一個MR動輒幾百到上萬行已經超出人類思維負載倒逼每個環節去調教Agent的協同能力。數據、知識與語義結構的關系1、三者的邏輯層次與落地階段王仿分析了三者的關系數據告訴過去發生了什么知識告訴當前客觀的業務事實語義和結構告訴它們之間的關系。知識加語義加結構是基于當前事實決定下一步動作。落地要分階段先解決知識和語義結構問題本體論邏輯再與數據結合從被動感知接受需求做任務進化到像人一樣主動感知、判斷、決策。2、注意力分散與上下文精簡張鑫指出AI時代不缺數據企業數據工具眾多問題是數據太多導致注意力分散。需要精簡上下文讓Agent更聚焦用最簡單的方法做事。本體論是基礎設施能讓知識顯化比如運維場景里CPU高可能由業務方變更調大閾值導致而不是簡單擴容這類知識以前記在人腦里現在需要通過本體論顯化。3、主觀能動性與Human-in-Loop任磊達強調生成本體論簡單但連接到更多數據、持續迭代需要主觀能動性。做法是推動每個人參與、接受Agent協作從而對領域知識負責、愿意迭代。Human-in-Loop的角色比例很關鍵不是一個人完成全公司的活動。Agent執行系統的核心能力1、狀態聚焦與概率串行控制任磊達指出今年工程趨勢是無論DD工作流還是Cloud、CLO內置命令都在反復明確Agent當前在干什么、上下文具體關系。因為Agent是概率性的長期流程概率串行疊加會導致失敗率指數級增長需要不斷提醒其目標、步驟、上下文以聚焦背景。2、可靠Agent的四大能力王仿從企業ROI挑戰的角度提出可靠Agent必備的四大能力。一是狀態管理任務掛起、接口故障后的恢復重試機制。二是執行結果校驗接口返回結構變化要能感知業務翻譯時理清返回結構、核心字段、處理方式執行時遵循校驗。三是異常恢復超時回滾、任務分割與現場恢復。四是全過程可控可觀測日志記錄加看板展示讓人隨時知道發生了什么、怎么發生的、原因何在。3、工具契約與Runtime兜底張鑫總結獲取信任的關鍵是干活踏實且老板能看到。工具需要有明確契約入參、出參、參數校驗、使用條件定義清楚可靠的Runtime要支持重試回滾可觀測性讓人踏實數據則成為優化流程和Agent能力的基礎。人類員工與Agent的性價比與邊界1、企業訴求的兩類場景王仿分析了企業對Agent的兩大訴求降本增效與樣本增效。落地場景分人力密集型客服審核等算替換人力的賬和知識密集型程序員等培養成本高。程序員兼具兩類特征所以成為首要目標但未被完全替換。從增長角度看Agent可能有大局觀和串聯能力比如保險公司案例里HR、培訓、業務團隊目標割裂AI可以動態感知市場變化和能力短板聯動各部門目標。2、專業性與判斷力的不可替代張鑫認為Agent只會道歉無法負責人能提供的是判斷力Agent什么活都能干但缺邊界。Agent是增加人效的工具但人在其中的上下文切換消耗巨大。王仿強調要尊重人的專業性哪怕包材審核也有幾十個維度品牌做到極致的功夫難以替代。3、自主性與可控性的平衡任磊達指出編碼AI火的原因就是代碼可控、無概率性邊界設計就是把不可控變成可控再執行。王仿提出按風險等級設定自主性邊界高風險需要嚴格校驗審核、人兜底中風險人確認AI產出低風險可以半自動駕駛。具體分三個階段影子系統離線評估、人確認模式、半自動駕駛。4、權限的漸進式開放張鑫區分了自主與可控并不矛盾可控范圍內可以自主。企業落地要回答Agent在什么范圍內工作超權限有嚴格控制。關鍵包括數據權限正確的人看正確的數據、影子系統驗證、只讀等低風險權限漸進放開。類比人類入職一開始只有只讀權限隨職位提升權限擴大。Agent進化需要外部知識庫指導正確行為配合可觀測告警高危操作。本體論構建的實踐路徑1、從場景出發而非公司全局王仿明確反對從公司角度構建全局本體論投入周期、時間、價值都難論證。應該從業務場景、具體任務出發比如客服導購就做客服導購的本體論供應商資質審核就做對應的本體論。脫離場景業務方不理解仍是技術視角。2、問題驅動與領域建模張鑫認同這個方向。先明確解決什么問題再構建問題領域的模型定義工具數據關聯讓Agent高效解決問題。總結能力只有被工程體系承載才能進入復雜場景這場討論圍繞Agent實踐本質是在探討一種新的工程范式。未來不僅需要訓練更強的模型也需要構建讓模型更可靠的工作環境從測試到運行時再到入庫。能力只有被工程體系承載才能真正進入復雜場景。對正在落地Agent的團隊來說Harness Engineering不是可選項而是把AI用起來的前提。常見問題FAQQAgent最大的可靠性挑戰是什么主要在模型之外包括Agent如何知道業務對象及其狀態、可靠數據來源、可執行工具以及如何驗證是否達到預期。這些問題不解決換更強模型也沒用。QHarness Engineering是干什么的用一個工程化的系統去承接和約束模型的不確定性包括上下文管理、系統集成、Skill調度、穩定性保障、權限與可觀測讓AI在可控范圍內做事。Q給Agent配工作環境要考慮什么跟給新員工配工位類似看得懂理解業務對象、做得到工具契約清晰、可被證明可觀測TDD、做不壞能回滾權限可控backup。Q可靠Agent必備哪些能力狀態管理、執行結果校驗、異常恢復超時回滾、任務分割、全過程可控可觀測四類能力。Q本體論應該怎么建從業務場景和具體任務出發而不是從公司全局出發先明確解決什么問題再構建問題領域的模型和工具數據關聯。以上內容由 Ai好記 轉錄整理。Ai好記是一款支持音視頻轉圖文筆記的AI知識庫工具支持B站、小紅書、抖音、小宇宙等平臺鏈接及本地音視頻文件解析視頻轉文字后自動生成精華速覽、思維導圖和結構化圖文筆記幫助你把幾小時的視頻內容變成可搜索、可復習的圖文筆記。