前言LLMs 雖然在多種任務(wù)中表現(xiàn)出色但本質(zhì)上是靜態(tài)的無(wú)法適應(yīng)新任務(wù)、知識(shí)領(lǐng)域的演變或動(dòng)態(tài)交互環(huán)境因此研究者們開(kāi)始關(guān)注能夠?qū)崟r(shí)適應(yīng)性推理、行動(dòng)和進(jìn)化的Agents系統(tǒng)這種從靜態(tài)模型到自進(jìn)化Agents的范式轉(zhuǎn)變?yōu)閷?shí)現(xiàn)人工超級(jí)智能ASI鋪平了道路。首次系統(tǒng)地回顧了自進(jìn)化智能體Self-Evolving Agents的研究進(jìn)展。圍繞“什么要進(jìn)化”“何時(shí)進(jìn)化”“如何進(jìn)化”三個(gè)核心問(wèn)題展開(kāi)為AI領(lǐng)域中從靜態(tài)模型向動(dòng)態(tài)、自適應(yīng)智能體系統(tǒng)的發(fā)展提供理論框架和實(shí)踐指導(dǎo)。2022年至2025年若干代表性自進(jìn)化代理框架的進(jìn)化全景圖一、什么要進(jìn)化探討代理系統(tǒng)中哪些部分可以進(jìn)化包括模型、上下文如記憶和提示、工具和架構(gòu)。模型自生成監(jiān)督學(xué)習(xí)通過(guò)角色交替生成問(wèn)題和解決方案利用成功軌跡微調(diào)模型參數(shù)。交互反饋學(xué)習(xí)將執(zhí)行軌跡或自然語(yǔ)言批評(píng)作為獎(jiǎng)勵(lì)信號(hào)結(jié)合監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)框架實(shí)現(xiàn)持續(xù)策略改進(jìn)。文本反饋學(xué)習(xí)將非結(jié)構(gòu)化文本反饋視為可微訓(xùn)練信號(hào)影響提示設(shè)計(jì)和模型參數(shù)。上下文記憶進(jìn)化積累知識(shí)、回憶事件并根據(jù)經(jīng)驗(yàn)調(diào)整行為如基于遺忘曲線的記憶管理、動(dòng)態(tài)記憶更新和經(jīng)驗(yàn)總結(jié)。提示優(yōu)化改進(jìn)代理輸入給底層模型的指令無(wú)需修改模型權(quán)重如基于搜索的優(yōu)化、迭代重寫(xiě)和自然語(yǔ)言修正。工具自主發(fā)現(xiàn)和創(chuàng)建克服固定工具集的限制按需創(chuàng)新如探索性發(fā)現(xiàn)、反應(yīng)式創(chuàng)建和結(jié)構(gòu)化框架。掌握工具通過(guò)迭代改進(jìn)掌握新生成的工具確保工具的可靠性和實(shí)用性。管理工具高效管理和選擇工具如工具編碼和架構(gòu)優(yōu)化。架構(gòu)單代理系統(tǒng)優(yōu)化優(yōu)化LLM調(diào)用節(jié)點(diǎn)和代理的整體架構(gòu)如節(jié)點(diǎn)優(yōu)化和架構(gòu)優(yōu)化。多代理系統(tǒng)優(yōu)化優(yōu)化代理之間的組織和通信結(jié)構(gòu)如工作流優(yōu)化和多代理協(xié)同進(jìn)化。二、何時(shí)進(jìn)化When to Evolve分析進(jìn)化發(fā)生的時(shí)間點(diǎn)分為測(cè)試時(shí)進(jìn)化intra-test-time和測(cè)試間進(jìn)化inter-test-time。測(cè)試時(shí)進(jìn)化基于上下文學(xué)習(xí)ICL動(dòng)態(tài)調(diào)整模型的上下文窗口實(shí)現(xiàn)即時(shí)適應(yīng)無(wú)需修改模型參數(shù)。例如AdaPlanner通過(guò)自我反思和計(jì)劃修訂動(dòng)態(tài)調(diào)整策略。監(jiān)督微調(diào)SFT代理通過(guò)生成“自我編輯”指令直接對(duì)模型參數(shù)進(jìn)行即時(shí)調(diào)整。例如Self-Adaptive Language Modeling通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練模型生成有效的自我編輯指令。強(qiáng)化學(xué)習(xí)RL代理在遇到超出當(dāng)前能力范圍的問(wèn)題時(shí)通過(guò)生成相關(guān)問(wèn)題變體并進(jìn)行針對(duì)性的強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)即時(shí)技能獲取。例如LADDER通過(guò)測(cè)試時(shí)強(qiáng)化學(xué)習(xí)TTRL機(jī)制針對(duì)特定問(wèn)題類(lèi)別進(jìn)行強(qiáng)化學(xué)習(xí)。測(cè)試間進(jìn)化基于上下文學(xué)習(xí)ICL將之前任務(wù)的執(zhí)行結(jié)果和反饋?zhàn)鳛樯舷挛男畔⒅笇?dǎo)未來(lái)任務(wù)的解決。例如Wang等人通過(guò)從代理行動(dòng)歷史中誘導(dǎo)工作流并將其納入后續(xù)任務(wù)的上下文中實(shí)現(xiàn)知識(shí)的積累和復(fù)用。監(jiān)督微調(diào)SFT通過(guò)生成合成數(shù)據(jù)和自我評(píng)估實(shí)現(xiàn)迭代自我改進(jìn)。例如SELF通過(guò)自我反饋和自我修正能力迭代生成對(duì)未標(biāo)記指令的響應(yīng)并通過(guò)自我批評(píng)進(jìn)行優(yōu)化。強(qiáng)化學(xué)習(xí)RL利用無(wú)約束的計(jì)算資源通過(guò)與環(huán)境的廣泛交互和復(fù)雜的課程設(shè)計(jì)優(yōu)化代理策略。例如RAGEN和DYSTIL通過(guò)在線強(qiáng)化學(xué)習(xí)優(yōu)化多輪交互任務(wù)中的代理策略。三、如何進(jìn)化How to Evolve總結(jié)引導(dǎo)進(jìn)化適應(yīng)的方法包括基于獎(jiǎng)勵(lì)的進(jìn)化、模仿和示范學(xué)習(xí)、基于種群和進(jìn)化的方法。基于獎(jiǎng)勵(lì)的進(jìn)化文本反饋利用自然語(yǔ)言反饋指導(dǎo)代理的改進(jìn)。例如Reflexion通過(guò)自然語(yǔ)言反思改進(jìn)代理的行為。內(nèi)部獎(jiǎng)勵(lì)利用模型自身的置信度或概率估計(jì)作為獎(jiǎng)勵(lì)信號(hào)。例如Self-Rewarding Self-Improving通過(guò)內(nèi)部獎(jiǎng)勵(lì)機(jī)制實(shí)現(xiàn)自我改進(jìn)。外部獎(jiǎng)勵(lì)利用外部環(huán)境提供的獎(jiǎng)勵(lì)信號(hào)。例如SWE-Dev通過(guò)環(huán)境反饋優(yōu)化代理的行為。隱式獎(jiǎng)勵(lì)利用模型的內(nèi)在獎(jiǎng)勵(lì)機(jī)制如“Reward Is Enough”通過(guò)簡(jiǎn)單的標(biāo)量信號(hào)實(shí)現(xiàn)獎(jiǎng)勵(lì)學(xué)習(xí)。模仿與示范學(xué)習(xí)自生成示范學(xué)習(xí)代理通過(guò)生成自己的訓(xùn)練數(shù)據(jù)來(lái)改進(jìn)行為。例如STaR通過(guò)生成和驗(yàn)證問(wèn)題解決方案來(lái)提升推理能力。跨代理示范學(xué)習(xí)代理通過(guò)學(xué)習(xí)其他代理的示范來(lái)改進(jìn)行為。例如SiriuS通過(guò)多階段改進(jìn)和反饋整合來(lái)提升性能。混合示范學(xué)習(xí)結(jié)合自生成和跨代理示范學(xué)習(xí)。例如SOFT通過(guò)內(nèi)部反饋進(jìn)行優(yōu)化提升代理的性能。基于種群和進(jìn)化的方法單代理進(jìn)化通過(guò)種群機(jī)制進(jìn)化單個(gè)代理。例如Darwin G?del Machine通過(guò)開(kāi)放性進(jìn)化實(shí)現(xiàn)自我改進(jìn)。多代理進(jìn)化通過(guò)種群機(jī)制進(jìn)化多個(gè)代理。例如EvoMAC通過(guò)多代理協(xié)同進(jìn)化提升性能。混合進(jìn)化方法結(jié)合單代理和多代理進(jìn)化。例如AutoFlow通過(guò)自適應(yīng)搜索優(yōu)化代理工作流。最后為什么要學(xué)AI大模型當(dāng)下??智能市場(chǎng)迎來(lái)了爆發(fā)期并逐漸進(jìn)?以??通?智能AGI為主導(dǎo)的新時(shí)代。企業(yè)紛紛官宣“ AI ”戰(zhàn)略為新興技術(shù)?才創(chuàng)造豐富的就業(yè)機(jī)會(huì)?才缺?將達(dá) 400 萬(wàn)DeepSeek問(wèn)世以來(lái)生成式AI和大模型技術(shù)爆發(fā)式增長(zhǎng)讓很多崗位重新成了炙手可熱的新星崗位薪資遠(yuǎn)超很多后端崗位在程序員中穩(wěn)居前列。與此同時(shí)AI與各行各業(yè)深度融合飛速發(fā)展成為炙手可熱的新風(fēng)口企業(yè)非常需要了解AI、懂AI、會(huì)用AI的員工紛紛開(kāi)出高薪招聘AI大模型相關(guān)崗位。最近很多程序員朋友都已經(jīng)學(xué)習(xí)或者準(zhǔn)備學(xué)習(xí) AI 大模型后臺(tái)也經(jīng)常會(huì)有小伙伴咨詢(xún)學(xué)習(xí)路線和學(xué)習(xí)資料我特別拜托北京清華大學(xué)學(xué)士和美國(guó)加州理工學(xué)院博士學(xué)位的魯為民老師給大家這里給大家準(zhǔn)備了一份涵蓋了AI大模型入門(mén)學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書(shū)籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻全系列的學(xué)習(xí)資料這些學(xué)習(xí)資料不僅深入淺出而且非常實(shí)用讓大家系統(tǒng)而高效地掌握AI大模型的各個(gè)知識(shí)點(diǎn)。這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】AI大模型系統(tǒng)學(xué)習(xí)路線在面對(duì)AI大模型開(kāi)發(fā)領(lǐng)域的復(fù)雜與深入精準(zhǔn)學(xué)習(xí)顯得尤為重要。一份系統(tǒng)的技術(shù)路線圖不僅能夠幫助開(kāi)發(fā)者清晰地了解從入門(mén)到精通所需掌握的知識(shí)點(diǎn)還能提供一條高效、有序的學(xué)習(xí)路徑。但知道是一回事做又是另一回事初學(xué)者最常遇到的問(wèn)題主要是理論知識(shí)缺乏、資源和工具的限制、模型理解和調(diào)試的復(fù)雜性在這基礎(chǔ)上找到高質(zhì)量的學(xué)習(xí)資源不浪費(fèi)時(shí)間、不走彎路又是重中之重。AI大模型入門(mén)到實(shí)戰(zhàn)的視頻教程項(xiàng)目包看視頻學(xué)習(xí)是一種高效、直觀、靈活且富有吸引力的學(xué)習(xí)方式可以更直觀地展示過(guò)程能有效提升學(xué)習(xí)興趣和理解力是現(xiàn)在獲取知識(shí)的重要途徑光學(xué)理論是沒(méi)用的要學(xué)會(huì)跟著一起敲要?jiǎng)邮謱?shí)操才能將自己的所學(xué)運(yùn)用到實(shí)際當(dāng)中去這時(shí)候可以搞點(diǎn)實(shí)戰(zhàn)案例來(lái)學(xué)習(xí)。海量AI大模型必讀的經(jīng)典書(shū)籍PDF閱讀AI大模型經(jīng)典書(shū)籍可以幫助讀者提高技術(shù)水平開(kāi)拓視野掌握核心技術(shù)提高解決問(wèn)題的能力同時(shí)也可以借鑒他人的經(jīng)驗(yàn)。對(duì)于想要深入學(xué)習(xí)AI大模型開(kāi)發(fā)的讀者來(lái)說(shuō)閱讀經(jīng)典書(shū)籍是非常有必要的。600AI大模型報(bào)告實(shí)時(shí)更新這套包含640份報(bào)告的合集涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無(wú)論您是科研人員、工程師還是對(duì)AI大模型感興趣的愛(ài)好者這套報(bào)告合集都將為您提供寶貴的信息和啟示。AI大模型面試真題答案解析我們學(xué)習(xí)AI大模型必然是想找到高薪的工作下面這些面試題都是總結(jié)當(dāng)前最新、最熱、最高頻的面試題并且每道題都有詳細(xì)的答案面試前刷完這套面試題資料小小offer不在話(huà)下這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】