
論文總結與翻譯:《Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models》一、文章主要內容總結本文聚焦歐盟《通用數據保護條例》(GDPR)第17條規定的“被遺忘權”,針對大型語言模型(LLMs)的合規性難題,提出將模型“遺忘”(Unlearning)轉化為可復現的系統級問題。核心思路是把LLM訓練視為確定性程序,通過記錄最小化的微批次日志(含有序樣本ID哈希、隨機數種子、學習率、優化器步數等),在滿足確定性條件時,過濾“待遺忘數據”并回放訓練過程,可得到與僅用“保留數據”訓練完全一致的模型參數(訓練數據類型下的位級一致)。為平衡延遲與可用性需求,文章設計了三條互補執行路徑:近期步驟精確回滾:通過微檢查點或每步密集增量,實現近期訓練步驟的即時精確撤銷;** cohort 范圍適配器刪除**:當基礎模型凍結時,直接刪除特定 cohort 訓練的低秩適配器(LoRA),消除該 cohort 數據的影響;曲率引導反更新:緊急場景下,先基于曲率(如對角Fisher信息)計算反更新調整模型,再用保留數據微調,若審計不通過則升級為精確回放。此外,文章還構建了可審計的工作流(含簽名遺忘清單記錄所有操作與產物)、明確的