做法律文本處理的人應該都遇到過這樣一種情境一篇德國法規(guī)文檔從 PDF 里轉出來的純文本看起來整整齊齊章節(jié)、條、款、句都在那里。可是當你試圖讓模型“讀懂”它的時候困難卻不在單詞也不在語法而在法條內部那套看不見的邏輯結構。哪一句是構成要件哪一句是法律后果哪個條款只是在定義概念哪一處引用指向另一部法律——這些結構人類法律工作者一眼就能判斷機器學習模型卻需要大量專門的數(shù)據(jù)才能學出來。ANNOTARES 這個項目做的就是為“從德國成文法規(guī)中抽取邏輯結構”提供一套數(shù)據(jù)集。這篇博客想把它放在一個更大的背景里聊清楚這類數(shù)據(jù)集到底解決什么問題怎么用以及它的邊界在哪里。1. 法律文本不是普通文本為什么“讀懂結構”這么難1.1 法條的表層是段落底層是一張邏輯網(wǎng)絡如果只看法條排版德國法規(guī)其實非常有秩序。以《德國民法典》為例整部法典被分成編Buch、章Abschnitt、節(jié)Titel往下是具體條文Paragraph條文里再有款Absatz、句Satz、項Nummer。PDF 轉文本工具可以很輕松地保留這層排版結構因為它是顯式的。但這層排版結構只是入口。真正決定一條法規(guī)“怎么用”的是藏在這層結構底下的邏輯網(wǎng)絡。一條規(guī)范要成立往往要同時滿足好幾個條件這些條件可能散落在同一款的不同句子里也可能被定義條款和例外條款層層包裹。更麻煩的是德國法律條文之間的交叉引用極其密集經常出現(xiàn)“按照第 X 條第 Y 款第 Z 句”這樣的寫法。于是法規(guī)表面上是線性的文字實際上是一張由條件、后果、定義、例外、引用構成的邏輯網(wǎng)絡。通用 NLP 工具擅長處理的是表層文本而邏輯結構抽取要處理的恰恰是這個網(wǎng)絡。沒有對邏輯結構的統(tǒng)一刻畫模型讀一百條法條得到的只是一百段孤立的文字而不是一套可以相互關聯(lián)的規(guī)則。1.2 德國立法的“語言債”讓抽取任務更難德國法規(guī)文本在語法上是出了名的“硬”。長定語、嵌入從句、名詞化、復合詞都是家常便飯。一個句子可以寫成幾行主句被從句層層包裹不到句末根本看不到謂語。對依賴語法分析的模型來說這種結構天然地不友好。更重要的是法規(guī)語言里幾乎每個詞都可能承擔規(guī)范功能。“可以”和“必須”之間是裁量與義務的差別“或者”和“并且”之間是選擇關系與累積條件的差別。這種高密度的規(guī)范性語義決定了我們不能用普通的文本分類或情感分析思路來處理。從工程經驗看這其實是很多法律 NLP 項目一開始就容易掉進去的坑以為先跑通一個通用語義模型再丟幾條德國法條進去就能得到結構。結果往往得到一堆看起來通順、實際沒有完整保存“如果—那么”邏輯的輸出。1.3 為什么必須要有專門的標注數(shù)據(jù)集有人可能會問現(xiàn)在大型語言模型那么強直接讓它抽取邏輯結構不行嗎行但問題在于“穩(wěn)定”和“可評測”。大模型可以做零樣本抽取但輸出格式、標簽體系、邊界劃分都不夠穩(wěn)定。如果我們要把這個能力變成一個可復用的工程模塊就需要一個固定 schema、有黃金標注、能計算準確率的基準。ANNOTARES 這類數(shù)據(jù)集提供的正是這個一套對德國成文法規(guī)的規(guī)范結構進行人工標注的語料讓訓練和評估都有了同一把尺子。換個角度看這也是法律領域和普通文本領域的一個本質區(qū)別法律文本的使用后果很重標注錯一個邊界可能導致對整條規(guī)范的誤讀。因此“有據(jù)可查的人工標注”不是錦上添花而是這類任務能成立的前提。2. ANNOTARES 是什么一個面向德國法規(guī)邏輯結構的基礎資源2.1 從標題里能確認的信息邊界先從信息邊界說起。從標題本身我們能直接確認的信息有三個它首先是一個數(shù)據(jù)集Dataset其次面向的對象是德國成文法規(guī)German Statutory Texts最后它的目標是邏輯結構抽取Extracting Logical Structures。至于數(shù)據(jù)集的具體規(guī)模、標注了哪些結構類別、采用什么格式、訓練集和測試集怎么劃分、許可協(xié)議是什么這些細節(jié)并不在標題里。所以如果你準備實際使用第一步應該是去查項目論文、數(shù)據(jù)集倉庫或官方文檔把這些信息確認清楚而不是從標題直接推斷。這不是套話。數(shù)據(jù)集的使用邊界幾乎全部由標注指南annotation guideline決定。同樣是“規(guī)范結構”不同項目可能有完全不同的標簽定義和邊界規(guī)則。先看文檔再動手能省下后面大量返工時間。2.2 它屬于“窄而深”的領域數(shù)據(jù)集我們平時接觸到的數(shù)據(jù)集其實有好幾類。初學者做機器學習入門多半會用 iris dataset 這類經典的二維表格數(shù)據(jù)它教的是分類和聚類的底層邏輯做前端可視化的人會關心 echarts dataset 這類面向圖表的數(shù)據(jù)結構它討論的是字段如何映射到坐標軸和圖形教程里常見的 easy dataset 工具強調的是快速把散亂數(shù)據(jù)整理成可供模型消費的格式。ANNOTARES 和它們都不太一樣。它屬于“窄而深”的領域標注語料窄是因為它只覆蓋德國成文法規(guī)深是因為它在每一段文本上標注的語義信息遠比一份普通文本語料豐富。它的價值密度高但通用性不強。你不太可能拿它來提升聊天機器人的語言能力但它對法律檢索、法規(guī)分析、合規(guī)輔助這類任務可能是關鍵的基礎設施。2.3 “邏輯結構抽取”不是普通信息抽取這一點很容易被誤解。信息抽取通常指的是從文本里抽實體、抽事件、抽關系。比如從一份新聞里抽出“公司 A 收購了公司 B”這是信息抽取。邏輯結構抽取要處理的對象更抽象它要還原的是法條內部的論證骨架哪些文本片段構成某個規(guī)范規(guī)范的成立條件是什么觸發(fā)后果是什么這些片段之間是什么邏輯關系。可以做一個類比普通信息抽取像是給一棟樓的每個房間貼上物品清單而邏輯結構抽取是畫出這棟樓的電路圖。前者告訴你“哪里有什么”后者告訴你“它們怎樣連接、什么條件下通電”。對于法律文本來說真正有價值的恰恰是后者因為只有理解了連接關系才能判斷一條規(guī)范在具體場景里是否被觸發(fā)。3. 邏輯結構抽取到底抽什么給模型一張“法律邏輯地圖”3.1 先切分規(guī)范從法條到可操作的單元法律邏輯結構的第一個層次是把文本切分成規(guī)范單元。在德國法學理論里一個條文Paragraph可能包含多個規(guī)范也可能一條規(guī)范跨越多個條文。抽取系統(tǒng)的第一步通常是判斷當前文本片段屬于哪種規(guī)范角色再決定如何歸組。這個切分看起來簡單做起來并不容易。因為法規(guī)原文并不會用 XML 標簽告訴你“這里是一條規(guī)范”它只給你自然語言。邊界在哪里、嵌套關系如何表示都需要標注數(shù)據(jù)的支撐。3.2 “如果—那么”構成要件與法律后果法律邏輯結構的核心是德國法學里常說的“構成要件Tatbestand—法律后果Rechtsfolge”結構。簡單來說當滿足某些條件時產生某種法律后果。這種結構本質上是法律規(guī)范的基本邏輯形式。舉一個簡單的德語刑法條文例子來說明Wer ein Fahrzeug führt, obwohl ihm die erforderliche Fahrerlaubnis fehlt, wird mit Freiheitsstrafe bestraft.這句里“Wer ein Fahrzeug führt”駕駛車輛和“obwohl ihm die erforderliche Fahrerlaubnis fehlt”缺少必要駕駛許可是構成要件“wird mit Freiheitsstrafe bestraft”將被處以自由刑是法律后果。人類很容易看出來“如果—那么”的邏輯就藏在句子結構里但機器需要學會的正是這種識別。更復雜的法條里構成要件不會這么整齊。它可能被拆到多個句子里可能被“但是”轉折可能引用另一個條文。因此標注數(shù)據(jù)必須在不同寫法下給模型提供一致的標簽。3.3 交叉引用法律文本里的“超鏈接”德國法規(guī)中交叉引用是最大的一類“邏輯結構”特征。條文作者經常不把規(guī)則寫全而是直接指向別處的條款常見寫法包括“按照第 34 條第 2 款”“準用第 400 條”等。從邏輯結構抽取的角度看交叉引用意味著當前規(guī)范的理解不能只依賴當前條文而要把被引用的規(guī)范也納入進來。因此好的標注體系通常會把交叉引用識別為一種關系型標簽而不只是把引用文字框出來。這里的原則是先抽取引用邊界再做引用關系鏈接。不要試圖一步到位把“引用最終指向哪一條”直接作為分類任務因為解析引用本身可能就需要多步推理。3.4 定義、例外、推定邏輯網(wǎng)絡上的其他節(jié)點除了構成要件和法律后果法規(guī)里還存在其他功能性結構單元定義條款用來限定一個概念的外延例外條款用來排除某些情況推定條款用來調整證明責任擬制條款則把一種情況當作另一種情況處理。這些功能單元在邏輯上扮演不同角色對模型來說卻經常是“看起來都是普通句子”。沒有標注數(shù)據(jù)模型很難學會區(qū)分它們。而一旦能區(qū)分下游很多任務都會變得簡單檢索可以更精準合規(guī)分析可以更完整條文對比可以更省力。4. 這類數(shù)據(jù)集在工程里怎么用從標注到抽取模型的落地流程4.1 三種常見的任務建模方式拿到類似 ANNOTARES 的標注數(shù)據(jù)之后常見的做法是把邏輯結構抽取建模成三類任務或者三類任務的組合。第一類是 Span 級標注。把文本切成 token為每個 token 打上 BIO 標簽識別構成要件、法律后果、定義等片段。這是最基礎的建模方式適合先判斷“哪些句子片段承擔哪種邏輯角色”。# 示意結構不是 ANNOTARES 原始數(shù)據(jù) # 用 BIO 格式標記兩個邏輯片段 tokens [Wer, ein, Fahrzeug, führt, ,, wird, bestraft] labels [B-Tatbestand, I-Tatbestand, I-Tatbestand, I-Tatbestand, O, B-Rechtsfolge, I-Rechtsfolge]第二類是關系抽取。在 Span 標注的基礎上判斷片段之間的關系。例如“這條構成要件指向哪條法律后果”“這個引用指向哪個具體條文”。關系抽取通常比 Span 識別更難因為長距離依賴很常見。第三類是層級結構預測。法規(guī)的邏輯結構經常是嵌套的章套節(jié)、節(jié)套條、條套款條款里再套規(guī)范。如果數(shù)據(jù)集提供了層級標注模型可以嘗試直接預測一個樹狀結構而不是平鋪的標簽序列。實際項目里建議先從第一類任務跑通再逐步疊加關系抽取和層級建模。一上來就追求完整結構預測容易在調試階段就陷入細節(jié)。4.2 訓練與評測時要控制的關鍵變量第一是數(shù)據(jù)劃分方式。如果按句子隨機切分訓練集和測試集同一部法律的相關條款會同時出現(xiàn)在兩邊模型相當于“考到了原題”評估結果會虛高。更穩(wěn)妥的做法是按文檔或法條編號劃分。第二是類別不平衡。法律文本里構成要件和法律后果通常數(shù)量多定義和例外相對少。如果只盯著總體準確率少數(shù)類可能完全學不到。評測時至少要看各類別的 F1尤其是稀有類別。第三是匹配粒度。Span 抽取評估時“完全匹配”和“部分匹配”是兩回事。有的模型邊界預測總是差一兩個 token完全匹配分數(shù)會很難看但部分匹配可能已經很有用。工程上可以先確定你要哪種粒度再決定如何調優(yōu)。4.3 一個最小可行的驗證流程從拿到數(shù)據(jù)到跑出一個可評估的模型我建議按這個順序操作閱讀數(shù)據(jù)集文檔和標注指南確定標簽體系與格式。寫一個腳本統(tǒng)計標簽分布、文本長度、文檔數(shù)量先建立對數(shù)據(jù)的直覺。選擇一個德語預訓練語言模型作為基底做 Span 抽取的 baseline。用一小部分樣本跑通數(shù)據(jù)加載、訓練、預測、評估的完整流程。逐步增加數(shù)據(jù)量和訓練輪數(shù)觀察驗證集指標是否穩(wěn)定。按結構類別拆開評估找出 F1 最低的類別。做錯誤分析判斷問題是出在標簽定義、數(shù)據(jù)噪聲還是模型能力。這個流程的核心思想是先跑通再優(yōu)化。不要一開始就把精力花在復雜的模型結構上先用最小流程檢驗數(shù)據(jù)本身是不是和你預期一致。注意不要一上來就把全部訓練數(shù)據(jù)灌進模型先用一小部分樣本確認數(shù)據(jù)加載、標簽對齊、評估代碼都沒問題再逐步增加規(guī)模。5. 新手最容易踩的坑數(shù)據(jù)使用和模型落地邊界5.1 不讀標注指南就動手是最大的坑數(shù)據(jù)集的標簽不是“自然存在”的而是被設計出來的。同一個詞比如“定義”在不同標注方案里可能有完全不同的邊界。有些方案把定義條款標成一個 Span有些方案則只標定義的概念部分不標解釋部分。如果不先讀標注指南模型學到的可能是另一套規(guī)則而你自己還不知道。更常見的問題是標簽定義不統(tǒng)一導致標注噪聲大模型訓練時反復震蕩。這時候不要急著換模型先去回看標注文檔和訓練樣本很多問題出在數(shù)據(jù)準備階段。5.2 跨法域、跨語言的遷移能力非常有限德國成文法規(guī)的邏輯結構和中國、美國、英國的法律體系并不完全對應。“構成要件—法律后果”這個框架在德國法里非常清晰但到了普通法系條文組織的邏輯完全不同。用德語法規(guī)數(shù)據(jù)集訓練的模型直接拿去做英文判例分析基本不可行。即使都在德語法律內部不同法域的語料也有差異民事法規(guī)、刑事法規(guī)、行政法規(guī)的句式習慣、引用方式都不太一樣。跨文本遷移必須先做驗證不能默認有效。5.3 不要把抽取結果當成“最終法律結論”這是最需要強調的邊界。邏輯結構抽取的產出是一層更干凈的中間表示而不是最終的法律判斷。它可以幫助檢索、輔助人審、減少重復勞動但不能替代法律專業(yè)判斷。道理很簡單法律適用還涉及價值判斷、體系解釋、目的解釋這些不是