簡(jiǎn)介自然語(yǔ)言處理NLP中預(yù)訓(xùn)練模型已成為核心技術(shù)范式?；赥ransformer架構(gòu)的BERT通過(guò)大規(guī)模語(yǔ)料的自監(jiān)督學(xué)習(xí)捕獲深層語(yǔ)義信息并可通過(guò)微調(diào)適配各類中文任務(wù)。本文從實(shí)際工程角度介紹中文BERT預(yù)訓(xùn)練模型的調(diào)用方法涵蓋環(huán)境配置、模型選型、分詞細(xì)節(jié)、批量推理、微調(diào)訓(xùn)練與部署并結(jié)合身份證矯正、文本相似度等場(chǎng)景探討如何將通用模型轉(zhuǎn)化為領(lǐng)域模型提升業(yè)務(wù)效果。適合NLP開發(fā)者快速落地。中文BERT預(yù)訓(xùn)練模型可調(diào)用這兩年做中文NLP相關(guān)的項(xiàng)目我?guī)缀趺看味家形腂ERT預(yù)訓(xùn)練模型打交道。不管你是做文本分類、命名實(shí)體識(shí)別、語(yǔ)義相似度計(jì)算還是做問(wèn)答系統(tǒng)模型選型和調(diào)用方式都直接影響最終效果和開發(fā)效率。這篇東西就是把我自己實(shí)際調(diào)用中文BERT預(yù)訓(xùn)練模型踩過(guò)坑、趟出來(lái)的經(jīng)驗(yàn)整理一遍從環(huán)境準(zhǔn)備、模型選型到具體的加載調(diào)用、微調(diào)落地完整走一遍流程適合剛接觸BERT、想在自己的項(xiàng)目里快速把模型跑起來(lái)的開發(fā)者也適合已經(jīng)在用但想優(yōu)化調(diào)用方式的朋友。這里說(shuō)的“可調(diào)用”不只是跑通一個(gè)demo而是指你能夠穩(wěn)定地在自己的項(xiàng)目里反復(fù)加載、推理、微調(diào)、部署這個(gè)模型。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么直接選用中文BERT預(yù)訓(xùn)練模型很多剛?cè)肟拥呐笥褧?huì)問(wèn)一個(gè)問(wèn)題我直接用詞向量Word2Vec不行嗎為什么非要上BERT這種又大又慢的東西我自己的體會(huì)是兩者解決的問(wèn)題不在一個(gè)層次。Word2Vec產(chǎn)出的是一套靜態(tài)詞向量一個(gè)詞無(wú)論出現(xiàn)在什么語(yǔ)境里向量都是同一個(gè)遇到“蘋果”這種多義詞就抓瞎了。而中文BERT預(yù)訓(xùn)練模型是動(dòng)態(tài)的它會(huì)根據(jù)上下文實(shí)時(shí)調(diào)整每個(gè)詞的語(yǔ)義表示“蘋果手機(jī)”和“吃蘋果”里的“蘋果”在模型內(nèi)部激活的向量路徑完全不一樣。BERT的核心機(jī)制是Transformer的Encoder部分通過(guò)在大規(guī)模中文語(yǔ)料上做“完形填空”和“下一句預(yù)測(cè)”這兩個(gè)自監(jiān)督任務(wù)讓模型在出場(chǎng)之前就已經(jīng)掌握了大量的語(yǔ)言規(guī)律和常識(shí)知識(shí)。我們拿到的中文BERT預(yù)訓(xùn)練模型本質(zhì)上是一個(gè)帶著海量先驗(yàn)知識(shí)的特征提取器后面接一個(gè)簡(jiǎn)單的分類頭或者序列標(biāo)注頭就能在特定任務(wù)上達(dá)到一個(gè)不錯(cuò)的基線效果。這套思路和早期從零訓(xùn)練一個(gè)LSTM文本分類模型完全不同省下的訓(xùn)練時(shí)間和數(shù)據(jù)量都是數(shù)量級(jí)的差距。1.2 中文預(yù)訓(xùn)練模型的常見(jiàn)選擇與適用場(chǎng)景目前市面上開源的中文BERT預(yù)訓(xùn)練模型非常豐富每個(gè)的定位和訓(xùn)練細(xì)節(jié)都有差異?；谖覀€(gè)人的項(xiàng)目實(shí)踐簡(jiǎn)單列一個(gè)對(duì)比表幫大家快速選型模型名稱參數(shù)量特點(diǎn)說(shuō)明適用場(chǎng)景BERT-base-Chinese約1.1億HuggingFace官方出品基于中文維基百科訓(xùn)練最穩(wěn)、最通用通用文本分類、序列標(biāo)注、初學(xué)上手RoBERTa-wwm-ext約1.1億哈工大訊飛聯(lián)合發(fā)布全詞掩碼更多數(shù)據(jù)效果優(yōu)于原版大多數(shù)中文NLP任務(wù)的首選MacBERT約1.1億用相似詞代替[MASK]訓(xùn)練更平滑下游遷移效果更好文本匹配、閱讀理解等復(fù)雜任務(wù)NEZHA約1.1億華為出品使用相對(duì)位置編碼對(duì)長(zhǎng)文本更友好長(zhǎng)文本、機(jī)器閱讀理解ERNIE 3.0約1.1億到更多百度出品融入了知識(shí)增強(qiáng)的預(yù)訓(xùn)練策略對(duì)先驗(yàn)知識(shí)依賴較強(qiáng)的場(chǎng)景RoBERTa-wwm-ext是我個(gè)人用的最多的一個(gè)?！皐wm”是Whole Word Masking的縮寫中文場(chǎng)景下就是當(dāng)某個(gè)漢字被掩碼時(shí)同一個(gè)詞里的其他漢字也會(huì)一起被掩碼預(yù)測(cè)這樣模型能學(xué)到更完整的詞級(jí)語(yǔ)義。相比之下原版BERT的掩碼是隨機(jī)掩碼單個(gè)字學(xué)到的詞邊界信息偏弱。實(shí)測(cè)下來(lái)同樣是做新聞分類RoBERTa-wwm-ext在精度的表現(xiàn)上會(huì)比原版BERT高一到兩個(gè)點(diǎn)。1.3 “可調(diào)用”應(yīng)該怎樣理解標(biāo)題里“可調(diào)用”這三個(gè)字我覺(jué)得可以拆成兩個(gè)層次。第一個(gè)層次是模型本身封裝好了你可以通過(guò)transformers庫(kù)一行代碼把它加載進(jìn)來(lái)第二個(gè)層次是你在實(shí)際項(xiàng)目里可以像調(diào)用一個(gè)普通函數(shù)一樣在業(yè)務(wù)代碼里穩(wěn)定地拿到模型的輸出不會(huì)動(dòng)不動(dòng)就報(bào)錯(cuò)、OOM或者推理慢到?jīng)]法用。很多教程只會(huì)帶你走完第一個(gè)層次——加載模型跑一個(gè)例子。但是到了真實(shí)項(xiàng)目里你可能要面對(duì)批量推理的效率問(wèn)題、長(zhǎng)文本截?cái)鄦?wèn)題、GPU顯存不夠的問(wèn)題、模型文件離線部署的問(wèn)題。這里面每一個(gè)都是“可調(diào)用”能否真正落地的關(guān)鍵。我在后面的實(shí)操部分會(huì)重點(diǎn)圍繞這些細(xì)節(jié)展開而不是只給你一個(gè)“hello world”。2. 環(huán)境準(zhǔn)備與工具選型2.1 Python環(huán)境與依賴庫(kù)安裝在開始之前先把環(huán)境準(zhǔn)備好。我的建議是使用Python 3.8到3.10之間的版本太新的版本有時(shí)候會(huì)和部分深度學(xué)習(xí)框架的預(yù)編譯包存在兼容性問(wèn)題。核心依賴有這么幾個(gè)pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.30.0 pip install datasets pip install tokenizersPyTorch的安裝要看你的機(jī)器有沒(méi)有NVIDIA顯卡。如果只是CPU環(huán)境用pip install torch默認(rèn)裝CPU版就行如果有GPU建議按自己的CUDA版本去PyTorch官網(wǎng)選對(duì)應(yīng)命令而不是直接用默認(rèn)源。這里面的坑我踩過(guò)默認(rèn)源往往裝的是CPU版的torch你以為自己在用GPU跑打開nvidia-smi一看顯卡利用率是0%模型訓(xùn)練慢得讓人崩潰。transformers庫(kù)的版本也很關(guān)鍵。早期版本的API設(shè)計(jì)和現(xiàn)在差別不小很多老教程的代碼在新版本里會(huì)跑不通。我建議直接裝最新版然后用文檔配合代碼做調(diào)整。datasets庫(kù)是HuggingFace出的數(shù)據(jù)加載工具雖然不是必須但配合預(yù)訓(xùn)練模型做微調(diào)時(shí)確實(shí)能省不少事。2.2 硬件配置與顯存規(guī)劃聊一下大家最關(guān)心的硬件問(wèn)題。一個(gè)中文BERT-base模型有1.1億參數(shù)模型本身占用的顯存大概是400多MB但實(shí)際跑起來(lái)會(huì)翻好幾倍因?yàn)槟氵€得算上梯度和優(yōu)化器狀態(tài)如果做微調(diào)的話、中間激活值等。我實(shí)測(cè)的經(jīng)驗(yàn)數(shù)據(jù)大概是這樣的純CPU推理內(nèi)存需要8GB以上一次推理耗時(shí)可接受批量吞吐明顯偏慢GPU推理4GB顯存單條推理完全沒(méi)問(wèn)題batch size開16-32都行GPU微調(diào)4GB顯存batch size只能開到8左右需要配合梯度累積GPU微調(diào)8GB以上顯存batch size開到32沒(méi)有壓力體驗(yàn)順暢如果你手里只有一塊4GB顯存的卡也不用太焦慮?！翱烧{(diào)用”在小顯存卡上是完全可行的關(guān)鍵是你要學(xué)會(huì)梯度累積和混合精度訓(xùn)練這兩個(gè)技巧。梯度累積的思想是每攢夠N個(gè)batch的梯度再更新一次參數(shù)相當(dāng)于把一個(gè)小顯存設(shè)備模擬成大batch訓(xùn)練?；旌暇扔?xùn)練是用半精度浮點(diǎn)數(shù)跑前向和反向計(jì)算能把顯存占用直接砍掉一半。這兩個(gè)技巧我在后面的實(shí)操代碼里都會(huì)體現(xiàn)。2.3 模型下載與本地緩存管理transformers庫(kù)加載模型時(shí)會(huì)把權(quán)重文件下載到本地緩存目錄默認(rèn)是~/.cache/huggingface/。這里有個(gè)非常實(shí)用的小技巧提前用腳本把模型下載到本地然后把環(huán)境變量指向本地路徑之后所有代碼就都能復(fù)用這份緩存不用每次都在線拉取。export HF_HOME/data/models/huggingface把這一行寫進(jìn).bashrc或者項(xiàng)目啟動(dòng)腳本里。這樣做的好處有兩個(gè)一是團(tuán)隊(duì)協(xié)作時(shí)大家共用同一個(gè)模型緩存不會(huì)各自下載一遍浪費(fèi)帶寬和磁盤空間二是在內(nèi)網(wǎng)環(huán)境下也能正常工作因?yàn)橹灰Ｐ鸵呀?jīng)在緩存里代碼就不會(huì)嘗試再去訪問(wèn)網(wǎng)絡(luò)。我維護(hù)過(guò)的一個(gè)服務(wù)就是這樣做的——首次部署時(shí)把模型文件下載好后續(xù)每次發(fā)布新版本都不再需要模型相關(guān)的網(wǎng)絡(luò)操作上線速度快很多。3. 核心實(shí)操加載與調(diào)用中文BERT模型3.1 一行代碼加載模型和分詞器真正開始寫代碼之前先明確要調(diào)用什么。這里我以hfl/chinese-roberta-wwm-ext為例因?yàn)樗谥形娜蝿?wù)上的綜合表現(xiàn)很好而且加載方式非常標(biāo)準(zhǔn)。from transformers import AutoTokenizer, AutoModel model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name)為什么使用AutoModel而不是BertModelAutoModel這個(gè)接口會(huì)根據(jù)你傳入的模型名稱自動(dòng)判斷應(yīng)該加載哪個(gè)類。比如你傳入的是bert-base-chinese它就會(huì)加載BertModel傳入的是hfl/chinese-roberta-wwm-ext它會(huì)加載BertForPreTraining對(duì)應(yīng)的基礎(chǔ)模型。這個(gè)機(jī)制讓代碼的可遷移性變得很強(qiáng)——以后你想換更強(qiáng)的模型只需要改一個(gè)字符串其他代碼完全不用動(dòng)。AutoTokenizer同理。中文BERT的分詞器用的是WordPiece算法它的詞表里既有整詞也有子詞單元比如“自然語(yǔ)言處理”這六個(gè)字可能會(huì)被拆成“自然”、“語(yǔ)”、“言”、“處理”等幾個(gè)token而不是每個(gè)字一個(gè)token。這樣做的好處是控制了詞表的大小也保留了詞級(jí)的部分語(yǔ)義信息。3.2 分詞器的核心細(xì)節(jié)CLS、SEP、PAD、ATTENTION_MASK加載完tokenizer之后需要對(duì)輸入文本做處理。這里面的細(xì)節(jié)決定你模型輸出的正確性踩坑概率很高一定不能跳過(guò)。text 中文BERT預(yù)訓(xùn)練模型的實(shí)際調(diào)用 encoded tokenizer( text, max_length128, paddingmax_length, truncationTrue, return_tensorspt ) print(encoded[input_ids]) print(encoded[attention_mask]) print(tokenizer.cls_token_id, tokenizer.sep_token_id, tokenizer.pad_token_id)input_ids每個(gè)token在詞表中的索引是模型真正看到的內(nèi)容attention_mask標(biāo)識(shí)哪些是有效token1哪些是padding token0。Transformer的注意力機(jī)制會(huì)依據(jù)這個(gè)mask不去關(guān)注padding區(qū)域token_type_ids區(qū)分第一個(gè)句子和第二個(gè)句子的向量做句子對(duì)任務(wù)時(shí)才用得到cls_token中文模型是[CLS]通常是第101號(hào)token是全句語(yǔ)義匯總的位置sep_token中文模型是[SEP]第102號(hào)token用來(lái)分隔句子對(duì)一個(gè)很容易犯的錯(cuò)誤在paddingmax_length的情況下如果不設(shè)置truncationTrue超過(guò)max_length的輸入會(huì)被直接截?cái)嗟粫?huì)報(bào)任何警告你可能會(huì)在毫不知情的情況下丟掉關(guān)鍵信息。我在一次工單分類任務(wù)中就遇到過(guò)這種情況某些長(zhǎng)工單的關(guān)鍵信息被截掉了模型分類準(zhǔn)確率始終上不去排查了很久才定位到是截?cái)鄥?shù)沒(méi)配好。3.3 跑通一次完整的前向推理模型和分詞器都準(zhǔn)備好了正式跑一次前向推理把句子的向量表示提取出來(lái)。import torch def get_sentence_embedding(text, tokenizer, model, max_length128): model.eval() encoded tokenizer( text, max_lengthmax_length, paddingmax_length, truncationTrue, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) last_hidden_state outputs.last_hidden_state # 取[CLS]位置的向量作為整句的語(yǔ)義向量 cls_embedding last_hidden_state[:, 0, :] return cls_embedding.squeeze(0) embedding get_sentence_embedding(中文BERT預(yù)訓(xùn)練模型可調(diào)用, tokenizer, model) print(embedding.shape) # 輸出: torch.Size([768])這里的last_hidden_state是模型最后一層每個(gè)token對(duì)應(yīng)的隱藏狀態(tài)維度是[batch_size, seq_len, hidden_size]。對(duì)BERT-base來(lái)說(shuō)hidden_size是768。model.eval()這一步必須做它會(huì)關(guān)掉dropout和layer norm的動(dòng)態(tài)行為保證每次推理結(jié)果一致。還有一點(diǎn)用torch.no_grad()包住推理過(guò)程避免建立計(jì)算圖省內(nèi)存也提速。關(guān)于取[CLS]位置的向量作為整句表示這里也說(shuō)一下原理。BERT在預(yù)訓(xùn)練的時(shí)候[CLS]這個(gè)位置被設(shè)計(jì)成專門聚合全句信息的在二分類預(yù)訓(xùn)練任務(wù)中模型需要使用[CLS]的輸出做判斷因此它從預(yù)訓(xùn)練階段就學(xué)會(huì)了匯總文本全局信息。當(dāng)然如果你的任務(wù)是計(jì)算短文本相似度直接用[CLS]向量是可以的但如果文本比較長(zhǎng)更穩(wěn)妥的做法是把所有token的隱藏狀態(tài)做均值池化或者最大池化。我在語(yǔ)義匹配項(xiàng)目里做過(guò)對(duì)比池化方式的表現(xiàn)在部分場(chǎng)景下會(huì)比直接用[CLS]高一些建議兩個(gè)方法都試一下再?zèng)Q定。3.4 批量推理與性能優(yōu)化真實(shí)項(xiàng)目里很少一次只處理一條文本。假如你有10萬(wàn)條文本要算語(yǔ)義向量逐條循環(huán)推理會(huì)慢到懷疑人生。正確做法是把文本拼成一個(gè)batch一起喂給模型。def batch_get_embeddings(texts, tokenizer, model, max_length128, batch_size32): model.eval() all_embeddings [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch_texts texts[i:i batch_size] encoded tokenizer( batch_texts, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs model(**encoded) batch_embeddings outputs.last_hidden_state[:, 0, :] all_embeddings.append(batch_embeddings) return torch.cat(all_embeddings, dim0)注意這里我把padding從max_length改成了True表示批次內(nèi)自動(dòng)補(bǔ)齊到本batch的最大長(zhǎng)度。這樣做的好處是短樣本batch不用塞一堆無(wú)意義的padding token大多數(shù)情況下能省下好幾倍的計(jì)算量。paddingTrue和paddingmax_length在實(shí)際項(xiàng)目里的速度差異非常明顯我測(cè)過(guò)一批平均長(zhǎng)度40字的文本前者的推理時(shí)間大約是后者的三分之一。另外一個(gè)很實(shí)用的技巧是開half()精度推理。如果你的顯卡支持半精度Tensor Core在推理前把模型轉(zhuǎn)成半精度可以讓顯存占用減半速度也快不少。前提是你確認(rèn)模型的輸出精度損失在你的任務(wù)容忍范圍內(nèi)我測(cè)下來(lái)在語(yǔ)義向量提取和文本分類場(chǎng)景下半精度和全精度的效果差異非常小。model model.half()4. “可調(diào)用”落地再接一個(gè)下游任務(wù)4.1 從純特征提取到文本分類微調(diào)拿到BERT的向量只是第一步實(shí)際項(xiàng)目里我們通常要在它上面接具體的任務(wù)。以文本分類為例把BERT當(dāng)做一個(gè)強(qiáng)大的文本編碼器然后在[CLS]向量后面接一個(gè)全連接層輸出到類別數(shù)維度。這個(gè)全連接層本質(zhì)上是把768維的語(yǔ)義向量映射到分類空間。import torch.nn as nn class BertClassifier(nn.Module): def __init__(self, num_classes10, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) cls_output outputs.last_hidden_state[:, 0, :] cls_output self.dropout(cls_output) logits self.classifier(cls_output) return logits這里有個(gè)關(guān)鍵設(shè)計(jì)分類頭上先加一個(gè)Dropout(0.3)再接全連接層。這個(gè)Dropout不是隨便加的它能在微調(diào)階段防止分類頭過(guò)擬合訓(xùn)練數(shù)據(jù)。BERT主體部分在預(yù)訓(xùn)練時(shí)已經(jīng)很強(qiáng)了真正容易過(guò)擬合的是后面新加的這個(gè)分類層所以給它加一個(gè)較高的dropout比加到BERT主體上更合理。4.2 微調(diào)過(guò)程的參數(shù)設(shè)置與訓(xùn)練邏輯微調(diào)和推理是兩回事。推理時(shí)我們凍結(jié)BERT的參數(shù)直接拿它的輸出用微調(diào)時(shí)我們要讓BERT的參數(shù)也參與梯度更新讓模型適應(yīng)你的特定任務(wù)。這也是領(lǐng)域模型落地的必經(jīng)之路。你手里有一個(gè)現(xiàn)成的領(lǐng)域數(shù)據(jù)集比如客服工單、法律文書、醫(yī)療報(bào)告用這些數(shù)據(jù)微調(diào)之后模型的效果會(huì)比直接拿通用模型去分類好很多?？匆幌潞诵牡挠?xùn)練代碼框架from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader, Dataset class TextDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_length128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_length max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): encoded self.tokenizer( self.texts[idx], max_lengthself.max_length, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoded[input_ids].squeeze(0), attention_mask: encoded[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) } def train_epoch(model, dataloader, optimizer, scheduler, device, accumulation_steps2): model.train() total_loss 0 optimizer.zero_grad() for step, batch in enumerate(dataloader): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask) loss nn.CrossEntropyLoss()(outputs, labels) loss loss / accumulation_steps loss.backward() if (step 1) % accumulation_steps 0: optimizer.step() scheduler.step() optimizer.zero_grad() total_loss loss.item() return total_loss / len(dataloader)關(guān)于訓(xùn)練參數(shù)我自己在多個(gè)中文任務(wù)上反復(fù)調(diào)過(guò)一個(gè)比較穩(wěn)的起點(diǎn)是學(xué)習(xí)率2e-5batch size16或32取決于顯存epoch數(shù)3到5warmup比例0.1權(quán)重衰減0.01這里的核心原則是學(xué)習(xí)率要小。BERT的預(yù)訓(xùn)練參數(shù)已經(jīng)收斂得很好了如果學(xué)習(xí)率開太大微調(diào)過(guò)程會(huì)把此前學(xué)到的通用語(yǔ)義破壞掉這種現(xiàn)象在NLP圈子里叫“災(zāi)難性遺忘”。2e-5這個(gè)量級(jí)是經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證的既能有效適配下游任務(wù)又不會(huì)徹底覆蓋掉預(yù)訓(xùn)練的知識(shí)。4.3 身份證矯正場(chǎng)景的微調(diào)實(shí)踐結(jié)合熱搜詞里提到的“身份證矯正預(yù)訓(xùn)練模型”這里展開說(shuō)一下我做過(guò)的一個(gè)實(shí)際場(chǎng)景。身份證信息矯正這個(gè)任務(wù)核心場(chǎng)景是在身份證識(shí)別OCR之后對(duì)識(shí)別出來(lái)的文本片段做糾錯(cuò)和結(jié)構(gòu)化校正。比如OCR把“張三”識(shí)別成了“張二”把身份證號(hào)碼里的“0”和“O”搞混了這時(shí)候就需要一個(gè)模型來(lái)校對(duì)和糾正。這個(gè)任務(wù)本質(zhì)上是序列標(biāo)注加糾錯(cuò)BIO標(biāo)注是常用的范式。B是Begin開始、I是Inside內(nèi)部、O是Outside外部每個(gè)字符被標(biāo)記為它在實(shí)體中的位置。對(duì)于姓名、身份證號(hào)、住址、簽發(fā)機(jī)關(guān)這些字段模型逐字預(yù)測(cè)標(biāo)簽然后再做字段級(jí)別的校驗(yàn)和修正。實(shí)現(xiàn)思路是把BERT的輸出接到一個(gè)CRF層上from torchcrf import CRF class BertCrfForIdCard(nn.Module): def __init__(self, num_labels, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.fc nn.Linear(768, num_labels) self.crf CRF(num_labels, batch_firstTrue) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) emission self.fc(self.dropout(outputs.last_hidden_state)) if labels is not None: return -self.crf(emission, labels, maskattention_mask.bool()) else: return self.crf.decode(emission, maskattention_mask.bool())為什么要在BERT上面加一層CRF因?yàn)榉诸惾蝿?wù)里各個(gè)token的預(yù)測(cè)是獨(dú)立的存在標(biāo)簽不合法的問(wèn)題比如“B-姓名”后面跟著“I-身份證號(hào)”或者名字中間突然出現(xiàn)一個(gè)“B-姓名”。CRF層會(huì)學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移規(guī)則和約束從整體序列的角度做最優(yōu)解碼保證輸出的標(biāo)簽序列在語(yǔ)義上是合理的。這在身份證結(jié)構(gòu)化這種對(duì)字段邊界要求很高的場(chǎng)景里特別重要。當(dāng)然你同樣可以直接用BERT加全連接層來(lái)逐token分類不考慮標(biāo)簽之間的依賴關(guān)系。這種方式實(shí)現(xiàn)簡(jiǎn)單速度和顯存占用都更友好。但如果你對(duì)字段邊界的準(zhǔn)確率有要求加CRF是明顯的提升。我在身份證矯正項(xiàng)目里兩套方案都跑過(guò)加CRF后字段級(jí)的F1值大約能提升兩個(gè)點(diǎn)代價(jià)是推理速度稍慢。4.4 從基礎(chǔ)模型到領(lǐng)域模型的完整鏈路我理解熱詞里“身份證矯正預(yù)訓(xùn)練模型”的真實(shí)含義是指針對(duì)特定領(lǐng)域做繼續(xù)預(yù)訓(xùn)練得到的模型。通俗點(diǎn)說(shuō)就是先用通用中文BERT做初始權(quán)重然后在大規(guī)模的身份證OCR語(yǔ)料上繼續(xù)跑一遍預(yù)訓(xùn)練任務(wù)通常是掩碼語(yǔ)言建模讓模型在證件類文本的用詞習(xí)慣、常見(jiàn)錯(cuò)字模式上擁有更強(qiáng)的先驗(yàn)?zāi)芰υ偃プ鱿掠挝⒄{(diào)。這條鏈路的邏輯是這樣的通用BERT對(duì)“張三”“簽發(fā)機(jī)關(guān)”“有效期限”這類詞匯的感知能力可能不夠強(qiáng)因?yàn)檫@些詞在通用語(yǔ)料里出現(xiàn)頻率不高。但在海量身份證OCR文本上繼續(xù)預(yù)訓(xùn)練后模型對(duì)這類文本的模式會(huì)更加敏感后續(xù)微調(diào)時(shí)學(xué)得又快又準(zhǔn)。這種思路對(duì)任何垂直領(lǐng)域都適用醫(yī)療、法律、金融都可以用同樣的方式做領(lǐng)域適配。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 模型加載失敗的常見(jiàn)原因模型加載是很多人第一個(gè)卡住的環(huán)節(jié)。我歸納了幾類高頻問(wèn)題并給出了可以直接照著做的解決方案異?，F(xiàn)象可能原因解決辦法網(wǎng)絡(luò)連接超時(shí)或404網(wǎng)絡(luò)受限或模型名拼寫錯(cuò)誤提前下載到本地用本地路徑加載出現(xiàn)Cookie/登錄報(bào)錯(cuò)訪問(wèn)的是需要授權(quán)的模型換一個(gè)公開的模型如bert-base-chineseKeyError: bert加載權(quán)重時(shí)模型類不匹配檢查模型類型和AutoModel的配對(duì)缺少tokenizer_config目錄結(jié)構(gòu)不完整確認(rèn)下載了整個(gè)模型目錄而不是單個(gè)文件從我的經(jīng)驗(yàn)來(lái)說(shuō)最穩(wěn)的辦法是先把模型轉(zhuǎn)成離線包。用snapshot_download把這個(gè)模型目錄完整拉下來(lái)from huggingface_hub import snapshot_download model_path snapshot_download(repo_idhfl/chinese-roberta-wwm-ext) print(model_path)然后代碼里直接用這個(gè)路徑完全不依賴網(wǎng)絡(luò)。這在生產(chǎn)環(huán)境里面是必須做的因?yàn)槟悴荒苤竿€上服務(wù)器能隨便訪問(wèn)外網(wǎng)。5.2 顯存溢出與推理速度慢顯存溢出是BERT落地時(shí)遇到最多的性能問(wèn)題。4GB顯存跑batch size為32就爆了怎么辦我通常按照這個(gè)順序來(lái)排查和調(diào)優(yōu)先把batch_size降下來(lái)降到8起步開啟梯度累積batch_size8 累積步數(shù)4等效實(shí)現(xiàn)32的大batch效果開啟混合精度訓(xùn)練使用torch.cuda.amp自動(dòng)混合精度省下一半顯存檢查數(shù)據(jù)和代碼里是否有意外的顯存駐留比如沒(méi)用的tensor沒(méi)釋放如果以上都不夠考慮換用更輕量級(jí)的模型比如distilbert-base-chinese或者albert-chinese-tiny推理慢的問(wèn)題多半是因?yàn)樵贑PU上跑或者沒(méi)有用batch推理。CPU上跑一個(gè)BERT-base單條文本平均要幾百毫秒到一秒鐘這個(gè)體驗(yàn)確實(shí)不理想。如果是模型上線做服務(wù)最優(yōu)解是用GPU如果沒(méi)有GPU資源可以考慮蒸餾模型或者使用onnxruntime進(jìn)行加速。我把一個(gè)中文BERT模型轉(zhuǎn)成ONNX格式之后在CPU上的推理速度大約提升了2到3倍這個(gè)性價(jià)比很高。5.3 中文分詞與序列長(zhǎng)度的坑中文BERT的分詞是按漢字WordPiece方式進(jìn)行的和jieba這類中文分詞工具不是一回事。transformers的tokenizer自己就能管理好和模型匹配的分詞邏輯如果你在外面套了一層jieba再手動(dòng)把詞轉(zhuǎn)成id給BERT反而會(huì)破壞模型預(yù)訓(xùn)練時(shí)的輸入分布。還有一個(gè)容易忽略的問(wèn)題是序列長(zhǎng)度的處理。BERT的position embedding最大長(zhǎng)度是512部分模型是512也有更長(zhǎng)的輸入超過(guò)這個(gè)長(zhǎng)度會(huì)被強(qiáng)制截?cái)唷Ｈ绻愕娜蝿?wù)文本普遍超過(guò)512字需要在數(shù)據(jù)處理階段想辦法比如只保留開頭和結(jié)尾部分或者把長(zhǎng)文檔切成多段分別編碼再做聚合。我做長(zhǎng)文本分類的時(shí)候會(huì)采用“頭部250字尾部250字”的拼接策略實(shí)測(cè)下來(lái)比只保留開頭500字信息保留得更完整因?yàn)楹芏鄨?chǎng)景的關(guān)鍵結(jié)論都出現(xiàn)在文檔末尾。5.4 微調(diào)后效果反而變差怎么辦很多人在微調(diào)之后發(fā)現(xiàn)效果不升反降第一反應(yīng)是懷疑模型出了問(wèn)題。其實(shí)更常見(jiàn)的原因是數(shù)據(jù)和訓(xùn)練配置出了偏差。遇到這種情況我的排查思路是這樣的先看訓(xùn)練集的loss是否在下降。如果loss下降但驗(yàn)證集效果變差這是典型的過(guò)擬合增加dropout、減小模型大小或增加數(shù)據(jù)量如果loss壓根不降大概率是學(xué)習(xí)率設(shè)置錯(cuò)了BERT微調(diào)的學(xué)習(xí)率一定要比從頭訓(xùn)練小很多一般不超過(guò)5e-5檢查標(biāo)簽是否有嚴(yán)重的數(shù)據(jù)不平衡用weighted cross entropy或者焦點(diǎn)損失Focal Loss來(lái)緩解看一下訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)分布是否一致很多時(shí)候驗(yàn)證集效果差完全是因?yàn)閿?shù)據(jù)切分時(shí)沒(méi)有做分層采樣導(dǎo)致分布差異太大有個(gè)朋友在做細(xì)粒度情感分類時(shí)遇到BERT微調(diào)后準(zhǔn)確率比直接用預(yù)訓(xùn)練向量加邏輯回歸還低的情況。后來(lái)發(fā)現(xiàn)他的數(shù)據(jù)集里有一半樣本的標(biāo)簽是錯(cuò)的模型在“努力”擬合錯(cuò)誤標(biāo)注。清洗數(shù)據(jù)之后同樣的配置效果立刻就上來(lái)了。所以當(dāng)你覺(jué)得模型效果詭異的時(shí)候先看一眼數(shù)據(jù)、再懷疑模型。6. 模型保存、加載與部署經(jīng)驗(yàn)6.1 正確保存和恢復(fù)微調(diào)后的模型微調(diào)完的模型保存時(shí)不能只存權(quán)重還要連分詞器一起保存否則線上調(diào)用時(shí)會(huì)出現(xiàn)tokenizer不匹配的問(wèn)題。# 保存微調(diào)后的模型 model.save_pretrained(./models/idcard-bert/) tokenizer.save_pretrained(./models/idcard-bert/) # 在生產(chǎn)代碼中加載 from transformers import AutoModelForSequenceClassification, AutoTokenizer loaded_tokenizer AutoTokenizer.from_pretrained(./models/idcard-bert/) loaded_model AutoModelForSequenceClassification.from_pretrained(./models/idcard-bert/)save_pretrained會(huì)同時(shí)保存模型的config.json、pytorch_model.bin和分詞器的所有配置文件。加載時(shí)直接使用同一個(gè)目錄路徑相關(guān)的配置會(huì)自動(dòng)恢復(fù)不需要手動(dòng)指定。這里建議永遠(yuǎn)使用AutoModelForXxx來(lái)加載因?yàn)樗鼤?huì)自己讀取config里的architectures字段判斷用哪個(gè)類來(lái)反序列化不會(huì)出現(xiàn)類不匹配的問(wèn)題。6.2 作為服務(wù)對(duì)外提供調(diào)用“可調(diào)用”最終要落到可以被業(yè)務(wù)系統(tǒng)使用這意味著你要把模型包裝成一個(gè)服務(wù)接口。最簡(jiǎn)單的方式是用Flask或FastAPI封裝一個(gè)HTTP接口from fastapi import FastAPI, Request from pydantic import BaseModel app FastAPI() # 在服務(wù)啟動(dòng)時(shí)加載模型到內(nèi)存中 model model.half().to(cuda) tokenizer tokenizer class InputData(BaseModel): text: str app.post(/embedding) async def get_embedding(data: InputData): encoded tokenizer(data.text, max_length128, truncationTrue, return_tensorspt).to(cuda) with torch.no_grad(): output model(**encoded) embedding output.last_hidden_state[:, 0, :].squeeze(0).cpu().tolist() return {embedding: embedding}這里最關(guān)鍵的設(shè)計(jì)是模型只加載一次所有請(qǐng)求共享同一份模型參數(shù)。千萬(wàn)不要在函數(shù)內(nèi)部寫from_pretrained否則每次請(qǐng)求都要加載一遍幾百M(fèi)B的權(quán)重文件接口延遲會(huì)直接爆炸。正確的做法是在模塊加載階段把模型初始化好請(qǐng)求處理函數(shù)只做推理。從單機(jī)服務(wù)到分布式部署還可以用model.to(cuda)配合TensorRT、ONNX Runtime做推理加速。我通常的實(shí)踐經(jīng)驗(yàn)是先試ONNX Runtime的加速效果如果還不夠再考慮TensorRT。前者集成簡(jiǎn)單后者性能上限更高但復(fù)雜度和踩坑成本也更大。6.3 與ResNet預(yù)訓(xùn)練模型在多模態(tài)項(xiàng)目中的協(xié)同說(shuō)到熱詞里的“resnet預(yù)訓(xùn)練模型”就不得不提BERT類模型和視覺(jué)模型在多模態(tài)場(chǎng)景里的組合。比如身份證識(shí)別的完整流程往往需要先做圖像的定位和校正這步由ResNet這類卷積神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)然后對(duì)校正后的圖像做OCROCR結(jié)果再交給BERT類模型做語(yǔ)義矯正和結(jié)構(gòu)化。三種模型各司其職ResNet負(fù)責(zé)“看見(jiàn)”O(jiān)CR負(fù)責(zé)“讀出”BERT負(fù)責(zé)“理解”。這種多模型的協(xié)同調(diào)用在代碼層面要做的是流程編排、輸入輸出格式統(tǒng)一、異常處理。我在實(shí)際項(xiàng)目中會(huì)用一個(gè)流水線類把三個(gè)模型串起來(lái)每個(gè)環(huán)節(jié)之間通過(guò)明確的數(shù)據(jù)結(jié)構(gòu)傳遞信息一旦某個(gè)環(huán)節(jié)出錯(cuò)可以定位到具體的模塊進(jìn)行重試或降級(jí)處理。多模態(tài)方案的效果比直接用單一模型硬扛要好得多但架構(gòu)上也確實(shí)更加復(fù)雜需要在工程上做更細(xì)致的規(guī)劃。7. 實(shí)戰(zhàn)案例從零構(gòu)建一個(gè)中文文本相似度服務(wù)7.1 相似度服務(wù)的核心思路文本相似度是一個(gè)很常見(jiàn)的業(yè)務(wù)需求比如智能客服里的相似問(wèn)題匹配、知識(shí)庫(kù)里的重復(fù)段落檢測(cè)、搜索場(chǎng)景里的語(yǔ)義召回。基于中文BERT預(yù)訓(xùn)練模型來(lái)做相似度計(jì)算一般有兩種方案。第一種方案是用BERT提取句向量再計(jì)算余弦相似度。這個(gè)方案實(shí)現(xiàn)簡(jiǎn)單不需要微調(diào)適合冷啟動(dòng)階段。但直接使用BERT原生輸出的句向量做相似度計(jì)算效果不是最好的因?yàn)锽ERT預(yù)訓(xùn)練的任務(wù)目標(biāo)并不是讓語(yǔ)義相近的句子在向量空間中距離更近。第二種方案是用標(biāo)注好的相似句對(duì)做微調(diào)比如使用Sentence-BERT的思路。把兩個(gè)句子分別過(guò)BERT拿到各自的句向量然后通過(guò)對(duì)比學(xué)習(xí)或者三元組損失讓相似句的距離拉近、不相似句的距離拉遠(yuǎn)。這個(gè)方案的遷移效果非常明顯在有幾千對(duì)標(biāo)注數(shù)據(jù)的情況下相似度計(jì)算的準(zhǔn)確率可以上升十個(gè)百分點(diǎn)以上。在沒(méi)有標(biāo)注數(shù)據(jù)的時(shí)候還有一個(gè)更輕量的技巧直接用“CLS”向量做相似度。如果業(yè)務(wù)對(duì)精度要求不高可以先跑起來(lái)等積累了足夠的用戶反饋再去做微調(diào)迭代。這個(gè)路線我認(rèn)為是比較務(wù)實(shí)的。7.2 完整實(shí)現(xiàn)與踩坑復(fù)盤下面給出一個(gè)完整的、可以直接跑的相似度計(jì)算實(shí)現(xiàn)import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel class SemanticEncoder: def __init__(self, model_namehfl/chinese-roberta-wwm-ext): self.tokenizer AutoTokenizer.from_pretrained(model_name) self.model AutoModel.from_pretrained(model_name) self.model.eval() def encode(self, texts, max_length128, batch_size16): results [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded self.tokenizer( batch, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs self.model(**encoded) # 使用均值池化實(shí)際操作中比[CLS]更穩(wěn)定 attention_mask encoded[attention_mask].unsqueeze(-1) pooled (outputs.last_hidden_state * attention_mask).sum(1) / attention_mask.sum(1) results.append(pooled) return torch.cat(results, dim0) def similarity(self, text1, text2): emb1 self.encode([text1]) emb2 self.encode([text2]) return F.cosine_similarity(emb1, emb2).item() encoder SemanticEncoder() score encoder.similarity(如何申請(qǐng)信用卡, 信用卡申請(qǐng)流程是什么) print(score) # 0.85 左右的分?jǐn)?shù)具體數(shù)值因模型和輸入而異這里我用的是均值池化而不是[CLS]向量因?yàn)槎鄠€(gè)句子做相似度對(duì)比時(shí)均值池化對(duì)長(zhǎng)文本的語(yǔ)義覆蓋更均衡不會(huì)讓[CLS]位置的特殊語(yǔ)義干擾真實(shí)相似度。如果你發(fā)現(xiàn)池化方式和[CLS]的結(jié)果在你的任務(wù)上有差異建議兩個(gè)都跑一遍選擇在驗(yàn)證集上表現(xiàn)更好的那一個(gè)。7.3 相似度服務(wù)的性能優(yōu)化要點(diǎn)服務(wù)上線的性能優(yōu)化我從兩個(gè)維度來(lái)說(shuō)明。QPS做不上去一般瓶頸在tokenizer轉(zhuǎn)換和GPU推理這兩個(gè)環(huán)節(jié)。tokenizer轉(zhuǎn)換很容易被忽略transformers的tokenizer在Python里的運(yùn)行速度其實(shí)不算快對(duì)長(zhǎng)文本列表進(jìn)行批量轉(zhuǎn)換時(shí)更明顯。有一個(gè)很常用的技巧是tokenizer(texts, max_length..., paddingTrue, truncationTrue)直接傳入列表而不是在Python循環(huán)里逐個(gè)調(diào)用這會(huì)走tokenizer內(nèi)部的batch邏輯能省下不少時(shí)間。GPU推理方面要盡量避免頻繁地在CPU和GPU之間拷貝數(shù)據(jù)。把所有輸入一次性放到GPU然后一次forward再一次性把結(jié)果拿回CPU這是最優(yōu)的。如果使用半精度推理推理速度還會(huì)再提升。我在一個(gè)生產(chǎn)環(huán)境中把這個(gè)相似度服務(wù)的整體吞吐量做到了單GPU每秒處理數(shù)百條文本已經(jīng)能滿足絕大多數(shù)中小業(yè)務(wù)的調(diào)用需求了。8. 我的一些經(jīng)驗(yàn)總結(jié)和后續(xù)擴(kuò)展建議8.1 模型選型要克制現(xiàn)在開源的中文預(yù)訓(xùn)練模型非常多新模型層出不窮。我建議在實(shí)際項(xiàng)目里保持克制優(yōu)先選擇生態(tài)成熟、文檔齊全、社區(qū)使用量大的模型。BERT-base-Chinese和RoBERTa-wwm-ext是目前最穩(wěn)的選擇。大模型的參數(shù)量動(dòng)輒幾十億效果確實(shí)好但部署成本和推理延遲也是真實(shí)存在的。小業(yè)務(wù)場(chǎng)景用一個(gè)大模型可能GPU成本就吃掉了一年的預(yù)算。先在小模型上驗(yàn)證數(shù)據(jù)質(zhì)量和業(yè)務(wù)邏輯再考慮要不要上大模型這是我反復(fù)踩坑之后得出的經(jīng)驗(yàn)。8.2 中文任務(wù)中數(shù)據(jù)質(zhì)量大于模型我見(jiàn)過(guò)太多團(tuán)隊(duì)把精力花在換模型、調(diào)超參上結(jié)果發(fā)現(xiàn)瓶頸根本不在模型而在訓(xùn)練數(shù)據(jù)的質(zhì)量。BERT的預(yù)訓(xùn)練已經(jīng)保證了下限你的標(biāo)注數(shù)據(jù)質(zhì)量決定上限。如果你的數(shù)據(jù)里有大量噪聲模型學(xué)到的是錯(cuò)誤模式再好的模型結(jié)構(gòu)也無(wú)濟(jì)于事。所以在做微調(diào)之前先把數(shù)據(jù)清洗、標(biāo)簽校驗(yàn)、樣本分布分析這幾件事做到位模型效果自然會(huì)上去。8.3 后續(xù)可以擴(kuò)展的方向如果你已經(jīng)完全掌握了一個(gè)中文BERT模型的調(diào)用和微調(diào)后續(xù)可以嘗試的擴(kuò)展方向還有很多用trainerAPI替代手寫的訓(xùn)練循環(huán)代碼量能減少一半嘗試PEFT參數(shù)高效微調(diào)技術(shù)用LoRA等方法只更新少量參數(shù)顯存占用大幅降低做模型蒸餾把大模型的知識(shí)遷移到一個(gè)小模型上讓推理成本降一個(gè)量級(jí)在垂直領(lǐng)域做繼續(xù)預(yù)訓(xùn)練打造你所在行業(yè)的專屬預(yù)訓(xùn)練模型也就是我們?cè)?.4里說(shuō)的“領(lǐng)域預(yù)訓(xùn)練”的完整路徑做多模態(tài)融合把中文BERT和ResNet這類視覺(jué)模型組合起來(lái)覆蓋圖像加文本的綜合業(yè)務(wù)場(chǎng)景我個(gè)人在實(shí)際操作中的體會(huì)是中文BERT預(yù)訓(xùn)練模型的生態(tài)已經(jīng)非常成熟了學(xué)習(xí)成本其實(shí)不高真正拉開差距的是對(duì)“可調(diào)用”這三個(gè)字的理解深度。能夠把模型穩(wěn)定地嵌入到業(yè)務(wù)系統(tǒng)里遇到問(wèn)題能快速定位解決這比單純追求模型參數(shù)大小要重要得多。希望這篇文章能幫你少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取