1. 項目概述當數學建模遇上醫(yī)學大數據去年帶隊參加華為杯現為“華為杯”中國研究生數學建模競賽我們組選的就是那道關于抗乳腺癌藥物活性預測的C題。這道題在當時引起了不小的討論因為它完美地踩在了幾個風口上數學建模、大數據、機器學習以及最前沿的生物醫(yī)藥計算。題目給了我們一堆化合物的分子描述符數據目標是構建模型來預測這些化合物對雌激素受體αERα的生物活性。ERα是治療乳腺癌的一個重要靶點能高效預測化合物活性就意味著能大大加速新藥研發(fā)的篩選過程節(jié)省天文數字的研發(fā)成本。這不僅僅是一道競賽題它幾乎是當前“AI for Science”在藥物發(fā)現領域的一個微型沙盤推演。你需要處理的是典型的高維、小樣本生物醫(yī)學數據特征多樣本相對少然后運用機器學習甚至深度學習的方法從海量特征中挖掘出與生物活性相關的關鍵模式。對于參賽者來說它考察的不僅僅是調包調用幾個模型更是對數據理解、特征工程、模型選擇與解釋、以及結果業(yè)務化落地的全鏈條思考。無論是數學、統計、計算機還是生物背景的同學都能在這道題里找到發(fā)揮的空間但也都會面臨跨學科的挑戰(zhàn)。接下來我就結合我們當時的解題思路和后續(xù)的一些反思拆解一下這道題的核心脈絡與實操要點希望能給未來參加類似賽題或對“數據AI”驅動藥物研發(fā)感興趣的朋友一些實在的參考。2. 賽題核心與解題思路全拆解2.1 問題本質一個高維特征下的回歸與分類混合預測任務拿到題目和數據第一步永遠是穿透表象看本質。這道題提供的核心數據是一個包含1974個化合物樣本的數據集每個化合物用729個分子描述符特征進行表征。這些描述符可能包括分子的物理化學性質如分子量、脂水分配系數logP、拓撲結構指數、電子屬性等它們從不同維度數字化了一個分子的結構信息。我們的目標變量是這些化合物對ERα的pIC50值生物活性指標值越大通常表示活性越強。所以從機器學習任務類型上看首要任務是一個回歸問題用729維特征預測一個連續(xù)的pIC50值。但題目往往不止于此它通常還會要求根據預測的活性進行化合物篩選比如找出高活性的前N個化合物這又引入了分類問題的思想例如設定一個pIC50閾值如6.0或7.0將化合物劃分為“活性”與“非活性”。因此這是一個回歸與分類思想交織的任務。更關鍵的挑戰(zhàn)在于數據特性“維數災難”。樣本數1974遠小于特征數729直接使用所有特征建模極易導致過擬合模型會在訓練集上表現完美在未知數據上卻一塌糊涂。因此解題的核心主線必然圍繞“特征工程”展開目的是從729個特征中篩選出最相關、最不冗余、最具生物學解釋性的一小部分子集。2.2 解題總路線圖從數據清洗到模型集成基于以上分析一個穩(wěn)健的解題流程可以概括為以下五個階段它構成了我們整個工作的骨架數據預處理與探索性分析這是所有數據工作的基石。處理缺失值、異常值進行初步的數據分布觀察了解特征與目標變量的基本關系。特征工程與降維這是本賽題的絕對核心。通過過濾法、包裹法、嵌入法等多種手段大幅削減特征數量保留精華。同時可能需要進行特征構造或變換。機器學習模型構建與訓練在降維后的特征子集上選擇合適的回歸模型進行訓練。這里會涉及模型選擇、超參數調優(yōu)、以及至關重要的交叉驗證。模型評估與解釋不僅僅看R2、RMSE等回歸指標還要從業(yè)務角度藥物篩選評估模型。同時利用SHAP、特征重要性等工具解釋模型讓預測結果具有生物學意義。結果整合與策略建議根據模型預測結果給出化合物篩選名單并形成一套完整的計算機輔助藥物設計流程建議。這個路線圖看似標準但每一步在具體實施時都有大量細節(jié)和技巧需要把握尤其是在有限的競賽時間內做出正確的權衡。3. 特征工程從729到核心特征的“瘦身”藝術特征工程是本題成敗的生命線。我們的目標是找到約20-50個核心特征既能保證模型性能又具備良好的解釋性。我們采用了多輪次、多方法結合的“組合拳”策略。3.1 第一輪基于統計與相關性的快速過濾首先進行粗篩剔除明顯無效的特征。缺失值處理檢查每個特征的缺失值比例。對于缺失率過高的特征例如30%直接剔除因為填補大量缺失值會引入過多噪聲。方差過濾使用VarianceThreshold。方差接近0的特征意味著該特征在所有樣本上基本取值相同不攜帶信息直接刪除。單變量相關性分析計算每個特征與目標變量pIC50的相關系數如皮爾遜相關系數。剔除那些與目標變量絕對相關系數極低例如0.05的特征。這一步可以快速去掉大量明顯不相關的特征。實操心得相關系數閾值不宜設得太高初期可以寬松一些如0.03目的是快速縮減特征規(guī)模到400-500左右為后續(xù)更精細的方法減負。同時要小心非線性關系相關系數低不代表沒關系但作為第一輪過濾是高效的。3.2 第二輪處理多重共線性與包裹式選擇經過第一輪特征數可能還剩400-500個但特征之間可能存在高度的相關性多重共線性這會影響模型的穩(wěn)定性和解釋性。相關性熱圖與聚類計算剩余特征之間的相關系數矩陣繪制熱圖。可以觀察到哪些特征高度相關例如相關系數0.9。對于高度相關的特征組通常只保留其中一個可以是與目標變量相關性最高的也可以是業(yè)務上更易解釋的。遞歸特征消除這是一種強大的包裹式方法。我們選擇了一個基礎模型如線性回歸、隨機森林讓RFE自動遞歸地剔除最不重要的特征直到剩下指定數量的特征。RFE的結果依賴于選擇的基礎模型。# 示例使用線性回歸作為基模型的RFE from sklearn.feature_selection import RFE from sklearn.linear_model import LinearRegression lr LinearRegression() rfe RFE(estimatorlr, n_features_to_select50, step10) # 目標選擇50個特征每次迭代剔除10個 rfe.fit(X_filtered, y) selected_features_rfe X_filtered.columns[rfe.support_]3.3 第三輪基于樹模型的嵌入法選擇嵌入法在模型訓練過程中自動進行特征選擇。樹模型如隨機森林、XGBoost能提供很好的特征重要性評分。訓練樹模型并獲取重要性用全部或第二輪篩選后的特征訓練一個隨機森林回歸模型。訓練完成后模型會輸出每個特征的重要性得分基于基尼不純度減少或袋外誤差。重要性排序與閾值選擇將特征按重要性降序排列。這里沒有固定閾值我們可以通過觀察重要性得分的“拐點”肘部法則來決定保留前K個特征。也可以設定一個累積重要性貢獻的閾值如保留貢獻了95%重要性的特征。from sklearn.ensemble import RandomForestRegressor import matplotlib.pyplot as plt rf RandomForestRegressor(n_estimators100, random_state42, oob_scoreTrue) rf.fit(X_train, y_train) importances rf.feature_importances_ indices np.argsort(importances)[::-1] # 繪制特征重要性排序圖 plt.figure(figsize(12,6)) plt.title(Feature Importances) plt.bar(range(X_train.shape[1]), importances[indices]) plt.xlabel(Feature Index) plt.ylabel(Importance) plt.show()注意事項隨機森林的特征重要性傾向于偏向具有更多類別或數值范圍更大的特征。對于高維數據其重要性評估可能不夠穩(wěn)定。因此最好將RFE和樹模型重要性篩選的結果取交集或并集再進行人工復審這樣得到的特征子集更可靠。我們最終通過三輪篩選將特征數控制在了35個左右。4. 模型構建、訓練與超參數調優(yōu)實戰(zhàn)特征準備好后就進入模型構建階段。我們面臨多種模型選擇關鍵在于理解其特性并進行系統化比較。4.1 模型選型為什么是這些模型我們主要對比測試了以下幾類模型它們各有優(yōu)劣線性模型如嶺回歸、Lasso回歸。優(yōu)點是可解釋性強計算快。Lasso自帶特征選擇可以進一步壓縮特征。缺點是無法捕捉復雜的非線性關系。支持向量機特別是支持向量回歸。在高維空間表現可能不錯但對參數和核函數選擇敏感訓練速度相對慢。樹集成模型如隨機森林、梯度提升樹。這是我們的重點候選。它們能自動處理非線性關系對異常值不敏感通常能取得較好的預測性能。XGBoost、LightGBM這類梯度提升框架更是競賽常客。多層感知機即簡單的神經網絡。理論上可以擬合任何復雜關系但在這種樣本量不大、特征已降維的情況下未必比樹模型有優(yōu)勢且調參更復雜解釋性差。我們的策略是先用線性模型和隨機森林建立基線再用梯度提升樹進行精調。4.2 交叉驗證防止過擬合的黃金準則在競賽和實際建模中絕對不能只用一次訓練集/測試集分割來評估模型。我們必須使用交叉驗證。我們選擇了5折或10折交叉驗證將訓練數據分成5或10份輪流用其中4份或9份訓練1份驗證重復5或10次取性能指標的平均值。這能更穩(wěn)健地評估模型的泛化能力。關鍵點在進行任何基于驗證集的操作包括特征選擇、超參數調優(yōu)時都必須小心數據泄露。例如特征縮放StandardScaler的fit操作只能在訓練折上進行然后transform訓練折和驗證折。我們使用Pipeline和GridSearchCV/RandomizedSearchCV來確保這個過程是干凈的。4.3 超參數調優(yōu)以LightGBM為例的實戰(zhàn)我們最終選擇了LightGBM作為主力模型因為它訓練速度快對類別特征友好且性能強勁。以下是我們的調優(yōu)步驟設定參數搜索空間我們并不盲目網格搜索所有參數而是有重點地調整。param_grid { learning_rate: [0.01, 0.05, 0.1], # 學習率控制每棵樹的影響力 n_estimators: [100, 200, 500], # 樹的數量 max_depth: [3, 5, 7, -1], # 樹的最大深度-1表示不限制需謹慎 num_leaves: [15, 31, 63], # 葉子節(jié)點數與max_depth相關 subsample: [0.8, 0.9, 1.0], # 樣本采樣比例 colsample_bytree: [0.8, 0.9, 1.0], # 特征采樣比例 reg_alpha: [0, 0.1, 1], # L1正則化項 reg_lambda: [0, 0.1, 1], # L2正則化項 min_child_samples: [5, 10, 20] # 葉子節(jié)點最小樣本數防止過擬合 }使用隨機搜索由于參數組合太多網格搜索耗時太長。我們使用RandomizedSearchCV進行50-100輪的隨機采樣搜索效率更高。from sklearn.model_selection import RandomizedSearchCV import lightgbm as lgb lgb_model lgb.LGBMRegressor(random_state42, verbose-1) random_search RandomizedSearchCV( estimatorlgb_model, param_distributionsparam_grid, n_iter80, cv5, scoringneg_root_mean_squared_error, # 以負RMSE作為評分越大越好 verbose1, random_state42, n_jobs-1 ) random_search.fit(X_train_cv, y_train_cv)鎖定最佳參數并最終訓練隨機搜索找到一組較優(yōu)參數后在其附近進行小范圍的網格搜索微調最終確定模型參數并用全部訓練數據重新訓練最終模型。踩坑實錄一開始我們貪圖深度和葉子數設置了很大的max_depth和num_leaves結果模型在訓練集上RMSE極低但在交叉驗證中波動很大出現了明顯的過擬合。后來通過加大reg_alpha、reg_lambda限制max_depth在5-7之間并增加min_child_samples才使模型穩(wěn)定下來。樹模型調參的核心就是在偏差和方差之間做trade-off。5. 模型評估、解釋與業(yè)務化輸出模型訓練好不是終點如何評估其好壞并讓結果產生實際價值才是關鍵。5.1 多維度評估指標我們不僅看一個R2而是從多個角度評估回歸指標均方根誤差、決定系數。這些是基礎。排序能力評估由于最終目的是篩選高活性化合物我們關心模型預測值的排序是否準確。可以計算預測值與真實值的斯皮爾曼等級相關系數。這個指標對我們來說甚至比RMSE更重要。分類閾值評估設定一個pIC50活性閾值如6.3。將模型預測值根據此閾值二分類計算準確率、召回率、F1-score等。這直接模擬了藥物篩選場景。5.2 模型可解釋性SHAP值分析“黑箱模型”在科研中是不被接受的。我們必須解釋為什么模型認為某個化合物活性高。SHAP值是目前最強大的模型解釋工具之一。計算SHAP值對測試集的樣本計算每個特征對該樣本預測結果的貢獻值。可視化分析摘要圖可以看到哪些特征整體上最重要以及特征值與SHAP值的關系正向/負向影響。單個樣本力圖可以針對某個具體的高活性預測化合物可視化其各個特征是如何將預測值從基線所有樣本的平均預測推高或拉低的。這能給出非常直觀的“分子設計指導”例如“這個化合物活性高主要是因為它的‘拓撲極性表面積’特征值很低且‘碳原子數’特征值適中。”import shap # 創(chuàng)建解釋器 explainer shap.TreeExplainer(best_lgb_model) shap_values explainer.shap_values(X_test) # 繪制特征重要性摘要圖 shap.summary_plot(shap_values, X_test, plot_typedot)5.3 結果輸出與策略建議最后我們將所有流程整合輸出最終結果高活性化合物列表使用最終模型對所有1974個化合物進行預測按預測pIC50值降序排列輸出排名前50或100的化合物及其預測值、關鍵特征值。關鍵分子描述符報告結合特征重要性排序和SHAP分析列出5-10個對ERα活性影響最大的分子描述符并簡要說明其物理化學意義例如MLogP表示預測的脂水分配系數影響化合物透膜能力。虛擬篩選流程建議在論文中我們提出了一套完整的計算機輔助藥物篩選流程建議初篩使用我們構建的快速預測模型對百萬級虛擬化合物庫進行第一輪粗篩快速淘汰低活性化合物。精篩對粗篩出的幾萬個化合物進行更精確的分子對接模擬或更復雜的QSAR模型預測。實驗驗證對精篩出的幾十到幾百個頂級候選化合物進行濕實驗驗證。6. 常見問題與避坑指南實錄在整個解題和后續(xù)復盤過程中我們遇到了不少典型問題這里總結出來希望大家能避開這些坑。6.1 數據預處理中的陷阱缺失值處理不當直接刪除缺失值過多的特征是對的但對于剩余特征的少量缺失值采用中位數或眾數填補是常用方法。但要注意千萬不要在劃分訓練集和測試集之前就對整個數據集進行填補這會導致信息從“未來”測試集泄露到“過去”訓練集。正確的做法是在交叉驗證的每一折內或者使用Pipeline時在訓練折上fit填補器再transform所有數據。特征縮放的必要性對于基于距離的模型必須進行特征縮放。但對于樹模型理論上不需要。然而如果使用了線性模型作為特征選擇如Lasso或對比基線或者后續(xù)要做特征重要性比較進行標準化通常是好習慣。我們使用了StandardScaler并在Pipeline中管理。6.2 特征工程與模型訓練中的誤區(qū)特征選擇中的數據泄露這是最致命的錯誤之一。如果在特征選擇階段例如計算相關系數、進行RFE時使用了全部數據包括未來的測試集那么選擇出的特征已經“見過”測試集評估結果會極度樂觀完全不具泛化性。必須將特征選擇過程嵌入到交叉驗證的循環(huán)內部或者嚴格在訓練集上進行特征選擇再將選擇規(guī)則應用于測試集。Sklearn的SelectFromModel和RFE在Pipeline中與GridSearchCV結合可以很好地避免此問題。盲目追求復雜模型一開始我們嘗試了復雜的深度學習模型但效果并不比調優(yōu)后的LightGBM好且訓練時間長調參困難。在數據量不是特別巨大的情況下梯度提升樹模型往往是性價比最高的選擇。忽略模型集成單一模型再好也有其局限性。我們后期嘗試了將LightGBM、隨機森林和嶺回歸的預測結果進行加權平均Stacking的簡單版發(fā)現集成后的模型在交叉驗證上的RMSE和穩(wěn)定性均有小幅提升。這在競賽最后階段是提分的關鍵技巧。6.3 比賽策略與時間管理盡早確定基線拿到數據后用最簡單的模型如線性回歸和原始特征跑出一個基準分數。這個分數是所有改進的起點。并行實驗特征工程和模型調優(yōu)可以分頭進行。一組同學專攻特征篩選和構造另一組同學在篩選出的不同特征子集上測試不同模型和參數。重視文檔與可復現性所有數據處理步驟、特征選擇記錄、模型參數、實驗結果都必須即時記錄。Jupyter Notebook的單元格編號有時會混亂我們后來轉向使用腳本配合配置文件的方式確保每一步都可追溯、可復現。論文寫作與可視化同步不要把所有分析做完再寫論文。圖表如特征相關性熱圖、特征重要性圖、SHAP圖、模型性能對比圖在分析過程中就生成并保存好并配上簡要說明。這會讓最后的論文撰寫事半功倍。這道華為杯的C題是一個絕佳的將數學建模思想、大數據處理技術和機器學習算法應用于實際科學問題的案例。它教會我們的遠不止幾個Sklearn的API調用而是一套從問題定義、數據洞察、方法選擇、實驗驗證到結果解釋的完整數據科學工作流。在藥物研發(fā)成本高企的今天這種“干濕結合”的研究范式正展現出越來越巨大的潛力。