1. 項目概述一次從零到一的完整競賽復(fù)盤去年帶隊參加美賽的經(jīng)歷現(xiàn)在回想起來依然像一場高強(qiáng)度、高壓力的“學(xué)術(shù)馬拉松”。它不是一次簡單的考試而是一個從問題識別、模型構(gòu)建、編程求解到論文寫作的全鏈條項目。很多同學(xué)第一次接觸時會覺得它高深莫測被“數(shù)學(xué)建模”四個字嚇到以為需要精通所有高深數(shù)學(xué)理論。其實不然美賽的核心在我看來更接近于用數(shù)學(xué)語言和計算工具講一個邏輯自洽、有說服力的“故事”來回答一個開放性的現(xiàn)實問題。我們隊當(dāng)時選的題是C題大數(shù)據(jù)題關(guān)于交易策略的最終拿到了Meritorious Winner一等獎。這篇復(fù)盤我會拋開那些冠冕堂皇的競賽指南從一個親歷者的角度拆解我們隊伍從組隊、選題、解題到提交的每一個關(guān)鍵環(huán)節(jié)分享那些只有真正踩過坑才能獲得的實戰(zhàn)經(jīng)驗。無論你是計劃首次參賽的小白還是希望提升戰(zhàn)績的老手希望這些接地氣的細(xì)節(jié)能幫你避開我們走過的彎路。2. 隊伍組建與賽前準(zhǔn)備找到你的“黃金三角”很多人覺得美賽是數(shù)學(xué)大佬的舞臺但實際上一個均衡的隊伍遠(yuǎn)比三個數(shù)學(xué)天才更重要。理想的隊伍構(gòu)成我稱之為“黃金三角”建模手、編程手、寫手。這三者不是嚴(yán)格割裂的但必須有明確的側(cè)重點(diǎn)和最終責(zé)任人。2.1 角色定位與能力要求建模手核心大腦這是隊伍的靈魂。他的核心能力不是數(shù)學(xué)知識有多淵博而是將實際問題轉(zhuǎn)化為數(shù)學(xué)問題的能力。他需要快速閱讀題目抓住核心矛盾提出一個或多個可能的模型框架比如微分方程、優(yōu)化模型、評價模型、預(yù)測模型等。他不必會寫復(fù)雜的代碼但必須清楚模型的輸入、輸出和求解邏輯。我們隊的建模手是統(tǒng)計專業(yè)的他的優(yōu)勢在于對各類統(tǒng)計模型的應(yīng)用場景非常敏感。編程手執(zhí)行引擎負(fù)責(zé)將模型“落地”。他需要熟練掌握至少一種計算工具如MATLAB、Python、R并擁有強(qiáng)大的數(shù)據(jù)清洗、算法實現(xiàn)和結(jié)果可視化能力。在美賽四天里編程手的工作是密集且充滿變數(shù)的因為模型可能會調(diào)整數(shù)據(jù)可能需要重新處理。我們的編程手是計算機(jī)系的他用Python的Pandas、NumPy、Scikit-learn和Matplotlib包完成了絕大部分工作。他的另一個重要任務(wù)是效率工具的開發(fā)比如寫一些自動生成圖表、格式化表格的腳本為寫手節(jié)省大量時間。寫手首席故事官這是最終產(chǎn)品的總設(shè)計師和包裝師。寫手需要將建模思路、求解過程和結(jié)果用清晰、流暢、符合學(xué)術(shù)規(guī)范的英文組織成一篇完整的論文。他不僅英文要好更要有很強(qiáng)的邏輯梳理和圖文排版能力。寫手必須深度參與前期的討論理解每一個決策背后的原因而不是最后拿到結(jié)果才開始寫。我們隊的寫手是英語專業(yè)的但輔修了金融所以對題目背景也有一定理解這在翻譯專業(yè)術(shù)語和闡述經(jīng)濟(jì)直覺時起到了關(guān)鍵作用。注意千萬不要找三個同類型的人組隊比如三個都是理論數(shù)學(xué)高手沒人會編程和寫作結(jié)果就是模型很漂亮但無法求解或者結(jié)果出不來論文一塌糊涂。溝通成本低、性格合拍、能共患難比單純看技術(shù)能力更重要。2.2 工具棧的統(tǒng)一與磨合賽前至少一個月隊伍必須進(jìn)行2-3次全流程模擬。模擬的目的不是做出多完美的論文而是測試工具鏈和協(xié)作流程。寫作與排版工具強(qiáng)烈推薦Overleaf在線LaTeX編輯器。它省去了本地安裝LaTeX環(huán)境的麻煩支持多人實時協(xié)作版本歷史清晰海量的模板美賽官方就有LaTeX模板讓排版變得專業(yè)而輕松。我們賽前就選定了模板并熟悉了如何插入圖表、公式、參考文獻(xiàn)。Word在處理復(fù)雜公式和交叉引用時在高壓環(huán)境下容易出錯不推薦。編程與數(shù)據(jù)工具確定主力編程語言Python/MATLAB。我們選擇Python因為其生態(tài)豐富機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)分析等庫齊全且易于與數(shù)據(jù)交換。同時要統(tǒng)一科學(xué)計算環(huán)境如Anaconda確保每個人的包版本一致。準(zhǔn)備好數(shù)據(jù)來源網(wǎng)站如Kaggle、UCI、政府公開數(shù)據(jù)平臺的訪問方式。溝通與項目管理工具我們用了飛書類似釘釘/Notion的文檔和云空間。建立一個共享文件夾結(jié)構(gòu)如下/MCM_2022/ ├── 00_題目與資料/ ├── 01_思路腦圖/ ├── 02_數(shù)據(jù)/ ├── 03_代碼/ ├── 04_論文草稿/ └── 05_最終提交/每天固定時間開短會更新飛書文檔上的進(jìn)度、遇到的問題和下一步計劃避免信息不同步。3. 賽時四天實戰(zhàn)全解析節(jié)奏與應(yīng)變美賽的96小時時間管理是生命線。下面是我們根據(jù)自身經(jīng)歷總結(jié)的節(jié)奏安排但請記住計劃永遠(yuǎn)趕不上變化核心是保持節(jié)奏感為“意外”留出緩沖時間。3.1 Day 1選題定調(diào)與問題分析約18小時拿到題目的前6小時是最關(guān)鍵的。不要急著敲定題目更不要馬上開始建模。快速通讀2小時每人獨(dú)立閱讀所有六道題MCM三道ICM三道用關(guān)鍵詞寫下對每道題的第一印象、涉及的知識領(lǐng)域、需要的數(shù)據(jù)和可能的難點(diǎn)。集中討論3小時輪流闡述對每道題的理解。此時建模手要初步判斷哪些題有建模思路編程手評估數(shù)據(jù)獲取和計算難度寫手評估題目背景的可闡述性。淘汰明顯不擅長的題目。我們當(dāng)時在C題大數(shù)據(jù)/交易和B題環(huán)境科學(xué)之間猶豫。深入調(diào)研與定題5小時對篩選后的2-3道題進(jìn)行深入調(diào)研。快速搜索相關(guān)文獻(xiàn)、尋找公開數(shù)據(jù)源。我們最終選擇C題是因為找到了一個相關(guān)的金融數(shù)據(jù)集且隊伍對優(yōu)化和統(tǒng)計模型比較有信心而B題涉及的地理數(shù)據(jù)較難處理。問題重述與假設(shè)建立8小時這是第一天最重要的產(chǎn)出。寫手牽頭在Overleaf上建立論文框架開始撰寫“Restatement of the Problem”和“Assumptions”部分。建模手和編程手則基于假設(shè)開始構(gòu)思核心模型框架并繪制初步的模型流程圖。第一晚必須睡好哪怕只完成問題分析和假設(shè)也比熬夜趕工強(qiáng)。3.2 Day 2-3模型構(gòu)建、求解與迭代核心攻堅期這是最煎熬也最出成果的階段。模型一版建立與“快速試錯”Day 2上午建模手提出第一個完整的模型方案。編程手立即開始嘗試實現(xiàn)哪怕先用小規(guī)模數(shù)據(jù)或簡化版模型。目標(biāo)是盡快得到一個初步結(jié)果無論多粗糙。我們的第一個模型是一個簡單的線性回歸預(yù)測價差結(jié)果非常不理想。模型評估與轉(zhuǎn)向Day 2下午面對不理想的結(jié)果團(tuán)隊容易陷入焦慮。這時需要冷靜分析是模型根本性錯誤還是參數(shù)或數(shù)據(jù)問題我們分析后發(fā)現(xiàn)線性關(guān)系太強(qiáng)忽略了市場的波動性和序列相關(guān)性。于是建模手提出轉(zhuǎn)向時間序列分析ARIMA和蒙特卡洛模擬結(jié)合的策略。這是一個關(guān)鍵轉(zhuǎn)折點(diǎn)。模型二版深化與求解Day 2晚 - Day 3全天數(shù)據(jù)清洗編程手花了大量時間處理數(shù)據(jù)缺失、異常值和格式轉(zhuǎn)換。這里有個心得保留每一版數(shù)據(jù)處理的代碼和中間數(shù)據(jù)方便回溯和調(diào)整。模型實現(xiàn)編程手用statsmodels庫構(gòu)建ARIMA模型進(jìn)行價格預(yù)測同時用蒙特卡洛模擬生成大量可能的未來價格路徑評估交易風(fēng)險。可視化同步在結(jié)果出來的過程中編程手就同步開始制作核心圖表如價格預(yù)測曲線、蒙特卡洛模擬的分布圖、風(fēng)險收益散點(diǎn)圖。寫手則根據(jù)這些圖表反向完善“Model Design”部分的描述。敏感性分析與模型穩(wěn)健性檢驗Day 3晚模型跑出漂亮結(jié)果不是終點(diǎn)。必須回答如果我的假設(shè)/參數(shù)變了結(jié)果還可靠嗎我們設(shè)計了敏感性分析改變ARIMA模型的參數(shù)p,d,q觀察預(yù)測結(jié)果的變化范圍改變蒙特卡洛模擬的波動率假設(shè)看最終收益的分布如何變化。這部分內(nèi)容是論文的重要加分項體現(xiàn)了思維的嚴(yán)謹(jǐn)性。3.3 Day 4論文寫作、打磨與提交沖刺收尾最后一天重心完全轉(zhuǎn)移到論文上。編程手的工作基本結(jié)束轉(zhuǎn)為輔助和檢查。初稿整合與填充Day 4上午寫手將之前分散撰寫的章節(jié)問題重述、假設(shè)、模型設(shè)計與最新的結(jié)果分析、敏感性分析部分整合成初稿。建模手和編程手負(fù)責(zé)核對所有技術(shù)細(xì)節(jié)的準(zhǔn)確性特別是公式、圖表編號和正文描述是否一致。摘要Abstract的撰寫Day 4下午至少留出3小時摘要決定生死。評委可能只看摘要。我們采用經(jīng)典的“三段式”結(jié)構(gòu)第一段用1-2句話概括研究的問題、背景和你們方法的核心。第二段簡要介紹你們的主要模型、求解方法和關(guān)鍵步驟不要列公式講邏輯。第三段清晰地陳述你們的主要結(jié)論、數(shù)值結(jié)果以及從模型中得出的重要建議或洞察。最后要點(diǎn)明模型的優(yōu)點(diǎn)和可能的推廣。 摘要要反復(fù)打磨確保沒有語法錯誤且涵蓋了論文的所有亮點(diǎn)。終稿打磨與檢查Day 4傍晚整體檢查邏輯流是否通暢從問題到模型到結(jié)論是否環(huán)環(huán)相扣格式檢查參考文獻(xiàn)格式是否統(tǒng)一圖表是否清晰并有自解釋的標(biāo)題頁眉頁腳是否正確語法與拼寫使用Grammarly等工具進(jìn)行最后一遍檢查但不要完全依賴人工通讀一遍必不可少。提交截止前至少1小時將Overleaf項目編譯成PDF命名為2022_Problem_C_Team_1234567.pdf按照官方要求。通過官網(wǎng)提交系統(tǒng)上傳。務(wù)必提前上傳以防最后時刻網(wǎng)絡(luò)擁堵。提交后將代碼、數(shù)據(jù)、論文源文件打包備份。4. 核心模型與技術(shù)點(diǎn)深度拆解以我們選擇的C題交易策略為例深入聊聊我們用到的核心模型和技術(shù)選擇背后的思考這比單純羅列模型名稱更有價值。4.1 為什么從線性回歸轉(zhuǎn)向時間序列蒙特卡洛模擬最初選擇線性回歸是因為它簡單直觀想快速建立價格與一些指標(biāo)如交易量、移動平均線的關(guān)系。但結(jié)果R-squared很低殘差自相關(guān)嚴(yán)重。這直接暴露了金融時間序列數(shù)據(jù)的核心特點(diǎn)自相關(guān)性和波動聚集性。昨天的價格會影響今天并且波動大的時期往往會持續(xù)一段時間。線性回歸的“獨(dú)立同分布”假設(shè)在這里完全失效。因此我們轉(zhuǎn)向ARIMA模型。它的核心思想是用過去的值和過去的誤差來預(yù)測未來的值完美契合時間序列的自相關(guān)性。我們通過觀察數(shù)據(jù)的自相關(guān)圖ACF和偏自相關(guān)圖PACF來初步確定參數(shù)范圍然后通過網(wǎng)格搜索尋找AIC/BIC信息準(zhǔn)則最小的最優(yōu)參數(shù)組合。但ARIMA只給出了一個“平均”預(yù)測。交易需要評估風(fēng)險。于是我們引入蒙特卡洛模擬。基于ARIMA模型擬合出的殘差分布我們假設(shè)其為正態(tài)分布我們隨機(jī)生成成千上萬條可能的未來價格路徑。這樣我們得到的不是一個預(yù)測值而是一個預(yù)測分布。我們可以計算在任何一條路徑下交易策略的收益進(jìn)而得到收益的概率分布計算期望收益、風(fēng)險方差或VaR等關(guān)鍵指標(biāo)。這個組合模型的優(yōu)勢在于1) 尊重了數(shù)據(jù)的時間序列特性2) 提供了對未來不確定性的量化描述3) 非常直觀易于在論文中用圖表展示大量模擬路徑視覺沖擊力強(qiáng)。4.2 數(shù)據(jù)處理中的實戰(zhàn)坑與技巧美賽提供的數(shù)據(jù)或自己找的數(shù)據(jù)幾乎不可能是“干凈”的。缺失值處理金融數(shù)據(jù)常有缺失。我們采用了前向填充ffill與后向填充bfill結(jié)合的方法。對于中間缺失用前后數(shù)據(jù)的平均值填充。對于連續(xù)大片缺失我們考慮過刪除該時間段但因為這可能包含重要市場事件如休市最終選擇用該時間段前后的整體趨勢進(jìn)行線性插值并在論文中說明了這種處理及其潛在影響。異常值檢測與處理我們使用了箱線圖Boxplot和3σ原則結(jié)合的方法。對于明顯由于數(shù)據(jù)錄入錯誤產(chǎn)生的“離譜值”如價格為負(fù)直接刪除或按缺失值處理。對于可能是真實市場劇烈波動產(chǎn)生的極端值我們選擇保留但在蒙特卡洛模擬時會單獨(dú)分析包含與不包含這些極端值對結(jié)果的影響這本身也成了敏感性分析的一部分。數(shù)據(jù)標(biāo)準(zhǔn)化當(dāng)模型中涉及多個量綱不同的指標(biāo)時如價格、交易量、波動率必須進(jìn)行標(biāo)準(zhǔn)化如Z-score標(biāo)準(zhǔn)化避免量級大的特征主導(dǎo)模型。我們使用sklearn.preprocessing.StandardScaler但切記要用訓(xùn)練集擬合的scaler去轉(zhuǎn)換測試集這是模擬未來數(shù)據(jù)的關(guān)鍵。4.3 可視化讓論文自己說話評委瀏覽論文的時間很短強(qiáng)大的可視化能瞬間抓住眼球。時間序列圖繪制原始價格序列、ARIMA模型擬合曲線和預(yù)測區(qū)間。我們用matplotlib的fill_between函數(shù)繪制了置信區(qū)間陰影區(qū)域很好地表達(dá)了預(yù)測的不確定性。蒙特卡洛模擬路徑圖我們隨機(jī)抽取了100條模擬路徑與原始?xì)v史價格畫在一起直觀展示未來發(fā)展的多種可能性。顏色設(shè)置為半透明避免一團(tuán)亂麻。風(fēng)險-收益散點(diǎn)圖橫軸為風(fēng)險收益標(biāo)準(zhǔn)差縱軸為收益期望收益。將不同參數(shù)下的交易策略結(jié)果繪制成散點(diǎn)圖可以清晰找出“有效前沿”——在相同風(fēng)險下收益最高或相同收益下風(fēng)險最低的策略組合。敏感性分析熱力圖用熱力圖展示關(guān)鍵輸出如最終收益如何隨兩個重要輸入?yún)?shù)如ARIMA的p和q的變化而變化。顏色梯度一目了然。所有圖表都遵循原則標(biāo)題自解釋、坐標(biāo)軸標(biāo)簽清晰、圖例分明、在正文中有明確引用和解讀。5. 常見“翻車”點(diǎn)與應(yīng)急方案實錄即使準(zhǔn)備再充分賽中也會遇到突發(fā)狀況。以下是我們遇到或見其他隊伍遇到的典型問題。問題場景可能原因應(yīng)急方案與建議模型跑不出結(jié)果或結(jié)果荒謬1. 數(shù)據(jù)未清洗干凈NaN異常值2. 模型假設(shè)與數(shù)據(jù)嚴(yán)重不符3. 代碼存在bug或參數(shù)設(shè)置錯誤立即回退檢查最近一步的修改。用一組極簡的、已知結(jié)果的數(shù)據(jù)測試核心算法模塊。簡化模型先做一個極度簡化的版本如用均值代替預(yù)測確保流程通暢再逐步增加復(fù)雜度。隊友之間對模型方向產(chǎn)生嚴(yán)重分歧前期討論不充分或個人執(zhí)著于自己的方案。設(shè)立“決策機(jī)制”賽前約定當(dāng)僵持不下時由建模手在聽取雙方意見后做最終決定其他人必須執(zhí)行。快速原型驗證如果時間允許用1-2小時分別實現(xiàn)兩個方案的簡化版看哪個更有希望。寫作進(jìn)度嚴(yán)重滯后寫手等待最終結(jié)果才開始寫或前期參與度低。寫手必須全程參與從第一天就開始寫問題重述、假設(shè)、文獻(xiàn)綜述。模型部分邊討論邊寫偽代碼和流程圖。結(jié)果出來后編程手提供圖表和核心數(shù)據(jù)寫手立即組織語言描述建模手核對技術(shù)細(xì)節(jié)。最后時刻發(fā)現(xiàn)重大錯誤檢查不仔細(xì)如公式編號錯誤、圖表數(shù)據(jù)與正文不符。預(yù)留完整的檢查時間至少3小時。兩人一組交叉檢查一人讀論文另一人看源代碼和原始數(shù)據(jù)逐項核對。重點(diǎn)檢查摘要、核心結(jié)論和圖表。提交前網(wǎng)絡(luò)或系統(tǒng)問題最后時刻官網(wǎng)訪問緩慢或Overleaf編譯出錯。提前提交在截止時間前3-4小時就進(jìn)行第一次提交。將最終PDF、源代碼等所有材料提前下載到本地備份。Overleaf可嘗試切換編譯器如從pdfLaTeX切換到XeLaTeX。6. 從評委視角看高分論文要點(diǎn)賽后我們復(fù)盤并研究了一些Outstanding獎?wù)撐陌l(fā)現(xiàn)高分論文有一些共性超越了單純的模型復(fù)雜度。清晰的邏輯敘事線論文從頭到尾都在講一個完整的故事。問題是啥我們怎么理解它假設(shè)我們用了什么方法模型這個方法怎么工作的求解得到了什么結(jié)果結(jié)果可靠嗎檢驗這個故事必須流暢沒有邏輯斷層。對模型深刻的洞察而不僅是應(yīng)用評委知道你們用了ARIMA、蒙特卡洛。他們想看到的是你們?yōu)槭裁凑J(rèn)為這個模型適合這個問題你們?nèi)绾未_定參數(shù)的模型有哪些局限性你們做了哪些工作來驗證或彌補(bǔ)這些局限性這體現(xiàn)了你們的思考深度。結(jié)果的創(chuàng)造性呈現(xiàn)不僅僅是羅列數(shù)字。用圖表講故事用對比突出優(yōu)勢用敏感性分析展示穩(wěn)健性。例如我們不僅給出了預(yù)期收益還給出了“在95%置信水平下最大可能虧損不超過X”這樣的風(fēng)險陳述這比單純一個期望值更有價值。摘要就是微型論文再次強(qiáng)調(diào)摘要必須獨(dú)立、完整、精彩。它應(yīng)該包含所有關(guān)鍵要素問題、方法、結(jié)果、結(jié)論。寫好摘要后可以試著只看摘要看是否能大致還原論文的全貌。格式專業(yè)細(xì)節(jié)完美參考文獻(xiàn)引用規(guī)范圖表清晰美觀語法錯誤為零。這代表了嚴(yán)謹(jǐn)?shù)膽B(tài)度和對評委的尊重。一個滿是格式錯誤的論文會讓評委懷疑你們結(jié)果的可靠性。最后想說的是美賽是一次絕佳的跨學(xué)科合作實踐。它鍛煉的不僅僅是數(shù)學(xué)或編程能力更是在極端時間和壓力下的問題解決能力、團(tuán)隊協(xié)作能力和溝通表達(dá)能力。這些能力遠(yuǎn)比一紙證書更重要。我們隊在四天里吵過架也一起通宵看過凌晨四點(diǎn)的數(shù)據(jù)這個過程本身就是最大的收獲。如果你正準(zhǔn)備參賽我的建議是盡早組隊認(rèn)真模擬一次然后勇敢地去享受這場智力與毅力的挑戰(zhàn)吧。記住完成比完美更重要先做出一個完整的、邏輯自洽的作品你就已經(jīng)戰(zhàn)勝了大多數(shù)對手。