翻抽屜翻出一疊舊資料最上面是一份打印版筆試題——?dú)g聚時(shí)代2018校招圖像算法工程師深度學(xué)習(xí)A卷。當(dāng)年在宿舍做這份卷子時(shí)的尷尬勁兒還記得清清楚楚傳統(tǒng)圖像處理學(xué)了深度學(xué)習(xí)也看過(guò)不少網(wǎng)絡(luò)結(jié)構(gòu)圖可真要手推卷積尺寸、手寫(xiě)銳化原理、現(xiàn)場(chǎng)設(shè)計(jì)一套美顏方案的時(shí)候還是露怯了。后來(lái)在算法崗上做了幾年從直播美顏到短視頻特效再到現(xiàn)在折騰大模型圖像生成回看這份卷子才發(fā)現(xiàn)當(dāng)年覺(jué)得“變態(tài)”的考點(diǎn)沒(méi)有一道是白問(wèn)的幾乎每一題都能在真實(shí)業(yè)務(wù)里找到影子。這份卷子對(duì)準(zhǔn)備圖像算法方向筆試面試的同學(xué)來(lái)說(shuō)是一份很好的自測(cè)樣本。它不會(huì)考那種背一遍就能答的“什么是CNN”而是把卷積計(jì)算、圖像處理基礎(chǔ)、網(wǎng)絡(luò)設(shè)計(jì)、工程化方案串在一起考察你能不能從一張輸入圖像出發(fā)把整條算法鏈路想明白。這篇不打算貼“標(biāo)準(zhǔn)答案”那東西網(wǎng)上到處都是也不一定對(duì)。我更想把這份A卷背后真正想考察的能力項(xiàng)拆開(kāi)講清楚以過(guò)來(lái)人的身份說(shuō)說(shuō)每類題該怎么答、為什么這么答再把當(dāng)年踩過(guò)的坑和后來(lái)工作中的印證補(bǔ)上。1. 直播業(yè)務(wù)決定了這份考卷的出題方向準(zhǔn)備筆試的第一步很多人會(huì)忽略先搞清楚這家公司到底做什么業(yè)務(wù)。歡聚時(shí)代2018年的基本盤(pán)是直播和短視頻旗下產(chǎn)品線里圖像算法團(tuán)隊(duì)的核心KPI就是讓攝像頭里的人好看、讓視頻內(nèi)容有可玩性。這個(gè)背景直接決定了考卷不會(huì)去考遙感圖像、醫(yī)學(xué)影像分割這種偏門(mén)方向考點(diǎn)高度集中在人像美化、實(shí)時(shí)視頻處理上。1.1 給應(yīng)屆生的第一課先看公司做什么再猜它考什么大部分應(yīng)屆生復(fù)習(xí)算法筆試是“按目錄復(fù)習(xí)”從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)從目標(biāo)檢測(cè)到圖像分割每個(gè)知識(shí)點(diǎn)都淺嘗輒止。這種無(wú)差別復(fù)習(xí)效率很低因?yàn)椴煌瑯I(yè)務(wù)線的圖像算法筆試差別很大做自動(dòng)駕駛的公司會(huì)考BEV感知和3D目標(biāo)檢測(cè)做電商的公司會(huì)考商品識(shí)別和圖像檢索而做直播的公司考的就是人臉、美顏、特效這一套。當(dāng)年我拿到A卷先掃了一遍題目發(fā)現(xiàn)幾乎每道題都能和直播產(chǎn)品掛上鉤。卷積計(jì)算題后面跟著“視頻幀處理”的應(yīng)用背景圖像銳化題明顯在暗示美顏里的細(xì)節(jié)增強(qiáng)最后的開(kāi)放方案題干脆直接讓你設(shè)計(jì)一套實(shí)時(shí)美顏系統(tǒng)。這不是巧合而是出題人從業(yè)務(wù)需求出發(fā)反向設(shè)計(jì)考卷。所以復(fù)習(xí)前建議做一件事打開(kāi)目標(biāo)公司的官網(wǎng)和產(chǎn)品列出它的圖像算法應(yīng)用場(chǎng)景。歡聚時(shí)代這種直播公司核心訴求就兩個(gè)實(shí)時(shí)、自然。實(shí)時(shí)意味著端上算力有限所以筆試考拉普拉斯這種輕量級(jí)算子而不是讓你堆幾十層的分割網(wǎng)絡(luò)自然意味著美顏不能糊成一張假臉?biāo)詴?huì)在意保邊、細(xì)節(jié)、時(shí)序一致性。理解了這兩條再看整張卷子出題邏輯一下就清晰了。1.2 從崗位JD反推出來(lái)的三個(gè)核心考察維度把A卷的題目歸歸類會(huì)落在三個(gè)維度上。這三個(gè)維度在當(dāng)時(shí)的崗位JD里也有對(duì)應(yīng)表述面試官其實(shí)早就把考察范圍寫(xiě)在招人要求里了。第一個(gè)維度是深度學(xué)習(xí)基礎(chǔ)。包括卷積、池化、激活函數(shù)、反向傳播、損失函數(shù)、優(yōu)化器以及經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)。這是所有算法工程師的底子不管做什么方向都躲不開(kāi)。對(duì)應(yīng)到卷面上是計(jì)算題和簡(jiǎn)答題比如給你一個(gè)卷積層參數(shù)讓你算輸出尺寸和參數(shù)量或者問(wèn)ResNet為什么能解決網(wǎng)絡(luò)退化問(wèn)題。第二個(gè)維度是傳統(tǒng)圖像處理。直播美顏在2018年仍然是傳統(tǒng)算法為主、深度學(xué)習(xí)為輔的狀態(tài)所以拉普拉斯銳化、直方圖均衡化、邊緣檢測(cè)、濾波這類經(jīng)典知識(shí)點(diǎn)是必考的。這個(gè)維度很多自學(xué)深度學(xué)習(xí)的同學(xué)容易忽略覺(jué)得有了CNN就不需要懂傳統(tǒng)圖像處理了。這是典型的誤解實(shí)際上直到今天引導(dǎo)濾波、雙邊濾波這些傳統(tǒng)算子仍然大量用在美顏算法里CNN只是替換了其中一部分模塊。第三個(gè)維度是工程化方案設(shè)計(jì)。卷子最后的大題通常是開(kāi)放性的給你一個(gè)業(yè)務(wù)場(chǎng)景讓你做個(gè)方案。這類題沒(méi)有標(biāo)準(zhǔn)答案考的是你有沒(méi)有全局視野懂不懂分解需求、懂不懂權(quán)衡精度和性能、懂不懂怎么把算法落地到真實(shí)產(chǎn)品里。當(dāng)年很多人栽在這道題上不是不會(huì)算法而是只盯著“用什么模型”完全沒(méi)有考慮“幀率能不能達(dá)標(biāo)”“用戶在美顏強(qiáng)度30%時(shí)希望看到什么效果”這類問(wèn)題。這三個(gè)維度就是整張A卷的骨架。2. 深度學(xué)習(xí)基礎(chǔ)題卷積計(jì)算與感受野是必考硬傷A卷的深度學(xué)習(xí)基礎(chǔ)部分風(fēng)格相當(dāng)務(wù)實(shí)。不會(huì)讓你背“CNN由卷積層、池化層、全連接層組成”這種話而是直接甩一道計(jì)算題過(guò)來(lái)考察你能不能準(zhǔn)確算出一個(gè)卷積層的前向傳播。這類題看著簡(jiǎn)單實(shí)際上手算的時(shí)候特別容易翻車因?yàn)榧?xì)節(jié)太多了。2.1 一道典型的計(jì)算題輸出尺寸、參數(shù)量、感受野卷子里有一道很典型的題大概意思是輸入一張224×224×3的圖像接一個(gè)3×3卷積padding1stride2卷積核數(shù)量為64求輸出feature map的尺寸和這一層的參數(shù)量。先算尺寸。卷積輸出的公式是H_out floor((H_in 2×padding - kernel_size) / stride) 1代入得floor((224 2 - 3) / 2) 1 floor(223 / 2) 1 111 1 112。所以輸出是112×112×64。這里有兩個(gè)坑容易被忽略。第一個(gè)坑是padding的語(yǔ)義padding1到底是在單邊補(bǔ)一行還是上下左右各補(bǔ)一行實(shí)踐中默認(rèn)是兩邊都補(bǔ)即上下左右各補(bǔ)一圈所以224變成226再減3得223。第二個(gè)坑是stride除法要向下取整卷積沒(méi)有“四舍五入”的說(shuō)法。這些細(xì)節(jié)面試官一眼就能看出你是真懂還是背過(guò)公式。再說(shuō)參數(shù)量。一個(gè)3×3卷積核輸入通道3輸出通道64對(duì)應(yīng)的參數(shù)是3×3×3×64 1728。注意這里還沒(méi)有加bias如果每題都帶偏置項(xiàng)要加上64變成1792。很多人在計(jì)算題里漏掉bias這屬于低級(jí)失誤但真的非常常見(jiàn)。感受野也是這個(gè)板塊的常客。一個(gè)比較經(jīng)典的問(wèn)法為什么很多網(wǎng)絡(luò)用兩層3×3卷積代替一層5×5卷積答案有兩個(gè)層面。數(shù)學(xué)上兩層3×3疊加感受野正好等于5×5三層3×3等于7×7參數(shù)上兩層3×3的參數(shù)量是2×3×318一層5×5是25參數(shù)更少且非線性更強(qiáng)。這個(gè)點(diǎn)背下來(lái)不難但理解了以后對(duì)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)很有幫助。2.2 反向傳播和梯度問(wèn)題的考察方式反向傳播在筆試?yán)锿ǔＳ袃煞N考法。第一種是給一個(gè)簡(jiǎn)單的兩層全連接網(wǎng)絡(luò)要求手寫(xiě)梯度表達(dá)式。這種題必須踏踏實(shí)實(shí)把鏈?zhǔn)椒▌t展開(kāi)用具體的數(shù)值代進(jìn)去算不要只寫(xiě)一個(gè)loss對(duì)w的偏導(dǎo)公式因?yàn)殚喚硎前床襟E給分的你跳過(guò)中間推導(dǎo)就算結(jié)果對(duì)也拿不到滿分。第二種是概念題問(wèn)為什么sigmoid在深層網(wǎng)絡(luò)里會(huì)導(dǎo)致梯度消失ReLU為什么能緩解。原因是sigmoid函數(shù)在兩端飽和導(dǎo)數(shù)的最大值只有0.25。鏈?zhǔn)椒▌t在反向傳播時(shí)是不斷連乘的每乘一個(gè)小于1的數(shù)梯度就縮一圈網(wǎng)絡(luò)越深梯度越小淺層的參數(shù)幾乎得不到有效更新。而ReLU在正區(qū)間導(dǎo)數(shù)恒為1梯度不會(huì)在激活函數(shù)這一步衰減。不過(guò)ReLU也有自己的問(wèn)題。負(fù)數(shù)區(qū)域梯度直接歸零如果一個(gè)神經(jīng)元的輸入長(zhǎng)期落在負(fù)區(qū)間它就再也學(xué)不動(dòng)了這叫Dead ReLU。所以筆試如果追問(wèn)“ReLU有什么不足”要能答出Dead ReLU并順勢(shì)引出LeakyReLU、PReLU這些變體。另外BatchNorm在2018年的卷子里出現(xiàn)頻率已經(jīng)很高了它通過(guò)對(duì)每層激活值做歸一化讓輸入分布相對(duì)穩(wěn)定既緩解梯度問(wèn)題又能允許你用更大的學(xué)習(xí)率訓(xùn)練這個(gè)機(jī)制要能講清楚。2.3 損失函數(shù)與優(yōu)化器的選擇邏輯損失函數(shù)的選擇筆試題通常以“你在這個(gè)場(chǎng)景里用什么損失函數(shù)為什么”的形式出現(xiàn)。圖像分類默認(rèn)softmax 交叉熵。這里值得記住一個(gè)推導(dǎo)結(jié)論交叉熵?fù)p失對(duì)softmax輸入logits的梯度形式很簡(jiǎn)潔等于預(yù)測(cè)概率減去真實(shí)one-hot標(biāo)簽即 y_hat - y_true。寫(xiě)代碼的時(shí)候很多深度學(xué)習(xí)框架里CrossEntropyLoss已經(jīng)內(nèi)置了softmax直接用即可但筆試題偶爾會(huì)要求你解釋這一步別到時(shí)候露怯。回歸任務(wù)用L2損失但L2對(duì)離群點(diǎn)異常敏感一個(gè)臟標(biāo)注就能把模型拉偏。所以工程里常改用Smooth L1它在誤差較小時(shí)保持L2的平滑誤差較大時(shí)退化成L1對(duì)離群點(diǎn)更魯棒。問(wèn)到這個(gè)的時(shí)候如果能順口說(shuō)出“目標(biāo)檢測(cè)邊框回歸里Smooth L1是標(biāo)配”很加分。優(yōu)化器這塊當(dāng)時(shí)幾乎必問(wèn)“Adam和SGD有什么區(qū)別你選哪個(gè)”。常規(guī)答法是Adam自適應(yīng)學(xué)習(xí)率、收斂快、適合調(diào)參初期SGDMomentum雖然收斂慢但配合合適的學(xué)習(xí)率往往能收斂到更好的極值點(diǎn)泛化性更優(yōu)。面試官想聽(tīng)到的不只是“Adam快”而是你對(duì)“什么時(shí)候該用誰(shuí)”的判斷。我的經(jīng)驗(yàn)是小數(shù)據(jù)集、快速驗(yàn)證用Adam正式訓(xùn)練大模型、追求精度時(shí)換成SGDMomentum配warmup和cosine decay學(xué)習(xí)率。這個(gè)技能不是筆試能考出來(lái)的但提前準(zhǔn)備好面試環(huán)節(jié)很加分。3. 圖像算法題從拉普拉斯銳化到直方圖均衡化A卷的第二大板塊是傳統(tǒng)圖像處理這部分和直播業(yè)務(wù)結(jié)合得很緊。拉普拉斯銳化、直方圖均衡化、邊緣檢測(cè)都是圖像增強(qiáng)里的基礎(chǔ)操作放到直播間里直接對(duì)應(yīng)清晰度提升、光影調(diào)節(jié)、人像輪廓增強(qiáng)這些功能。題目不難但考察得非常細(xì)。3.1 拉普拉斯算子為什么能銳化圖像拉普拉斯算子是一個(gè)二階微分算子。圖像里邊緣區(qū)域的像素變化劇烈一階導(dǎo)在邊緣處取得極值二階導(dǎo)在邊緣兩側(cè)會(huì)出現(xiàn)“零交叉”——從正變負(fù)或從負(fù)變正。把二階導(dǎo)的信息疊加回原圖就能讓邊緣兩側(cè)的對(duì)比更強(qiáng)視覺(jué)上就是變清晰了這就是銳化的原理。離散情況下拉普拉斯模板一般有兩種。四鄰域模板 0 1 0 1 -4 1 0 1 0八鄰域模板 1 1 1 1 -8 1 1 1 1用四鄰域模板時(shí)銳化公式是g(x, y) f(x, y) - ?2f也就是原圖減去拉普拉斯結(jié)果。但這里有個(gè)特別容易踩的符號(hào)坑如果你用的模板中心是正數(shù)比如0 -1 0 / -1 4 -1 / 0 -1 0公式就要改成原圖加上拉普拉斯結(jié)果。好多人背公式時(shí)沒(méi)注意模板符號(hào)寫(xiě)出來(lái)的代碼效果完全不對(duì)。Python實(shí)現(xiàn)很直接import cv2 import numpy as np img cv2.imread(input.jpg, cv2.IMREAD_GRAYSCALE).astype(np.float32) # 四鄰域拉普拉斯核中心為負(fù) kernel np.array([[0, 1, 0], [1, -4, 1], [0, 1, 0]]) lap cv2.filter2D(img, -1, kernel) sharp cv2.subtract(img, lap) # 原圖減拉普拉斯 sharp np.clip(sharp, 0, 255).astype(np.uint8)注意filter2D的輸出可能包含負(fù)值所以后面要用clip裁剪到0~255或者用cv2.subtract來(lái)截?cái)喾駝t顯示出來(lái)會(huì)是黑一塊白一塊的噪點(diǎn)圖。筆試如果考到拉普拉斯往往會(huì)追加一問(wèn)“它有什么缺點(diǎn)”。答案是二階導(dǎo)對(duì)噪聲非常敏感一張有輕微噪點(diǎn)的圖銳化后噪點(diǎn)會(huì)被明顯放大。所以在美顏場(chǎng)景里拉普拉斯很少單獨(dú)用而是配合保邊濾波一起使用或者用高反差保留即原圖減去低頻圖來(lái)提取細(xì)節(jié)層再按強(qiáng)度疊加回去。這個(gè)思路在直播美顏的磨皮和細(xì)節(jié)增強(qiáng)里很常見(jiàn)。3.2 直方圖均衡化公式、步驟與實(shí)現(xiàn)直方圖均衡化的目標(biāo)是把灰度分布從集中在某個(gè)區(qū)間擴(kuò)展到整個(gè)灰度范圍提升對(duì)比度。直播場(chǎng)景里光線不好的時(shí)候人像發(fā)灰均衡化能讓畫(huà)面干凈通透一些是很多實(shí)時(shí)視頻前處理鏈路里的常駐模塊。標(biāo)準(zhǔn)步驟分四步。第一步統(tǒng)計(jì)每個(gè)灰度級(jí)的像素?cái)?shù)得到直方圖。第二步把直方圖除以總像素?cái)?shù)得到概率密度PDF。第三步從低灰度到高灰度逐級(jí)累加得到累積分布CDF。第四步用CDF乘以255再取整得到映射表然后把原圖像素值逐一代入映射。代碼核心邏輯如下def hist_equalize(img): h, w img.shape total h * w # 統(tǒng)計(jì)直方圖 hist np.bincount(img.ravel(), minlength256).astype(np.float32) # 計(jì)算概率密度和累積分布 pdf hist / total cdf np.cumsum(pdf) # 映射表 map_table np.round(cdf * 255).astype(np.uint8) # 查表映射 return map_table[img]這里有一個(gè)不容易注意到的細(xì)節(jié)如果直方圖里0和255兩個(gè)端點(diǎn)有大量像素均衡化后灰度會(huì)被拉伸得特別夸張反而導(dǎo)致圖像發(fā)白發(fā)灰甚至出現(xiàn)偽輪廓。工程上很少用全局均衡化更多用CLAHE也就是限制對(duì)比度自適應(yīng)直方圖均衡化。它先把圖像分成若干小塊分別做均衡化再對(duì)局部直方圖的高度做裁剪把超出閾值的部分重新分配能有效抑制噪聲放大和過(guò)度增強(qiáng)。筆試問(wèn)到“直方圖均衡化有什么不足怎么改進(jìn)”把CLAHE的機(jī)制說(shuō)清楚是個(gè)不錯(cuò)的加分點(diǎn)。3.3 邊緣檢測(cè)和CNN卷積核的關(guān)系邊緣檢測(cè)在直播和短視頻里是很多后續(xù)處理的基礎(chǔ)。Sobel算子是經(jīng)典的一階梯度算子用兩個(gè)3×3卷積核分別計(jì)算水平方向和垂直方向的梯度再合成為梯度幅值。Canny則是更完整的邊緣檢測(cè)流程先高斯模糊降噪再算梯度幅值和方向然后做非極大值抑制把邊緣細(xì)化成單像素寬最后用雙閾值滯后連接來(lái)消除斷裂。這一節(jié)里面試官最喜歡的追問(wèn)是“那你覺(jué)得傳統(tǒng)邊緣檢測(cè)算子和CNN里學(xué)到的卷積核有什么關(guān)系”這個(gè)問(wèn)題我當(dāng)年沒(méi)答好后來(lái)研究模型可視化了才徹底想明白。CNN第一層卷積核可視化之后你會(huì)發(fā)現(xiàn)它們很多都在學(xué)習(xí)邊緣、紋理、顏色塊和Sobel、Gabor這些手工設(shè)計(jì)的濾波器長(zhǎng)得非常像。區(qū)別在于CNN的卷積核是數(shù)據(jù)驅(qū)動(dòng)學(xué)出來(lái)的能做到“針對(duì)任務(wù)定制”而不只是通用的邊緣提取。這個(gè)理解在直播人像分割、高清人像增強(qiáng)任務(wù)里很關(guān)鍵當(dāng)你需要的是“人臉邊緣”而不是“所有物體邊緣”時(shí)CNN自上而下的語(yǔ)義信息比單純的梯度計(jì)算有效得多。4. 經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)題手推VGG參數(shù)量講清ResNet動(dòng)機(jī)2018年校招筆試網(wǎng)絡(luò)結(jié)構(gòu)題基本是必然出現(xiàn)的板塊。A卷在這一塊不僅考“你認(rèn)不認(rèn)識(shí)這些網(wǎng)絡(luò)”更考“你能不能動(dòng)手算參數(shù)、講清設(shè)計(jì)動(dòng)機(jī)”。過(guò)了這么幾年模型結(jié)構(gòu)迭代了很多但LeNet到ResNet這條演進(jìn)線里的思想仍然是面試官考察網(wǎng)絡(luò)理解能力的試金石。4.1 從LeNet到ResNet的演進(jìn)邏輯LeNet5是1998年的網(wǎng)絡(luò)手寫(xiě)數(shù)字識(shí)別5層結(jié)構(gòu)奠定了“卷積池化全連接”的基本范式。AlexNet在2012年拿到ImageNet冠軍帶來(lái)了三個(gè)核心改進(jìn)ReLU加速收斂、Dropout緩解過(guò)擬合、GPU并行訓(xùn)練讓模型能做得更大。VGG的貢獻(xiàn)是把大卷積核替換成小卷積核堆疊網(wǎng)絡(luò)更深結(jié)構(gòu)更規(guī)整。GoogLeNet用Inception模塊在同一個(gè)stage里用不同尺度的卷積并行提取特征同時(shí)用1×1卷積做維度升降來(lái)控制計(jì)算量。ResNet則在2015年引入了殘差連接徹底解決了深層網(wǎng)絡(luò)訓(xùn)練困難的問(wèn)題。如果考試讓你“簡(jiǎn)述卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展”不要把這些點(diǎn)孤立羅列而要挨個(gè)說(shuō)清“它解決了什么問(wèn)題、代價(jià)是什么”。比如VGG用3×3堆疊好處是參數(shù)少、非線性強(qiáng)代價(jià)是計(jì)算量仍然很大256層的VGG根本訓(xùn)練不動(dòng)。正是這些代價(jià)推動(dòng)GoogLeNet和ResNet的出現(xiàn)。4.2 手算VGG16參數(shù)量算一遍就忘不掉VGG16在筆試?yán)锍霈F(xiàn)頻率極高因?yàn)樗Y(jié)構(gòu)規(guī)整、參數(shù)好算非常適合拿來(lái)考察網(wǎng)絡(luò)基本功。VGG16包含13個(gè)卷積層和3個(gè)全連接層。帶bias參數(shù)的計(jì)算方式每次卷積都會(huì)加上輸出通道數(shù)個(gè)偏置但為了方便記憶和手算通常先忽略bias最后再統(tǒng)一說(shuō)明。各層參數(shù)大致如下層卷積核輸入通道輸出通道參數(shù)量conv1_13×33641728conv1_23×3646436864conv2_13×36412873728conv2_23×3128128147456conv3_13×3128256294912conv3_23×3256256589824conv3_33×3256256589824conv4_13×32565121179648conv4_23×35125122359296conv4_33×35125122359296conv5_13×35125122359296conv5_23×35125122359296conv5_33×35125122359296卷積層累加大約是1471萬(wàn)參數(shù)真正的大頭在后面的全連接層。輸入224×224經(jīng)過(guò)5次空間分辨率減半到最后一個(gè)卷積層輸出是7×7×512拉平得到25088維所以fc1的參數(shù)量是25088×4096 ≈ 1.028億fc2是4096×4096 ≈ 1678萬(wàn)fc3是4096×1000 ≈ 410萬(wàn)。三項(xiàng)加起來(lái)超過(guò)1.2億VGG16總參數(shù)量約1.38億其中全連接層占了80%以上。這也解釋了為什么后來(lái)很多網(wǎng)絡(luò)把全連接層換成全局平均池化參數(shù)瞬間砍掉一大截精度損失卻很小。準(zhǔn)備筆試時(shí)一定要親手算一遍這個(gè)表算完對(duì)VGG的參數(shù)分布會(huì)有非常直觀的感受面試官問(wèn)“VGG哪部分參數(shù)最多”這種細(xì)節(jié)題也不會(huì)卡殼。4.3 “設(shè)計(jì)一個(gè)分類網(wǎng)絡(luò)”這類題的答題框架A卷簡(jiǎn)答題里有一類開(kāi)放題讓你針對(duì)一個(gè)給定任務(wù)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)比如“為100類圖像分類設(shè)計(jì)一個(gè)CNN”。這種題沒(méi)有標(biāo)準(zhǔn)答案但答題邏輯是有章法的。我后來(lái)在面試別人時(shí)發(fā)現(xiàn)能拿高分的候選人都有一個(gè)共同點(diǎn)回答有框架不是東一句西一句。我的建議是按下述結(jié)構(gòu)答。第一步明確任務(wù)約束輸入尺寸多大、類別數(shù)多少、計(jì)算設(shè)備是什么、目標(biāo)幀率多少。這些參數(shù)直接決定了網(wǎng)絡(luò)規(guī)模的上限。第二步提出基礎(chǔ)方案先用預(yù)訓(xùn)練的ResNet50做遷移學(xué)習(xí)這是絕大多數(shù)實(shí)際項(xiàng)目的默認(rèn)起點(diǎn)成本低、效果好。第三步如果要求不依賴預(yù)訓(xùn)練或者要端上部署再設(shè)計(jì)輕量結(jié)構(gòu)一個(gè)stem卷積加4個(gè)stage每個(gè)stage堆疊兩個(gè)殘差塊通道數(shù)翻倍、分辨率減半最后全局平均池化接全連接層。第四步講訓(xùn)練配置數(shù)據(jù)增強(qiáng)、BatchNorm、學(xué)習(xí)率warmup、Dropout。第五步給出評(píng)估指標(biāo)和備選方案。這套框架答下來(lái)無(wú)論面試官出什么變體你都能從“約束—選型—設(shè)計(jì)—訓(xùn)練—評(píng)估”的完整鏈路去應(yīng)對(duì)而不是卡在“選什么網(wǎng)絡(luò)”這一步。5. 開(kāi)放性方案題兩小時(shí)內(nèi)設(shè)計(jì)一個(gè)實(shí)時(shí)美顏系統(tǒng)A卷最后一道大題我記得印象非常深大意是“某直播平臺(tái)需要對(duì)視頻流做實(shí)時(shí)美顏處理包括磨皮、美白、瘦臉請(qǐng)?jiān)O(shè)計(jì)一套算法方案并說(shuō)明處理流程和關(guān)鍵技術(shù)選型。”這類題是整張卷子的壓軸也是最容易拉開(kāi)差距的地方。很多人在前面選擇題、計(jì)算題上答得不錯(cuò)到了這道題就把“美顏”理解成“用一個(gè)深度學(xué)習(xí)模型輸入原圖輸出美化圖”然后就沒(méi)有然后了。這種回答在真實(shí)工程里根本落不了地。5.1 讀懂題目里的性能約束端上實(shí)時(shí)意味著什么開(kāi)放性方案題的第一步不是上來(lái)就寫(xiě)模塊而是先解讀約束條件。這道題最關(guān)鍵的詞是“實(shí)時(shí)視頻流”。直播場(chǎng)景下美顏算法跑在用戶的手機(jī)端視頻流每秒30幀意味著單幀處理的時(shí)間預(yù)算只有約33毫秒。而這33毫秒還要留給采集、編碼、網(wǎng)絡(luò)傳輸真正分給美顏算法的可能只有10到20毫秒。這個(gè)約束會(huì)推翻很多“看起來(lái)很美”的方案。比如直接用GAN做端到端人像美化2018年的技術(shù)水平根本跑不到實(shí)時(shí)幀率用一個(gè)上百層的分割網(wǎng)絡(luò)做人像分割再美化推理耗時(shí)也超標(biāo)。所以真正合理的方案必須走輕量化路線人臉檢測(cè)用輕量級(jí)網(wǎng)絡(luò)磨皮美白用傳統(tǒng)圖像算子瘦臉大眼用基于關(guān)鍵點(diǎn)的局部變形而不是盲目堆深度學(xué)習(xí)。答這類題能夠主動(dòng)說(shuō)出“單幀要在20ms內(nèi)完成所以必須考慮計(jì)算量”這句話比列一堆先進(jìn)模型的名字要強(qiáng)得多因?yàn)樗f(shuō)明你真的做過(guò)工程而不只是看過(guò)論文。5.2 模塊拆解人臉檢測(cè)、關(guān)鍵點(diǎn)、分割與美化一個(gè)可落地的實(shí)時(shí)美顏系統(tǒng)通常拆成四個(gè)模塊。人臉檢測(cè)負(fù)責(zé)找到畫(huà)面里的人臉區(qū)域。2018年MTCNN是主流選擇它用一個(gè)小網(wǎng)絡(luò)級(jí)聯(lián)在CPU上也能跑得動(dòng)現(xiàn)在工程上更多人用RetinaFace或者SCRFD這類輕量級(jí)檢測(cè)器精度更高。人臉關(guān)鍵點(diǎn)定位負(fù)責(zé)輸出眉毛、眼睛、鼻子、嘴巴、臉部輪廓的位置瘦臉、大眼這類形變操作全靠這些關(guān)鍵點(diǎn)。磨皮美白之前最好先做皮膚分割或人臉解析生成一張只包含皮膚區(qū)域的mask這樣磨皮不會(huì)把眼睛、頭發(fā)、眉毛一起糊掉。最后才是美化算子本身磨皮用雙邊濾波或引導(dǎo)濾波美白用亮度曲線調(diào)整和顏色校正瘦臉大眼用圖像局部仿射變形每一步處理完后通過(guò)mask做透明度混合。這個(gè)鏈路可以整理成一張表模塊典型算法輸出說(shuō)明人臉檢測(cè)MTCNN / RetinaFace人臉包圍盒鎖定處理區(qū)域關(guān)鍵點(diǎn)定位68點(diǎn) / 106點(diǎn) / 240點(diǎn)面部關(guān)鍵點(diǎn)坐標(biāo)支撐瘦臉、大眼皮膚分割BiSeNet / 傳統(tǒng)顏色空間皮膚mask限定磨皮美白區(qū)域磨皮雙邊濾波 / 引導(dǎo)濾波平滑后的人臉區(qū)域保邊避免糊臉美白亮度曲線 / 色彩調(diào)整更白的膚色與磨皮疊加局部變形基于關(guān)鍵點(diǎn)的網(wǎng)格仿射瘦臉/大眼效果強(qiáng)度由用戶控制答模塊拆解的時(shí)候還要講清楚“時(shí)序一致性”的問(wèn)題。視頻是連續(xù)的人臉關(guān)鍵點(diǎn)檢測(cè)每一幀都會(huì)有輕微抖動(dòng)如果拿原始坐標(biāo)直接做瘦臉畫(huà)面里臉型會(huì)閃來(lái)閃去。所以關(guān)鍵點(diǎn)坐標(biāo)必須做時(shí)序平滑最簡(jiǎn)單的做法是對(duì)坐標(biāo)序列做指數(shù)滑動(dòng)平均更高級(jí)一點(diǎn)用卡爾曼濾波。這個(gè)細(xì)節(jié)當(dāng)年很多人答不出來(lái)但恰恰是直播美顏里最影響用戶體驗(yàn)的問(wèn)題之一。5.3 面試官追問(wèn)時(shí)的加分回答筆試只是第一關(guān)后面的面試還會(huì)圍繞方案題追問(wèn)。有幾個(gè)追問(wèn)方向當(dāng)年我都被問(wèn)過(guò)提前整理一下很有價(jià)值。追問(wèn)一“為什么不用GAN做美顏”你的回答要說(shuō)明GAN生成結(jié)果不可控實(shí)時(shí)性差訓(xùn)練不穩(wěn)定在端上算力嚴(yán)重受限的條件下很難滿足30幀要求。事實(shí)上直播美顏的核心思路是“保守”用戶要的是自然好看不是風(fēng)格化大變臉。后來(lái)很多輕量級(jí)生成模型出來(lái)之后端側(cè)確實(shí)也能跑一些生成式美化效果了但工程上仍然傾向于用可解釋、可調(diào)節(jié)的傳統(tǒng)算子。追問(wèn)二“低端手機(jī)上跑不動(dòng)怎么辦”這是性能優(yōu)化問(wèn)題。可以從三方面回答第一是模型輕量化用模型剪枝、通道剪枝把推理量降下去第二是量化FP32模型轉(zhuǎn)成FP16、INT8推理在端上能帶來(lái)幾倍的加速內(nèi)存占用也大幅下降。FP16、INT8這些模型壓縮技術(shù)現(xiàn)在已經(jīng)是部署標(biāo)配第三是工程優(yōu)化比如多線程并行、算子融合、GPU/NPU加速等。追問(wèn)三“美顏強(qiáng)度如何讓用戶調(diào)節(jié)”這就要在方案里加上“美化后圖像和原圖做透明度混合”的步驟用戶拖動(dòng)滑塊時(shí)改變alpha系數(shù)。這個(gè)點(diǎn)很細(xì)但能體現(xiàn)產(chǎn)品思維面試官會(huì)覺(jué)得你不只懂技術(shù)還理解需求。6. 復(fù)盤(pán)建議筆試不是終點(diǎn)是工程能力的起點(diǎn)前面把考點(diǎn)拆得差不多了最后聊點(diǎn)實(shí)干層面的東西。筆試這件事結(jié)果當(dāng)然重要但備考的過(guò)程本身就是一次系統(tǒng)性的能力梳理。大多數(shù)人算法基礎(chǔ)不差短板在于對(duì)知識(shí)的理解浮于表面會(huì)背概念不會(huì)算題會(huì)調(diào)框架不會(huì)手推。A卷這種考察風(fēng)格恰恰是在逼你把基礎(chǔ)打扎實(shí)。6.1 做題順序與時(shí)間分配我當(dāng)年拿到A卷先快速掃了一圈然后把計(jì)算題和基礎(chǔ)簡(jiǎn)答題做掉把開(kāi)放方案題留在最后。這個(gè)順序總體是對(duì)的但有一個(gè)教訓(xùn)不要在計(jì)算題上戀戰(zhàn)。卷子里有一道多層的感受野題我第一次計(jì)算時(shí)因?yàn)樵凇暗谝粚觭tride要不要計(jì)入感受野公式”上糾結(jié)太久結(jié)果方案題的時(shí)間被壓縮了答得倉(cāng)促。后來(lái)才發(fā)現(xiàn)方案題占的分值比重更大而且更容易拿分。合理的節(jié)奏大致是前10分鐘通讀全卷標(biāo)記題目難度然后先做會(huì)做的計(jì)算題和簡(jiǎn)答題每道題控制時(shí)間不會(huì)的果斷跳過(guò)留足30分鐘給方案題最后10分鐘檢查計(jì)算題的公式、單位、符號(hào)。這個(gè)時(shí)間分配不是萬(wàn)能的但可以避免“難題寫(xiě)不完、簡(jiǎn)單題沒(méi)空做”的尷尬。6.2 不會(huì)的題怎么辦筆試遇到完全不會(huì)的題最忌諱的是留白。哪怕不會(huì)寫(xiě)完整答案也要把你想到的相關(guān)知識(shí)點(diǎn)、已有條件、可能的解決思路寫(xiě)上去。比如不會(huì)寫(xiě)拉普拉斯銳化的完整代碼就把卷積模板和公式寫(xiě)出來(lái)說(shuō)明它的作用不會(huì)設(shè)計(jì)完整的實(shí)時(shí)美顏系統(tǒng)就把人臉檢測(cè)關(guān)鍵點(diǎn)美化的鏈路畫(huà)出來(lái)再講講每個(gè)模塊負(fù)責(zé)什么。閱卷老師在這個(gè)過(guò)程中能看到你的分析能力而候選人之間拉開(kāi)差距的往往不是知識(shí)量而是“遇到陌生問(wèn)題時(shí)如何組織思路”。6.3 現(xiàn)在回看哪些考點(diǎn)已經(jīng)過(guò)時(shí)哪些依然是核心2018年到今天圖像算法領(lǐng)域變化很大。原題里很多內(nèi)容已經(jīng)不再是主流技術(shù)路徑MTCNN換成了更輕量的檢測(cè)器傳統(tǒng)美顏算子正在被生成式模型覆蓋CNN之外有了Transformer、擴(kuò)散模型這些新架構(gòu)。但你看這份A卷考察的能力——卷積計(jì)算、網(wǎng)絡(luò)設(shè)計(jì)、圖像處理基礎(chǔ)、工程取舍——沒(méi)有一樣過(guò)時(shí)。無(wú)論模型怎么換你依然需要理解感受野、理解參數(shù)量、理解數(shù)據(jù)分布、理解性能瓶頸。現(xiàn)在再準(zhǔn)備校招除了把基本功補(bǔ)扎實(shí)建議把模型部署這條線也補(bǔ)上。FP16、BF16、INT8這些數(shù)值格式的差異和選型邏輯在真實(shí)項(xiàng)目里非常重要。舉個(gè)小例子同一個(gè)模型在FP32下顯存占用是4字節(jié)FP16是2字節(jié)后者能讓一個(gè)原來(lái)跑不動(dòng)的batch size變得可行推理速度也更快。這類細(xì)節(jié)在2018年校招里極少出現(xiàn)但現(xiàn)在已經(jīng)成了算法工程師的基本功。回看這份卷子對(duì)我來(lái)說(shuō)最大的意義不是拿到offer而是它讓我在入職之前就把圖像算法的“地面功夫”練了一遍。如果你正在準(zhǔn)備類似的筆試我的建議是拿一份過(guò)去的真題關(guān)掉搜索引擎給自己完整的兩小時(shí)老老實(shí)實(shí)做一遍。做不出來(lái)很正常但做完之后對(duì)照解析把每一道錯(cuò)題背后的知識(shí)點(diǎn)補(bǔ)上這一輪下來(lái)效果比看十篇面試經(jīng)驗(yàn)都實(shí)在。卷子會(huì)過(guò)時(shí)但底層能力不會(huì)。