1. 大文件上傳的痛點與解決方案在Web應用開發中處理大文件上傳一直是個令人頭疼的問題。傳統的表單上傳方式在面對GB級文件時經常會遇到連接超時、內存溢出、網絡抖動導致重傳等問題。我在實際項目中就遇到過用戶上傳3D設計文件時頻繁失敗的情況這不僅影響用戶體驗還造成了服務器資源浪費。目前主流解決方案是分塊上傳Chunked Upload結合秒傳Instant Upload技術。分塊上傳將大文件切割成多個小塊依次傳輸即使某塊失敗也只需重傳該塊秒傳則通過文件指紋識別避免重復上傳。這兩種技術組合使用能顯著提升大文件上傳的可靠性和效率。2. 技術方案設計2.1 整體架構設計我們的方案采用前后端分離架構前端負責文件分塊、計算哈希、控制上傳流程后端處理塊上傳請求、合并文件、管理上傳狀態存儲使用MinIO對象存儲服務關鍵流程如下前端計算文件整體MD5和分塊MD5查詢服務端是否已存在相同文件秒傳如不存在則按分塊順序上傳服務端接收并校驗各分塊全部分塊上傳完成后合并文件2.2 分塊策略設計分塊大小需要權衡傳輸效率和重傳成本。經過測試我們確定以下原則網絡狀況好內網4MB/塊普通網絡2MB/塊移動網絡1MB/塊分塊算法示例public static ListFileChunk splitFile(File file, int chunkSize) { ListFileChunk chunks new ArrayList(); try (RandomAccessFile raf new RandomAccessFile(file, r)) { long totalSize raf.length(); long offset 0; int index 0; while (offset totalSize) { long currentChunkSize Math.min(chunkSize, totalSize - offset); byte[] buffer new byte[(int)currentChunkSize]; raf.seek(offset); raf.read(buffer); String chunkHash DigestUtils.md5Hex(buffer); chunks.add(new FileChunk(index, chunkHash, buffer)); offset currentChunkSize; } } catch (IOException e) { throw new RuntimeException(文件分塊失敗, e); } return chunks; }3. 核心實現細節3.1 秒傳實現原理秒傳的關鍵是文件指紋識別。我們采用兩級校驗快速校驗文件大小前1MB內容的MD5完整校驗整個文件的MD5需前端計算后傳給服務端服務端校驗接口PostMapping(/checkFile) public ResponseEntityUploadCheckResult checkFileExists( RequestParam String fileName, RequestParam long fileSize, RequestParam String quickHash, RequestParam String fullHash) { // 先查快速校驗索引 FileRecord record fileService.findByQuickHash(quickHash); if (record ! null record.getSize() fileSize) { // 再驗證完整哈希 if (record.getFullHash().equals(fullHash)) { return ResponseEntity.ok(new UploadCheckResult(true, record.getFileUrl())); } } return ResponseEntity.ok(new UploadCheckResult(false, null)); }3.2 分塊上傳實現前端使用Web Worker計算文件哈希避免阻塞UI線程。上傳控制器示例PostMapping(/uploadChunk) public ResponseEntityChunkUploadResult uploadChunk( RequestParam String fileId, RequestParam int chunkIndex, RequestParam String chunkHash, RequestParam MultipartFile chunk) { // 驗證分塊哈希 String receivedHash DigestUtils.md5Hex(chunk.getBytes()); if (!receivedHash.equals(chunkHash)) { return ResponseEntity.badRequest().build(); } // 存儲分塊 chunkStorage.saveChunk(fileId, chunkIndex, chunk); // 返回已上傳的分塊信息 SetInteger uploadedChunks chunkStorage.getUploadedChunks(fileId); return ResponseEntity.ok(new ChunkUploadResult(uploadedChunks)); }3.3 分塊合并策略當所有分塊上傳完成后觸發合并操作。我們采用兩種合并方式磁盤合并適合超大文件1GB內存合并適合中等文件1GB磁盤合并示例public void mergeChunks(String fileId, String targetPath) throws IOException { try (FileOutputStream fos new FileOutputStream(targetPath); BufferedOutputStream bos new BufferedOutputStream(fos)) { ListChunkInfo chunks chunkStorage.getAllChunks(fileId); chunks.sort(Comparator.comparingInt(ChunkInfo::getIndex)); for (ChunkInfo chunk : chunks) { byte[] content chunkStorage.readChunk(fileId, chunk.getIndex()); bos.write(content); } } }4. 性能優化技巧4.1 并發上傳控制合理控制并發上傳數能避免網絡擁塞。我們的策略桌面瀏覽器4個并發移動端2個并發根據網絡質量動態調整并發控制實現class UploadQueue { constructor(maxConcurrent 4) { this.queue []; this.activeCount 0; this.maxConcurrent maxConcurrent; } add(task) { this.queue.push(task); this.run(); } run() { while (this.activeCount this.maxConcurrent this.queue.length) { const task this.queue.shift(); this.activeCount; task().finally(() { this.activeCount--; this.run(); }); } } }4.2 斷點續傳實現記錄上傳狀態到localStoragefunction saveUploadState(fileId, state) { const key upload_${fileId}; localStorage.setItem(key, JSON.stringify(state)); } function loadUploadState(fileId) { const key upload_${fileId}; const data localStorage.getItem(key); return data ? JSON.parse(data) : null; }4.3 內存優化使用流式處理避免內存溢出public void streamMerge(String fileId, Path targetPath) throws IOException { try (FileChannel outChannel FileChannel.open(targetPath, StandardOpenOption.CREATE, StandardOpenOption.WRITE)) { ListChunkInfo chunks getSortedChunks(fileId); for (ChunkInfo chunk : chunks) { try (FileChannel inChannel FileChannel.open(chunk.getPath(), StandardOpenOption.READ)) { inChannel.transferTo(0, inChannel.size(), outChannel); } } } }5. 常見問題與解決方案5.1 分塊上傳失敗處理我們實現了三級重試機制立即重試網絡抖動導致的失敗3次延遲重試服務端問題間隔5秒2次用戶手動重試持久性錯誤重試策略配置Bean public RetryTemplate uploadRetryTemplate() { RetryTemplate template new RetryTemplate(); SimpleRetryPolicy policy new SimpleRetryPolicy(); policy.setMaxAttempts(3); FixedBackOffPolicy backOffPolicy new FixedBackOffPolicy(); backOffPolicy.setBackOffPeriod(5000); template.setRetryPolicy(policy); template.setBackOffPolicy(backOffPolicy); return template; }5.2 哈希計算性能問題針對超大文件的哈希計算優化抽樣計算只計算文件頭尾和中間部分增量計算在上傳過程中逐步計算WebAssembly加速使用wasm-md5提升前端計算速度增量MD5計算示例async function calculateIncrementalMD5(file, chunkSize) { const md5 await createMD5(); const chunkCount Math.ceil(file.size / chunkSize); for (let i 0; i chunkCount; i) { const start i * chunkSize; const end Math.min(start chunkSize, file.size); const chunk file.slice(start, end); const buffer await chunk.arrayBuffer(); md5.update(new Uint8Array(buffer)); // 定期釋放事件循環 if (i % 10 0) await new Promise(resolve setTimeout(resolve, 0)); } return md5.hex(); }5.3 服務端存儲優化我們采用分層存儲策略熱數據SSD存儲保存7天內上傳的文件冷數據HDD存儲自動遷移30天未訪問的文件使用MinIO的ILM策略自動管理存儲配置示例minio: buckets: hot: name: user-uploads-hot policy: transition: days: 7 storage-class: HDD expiration: days: 30 cold: name: user-uploads-cold policy: expiration: days: 3656. 安全防護措施6.1 惡意文件檢測在上傳流程中加入安全檢查文件類型校驗魔數檢測病毒掃描集成ClamAV內容安全檢查敏感信息檢測文件類型校驗示例public boolean isAllowedFileType(InputStream is, String filename) { // 讀取文件頭 byte[] header new byte[8]; is.read(header, 0, header.length); // 常見文件類型檢測 if (isPdf(header)) return true; if (isImage(header)) return true; // 其他類型檢查... return false; } private boolean isPdf(byte[] header) { return header[0] 0x25 // % header[1] 0x50 // P header[2] 0x44 // D header[3] 0x46; // F }6.2 權限控制實現細粒度的訪問控制用戶級配額限制目錄權限隔離臨時訪問令牌Spring Security配置示例Configuration EnableWebSecurity public class SecurityConfig extends WebSecurityConfigurerAdapter { Override protected void configure(HttpSecurity http) throws Exception { http.authorizeRequests() .antMatchers(/api/upload).hasAuthority(UPLOAD) .antMatchers(/api/download).hasAuthority(DOWNLOAD) .anyRequest().authenticated() .and() .oauth2ResourceServer() .jwt(); } }7. 監控與日志7.1 上傳監控指標關鍵監控指標上傳成功率平均上傳速度分塊重試次數并發上傳數Prometheus監控配置Bean public MeterRegistryCustomizerPrometheusMeterRegistry metricsCommonTags() { return registry - registry.config().commonTags( application, file-upload-service, region, System.getenv(REGION) ); } Timed(value upload.time, description Time spent handling upload) PostMapping(/upload) public ResponseEntity? handleUpload() { // 上傳處理邏輯 }7.2 日志追蹤使用MDC實現請求追蹤RestControllerAdvice public class UploadLoggingAspect { Before(execution(* com.example.upload.controller.*.*(..))) public void logRequest(JoinPoint jp) { MDC.put(requestId, UUID.randomUUID().toString()); // 記錄請求日志 } AfterReturning(pointcut execution(* com.example.upload.controller.*.*(..)), returning result) public void logResponse(Object result) { // 記錄響應日志 MDC.clear(); } }8. 實際部署建議8.1 前端優化建議使用壓縮傳輸gzip壓縮分塊數據進度反饋實時顯示上傳進度取消支持允許用戶中斷上傳進度顯示實現const progressHandler (progressEvent) { const percent Math.round( (progressEvent.loaded / progressEvent.total) * 100 ); updateProgressBar(percent); }; axios.post(/upload, formData, { onUploadProgress: progressHandler });8.2 服務端調優Nginx配置優化client_max_body_size 10G; client_body_buffer_size 2M; client_body_temp_path /tmp/nginx/upload 1 2; proxy_request_buffering off;JVM參數調整-Xms2g -Xmx2g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:InitiatingHeapOccupancyPercent358.3 壓力測試方案使用JMeter測試不同場景小文件高頻上傳10MB以下大文件穩定上傳1GB以上混合負載測試測試關鍵指標吞吐量requests/sec錯誤率90%響應時間9. 擴展功能實現9.1 客戶端加密上傳在瀏覽器端加密分塊async function encryptChunk(chunk, key) { const iv crypto.getRandomValues(new Uint8Array(12)); const algorithm { name: AES-GCM, iv }; const cryptoKey await crypto.subtle.importKey( raw, key, algorithm, false, [encrypt] ); return { iv, data: await crypto.subtle.encrypt(algorithm, cryptoKey, chunk) }; }9.2 分布式上傳跨區域上傳方案就近上傳到邊緣節點后臺同步到中心存儲使用CDN加速下載區域選擇策略public String selectBestRegion(ClientInfo client) { Region region geoService.lookup(client.getIp()); return latencyService.findNearestEndpoint(region); }9.3 視頻轉碼集成上傳完成后自動觸發轉碼Async EventListener public void handleVideoUpload(FileUploadedEvent event) { if (isVideoFile(event.getFileType())) { transcoderService.transcodeAsync( event.getFilePath(), createTranscodeProfiles() ); } }10. 經驗總結與避坑指南在實際項目中我們總結了以下關鍵經驗分塊大小選擇不要固定使用一個分塊大小應該根據網絡狀況動態調整。我們實現了一個自適應算法根據前幾個分塊的上傳速度動態調整后續分塊大小。哈希計算優化對于超大文件10GB完整MD5計算可能耗時很長。我們最終采用文件大小首尾各1MB內容MD5作為快速校驗指紋平衡了準確性和性能。內存管理在處理上傳文件時務必使用流式處理避免將整個文件讀入內存。我們曾經因為這個問題導致服務OOM崩潰。并發控制前端并發上傳數不是越多越好。經過測試4個并發對于大多數網絡環境是最優選擇過多并發反而會導致TCP擁塞。秒傳實現注意哈希碰撞的可能性。我們使用兩級校驗快速校驗完整校驗來確保秒傳的安全性同時建立了哈希白名單機制。斷點續傳除了記錄分塊上傳狀態還要考慮用戶換瀏覽器的情況。我們最終將狀態信息同時保存在服務端和本地優先使用服務端記錄。安全防護不要相信前端傳過來的任何校驗信息。我們實現了服務端二次校驗機制對所有分塊內容重新計算哈希。監控報警建立完善的上傳質量監控。我們設置了上傳成功率、平均速度、失敗原因等多維度監控能快速發現并解決問題。 大文件分塊上傳與秒傳技術實踐指南
1. 大文件上傳的痛點與解決方案在Web應用開發中處理大文件上傳一直是個令人頭疼的問題。傳統的表單上傳方式在面對GB級文件時經常會遇到連接超時、內存溢出、網絡抖動導致重傳等問題。我在實際項目中就遇到過用戶上傳3D設計文件時頻繁失敗的情況這不僅影響用戶體驗還造成了服務器資源浪費。目前主流解決方案是分塊上傳Chunked Upload結合秒傳Instant Upload技術。分塊上傳將大文件切割成多個小塊依次傳輸即使某塊失敗也只需重傳該塊秒傳則通過文件指紋識別避免重復上傳。這兩種技術組合使用能顯著提升大文件上傳的可靠性和效率。2. 技術方案設計2.1 整體架構設計我們的方案采用前后端分離架構前端負責文件分塊、計算哈希、控制上傳流程后端處理塊上傳請求、合并文件、管理上傳狀態存儲使用MinIO對象存儲服務關鍵流程如下前端計算文件整體MD5和分塊MD5查詢服務端是否已存在相同文件秒傳如不存在則按分塊順序上傳服務端接收并校驗各分塊全部分塊上傳完成后合并文件2.2 分塊策略設計分塊大小需要權衡傳輸效率和重傳成本。經過測試我們確定以下原則網絡狀況好內網4MB/塊普通網絡2MB/塊移動網絡1MB/塊分塊算法示例public static ListFileChunk splitFile(File file, int chunkSize) { ListFileChunk chunks new ArrayList(); try (RandomAccessFile raf new RandomAccessFile(file, r)) { long totalSize raf.length(); long offset 0; int index 0; while (offset totalSize) { long currentChunkSize Math.min(chunkSize, totalSize - offset); byte[] buffer new byte[(int)currentChunkSize]; raf.seek(offset); raf.read(buffer); String chunkHash DigestUtils.md5Hex(buffer); chunks.add(new FileChunk(index, chunkHash, buffer)); offset currentChunkSize; } } catch (IOException e) { throw new RuntimeException(文件分塊失敗, e); } return chunks; }3. 核心實現細節3.1 秒傳實現原理秒傳的關鍵是文件指紋識別。我們采用兩級校驗快速校驗文件大小前1MB內容的MD5完整校驗整個文件的MD5需前端計算后傳給服務端服務端校驗接口PostMapping(/checkFile) public ResponseEntityUploadCheckResult checkFileExists( RequestParam String fileName, RequestParam long fileSize, RequestParam String quickHash, RequestParam String fullHash) { // 先查快速校驗索引 FileRecord record fileService.findByQuickHash(quickHash); if (record ! null record.getSize() fileSize) { // 再驗證完整哈希 if (record.getFullHash().equals(fullHash)) { return ResponseEntity.ok(new UploadCheckResult(true, record.getFileUrl())); } } return ResponseEntity.ok(new UploadCheckResult(false, null)); }3.2 分塊上傳實現前端使用Web Worker計算文件哈希避免阻塞UI線程。上傳控制器示例PostMapping(/uploadChunk) public ResponseEntityChunkUploadResult uploadChunk( RequestParam String fileId, RequestParam int chunkIndex, RequestParam String chunkHash, RequestParam MultipartFile chunk) { // 驗證分塊哈希 String receivedHash DigestUtils.md5Hex(chunk.getBytes()); if (!receivedHash.equals(chunkHash)) { return ResponseEntity.badRequest().build(); } // 存儲分塊 chunkStorage.saveChunk(fileId, chunkIndex, chunk); // 返回已上傳的分塊信息 SetInteger uploadedChunks chunkStorage.getUploadedChunks(fileId); return ResponseEntity.ok(new ChunkUploadResult(uploadedChunks)); }3.3 分塊合并策略當所有分塊上傳完成后觸發合并操作。我們采用兩種合并方式磁盤合并適合超大文件1GB內存合并適合中等文件1GB磁盤合并示例public void mergeChunks(String fileId, String targetPath) throws IOException { try (FileOutputStream fos new FileOutputStream(targetPath); BufferedOutputStream bos new BufferedOutputStream(fos)) { ListChunkInfo chunks chunkStorage.getAllChunks(fileId); chunks.sort(Comparator.comparingInt(ChunkInfo::getIndex)); for (ChunkInfo chunk : chunks) { byte[] content chunkStorage.readChunk(fileId, chunk.getIndex()); bos.write(content); } } }4. 性能優化技巧4.1 并發上傳控制合理控制并發上傳數能避免網絡擁塞。我們的策略桌面瀏覽器4個并發移動端2個并發根據網絡質量動態調整并發控制實現class UploadQueue { constructor(maxConcurrent 4) { this.queue []; this.activeCount 0; this.maxConcurrent maxConcurrent; } add(task) { this.queue.push(task); this.run(); } run() { while (this.activeCount this.maxConcurrent this.queue.length) { const task this.queue.shift(); this.activeCount; task().finally(() { this.activeCount--; this.run(); }); } } }4.2 斷點續傳實現記錄上傳狀態到localStoragefunction saveUploadState(fileId, state) { const key upload_${fileId}; localStorage.setItem(key, JSON.stringify(state)); } function loadUploadState(fileId) { const key upload_${fileId}; const data localStorage.getItem(key); return data ? JSON.parse(data) : null; }4.3 內存優化使用流式處理避免內存溢出public void streamMerge(String fileId, Path targetPath) throws IOException { try (FileChannel outChannel FileChannel.open(targetPath, StandardOpenOption.CREATE, StandardOpenOption.WRITE)) { ListChunkInfo chunks getSortedChunks(fileId); for (ChunkInfo chunk : chunks) { try (FileChannel inChannel FileChannel.open(chunk.getPath(), StandardOpenOption.READ)) { inChannel.transferTo(0, inChannel.size(), outChannel); } } } }5. 常見問題與解決方案5.1 分塊上傳失敗處理我們實現了三級重試機制立即重試網絡抖動導致的失敗3次延遲重試服務端問題間隔5秒2次用戶手動重試持久性錯誤重試策略配置Bean public RetryTemplate uploadRetryTemplate() { RetryTemplate template new RetryTemplate(); SimpleRetryPolicy policy new SimpleRetryPolicy(); policy.setMaxAttempts(3); FixedBackOffPolicy backOffPolicy new FixedBackOffPolicy(); backOffPolicy.setBackOffPeriod(5000); template.setRetryPolicy(policy); template.setBackOffPolicy(backOffPolicy); return template; }5.2 哈希計算性能問題針對超大文件的哈希計算優化抽樣計算只計算文件頭尾和中間部分增量計算在上傳過程中逐步計算WebAssembly加速使用wasm-md5提升前端計算速度增量MD5計算示例async function calculateIncrementalMD5(file, chunkSize) { const md5 await createMD5(); const chunkCount Math.ceil(file.size / chunkSize); for (let i 0; i chunkCount; i) { const start i * chunkSize; const end Math.min(start chunkSize, file.size); const chunk file.slice(start, end); const buffer await chunk.arrayBuffer(); md5.update(new Uint8Array(buffer)); // 定期釋放事件循環 if (i % 10 0) await new Promise(resolve setTimeout(resolve, 0)); } return md5.hex(); }5.3 服務端存儲優化我們采用分層存儲策略熱數據SSD存儲保存7天內上傳的文件冷數據HDD存儲自動遷移30天未訪問的文件使用MinIO的ILM策略自動管理存儲配置示例minio: buckets: hot: name: user-uploads-hot policy: transition: days: 7 storage-class: HDD expiration: days: 30 cold: name: user-uploads-cold policy: expiration: days: 3656. 安全防護措施6.1 惡意文件檢測在上傳流程中加入安全檢查文件類型校驗魔數檢測病毒掃描集成ClamAV內容安全檢查敏感信息檢測文件類型校驗示例public boolean isAllowedFileType(InputStream is, String filename) { // 讀取文件頭 byte[] header new byte[8]; is.read(header, 0, header.length); // 常見文件類型檢測 if (isPdf(header)) return true; if (isImage(header)) return true; // 其他類型檢查... return false; } private boolean isPdf(byte[] header) { return header[0] 0x25 // % header[1] 0x50 // P header[2] 0x44 // D header[3] 0x46; // F }6.2 權限控制實現細粒度的訪問控制用戶級配額限制目錄權限隔離臨時訪問令牌Spring Security配置示例Configuration EnableWebSecurity public class SecurityConfig extends WebSecurityConfigurerAdapter { Override protected void configure(HttpSecurity http) throws Exception { http.authorizeRequests() .antMatchers(/api/upload).hasAuthority(UPLOAD) .antMatchers(/api/download).hasAuthority(DOWNLOAD) .anyRequest().authenticated() .and() .oauth2ResourceServer() .jwt(); } }7. 監控與日志7.1 上傳監控指標關鍵監控指標上傳成功率平均上傳速度分塊重試次數并發上傳數Prometheus監控配置Bean public MeterRegistryCustomizerPrometheusMeterRegistry metricsCommonTags() { return registry - registry.config().commonTags( application, file-upload-service, region, System.getenv(REGION) ); } Timed(value upload.time, description Time spent handling upload) PostMapping(/upload) public ResponseEntity? handleUpload() { // 上傳處理邏輯 }7.2 日志追蹤使用MDC實現請求追蹤RestControllerAdvice public class UploadLoggingAspect { Before(execution(* com.example.upload.controller.*.*(..))) public void logRequest(JoinPoint jp) { MDC.put(requestId, UUID.randomUUID().toString()); // 記錄請求日志 } AfterReturning(pointcut execution(* com.example.upload.controller.*.*(..)), returning result) public void logResponse(Object result) { // 記錄響應日志 MDC.clear(); } }8. 實際部署建議8.1 前端優化建議使用壓縮傳輸gzip壓縮分塊數據進度反饋實時顯示上傳進度取消支持允許用戶中斷上傳進度顯示實現const progressHandler (progressEvent) { const percent Math.round( (progressEvent.loaded / progressEvent.total) * 100 ); updateProgressBar(percent); }; axios.post(/upload, formData, { onUploadProgress: progressHandler });8.2 服務端調優Nginx配置優化client_max_body_size 10G; client_body_buffer_size 2M; client_body_temp_path /tmp/nginx/upload 1 2; proxy_request_buffering off;JVM參數調整-Xms2g -Xmx2g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:InitiatingHeapOccupancyPercent358.3 壓力測試方案使用JMeter測試不同場景小文件高頻上傳10MB以下大文件穩定上傳1GB以上混合負載測試測試關鍵指標吞吐量requests/sec錯誤率90%響應時間9. 擴展功能實現9.1 客戶端加密上傳在瀏覽器端加密分塊async function encryptChunk(chunk, key) { const iv crypto.getRandomValues(new Uint8Array(12)); const algorithm { name: AES-GCM, iv }; const cryptoKey await crypto.subtle.importKey( raw, key, algorithm, false, [encrypt] ); return { iv, data: await crypto.subtle.encrypt(algorithm, cryptoKey, chunk) }; }9.2 分布式上傳跨區域上傳方案就近上傳到邊緣節點后臺同步到中心存儲使用CDN加速下載區域選擇策略public String selectBestRegion(ClientInfo client) { Region region geoService.lookup(client.getIp()); return latencyService.findNearestEndpoint(region); }9.3 視頻轉碼集成上傳完成后自動觸發轉碼Async EventListener public void handleVideoUpload(FileUploadedEvent event) { if (isVideoFile(event.getFileType())) { transcoderService.transcodeAsync( event.getFilePath(), createTranscodeProfiles() ); } }10. 經驗總結與避坑指南在實際項目中我們總結了以下關鍵經驗分塊大小選擇不要固定使用一個分塊大小應該根據網絡狀況動態調整。我們實現了一個自適應算法根據前幾個分塊的上傳速度動態調整后續分塊大小。哈希計算優化對于超大文件10GB完整MD5計算可能耗時很長。我們最終采用文件大小首尾各1MB內容MD5作為快速校驗指紋平衡了準確性和性能。內存管理在處理上傳文件時務必使用流式處理避免將整個文件讀入內存。我們曾經因為這個問題導致服務OOM崩潰。并發控制前端并發上傳數不是越多越好。經過測試4個并發對于大多數網絡環境是最優選擇過多并發反而會導致TCP擁塞。秒傳實現注意哈希碰撞的可能性。我們使用兩級校驗快速校驗完整校驗來確保秒傳的安全性同時建立了哈希白名單機制。斷點續傳除了記錄分塊上傳狀態還要考慮用戶換瀏覽器的情況。我們最終將狀態信息同時保存在服務端和本地優先使用服務端記錄。安全防護不要相信前端傳過來的任何校驗信息。我們實現了服務端二次校驗機制對所有分塊內容重新計算哈希。監控報警建立完善的上傳質量監控。我們設置了上傳成功率、平均速度、失敗原因等多維度監控能快速發現并解決問題。