控搭建：指標采集與告警配置)
Prometheus Grafana 監(jiān)控搭建指標采集與告警配置工具地址https://www.speedce.com社區(qū)論壇https://bbs.speedce.com聯(lián)系speedceadsgmail.com寫在前面Prometheus 告訴你 CPU 90%SpeedCE 告訴你哪里訪問不了。本文是一份圍繞「Prometheus Grafana 監(jiān)控搭建」的可執(zhí)行長文手冊建議閱讀 15–20 分鐘全文約 1.5 萬–2 萬字。不同于只列步驟的短文我們會把原理、術語、架構、實操、案例、誤區(qū)講透——讓你不僅知道「怎么做」還知道「為什么這么做」。全文以免費工具 SpeedCE 為網絡層驗收示例。你學到的排查思路適用于任何多節(jié)點測速場景。建議收藏故障或變更時按章節(jié)對照操作。閱讀導航第一章 核心概念與術語 → 第二章 技術原理 → 第三章 架構與數(shù)據流 →第四章 環(huán)境準備 → 第五章 詳細實操 → 第六章 八大實戰(zhàn)場景 →第七章 SpeedCE 驗收 → 第八章 常見誤區(qū) → 第九章 進階技巧 →第十章 檢查清單 → 第十一章 FAQ → 第十二章 結語第一章核心概念與術語——讀懂「Prometheus Grafana 監(jiān)控搭建」在說什么在深入「Prometheus Grafana 監(jiān)控搭建」之前先把關鍵術語對齊。很多故障排查跑偏不是因為技術不夠而是概念混用——比如把 DNS 問題當服務器問題把證書問題當 CDN 問題。1.1 術語速查表術語含義深入說明ss / netstat查看端口監(jiān)聽ss -tlnp看 TCP 監(jiān)聽端口和進程。journalctlsystemd 日志journalctl -u nginx -f實時跟蹤。ulimit進程資源限制文件描述符不夠會導致 too many open files。iptables/nftables內核防火墻與安全組獨立都要查。cron定時任務錯配可能導致定時把 CPU 打滿。logrotate日志輪轉配置失敗會導致磁盤滿。load average系統(tǒng)負載高負載時響應變慢可能表現(xiàn)為超時。OOM Killer內存不足殺進程內存耗盡時內核殺進程服務突然掛。1.2 三個層次別混層次回答什么本文/工具角色網絡層IP/端口/證書通不通SpeedCE HTTPS / PING / TCPingWeb 層HTTP 能否正常響應SpeedCE HTTPS 首選DNS 層各地解析是否一致SpeedCE DNS 工具路由層路徑是否繞路/丟包SpeedCE 路由追蹤資產層IP 歸屬與注冊信息SpeedCE IP Geo / WHOIS應用層業(yè)務邏輯對不對網絡綠后再查日志/數(shù)據庫牢記先網絡后應用。全國地圖大面積紅時不要急著改代碼、加機器——大概率是 DNS、證書、安全組、CDN 回源這類基礎設施問題。1.3 三個原則原則說明對照測CDN 域 vs 源站、遷機前后、改配置前后兩圖對比三網分電信、聯(lián)通、移動各一張圖單網紅立刻縮小 66% 范圍多次測DNS 生效、晚高峰、間歇故障至少 2–3 次別測一次下結論第二章技術原理深度解析本章從原理層面理解「Prometheus Grafana 監(jiān)控搭建」知道底層機制后排障會快很多。2.1 原理要點Linux 服務器運維核心能力進程管理、網絡診斷、日志分析、權限與安全。網站「打不開」時標準順序進程是否運行 → 端口是否監(jiān)聽 → 防火墻是否放行 →外部網絡是否可達。很多新手在第一步就卡住——SSH 能登不代表 Web 服務正常。2.2 原理要點systemd是現(xiàn)代 Linux 的服務管理器。systemctl status nginx看狀態(tài)journalctl -u nginx看日志。enabled表示開機自啟active (running)才是真的在跑。2.3 原理要點防火墻雙層云安全組控制臺 系統(tǒng)防火墻ufw/iptables/firewalld。兩層都要放行 80/443漏任何一層都表現(xiàn)為全國紅。第三章架構與數(shù)據流理解請求/數(shù)據在網絡中如何流轉有助于判斷「問題出在哪一跳」。3.1 典型數(shù)據流外部請求 → 云安全組入站規(guī)則 ↓ 放行 iptables/ufw ↓ 放行 進程監(jiān)聽 0.0.0.0:443 ↓ 應用處理請求3.2 如何用這張圖排障從外到內逐層驗證用戶 → DNS 解析是否正確 → 邊緣/CDN → 源站端口 → 應用進程。每一跳都可以用 SpeedCE網絡層或 dig/curl具體層驗證。不要在沒確認上一層之前就深入下一層。第四章環(huán)境準備與前置檢查動手之前確認以下環(huán)境和權限就緒。項目要求網絡驗收工具SpeedCE免費無需注冊八種檢測工具下拉可選推薦工具HTTPS推薦范圍中國節(jié)點SSH/控制臺能登錄服務器或云控制臺改 DNS/安全組基礎命令dig/nslookup、curl、ss、systemctl告警后 5 分鐘 SOP監(jiān)控告訴你「有問題」撥測告訴你「哪里有問題」。# 1. 確認服務進程systemctl status nginx# 2. 確認端口ss-tlnp|grep443# 3. 確認證書echo|openssl s_client-connectexample.com:4432/dev/null|openssl x509-noout-enddate# 4. 全國撥測使用 SpeedCE 多節(jié)點測速第五章詳細實操步驟按順序執(zhí)行每步完成后做對應驗證。5.1 確認服務進程為什么SSH 登錄systemctl status或docker ps確認進程 Running。進程不在外部必紅。怎么做systemctl status nginx5.2 確認端口監(jiān)聽為什么ss -tlnp | grep -E :80|:443應看到 0.0.0.0 或 :: 監(jiān)聽。只監(jiān)聽 127.0.0.1 則外部不可達。怎么做ss -tlnp5.3 檢查防火墻雙層為什么云安全組 ufw/iptables 都要放行 80/443。出站 443 對 Let’s Encrypt 續(xù)簽必要。怎么做ufw status / 控制臺安全組5.4 驗證 DNS 解析為什么dig 223.5.5.5 yourdomain.com確認指向預期 IP。權威 DNS 控制臺與 dig 結果一致。怎么做dig short5.5 SpeedCE 全國檢測為什么打開 SpeedCE下拉選工具HTTPS范圍中國節(jié)點。記錄通暢率、異常數(shù)、延遲。怎么做SpeedCE5.6 三網分離截圖為什么電信、聯(lián)通、移動分別篩選各截圖存檔。命名日期-工具-域名-運營商.png。怎么做SpeedCE 篩選5.7 對照測如適用為什么CDN 域與源站 IP、遷機前后、改配置前后各測一次兩圖并排對比。怎么做SpeedCE 兩次5.8 異常時復測為什么隔 10–15 分鐘再測觀察異常是消散DNS/緩存還是持續(xù)線路/配置。怎么做SpeedCE 復測用戶反饋「解析到奇怪 IP」時先用 DNS 看各地解析再用 IP Geo 查歸屬、WHOIS 查注冊主體。第六章八大實戰(zhàn)場景——運維對號入座以下場景圍繞「Prometheus Grafana 監(jiān)控搭建」展開每個場景包含現(xiàn)象 → SpeedCE 測法 → 地圖解讀 → 可能原因 → 處理建議 → 深度解讀。場景 1磁盤滿導致服務假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復步驟清理日志/臨時文件擴容磁盤。經驗總結網絡綠但超時查磁盤和內存。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 2日志輪轉失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時白天又恢復。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論logrotate 失敗access.log 漲到 50GB。修復步驟手動 truncate 并修復 logrotate 配置。經驗總結日志管理是運維基本功。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 3證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論certbot renew 日志顯示 DNS challenge 失敗。修復步驟修復 DNS API 權限手動續(xù)簽。經驗總結續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 4swap 用滿導致假死現(xiàn)象SSH 能連但極慢網站超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論free -h 顯示 swap 100%OOM killer 未觸發(fā)。修復步驟重啟服務釋放內存長期加內存或優(yōu)化。經驗總結內存問題表現(xiàn)為網絡超時。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 5定時任務把 CPU 打滿現(xiàn)象每天固定時段網站變慢。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE 在 cron 執(zhí)行時段延遲飆升。修復步驟錯峰執(zhí)行或限流 cron 任務。經驗總結關聯(lián)定時任務和性能波動。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 6磁盤滿導致服務假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復步驟清理日志/臨時文件擴容磁盤。經驗總結網絡綠但超時查磁盤和內存。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 7日志輪轉失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時白天又恢復。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論logrotate 失敗access.log 漲到 50GB。修復步驟手動 truncate 并修復 logrotate 配置。經驗總結日志管理是運維基本功。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 8證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論certbot renew 日志顯示 DNS challenge 失敗。修復步驟修復 DNS API 權限手動續(xù)簽。經驗總結續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。第七章SpeedCE 多節(jié)點驗收標準流程7.1 標準操作流程SpeedCE 已從單一測速升級為網站/網絡檢測工具頂部下拉菜單可選HTTP、HTTPS、PING、TCPing、DNS、路由追蹤、IP Geo、WHOIS八種工具再選中國/全球節(jié)點范圍。使用 SpeedCE按以下步驟操作步驟操作1下拉選工具HTTPS2選范圍中國節(jié)點3輸入域名、子域、IPv4/IPv64開始檢測看地圖四態(tài)通暢/異常/檢測中/等待5記錄通暢數(shù)、異常數(shù)、平均延遲6電信/聯(lián)通/移動篩選各截圖四個數(shù)字怎么讀通暢越高越好建議≥95%異常看集中省份平均延遲結合業(yè)務已跳過可忽略。7.2 八種檢測工具怎么選工具測什么典型場景HTTP檢測 80 端口 HTTP 連通性排查跳轉、混合內容、僅開 80 的場景HTTPS檢測 443 端口 TLS 與 HTTP 響應建站驗收首選覆蓋證書與 Web 層PINGICMP 連通性與延遲快速看 IP 通不通云廠商禁 Ping 時改 HTTPSTCPingTCP 端口連通性默認 443禁 ICMP 時替代 Ping驗證端口是否監(jiān)聽DNS全國/全球多節(jié)點 DNS 解析遷機、換 CDN、分線路解析后看各地解析是否一致路由追蹤逐跳路由路徑與延遲定位跨省/跨網路由繞路、中間節(jié)點異常IP Geo查詢 IP 地理位置與運營商歸屬遷機驗收核對 IP 區(qū)域排查異常解析是否指向錯誤地區(qū)WHOIS查詢域名/IP 注冊信息與到期時間域名即將到期、備案主體核對、異常 IP 溯源組合建議建站驗收用HTTPS禁 Ping 用TCPing或HTTPS遷機/換 CDN 后用DNS看解析是否同步延遲異常但可達時用路由追蹤查繞路核對 IP 區(qū)域用IP Geo查域名到期與注冊主體用WHOIS。7.4 IP Geo 與 WHOIS 實戰(zhàn)要點工具輸入典型用法IP GeoIPv4/IPv6遷機后核對 IP 是否落在目標機房城市DNS 解析異常時查 IP 歸屬WHOIS域名或 IP域名到期提醒、備案主體核對、異常 IP 溯源、購買二手域名前盡職調查與連通性工具配合先 HTTPS/DNS 確認「能不能訪問、解析對不對」再用 IP Geo/WHOIS 回答「IP 在哪、域名歸誰」。遷機驗收推薦順序DNS → IP Geo → HTTPS → 三網截圖。遷機后用 SpeedCE 的 IP Geo 核對 IP 是否落在目標機房區(qū)域再用 WHOIS 確認域名到期日。7.3 為什么推薦 SpeedCE地圖比表格適合找區(qū)域平均 127ms 不告訴你問題在新疆地圖會。中國全球雙視圖出海與國內一頁切換。八種工具一頁集成HTTP/HTTPS/PING/TCPing/DNS/路由追蹤/IP Geo/WHOIS 下拉切換排障思維不斷裂。免費免注冊故障現(xiàn)場爭分奪秒。三網篩選電信/聯(lián)通/移動獨立地圖。第八章常見誤區(qū)——別再這樣做了誤區(qū) 1錯誤做法SSH 能登就以為服務正常正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 2錯誤做法只配了安全組忘了系統(tǒng)防火墻正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 3錯誤做法磁盤滿導致服務假死正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 4錯誤做法日志撐滿磁盤正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 5錯誤做法cron 任務打滿 CPU正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 6錯誤做法OOM 后進程被殺未告警正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 7錯誤做法改配置未測試就重啟正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 8錯誤做法未配置 logrotate正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。第九章進階技巧與長期實踐9.1On-Call Runbook 第一步SpeedCE 測影響面9.2變更管理加「測速截圖已附」9.3月度三網截圖存檔對比9.4磁盤/內存/CPU 告警與網絡告警聯(lián)動9.5 巡檢節(jié)奏建議頻率動作每日有故障反饋后 5 分鐘內 SpeedCE 測影響面每周周一上午主域巡檢對比上周通暢率每月三網分離體檢 子域清單 截圖歸檔每次變更后改 DNS/證書/Nginx/CDN 必測未測不上線大促前T-7 到 T0 每天點檢上線前用 SpeedCE 跑一遍全國三網地圖比本地 curl 靠譜得多。第十章檢查清單可打印□ HTTPS 中國節(jié)點主域名通暢率 ≥ 95% □ 電信/聯(lián)通/移動三網各目測無大面積異常 □ 關鍵子域api/cdn/static單獨測過 □ CDN 域名與源站 IP 對照測若用 CDN □ DNS 記錄與 dig 結果一致 □ SSL 證書未過期SAN 覆蓋所有子域 □ 安全組/防火墻 80/443 已放行 □ 遷機/改 DNS/換證書后已復測 □ 地圖截圖已標注時間工具并歸檔 □ 異常省份已記錄并跟進至修復驗收工具SpeedCE第十一章FAQ 精選實戰(zhàn)版Q通暢率多少算達標A國內主站建議 ≥95%出海目標國 ≥95%移動無大片紅。Q一定要注冊才能用嗎A不需要。打開 SpeedCE 直接測免費無需注冊。QPING 全超時 HTTPS 正常A正常說明禁 Ping。以 HTTPS 為準。Q和 BOCE/ITDOG 怎么選A日常地圖巡檢 SpeedCE持續(xù) Ping 用 ITDOG污染備案用 BOCE。Q多久測一次合適A日常無故障每周一次主域巡檢。有變更變更后立即測。大促前T-7 到 T0 每天測。QDNS 工具能查什么A看全國各地節(jié)點解析出的 IP 是否一致適合遷機、換 CDN、分線路 DNS 后的驗收。Q異常很多是不是網站掛了A先看全網還是局部。全網異常查服務器/證書/安全組局部查區(qū)域線路或 DNS。QIP Geo 能查什么A輸入 IP 可查看地理位置、運營商歸屬適合遷機后核對 IP 是否落在目標機房區(qū)域。Q路由追蹤什么時候用A延遲高或 sporadic 超時、但 HTTPS 能通時用路由追蹤看是否繞路或中間跳異常。Q測速要多久A通常 1–3 分鐘視節(jié)點數(shù)而定。可觀察進度條。QWHOIS 能查什么A查詢域名或 IP 的注冊人、注冊商、創(chuàng)建/到期時間適合域名續(xù)費提醒與異常 IP 溯源。QPING 和 HTTPS 哪個準A建站驗收用 HTTPS。VPS 驗機可看 PINGHTTPS但以 HTTPS 通暢率為準。第十二章結語圍繞「Prometheus Grafana 監(jiān)控搭建」最靠譜的方法始終是從多節(jié)點發(fā)起真實訪問把結果畫在地圖上。SpeedCE 給你實時路況圖——哪里通暢、哪里堵塞。方向盤仍在你手里改 DNS、換 CDN、續(xù)證書、擴容。把 SpeedCE 放進書簽欄。下次有人說打不開打開檢測工具下拉選 HTTPS看地圖用數(shù)據服人。關鍵詞Prometheus,Grafana,監(jiān)控,SpeedCE Prometheus + Grafana 監(jiān)控搭建：指標采集與告警配置
Prometheus Grafana 監(jiān)控搭建指標采集與告警配置工具地址https://www.speedce.com社區(qū)論壇https://bbs.speedce.com聯(lián)系speedceadsgmail.com寫在前面Prometheus 告訴你 CPU 90%SpeedCE 告訴你哪里訪問不了。本文是一份圍繞「Prometheus Grafana 監(jiān)控搭建」的可執(zhí)行長文手冊建議閱讀 15–20 分鐘全文約 1.5 萬–2 萬字。不同于只列步驟的短文我們會把原理、術語、架構、實操、案例、誤區(qū)講透——讓你不僅知道「怎么做」還知道「為什么這么做」。全文以免費工具 SpeedCE 為網絡層驗收示例。你學到的排查思路適用于任何多節(jié)點測速場景。建議收藏故障或變更時按章節(jié)對照操作。閱讀導航第一章 核心概念與術語 → 第二章 技術原理 → 第三章 架構與數(shù)據流 →第四章 環(huán)境準備 → 第五章 詳細實操 → 第六章 八大實戰(zhàn)場景 →第七章 SpeedCE 驗收 → 第八章 常見誤區(qū) → 第九章 進階技巧 →第十章 檢查清單 → 第十一章 FAQ → 第十二章 結語第一章核心概念與術語——讀懂「Prometheus Grafana 監(jiān)控搭建」在說什么在深入「Prometheus Grafana 監(jiān)控搭建」之前先把關鍵術語對齊。很多故障排查跑偏不是因為技術不夠而是概念混用——比如把 DNS 問題當服務器問題把證書問題當 CDN 問題。1.1 術語速查表術語含義深入說明ss / netstat查看端口監(jiān)聽ss -tlnp看 TCP 監(jiān)聽端口和進程。journalctlsystemd 日志journalctl -u nginx -f實時跟蹤。ulimit進程資源限制文件描述符不夠會導致 too many open files。iptables/nftables內核防火墻與安全組獨立都要查。cron定時任務錯配可能導致定時把 CPU 打滿。logrotate日志輪轉配置失敗會導致磁盤滿。load average系統(tǒng)負載高負載時響應變慢可能表現(xiàn)為超時。OOM Killer內存不足殺進程內存耗盡時內核殺進程服務突然掛。1.2 三個層次別混層次回答什么本文/工具角色網絡層IP/端口/證書通不通SpeedCE HTTPS / PING / TCPingWeb 層HTTP 能否正常響應SpeedCE HTTPS 首選DNS 層各地解析是否一致SpeedCE DNS 工具路由層路徑是否繞路/丟包SpeedCE 路由追蹤資產層IP 歸屬與注冊信息SpeedCE IP Geo / WHOIS應用層業(yè)務邏輯對不對網絡綠后再查日志/數(shù)據庫牢記先網絡后應用。全國地圖大面積紅時不要急著改代碼、加機器——大概率是 DNS、證書、安全組、CDN 回源這類基礎設施問題。1.3 三個原則原則說明對照測CDN 域 vs 源站、遷機前后、改配置前后兩圖對比三網分電信、聯(lián)通、移動各一張圖單網紅立刻縮小 66% 范圍多次測DNS 生效、晚高峰、間歇故障至少 2–3 次別測一次下結論第二章技術原理深度解析本章從原理層面理解「Prometheus Grafana 監(jiān)控搭建」知道底層機制后排障會快很多。2.1 原理要點Linux 服務器運維核心能力進程管理、網絡診斷、日志分析、權限與安全。網站「打不開」時標準順序進程是否運行 → 端口是否監(jiān)聽 → 防火墻是否放行 →外部網絡是否可達。很多新手在第一步就卡住——SSH 能登不代表 Web 服務正常。2.2 原理要點systemd是現(xiàn)代 Linux 的服務管理器。systemctl status nginx看狀態(tài)journalctl -u nginx看日志。enabled表示開機自啟active (running)才是真的在跑。2.3 原理要點防火墻雙層云安全組控制臺 系統(tǒng)防火墻ufw/iptables/firewalld。兩層都要放行 80/443漏任何一層都表現(xiàn)為全國紅。第三章架構與數(shù)據流理解請求/數(shù)據在網絡中如何流轉有助于判斷「問題出在哪一跳」。3.1 典型數(shù)據流外部請求 → 云安全組入站規(guī)則 ↓ 放行 iptables/ufw ↓ 放行 進程監(jiān)聽 0.0.0.0:443 ↓ 應用處理請求3.2 如何用這張圖排障從外到內逐層驗證用戶 → DNS 解析是否正確 → 邊緣/CDN → 源站端口 → 應用進程。每一跳都可以用 SpeedCE網絡層或 dig/curl具體層驗證。不要在沒確認上一層之前就深入下一層。第四章環(huán)境準備與前置檢查動手之前確認以下環(huán)境和權限就緒。項目要求網絡驗收工具SpeedCE免費無需注冊八種檢測工具下拉可選推薦工具HTTPS推薦范圍中國節(jié)點SSH/控制臺能登錄服務器或云控制臺改 DNS/安全組基礎命令dig/nslookup、curl、ss、systemctl告警后 5 分鐘 SOP監(jiān)控告訴你「有問題」撥測告訴你「哪里有問題」。# 1. 確認服務進程systemctl status nginx# 2. 確認端口ss-tlnp|grep443# 3. 確認證書echo|openssl s_client-connectexample.com:4432/dev/null|openssl x509-noout-enddate# 4. 全國撥測使用 SpeedCE 多節(jié)點測速第五章詳細實操步驟按順序執(zhí)行每步完成后做對應驗證。5.1 確認服務進程為什么SSH 登錄systemctl status或docker ps確認進程 Running。進程不在外部必紅。怎么做systemctl status nginx5.2 確認端口監(jiān)聽為什么ss -tlnp | grep -E :80|:443應看到 0.0.0.0 或 :: 監(jiān)聽。只監(jiān)聽 127.0.0.1 則外部不可達。怎么做ss -tlnp5.3 檢查防火墻雙層為什么云安全組 ufw/iptables 都要放行 80/443。出站 443 對 Let’s Encrypt 續(xù)簽必要。怎么做ufw status / 控制臺安全組5.4 驗證 DNS 解析為什么dig 223.5.5.5 yourdomain.com確認指向預期 IP。權威 DNS 控制臺與 dig 結果一致。怎么做dig short5.5 SpeedCE 全國檢測為什么打開 SpeedCE下拉選工具HTTPS范圍中國節(jié)點。記錄通暢率、異常數(shù)、延遲。怎么做SpeedCE5.6 三網分離截圖為什么電信、聯(lián)通、移動分別篩選各截圖存檔。命名日期-工具-域名-運營商.png。怎么做SpeedCE 篩選5.7 對照測如適用為什么CDN 域與源站 IP、遷機前后、改配置前后各測一次兩圖并排對比。怎么做SpeedCE 兩次5.8 異常時復測為什么隔 10–15 分鐘再測觀察異常是消散DNS/緩存還是持續(xù)線路/配置。怎么做SpeedCE 復測用戶反饋「解析到奇怪 IP」時先用 DNS 看各地解析再用 IP Geo 查歸屬、WHOIS 查注冊主體。第六章八大實戰(zhàn)場景——運維對號入座以下場景圍繞「Prometheus Grafana 監(jiān)控搭建」展開每個場景包含現(xiàn)象 → SpeedCE 測法 → 地圖解讀 → 可能原因 → 處理建議 → 深度解讀。場景 1磁盤滿導致服務假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復步驟清理日志/臨時文件擴容磁盤。經驗總結網絡綠但超時查磁盤和內存。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 2日志輪轉失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時白天又恢復。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論logrotate 失敗access.log 漲到 50GB。修復步驟手動 truncate 并修復 logrotate 配置。經驗總結日志管理是運維基本功。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 3證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論certbot renew 日志顯示 DNS challenge 失敗。修復步驟修復 DNS API 權限手動續(xù)簽。經驗總結續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 4swap 用滿導致假死現(xiàn)象SSH 能連但極慢網站超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論free -h 顯示 swap 100%OOM killer 未觸發(fā)。修復步驟重啟服務釋放內存長期加內存或優(yōu)化。經驗總結內存問題表現(xiàn)為網絡超時。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 5定時任務把 CPU 打滿現(xiàn)象每天固定時段網站變慢。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE 在 cron 執(zhí)行時段延遲飆升。修復步驟錯峰執(zhí)行或限流 cron 任務。經驗總結關聯(lián)定時任務和性能波動。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 6磁盤滿導致服務假死現(xiàn)象監(jiān)控顯示 CPU 正常用戶訪問超時。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論SpeedCE sporadic 紅SSH 發(fā)現(xiàn)磁盤 100%。修復步驟清理日志/臨時文件擴容磁盤。經驗總結網絡綠但超時查磁盤和內存。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 7日志輪轉失敗撐滿磁盤現(xiàn)象凌晨開始間歇性超時白天又恢復。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論logrotate 失敗access.log 漲到 50GB。修復步驟手動 truncate 并修復 logrotate 配置。經驗總結日志管理是運維基本功。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。場景 8證書續(xù)簽 cron 靜默失敗現(xiàn)象證書突然過期之前一直正常。在「Prometheus Grafana 監(jiān)控搭建」語境下還應記錄變更時間點、用戶省份運營商、持續(xù)還是間歇。三者與地圖疊在一起根因判斷會快很多。SpeedCE 測法打開 SpeedCE 網站/網絡檢測工具下拉菜單選檢測工具HTTPSPing 不通時改 HTTPS 或 TCPing范圍選中國節(jié)點輸入主域名、子域或 IP點擊開始檢測記錄通暢、異常、平均延遲四項數(shù)據按電信/聯(lián)通/移動分別篩選各截圖存檔若使用 CDN對加速域名與源站 IP 各測一次對照異常時隔 10–15 分鐘復測觀察是消散還是持續(xù)地圖怎么讀地圖形態(tài)含義處理建議全國大面積紅全局故障源站/證書/安全組/DNS 全鏈路SSH 查服務查 443/80對照源站修完復測≥95%單省或單區(qū)域持續(xù)紅區(qū)域性DNS 緩存、CDN 節(jié)點缺失、省級線路記錄省份聯(lián)系 CDN隔 10min 復測僅移動紅電信聯(lián)通綠移動線路未優(yōu)化或單網配置錯誤移動地圖截圖CDN 移動優(yōu)化或換線路全球綠、中國紅跨境/被墻/合規(guī)/線路全球對照查備案國內 CDN 或鏡像診斷結論certbot renew 日志顯示 DNS challenge 失敗。修復步驟修復 DNS API 權限手動續(xù)簽。經驗總結續(xù)簽成功要有通知失敗要有告警。深度解讀不要僅憑一次測速下結論。異常隨時間減少偏向 DNS/緩存固定省份持續(xù)異常偏向區(qū)域線路或 CDN 節(jié)點全國同時異常又恢復查攻擊與負載。將本次截圖與變更前基線對比判斷是新問題還是老毛病復發(fā)。第七章SpeedCE 多節(jié)點驗收標準流程7.1 標準操作流程SpeedCE 已從單一測速升級為網站/網絡檢測工具頂部下拉菜單可選HTTP、HTTPS、PING、TCPing、DNS、路由追蹤、IP Geo、WHOIS八種工具再選中國/全球節(jié)點范圍。使用 SpeedCE按以下步驟操作步驟操作1下拉選工具HTTPS2選范圍中國節(jié)點3輸入域名、子域、IPv4/IPv64開始檢測看地圖四態(tài)通暢/異常/檢測中/等待5記錄通暢數(shù)、異常數(shù)、平均延遲6電信/聯(lián)通/移動篩選各截圖四個數(shù)字怎么讀通暢越高越好建議≥95%異常看集中省份平均延遲結合業(yè)務已跳過可忽略。7.2 八種檢測工具怎么選工具測什么典型場景HTTP檢測 80 端口 HTTP 連通性排查跳轉、混合內容、僅開 80 的場景HTTPS檢測 443 端口 TLS 與 HTTP 響應建站驗收首選覆蓋證書與 Web 層PINGICMP 連通性與延遲快速看 IP 通不通云廠商禁 Ping 時改 HTTPSTCPingTCP 端口連通性默認 443禁 ICMP 時替代 Ping驗證端口是否監(jiān)聽DNS全國/全球多節(jié)點 DNS 解析遷機、換 CDN、分線路解析后看各地解析是否一致路由追蹤逐跳路由路徑與延遲定位跨省/跨網路由繞路、中間節(jié)點異常IP Geo查詢 IP 地理位置與運營商歸屬遷機驗收核對 IP 區(qū)域排查異常解析是否指向錯誤地區(qū)WHOIS查詢域名/IP 注冊信息與到期時間域名即將到期、備案主體核對、異常 IP 溯源組合建議建站驗收用HTTPS禁 Ping 用TCPing或HTTPS遷機/換 CDN 后用DNS看解析是否同步延遲異常但可達時用路由追蹤查繞路核對 IP 區(qū)域用IP Geo查域名到期與注冊主體用WHOIS。7.4 IP Geo 與 WHOIS 實戰(zhàn)要點工具輸入典型用法IP GeoIPv4/IPv6遷機后核對 IP 是否落在目標機房城市DNS 解析異常時查 IP 歸屬WHOIS域名或 IP域名到期提醒、備案主體核對、異常 IP 溯源、購買二手域名前盡職調查與連通性工具配合先 HTTPS/DNS 確認「能不能訪問、解析對不對」再用 IP Geo/WHOIS 回答「IP 在哪、域名歸誰」。遷機驗收推薦順序DNS → IP Geo → HTTPS → 三網截圖。遷機后用 SpeedCE 的 IP Geo 核對 IP 是否落在目標機房區(qū)域再用 WHOIS 確認域名到期日。7.3 為什么推薦 SpeedCE地圖比表格適合找區(qū)域平均 127ms 不告訴你問題在新疆地圖會。中國全球雙視圖出海與國內一頁切換。八種工具一頁集成HTTP/HTTPS/PING/TCPing/DNS/路由追蹤/IP Geo/WHOIS 下拉切換排障思維不斷裂。免費免注冊故障現(xiàn)場爭分奪秒。三網篩選電信/聯(lián)通/移動獨立地圖。第八章常見誤區(qū)——別再這樣做了誤區(qū) 1錯誤做法SSH 能登就以為服務正常正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 2錯誤做法只配了安全組忘了系統(tǒng)防火墻正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 3錯誤做法磁盤滿導致服務假死正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 4錯誤做法日志撐滿磁盤正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 5錯誤做法cron 任務打滿 CPU正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 6錯誤做法OOM 后進程被殺未告警正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 7錯誤做法改配置未測試就重啟正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。誤區(qū) 8錯誤做法未配置 logrotate正確做法用全國多節(jié)點地圖獲取客觀樣本對照測縮小范圍修復后復測至通暢率達標截圖存檔。第九章進階技巧與長期實踐9.1On-Call Runbook 第一步SpeedCE 測影響面9.2變更管理加「測速截圖已附」9.3月度三網截圖存檔對比9.4磁盤/內存/CPU 告警與網絡告警聯(lián)動9.5 巡檢節(jié)奏建議頻率動作每日有故障反饋后 5 分鐘內 SpeedCE 測影響面每周周一上午主域巡檢對比上周通暢率每月三網分離體檢 子域清單 截圖歸檔每次變更后改 DNS/證書/Nginx/CDN 必測未測不上線大促前T-7 到 T0 每天點檢上線前用 SpeedCE 跑一遍全國三網地圖比本地 curl 靠譜得多。第十章檢查清單可打印□ HTTPS 中國節(jié)點主域名通暢率 ≥ 95% □ 電信/聯(lián)通/移動三網各目測無大面積異常 □ 關鍵子域api/cdn/static單獨測過 □ CDN 域名與源站 IP 對照測若用 CDN □ DNS 記錄與 dig 結果一致 □ SSL 證書未過期SAN 覆蓋所有子域 □ 安全組/防火墻 80/443 已放行 □ 遷機/改 DNS/換證書后已復測 □ 地圖截圖已標注時間工具并歸檔 □ 異常省份已記錄并跟進至修復驗收工具SpeedCE第十一章FAQ 精選實戰(zhàn)版Q通暢率多少算達標A國內主站建議 ≥95%出海目標國 ≥95%移動無大片紅。Q一定要注冊才能用嗎A不需要。打開 SpeedCE 直接測免費無需注冊。QPING 全超時 HTTPS 正常A正常說明禁 Ping。以 HTTPS 為準。Q和 BOCE/ITDOG 怎么選A日常地圖巡檢 SpeedCE持續(xù) Ping 用 ITDOG污染備案用 BOCE。Q多久測一次合適A日常無故障每周一次主域巡檢。有變更變更后立即測。大促前T-7 到 T0 每天測。QDNS 工具能查什么A看全國各地節(jié)點解析出的 IP 是否一致適合遷機、換 CDN、分線路 DNS 后的驗收。Q異常很多是不是網站掛了A先看全網還是局部。全網異常查服務器/證書/安全組局部查區(qū)域線路或 DNS。QIP Geo 能查什么A輸入 IP 可查看地理位置、運營商歸屬適合遷機后核對 IP 是否落在目標機房區(qū)域。Q路由追蹤什么時候用A延遲高或 sporadic 超時、但 HTTPS 能通時用路由追蹤看是否繞路或中間跳異常。Q測速要多久A通常 1–3 分鐘視節(jié)點數(shù)而定。可觀察進度條。QWHOIS 能查什么A查詢域名或 IP 的注冊人、注冊商、創(chuàng)建/到期時間適合域名續(xù)費提醒與異常 IP 溯源。QPING 和 HTTPS 哪個準A建站驗收用 HTTPS。VPS 驗機可看 PINGHTTPS但以 HTTPS 通暢率為準。第十二章結語圍繞「Prometheus Grafana 監(jiān)控搭建」最靠譜的方法始終是從多節(jié)點發(fā)起真實訪問把結果畫在地圖上。SpeedCE 給你實時路況圖——哪里通暢、哪里堵塞。方向盤仍在你手里改 DNS、換 CDN、續(xù)證書、擴容。把 SpeedCE 放進書簽欄。下次有人說打不開打開檢測工具下拉選 HTTPS看地圖用數(shù)據服人。關鍵詞Prometheus,Grafana,監(jiān)控,SpeedCE