四維三步法內(nèi)容質(zhì)量網(wǎng)絡(luò)保障工作月報（4月）

四維步法內(nèi)容質(zhì)量網(wǎng)絡(luò) 保障工作保障工作月報

立即制作

發(fā)布者：????琳兒??

發(fā)布時間：2017-05-09

版權(quán)說明：該作品由用戶自己創(chuàng)作，作品中涉及到的內(nèi)容、圖片、音樂、字體版權(quán)由作品發(fā)布者承擔(dān)。

侵權(quán)舉報

四維三步法內(nèi)容質(zhì)量網(wǎng)絡(luò)保障工作月報（4月）H5，H5頁面制作工具

貴州移動互聯(lián)網(wǎng)室
2017.4
四維三步法工作月報

目錄
3、工作計劃
2、工作內(nèi)容
1、四維三步法工作模型

開展日常分析工作：按照DPI、 DNS、撥測、投訴四個維度，開展全網(wǎng)TOP100網(wǎng)站、TOP10視頻、本省TOP20網(wǎng)站,以及咪咕、魔百和等自有業(yè)務(wù)的日常質(zhì)差分析工作；跟進(jìn)熱點變化，從流量、調(diào)度、服務(wù)質(zhì)量三個方面，定位、定界質(zhì)差原因。
落實問題處理：從IDC引入、Cache緩存、CDN分發(fā)、ICP直連等方面入手，落實解決，形成問題解決策略，并推廣實施。
持續(xù)評估調(diào)整：針對互聯(lián)網(wǎng)動態(tài)變化內(nèi)容的質(zhì)量，實時監(jiān)測引入、緩存、分發(fā)效果，逐月優(yōu)化和總結(jié)內(nèi)容調(diào)度、內(nèi)容質(zhì)量問題的處理情況報告，持續(xù)評估，閉環(huán)保障。
圍繞“兩聚焦”，多維度采集分析數(shù)據(jù)，通過細(xì)分保障方法、建設(shè)支撐手段、優(yōu)化組織流程、提升重點內(nèi)容四項舉措，全面推進(jìn)內(nèi)容網(wǎng)絡(luò)四維三步法落地。
四維三步法模型

流量本省率核算方法：（IDC服務(wù)本省流量+WebCache流量）/地市總流量
指標(biāo)：
流量本省率4月份為75.66%，3月份為75.39%, 指標(biāo)上升0.27個百分點，屬于合理范圍波動。

原因分析：
本月本省流量貢獻(xiàn)較大的Cache廠家為中興，峰值已經(jīng)達(dá)到131.78Gbps，均值為72.31Gbps。
DPI維度核心指標(biāo)(流量本省率)

處理措施：
本月統(tǒng)計出網(wǎng)并建議緩存域名72個，經(jīng)緩存分析，可緩存域名45個，已經(jīng)加入緩存。
DIP維度分析數(shù)據(jù)能力提升方法，對建議引入網(wǎng)站進(jìn)行網(wǎng)站頻道流量篩選，通過網(wǎng)站頻道訪問熱度數(shù)據(jù)提供建議引入網(wǎng)站，增加對視頻質(zhì)差資源分析，并通過ICP調(diào)度等方式優(yōu)化。
定位原因：
- 對出網(wǎng)的域名進(jìn)行資源分布探測，發(fā)現(xiàn)97%以上域名網(wǎng)內(nèi)無內(nèi)容資源。
發(fā)現(xiàn)問題：
- 聚焦TOP100熱門網(wǎng)站、TOP10視頻、省內(nèi)TOP20網(wǎng)站,通過DPI維度中訪問熱度和流量情況，使用分光數(shù)據(jù)分析，獲取TOP15000出網(wǎng)域名，對出網(wǎng)域名進(jìn)行資源爬取，獲得建議緩存域名至少100個。
DPI維度

定位原因：
備注：通過端到端系統(tǒng)4月份發(fā)現(xiàn)質(zhì)差域名問題94個，均已發(fā)集中化管理工單，并得到妥善解決，有效提高了質(zhì)差處理效率。
回源被劫持
取消對緩存平臺的劫持。
組帶寬跑高
安排降量。
cache利用率低
取消緩存。
處理措施：
回源失敗問題：
緩存優(yōu)化，調(diào)整回源鏈路。
取消該域名緩存服務(wù)。
回源節(jié)點問題：
采取調(diào)整或更換回源節(jié)點方式。
源站優(yōu)化調(diào)度。
源站問題：
對該類質(zhì)差域名取消緩存服務(wù)，加黑處理。
源站不通可以優(yōu)化回源鏈路。
源站資源調(diào)度調(diào)整，優(yōu)化調(diào)度。
回源被拒，調(diào)整回源路徑，改走三方。
發(fā)現(xiàn)問題：
通過互聯(lián)網(wǎng)質(zhì)量監(jiān)控系統(tǒng)端到端平臺，對域名質(zhì)差查詢分析，4月份共發(fā)現(xiàn)質(zhì)差域名94個，其中取消緩存域名3個，占 3.19%；正常的4個，占比4.26%；重復(fù)出現(xiàn)三次以上的域名49個，均已解決。
DPI維度（端到端質(zhì)差分析）

質(zhì)差資源對應(yīng)業(yè)務(wù)優(yōu)化
通過互聯(lián)網(wǎng)質(zhì)量監(jiān)控系統(tǒng)端到端平臺，對質(zhì)差域名按業(yè)務(wù)查詢分析，發(fā)現(xiàn)并提煉TOP5端到端質(zhì)差業(yè)務(wù)。經(jīng)過逐一排查，定位，并通過Cache、調(diào)整鏈路、取消緩存等方式優(yōu)化。其中業(yè)務(wù)優(yōu)化率最高達(dá)到99%（樂視網(wǎng)），業(yè)務(wù)優(yōu)化率均值為90%。
質(zhì)差資源對應(yīng)IP 優(yōu)化
通過互聯(lián)網(wǎng)質(zhì)量監(jiān)控系統(tǒng)端到端平臺，對質(zhì)差域名查詢分析，發(fā)現(xiàn)涉及質(zhì)差資源對應(yīng)IP重復(fù)較多，4月針對TOP10重復(fù)IP進(jìn)行質(zhì)差資源優(yōu)化，IP優(yōu)化率最高達(dá)到100%，優(yōu)化率均值達(dá)到94.7%。
DPI維度（端到端質(zhì)差分析）

定位原因：
對已經(jīng)優(yōu)化的2646個URL內(nèi)容進(jìn)行分析：71.43%視頻網(wǎng)內(nèi)無資源；25.87%ICP資源受限，服務(wù)器負(fù)荷；2.7%屬于合理出網(wǎng)范圍。
處理措施：
通過將資源首次回源添加至本地服務(wù)器621個;
增加存儲力度，將熱門資源加入服務(wù)器，優(yōu)化視頻URL 1890個；
另外小部分視頻URL資源較小，屬于合理范圍內(nèi)出網(wǎng)。
- 發(fā)現(xiàn)問題：
1. 針對TOP20熱點視頻，通過爬蟲技術(shù)對視頻內(nèi)容進(jìn)行分析，4月發(fā)現(xiàn)出網(wǎng)視頻URL 2646個（主要包括優(yōu)酷視頻、搜狐視頻、酷6視頻等）。
DPI維度（出網(wǎng)視頻優(yōu)化）

點擊本網(wǎng)率核算方法：DNS本網(wǎng)點擊次數(shù)/DNS總訪問次數(shù)。
原因分析：
因3月27日DNS日志取消過濾后，DNS系統(tǒng)為真實數(shù)據(jù)，故4月份點擊本網(wǎng)率大幅度下降。
指標(biāo)：
4月份DNS點擊本網(wǎng)率為81.16%，環(huán)比下降7.32個百分點，未到集團要求指標(biāo)?？傇L問量為2624億次。較3月份上升62億次，訪問量日均值為87.47億次。
DNS維度核心指標(biāo)(點擊本網(wǎng)率)

解決措施：
經(jīng)分析將可緩存域名19個添加至緩存白名單進(jìn)行優(yōu)化服務(wù)，將443端口域名等172個添加到緩存黑名單，避免劫持導(dǎo)致投訴。
對于已經(jīng)緩存，但出網(wǎng)率較高的194個域名進(jìn)行質(zhì)量追蹤，其中83%以上域名因源站加密而被取消緩存服務(wù)， 17%域名服務(wù)質(zhì)量有所提高。
將調(diào)度錯誤導(dǎo)致出網(wǎng)域名，通過IP調(diào)度至集團出口或發(fā)郵件至牽頭省協(xié)調(diào)處理。
定位原因：
將出網(wǎng)域名中未分配緩存的域名進(jìn)行重點分析，本月通過DNS維度建議緩存質(zhì)差域名194個，其中可緩存域名19個、緩存黑名單域名172個、調(diào)度域名2個。
發(fā)現(xiàn)問題：
基于TOP100網(wǎng)站、TOP10視頻、省內(nèi)TOP20網(wǎng)站，每周通過DNS流量流向系統(tǒng)查詢出網(wǎng)域名Top100，每月通過匯總整理篩選出網(wǎng)資源超過70%的域名206個。
DNS維度

指標(biāo)：
4月，TOP100網(wǎng)站重點網(wǎng)站、TOP20視頻、TOP20本省網(wǎng)站，均達(dá)到集團指標(biāo)。行編輯
撥測維度指標(biāo)

解決措施：
通過調(diào)整出口、強解等解決因出口質(zhì)量導(dǎo)致網(wǎng)站故障；
因緩存導(dǎo)致故障，通過取消緩存解決；
因CDN導(dǎo)致故障，通過調(diào)整至其他CDN節(jié)點解決。
- 定位原因：
- 通過人工撥測核實，與電信網(wǎng)絡(luò)對比測試，因鏈接失效或者源站問題導(dǎo)致網(wǎng)站無法打開，共122次；測試打開正常共658次；網(wǎng)站故障共25次；
因出口質(zhì)量導(dǎo)致網(wǎng)站故障共10次，因浩瀚Cache無法回源導(dǎo)致網(wǎng)站故障2次，因中興Cache緩存https域名、無法回源導(dǎo)致網(wǎng)站故障7次，因網(wǎng)宿CDN質(zhì)量不穩(wěn)定導(dǎo)致網(wǎng)站故障6次。
發(fā)現(xiàn)問題：

4月，由飛思達(dá)撥測系統(tǒng)提示網(wǎng)站無法打開告警共805次，其中，貴州移動
地址186次，非貴州移動地址618次；

貴州移動地址186次，包括浩瀚Cache地址73次，中興Cache地址19次，網(wǎng)
宿CDN地址65次，貴州其他地址29次；
非貴州移動地址618次，包括電信地址124次，聯(lián)通地址34次，外省移動地址397次，其他運營商地址63次。
撥測維度指標(biāo)

撥測維度緩存域名統(tǒng)計（個）
撥測維度能力要求：基于撥測系統(tǒng)，監(jiān)測、分析、處理本省IDC/Cache/CDN/直連等節(jié)點的質(zhì)量問題；根據(jù)總部下發(fā)的重點、熱點業(yè)務(wù)列表，監(jiān)控、定位、分析重點業(yè)務(wù)質(zhì)差問題，及時解決。
解決措施：
聯(lián)系中興取消對此域名的緩存，DNS取消轉(zhuǎn)發(fā)，測試后頁面顯示正常；
浩瀚對此域名取消緩存。
定位原因：
核查域名001.img.pu.sohu.com.cn的443端口開放，URL為https。
核查為域名到源站120.192.81.190回源不穩(wěn)定。
發(fā)現(xiàn)問題：
2017年4月12日，”搜狐視頻會員首頁 ”圖片無法顯示，圖片域名001.img.pu.sohu.com.cn ，解析地址為117.187.29.103，歸屬中興Cache 。
2017年4月28日，”中維世紀(jì)公司門戶網(wǎng)站”圖片無法顯示，域名www.jovetech.com ，解析地址為117.135.251.15 ，歸屬浩瀚Cache 。
撥測維度

備注：接集團通知10月份移動MM下載速率指標(biāo)由原來9Mbps提升到10Mbps
咪咕視頻業(yè)務(wù)運行情況：
4月份咪咕視頻服務(wù)帶寬峰值為2.34Gbps，均值0.92Gbps，4月10回源鏈路出現(xiàn)斷鏈，用戶不斷嘗試連接導(dǎo)致當(dāng)天用會并發(fā)數(shù)增多，除10日數(shù)據(jù)，在線人數(shù)峰值為3645人，均值113人。
自有業(yè)務(wù)指標(biāo)情況：
基于移動自有業(yè)務(wù)4月份撥測數(shù)據(jù)顯示，咪咕視頻卡頓次數(shù)為0.16次/h、咪咕音樂播放時延1.64s，均已達(dá)到集團指標(biāo)要求。4月移動MM下載速率為12.03Mbps，優(yōu)于集團指標(biāo)要求值10Mbps。
自有業(yè)務(wù)

4月，直播業(yè)務(wù)首幀時延逐漸穩(wěn)定，4月初首幀時延均值為1.42s，4月底首幀時延均值為1.45s，波動在正常范圍內(nèi)。
得出結(jié)論
直播：4月初與月底優(yōu)化后首幀時延(s)比對
得出結(jié)論
4月，點播業(yè)務(wù)首幀時延逐漸穩(wěn)定，4月初首幀時延均值為1.37s，4月底首幀時延均值為1.02s，波動在正常范圍內(nèi)。
點播：4月初與月底優(yōu)化后首幀時延(s)比對
魔百盒運行數(shù)據(jù)比對

2月節(jié)點命中率平均保持在99.58%以上。上月份節(jié)點命中率平均保持在96.65%以上。說明節(jié)點命中率基本保持穩(wěn)定，且命中質(zhì)量屬正常波動。
4月統(tǒng)一CDN系統(tǒng)的CPU使用率基本保持在13%以內(nèi)，內(nèi)存使用在47.04%以內(nèi)，磁盤存儲空間使用率在48%以內(nèi)。網(wǎng)卡發(fā)送速率最大2.65Gbps,網(wǎng)卡接收速率最大386.47Mbps。
2月整體調(diào)度成功率保持在99.85%以上，上月整體調(diào)度成功率保持在99.87%以上。說明整體調(diào)度成功率保持非常穩(wěn)定，與上月比較，基本持平。
直播（LIVE）峰值日均流量18.57Gbps、并發(fā)用戶數(shù)5759戶；
點播（VOD）峰值日均流量58.31Gbps、并發(fā)用戶數(shù)是20968戶；
回看（TVOD）峰值日均流量11.70Gbps、并發(fā)用戶數(shù)是4251戶。
- 從已觀察監(jiān)測數(shù)據(jù)分析和運營情況判斷得出結(jié)論：融合統(tǒng)一CDN系統(tǒng)4月份運行正常，目前系統(tǒng)運行提供服務(wù)穩(wěn)定。
- 從服務(wù)帶寬占用及設(shè)備負(fù)載等對融合CDN設(shè)備分析，流量占用在系統(tǒng)承受范圍之內(nèi)，CPU負(fù)荷使用正常，內(nèi)存符合滿足系統(tǒng)運行要求，磁盤存儲空間滿足目前業(yè)務(wù)數(shù)據(jù)緩存需求，網(wǎng)卡可以支撐目前業(yè)務(wù)的流量發(fā)送和接收運行。
2月節(jié)點命中率平均保持在99.58%以上。上月份節(jié)點命中率平均保持在96.65%以上。說明節(jié)點命中率基本保持穩(wěn)定，且命中質(zhì)量屬正常波動。
2017年4月融合CDN中興平臺服務(wù)帶寬、調(diào)試成功率、節(jié)點命中率、服務(wù)器運行數(shù)據(jù)進(jìn)行跟蹤監(jiān)測觀察進(jìn)行質(zhì)量分析。
融合CDN中興平臺

地市發(fā)展用戶數(shù)量統(tǒng)計（戶數(shù)）
運行情況：
提高業(yè)務(wù)穩(wěn)定性：
4月業(yè)務(wù)發(fā)展相對較平穩(wěn)，負(fù)荷量在預(yù)期范圍內(nèi)，用戶發(fā)展速度穩(wěn)定。
優(yōu)化措施：
1. 1、畢節(jié)CDN服務(wù)器容量達(dá)到95%，117.135.231.0/28網(wǎng)段業(yè)務(wù)調(diào)度到省平臺承載。
2、“昆侖決世界極限格斗賽遵義站”，魔百和業(yè)務(wù)保障保障，系統(tǒng)正常運行。
3、安裝神州泰岳的監(jiān)控代理，對CDN服務(wù)器的硬件、CPU、內(nèi)存等進(jìn)行監(jiān)控。
4、配合綠盟進(jìn)行安全掃描并整改。
發(fā)展情況：
- 融合CDN平臺承載貴州移動九個地市的直播、點播業(yè)務(wù)，2017年4月業(yè)務(wù)開戶速度穩(wěn)定，發(fā)展速度排名TOP3分別為：遵義、黔東南、畢節(jié)。4月用戶發(fā)展情況由3月的404859戶增長到444733戶，4月增長39874戶，漲幅達(dá)9.85%。系統(tǒng)平臺支撐能夠滿足當(dāng)前業(yè)務(wù)量，平臺支撐處于穩(wěn)定狀態(tài)。
融合CDN全業(yè)務(wù)平臺

優(yōu)化質(zhì)差域名網(wǎng)外TOP5，優(yōu)化前頁面加載時間均值為6192.46ms，優(yōu)化后頁面加載時間均值為2356.88ms。
優(yōu)化質(zhì)差域名省外TOP5，優(yōu)化前頁面加載時間均值為16236.12ms，優(yōu)化后頁面加載時間均值為4107.27ms。
感知提升：通過對質(zhì)差域名進(jìn)行質(zhì)量跟蹤，4月發(fā)現(xiàn)質(zhì)差域名共338個，已緩存域名共95個。
優(yōu)化質(zhì)差域名省內(nèi)TOP5，優(yōu)化前頁面加載時間均值為6107.05ms，優(yōu)化后頁面加載時間均值為2087.61ms。
質(zhì)差域名優(yōu)化情況

指標(biāo) :
- 本月投訴處理及時率100%，所有工單均正確快速處理。
- 4月重復(fù)投訴率7.00%。實際有效處理投訴14條，1起重復(fù)投訴（聯(lián)通網(wǎng)上營業(yè)廳）。
投訴維度指標(biāo)

撥測維度能力要求：
按網(wǎng)站名稱、行業(yè)類別、問題現(xiàn)象等，梳理內(nèi)容質(zhì)量投訴數(shù)據(jù)，建立和管理典型、重點投訴處理案例，并設(shè)立內(nèi)容投訴分析崗，協(xié)調(diào)處理質(zhì)量問題；要建立投訴處理手段和流程，推動投訴前移，提高解決效率。
處理措施：
- 集團出口大部分均可正常訪問，軟件系統(tǒng)及網(wǎng)頁類受運營商限制無法連接服務(wù)器或者訪問失敗，調(diào)整至優(yōu)質(zhì)鏈路，或者資源方優(yōu)化后可恢復(fù)。
定位原因：
- 網(wǎng)頁類投訴主要原因是互聯(lián)互通導(dǎo)致；4月故障較之前大幅減少，部分軟件系統(tǒng)及網(wǎng)頁類受運營商限制會無法登陸或者訪問失敗。
發(fā)現(xiàn)問題1：
- 4月故障平臺投訴共25起，實際有效處理共13起：包含地州提交10起、飛思達(dá)撥測告警3起，效處理故障均提交至故障平臺。 12起因提交信息不正確或者省網(wǎng)測試正常被退回。
- 客響中心共反饋35起，實際有效處理2起（“么么直播”圖片顯示異常）。其他均測試正?；蛘咝枰刂葸\維上門查看。
- 從類型上看，故障平臺均網(wǎng)頁類投訴占比71%，軟件應(yīng)用類占比29%（均為系統(tǒng)無法連接服務(wù)器等故障）；客響中心網(wǎng)頁類占比占40% ，其次是游戲類和軟件類均占29%。游戲類包括“夢幻西游”、“王者榮耀”等，均為省網(wǎng)測試正?；蛘呋卦L用戶反饋故障已經(jīng)恢復(fù)。
投訴維度

處理措施：
電信和聯(lián)通方向處理措施為：
- 將非電信聯(lián)通地址調(diào)整至集團出口使其恢復(fù)。
- 資源方優(yōu)化后可恢復(fù)。
- 投訴涉及網(wǎng)內(nèi)資源處理措施為：
- 及時聯(lián)系緩存和CDN相關(guān)廠家進(jìn)行調(diào)整使業(yè)務(wù)恢復(fù)；
- 協(xié)調(diào)緩存廠家取消緩存并定期自查以防誤將該類域名緩存，
- 回源問題根據(jù)對應(yīng)回源方向進(jìn)行優(yōu)化。
- 強制解析域名到指定IP。
定位原因：
電信和聯(lián)通方向的原因為：
- DPI流控導(dǎo)致故障。
- 部分電信資源在三方出口訪問失敗。
- 投訴涉及網(wǎng)內(nèi)資源主要原因為：
- 緩存、CDN問題；
- 端口為443的域名被緩存；
- 回源問題。
- 源站域名授權(quán)服務(wù)器不穩(wěn)定或者未授權(quán)導(dǎo)致解析異常或者無法解析
發(fā)現(xiàn)問題2：
- 4月從投訴故障運營商來看，電信占比50%，移動占比21%（緩存，CDN），聯(lián)通占14%?？傮w電信資源故障較多。
- 4月份故障55%在集團出口，27%在力創(chuàng)三方。18%在鵬博士三方。
投訴維度

典型故障案例

基于TOP100熱門網(wǎng)站、TOP10視頻、TOP20本省網(wǎng)站等全網(wǎng)性及地方性熱點、重點業(yè)務(wù)，為提高我省互聯(lián)網(wǎng)業(yè)務(wù)質(zhì)量，提升用戶感知，4月份建議引入公眾網(wǎng)站TOP10（除集團統(tǒng)一引入公眾網(wǎng)站TOP55以外）和貴州省內(nèi)網(wǎng)站TOP10。已經(jīng)向大數(shù)據(jù)部門發(fā)起內(nèi)容引入?yún)f(xié)作單，并主動協(xié)調(diào)ICP做調(diào)度優(yōu)化工作。
建議引入網(wǎng)站

- 4月份，TOP10視頻調(diào)度服務(wù)器全部調(diào)度到集團出口做保障。
- 4月份TOP10視頻全部添加流控白名單做保障。
- TOP10視頻流量本省率均值96.80%，達(dá)到集團要求。
基于TOP100熱門網(wǎng)站、TOP10視頻以及本省TOP20網(wǎng)站的流量、點擊量情況分析如下：
流量控制、調(diào)度管理情況

4月完成對省內(nèi)TOP20網(wǎng)站域名智能DNS白名單核對，針對省內(nèi)TOP20網(wǎng)站，加入智能DNS進(jìn)行最優(yōu)調(diào)度管理。
4月完成對省內(nèi)TOP20網(wǎng)站IP流控白名單核對，重點保障省內(nèi)TOP20網(wǎng)站IP地址均在流控系統(tǒng)白名單中。
近六個月本省網(wǎng)站TOP20總體點擊量情況，4月份省內(nèi)TOP20網(wǎng)站總點擊量為76.20萬次。比3月份上升2.57萬次。 4月份全國公務(wù)員考試帶動本省政府、教育類網(wǎng)站點擊量上升。
- 近六個月本省網(wǎng)站TOP20總體流量運行情況。4月份總流量為54.05GB，較三月份上升29.62GB。4月份全國公務(wù)員考試帶動本省政府、教育類網(wǎng)站流量大幅度上升。
針對本省TOP20網(wǎng)站的流量控制及調(diào)度管理情況。
流量控制、調(diào)度管理情況

- 4月份百度點擊量為后面9家CP總和的1.16倍。
- 4月份集團TOP100網(wǎng)站全部添加流控白名單做保障。
- 4月份集團TOP100網(wǎng)站流量情況正常。其中百度流速較高，其次是淘寶。
針對集團TOP100網(wǎng)站的流量控制及調(diào)度管理情況。
流量控制、調(diào)度管理情況

內(nèi)容網(wǎng)絡(luò)指標(biāo)完成情況
4月份內(nèi)容網(wǎng)絡(luò)工作指標(biāo)完成情況如下：

問題清單
問題清單跟蹤

工作計劃

謝謝

相關(guān)作品