2012年9月5日星期三

TVB選美揭雲運算漏洞

雲運算有不少優點,包括了可延伸性、低固定投資、可應付突發需求(Burst)等優點。八月廿六日,TVB大肆宣傳的「一人一票」選港姐,大肆宣採用了先進雲端技術和流動運算,為觀眾帶來互動娛樂。

甚料當晚系統故障,以致道歉收場。事件發生後,不少人均一再反思雲運算可靠性。TVB指系統有不尋常流量,投票量竟達本港人口數倍,可能有黑客入侵,受到所謂分散式阻斷服務(Distributed denial of service, DDoS) 攻擊,又委托獨立調查,以息事寧人。

微軟負責提供雲運算平台,該公司開發及平台部總監錢展騰說,當天Azure平台沒任何異常;從負載平衡、防火牆、IPS、Web服務器均正常,暗示此乃個別事件,跟平台穩定性無關。

較早前,曾高調公佈參予開發TVB.FUN和港姐選舉應開發的Cherrypicks公司,則澄清只負責開發介面,後台系統與他們無關。況且投票亦包括了TVB.COM網站用戶,更非Cherrypicks負責範籌。

TVB推出網上投票,高調宣傳Azure雲運算,足以應付大量投票,又可開發大容量的應用。怎料言猶在耳,雲運算不堪一擊之餘,也揭示出不少漏洞;包括了保安、應用設計和數據中心設計陷阱。

流量異常可能源於DDoS

理論上,數據中心內的負載平衡(Load Balancer),可一定程度防止DDoS攻擊,分流大量突發的請求,甚至疏導至其他數據中心,故不少專家以為,DDoS可能非今次元兇。

錢展騰說,目前不能否定系統受黑客入侵的可能性,當日流量也確異乎尋常。他表示,網上攻擊手法層出不窮,數據中心難以設計至撥水不進。他始終未能解釋,何以攻擊能如入無人之境?又可以能突破重重關卡?最終令應用服務器無力招架。

他強調當日Azure平台上的其他客戶、網絡流量和各個系統均運作正常,系統亦有充裕的剩餘能力。他表示,DDoS攻擊可來自不同層面,當日的訪問均是通過正常途徑進入系統。這些看來正常用戶,主要均來自香港。

坊間其中一個臆測,乃事前準備的虛擬機器(VM)不足,投票時間又太短,到了知悉容量不足,為時已晚。

但是,雲運算其中一項優點,正是可毋須購置大量硬件,事前建立運算環境,作不同的實況演習,甚至大規模壓力測試。錢展騰解釋,任何測試均不會預計大於正常預計數十倍,甚至百倍負載;否認演習流於粗疏。但他亦以客戶合約機密為理由,不透露當日TVB設置的 VM數量。

應用線性擴充出現缺陷

理論上,系統需求竄升,可馬上開啟新VM。錢展騰強調,當日Web服務器運正行常,只是上層應用出現問題。應用的質素,又均端賴開發人員的經驗和技術。他承認,應用並未有達事前預計的線性式擴充(linear scalability),意味新增VM亦無濟於事,不能發揮持續提昇運算的性能。

錢展騰一直表示,今次事件教訓,顯示應用設計,必須跟平台相輔相承。他又一再強調,Azure數據中心有多層保安,但不便透露使用的保安工具。他亦未有解釋,何以系統對異常流量全無反應,重申不少攻擊難以事前預計。

但是DDoS攻擊方式由來已久,市場亦不乏反DDoS工具和服務。全球最著名反DDoS服務要數 Arbor Networks。

反DDoS因時制宜

四月份,香港電訊與全球反DDoS最著名的Arbor Networks,綜合多種技術,推出反DDoS服務,服務採用流量清洗(Traffic Scrubbing)技術,透過偵測引擎(Anomaly Traffic Detection Engine)監控網絡節點,辨識異常流量,引至清洗引擎(Network Traffic Scrubbing Engine)處理,讓正常請求通過。

但是,一位不願透露姓名的香港電訊發言人同意,即使工具再先進,難免百密一疏。一般DDoS均是看似正常的訪問;當日以十分鐘時間來投票,系統稍一壅塞,用戶一再重複請求,客觀上效果有如人工的DDoS暴發,更防不勝防。

他說,香港電訊反DDoS的真正核心,是「綜合網絡安全營運中心」(Integrated Security Operation Center)全天候監控。SOC的作用重要,按緩急處理突發的DDoS攻擊。

一般DDoS惡意流量未進入防火牆和IPS前,就先行提早發現並屏蔽,制止大量數據流入,隨致應用層癱瘓。

數據一旦到達應用服務器,開啟了大量Sessions時,已是欲挽無從,唯一方法是從網絡層截流,先讓系統稍作消化;情況跟警方實施人流管制一樣。他亦以節日的人遊管制,來比喻TVB港姐選舉投票,大量人流湧向維園花市或者蘭桂坊慶典,警方亦以人流管制,防止發生意外。

他說,一般數據中心均有攔截 DDoS設備。但SOC發現異常數據不斷湧入,Load Balancers或VM接近飽和,又無法完全利用反DDoS工具疏導;暫時截流雖是權宜之計,總勝於系統完全停頓。

沒有留言:

發佈留言