上星期講Splunk,以往都係集中用於系統人員偵錯,或優化系統等。據聞Splunk最大用戶係蘋果電腦,每日分析數以百TB數據。但係近期Splunk在保安收入不斷增長,已佔差不多收入六成。
Splunk進軍SIEM市場,同IBM嘅QRadar成為市場兩頭馬車。Splunk加埋User Behavior Analytics (UBA),以Hadoop平台分析,唔需要Signature就可準確搵到APT 或內部威脅,功能上比較新。HPE嘅ArcSight則因為轉數據庫,引起唔少問題,一直受到壓力。舊年Splunk亦請咗Symantec嘅Simon Tai過檔,相信有助發展本地保安市場。
上星期Innovix舉辦「INNOVIX CLOUD」服務啟動儀式,並慶祝成為Microsoft正式CSP之一。Microsoft推出Office 365之後,唔少企業紛紛轉用,尤其係當升級Exchange或者 SharePoint破席,唔少人轉用Azure。論規模,Azure可能仍然唔及AWS,但由於Microsoft商業客戶好多,增長潛力極佳。
「INNOVIX CLOUD」利用Microsoft平台,市集上有唔少雲運算產品,分銷商可以向客戶推薦,然後用「INNOVIX CLOUD」管理客戶。
雲運算並不代表用戶唔需要服務或管理,CSP確保即使用戶過渡雲平台,整合商仍可繼續第一線服務客戶。不過CSP分開一級及兩級類型,Dimension Data、Rackspace、Datacom屬於前者,Innovix作為代理商,CSP則屬於後者,幫助Innovix分銷商銷售Azure或其他雲產品獲利。以Innovix代理商網絡之大,簡化雲服務採購同出單流程,可話係新商業模式,愈來愈多人轉用雲,前景唔錯,即使以上述Splunk為例,亦在Azure市集有得出售。
2017年3月22日星期三
2014年3月26日星期三
Splunk大數據技術監察公共雲平台 助網上證券公司過渡至雲運算平台
近年來,有關大數據討論不少,應用案例卻有限。歷來數據的來源,以機器佔多。例如伺服系統或感覺器的紀錄(Log)。這些數據包含了不少系統和用戶信息,除了加快偵錯,從中也可發掘出寶貴的業務啟示。
不少機器產生的數據,皆屬於非結構數據。傳統分析系統的關聯數據庫,須先作將數據定義性質(Schema),再建立查詢(Query),找出不同關係。十年前,Splunk推出了利用類似Google的技術,以高速檢索方式,自動找出數據關係。自此利用Splunk分析大數據的優點,愈來愈為人認識。
最初,Splunk只是用於數據中心,省卻了管理人員,偵錯不再須要翻查浩瀚分散的系統紀錄檔。許多時,通過連結紀錄檔內時間標籤(Time Stamp),比較事故前因後果,Splunk短時間內往往可找出輪廓。Splunk亦可輕易按查詢的資料,建立「儀表板」(Dashboard),方便監察和分析,甚至建立負荷的「臨界點」(Threshold),系統超出負荷時,馬上作出警示。
逆向分析數據建立事件關係
不少系統廠商,很早就發現Splunk適合於偵錯用途,幾乎大部分均開發針對設備紀錄檔的檢索範本(Template)監察系統。這些所謂「範本」,可搜尋系統所產生特定格式的紀錄檔,憑關鍵字逆向辨認定義數據,也就是所謂「schema on-the-fly」。利用自行產生的Schema,加上簡單檢索語句,快速建立事件的關係,再以儀表板顯示系統或用戶狀態。檢索的範本又可不斷修正,增減監察因素。有時,不同系統紀錄檔加在一起,更可獲悉意想不到的關係。
目前,Splunk流行用於監察IT基建工具之一,原因是應用簡單,上馬迅速,只要Syslog檔交給Splunk,就幾乎可運作。Splunk亦廣泛應用於監察Citrix和VMware等虛擬系統。Splunk應用不少皆屬免費,下載安裝就即時檢索產生報告。除了排錯,也作為監察應用或網絡性能,即NPM或APM等用途。
相較傳統工具,Splunk可快速整合起動,極受系統人員歡迎,部署於IT營運管理,其他亦如雨後春筍,例如商業分析或SIEM,也可配合防火牆作保安或偵察APT,甚至用於「支付卡行業」(PCI)的安全評估程序審計,追蹤分析社交網絡趨勢等。
香港為基地的網上散戶證券商8 Securities,採用公共雲Amazon提供用戶交易平台。8 Securities讓客戶建立網上個人化的交易平台,用戶從單一介面,可投資超過一萬五千種美國及香港上市的股票和基金,取得市場數據和研究報告,也支援多語文和不同裝置。8 Securities客戶根據個人習慣,自行決定平台的內容,8 Securities系統支援極大量個人化資訊。
確保系統轉移萬無一失
去年,8 Securities收購了日本網上經紀United World,並且加入了五萬五千名新客戶,資產超過了十億美元,為全亞洲最大的獨立散戶經紀。
據8 Securities 科技總監Cedric Roll表示,收購之後8 Securities馬上將日本數據中心,轉移以Amazon的AWS雲服務作為客戶平台。「AWS相較於原有數據中心,節省達八成開支,穩定性和速度更高,仍維持同樣保安水平。」
轉移用戶過程不容有失,8 Securities交易平台內,有眾多虛擬機器,運行中間件、負載平衡、數據庫和第三方開發的應用。「Splunk可監察Amazon的AWS上運行狀況,Splunk可快速從AWS的VM傳回系統負載,不斷作修正。」
Roll表示,從Splunk數據很容找出雲端系統配置各種問題;例如資源或記憶體分配不足,或是軟件設計出現瑕疵,或者中間件必須調整等等。
「大量紀錄檔迅速儲存至Amazon低價的S3長期儲存內,作趨勢分析等用途。Splunk配搭AWS,令大量用戶轉移至雲平台,變得非常簡單。」
8 Securities除了讓用戶可按其習慣,自行建立個性化的平台;另外一項功能,是社交平台可讓用戶,參考內部投資者意見。Roll表示,他們將利用Splunk採掘內部社交平台的資料,自動向提供深入的市場分析,助用戶掌握準確投資趨勢。
「8 Securities仿似是投資的社區,相對其他公共投資社交平台,與用戶交換意見,8 Securities均彼此思維模式接近的投資者,比起公眾論壇,可信性更高。」
不少機器產生的數據,皆屬於非結構數據。傳統分析系統的關聯數據庫,須先作將數據定義性質(Schema),再建立查詢(Query),找出不同關係。十年前,Splunk推出了利用類似Google的技術,以高速檢索方式,自動找出數據關係。自此利用Splunk分析大數據的優點,愈來愈為人認識。
最初,Splunk只是用於數據中心,省卻了管理人員,偵錯不再須要翻查浩瀚分散的系統紀錄檔。許多時,通過連結紀錄檔內時間標籤(Time Stamp),比較事故前因後果,Splunk短時間內往往可找出輪廓。Splunk亦可輕易按查詢的資料,建立「儀表板」(Dashboard),方便監察和分析,甚至建立負荷的「臨界點」(Threshold),系統超出負荷時,馬上作出警示。
逆向分析數據建立事件關係
不少系統廠商,很早就發現Splunk適合於偵錯用途,幾乎大部分均開發針對設備紀錄檔的檢索範本(Template)監察系統。這些所謂「範本」,可搜尋系統所產生特定格式的紀錄檔,憑關鍵字逆向辨認定義數據,也就是所謂「schema on-the-fly」。利用自行產生的Schema,加上簡單檢索語句,快速建立事件的關係,再以儀表板顯示系統或用戶狀態。檢索的範本又可不斷修正,增減監察因素。有時,不同系統紀錄檔加在一起,更可獲悉意想不到的關係。
目前,Splunk流行用於監察IT基建工具之一,原因是應用簡單,上馬迅速,只要Syslog檔交給Splunk,就幾乎可運作。Splunk亦廣泛應用於監察Citrix和VMware等虛擬系統。Splunk應用不少皆屬免費,下載安裝就即時檢索產生報告。除了排錯,也作為監察應用或網絡性能,即NPM或APM等用途。
相較傳統工具,Splunk可快速整合起動,極受系統人員歡迎,部署於IT營運管理,其他亦如雨後春筍,例如商業分析或SIEM,也可配合防火牆作保安或偵察APT,甚至用於「支付卡行業」(PCI)的安全評估程序審計,追蹤分析社交網絡趨勢等。
香港為基地的網上散戶證券商8 Securities,採用公共雲Amazon提供用戶交易平台。8 Securities讓客戶建立網上個人化的交易平台,用戶從單一介面,可投資超過一萬五千種美國及香港上市的股票和基金,取得市場數據和研究報告,也支援多語文和不同裝置。8 Securities客戶根據個人習慣,自行決定平台的內容,8 Securities系統支援極大量個人化資訊。
確保系統轉移萬無一失
去年,8 Securities收購了日本網上經紀United World,並且加入了五萬五千名新客戶,資產超過了十億美元,為全亞洲最大的獨立散戶經紀。
據8 Securities 科技總監Cedric Roll表示,收購之後8 Securities馬上將日本數據中心,轉移以Amazon的AWS雲服務作為客戶平台。「AWS相較於原有數據中心,節省達八成開支,穩定性和速度更高,仍維持同樣保安水平。」
轉移用戶過程不容有失,8 Securities交易平台內,有眾多虛擬機器,運行中間件、負載平衡、數據庫和第三方開發的應用。「Splunk可監察Amazon的AWS上運行狀況,Splunk可快速從AWS的VM傳回系統負載,不斷作修正。」
Roll表示,從Splunk數據很容找出雲端系統配置各種問題;例如資源或記憶體分配不足,或是軟件設計出現瑕疵,或者中間件必須調整等等。
「大量紀錄檔迅速儲存至Amazon低價的S3長期儲存內,作趨勢分析等用途。Splunk配搭AWS,令大量用戶轉移至雲平台,變得非常簡單。」
8 Securities除了讓用戶可按其習慣,自行建立個性化的平台;另外一項功能,是社交平台可讓用戶,參考內部投資者意見。Roll表示,他們將利用Splunk採掘內部社交平台的資料,自動向提供深入的市場分析,助用戶掌握準確投資趨勢。
「8 Securities仿似是投資的社區,相對其他公共投資社交平台,與用戶交換意見,8 Securities均彼此思維模式接近的投資者,比起公眾論壇,可信性更高。」
2014年3月19日星期三
NTP放大DDoS攻擊殺到
今個星期Splunk Live,有唔少人會出席,利豐負責人出席,而舊年Splunk亦請香港賽馬會出席,內容相當有趣。剛接到通告,話單記採用Splunk
Enterprise做SIEM,調查資安事件兼偵測APT,亦作為本身資安服務工具。
單記嘅SIEM工具SIM停止發展,市場上有規模嘅,剩返有英特爾賣咖啡(已改名做Intel Security),HP嘅ArcSight及I記QRadar,統統同單記有衝突,只有選擇獨立嘅Splunk,可謂完全合理。單記致力轉型發展保安顧問業務,類似合作可能愈來愈多。
網絡保安愈來愈複雜,過去六個月全球NTP協定放大(NTP
Amplification)DDoS攻擊大升,上月多咗近3.7倍,最大攻擊流量達400Gbps,一度令歐洲上網速度放緩,可見有幾利害。Akamai收購嘅Prolexic
Technologies就專門係應付DDoS攻擊,近期在香港宣傳NTP協定放大,相信香港好快有類似攻擊出現。
另一保安難題係APT,已入侵唔少公司,真正應付APT攻擊,幾乎只有Fireeye最可靠,類似PAN嘅野火,發展始終比較後期。上月賭業集團Sands,受APT攻擊令網站同電郵停頓幾乎一星期,據報亦有意部署,黑客幾乎幫緊火眼做宣傳,據稱全港有三十多家公司正做火眼POC。
Tech Days另一家鑽石贊助Infocan則集中講SharePoint,老頂Teresa到場打氣。Infocan展示咪記Surface,果然係好拍乸。唔少參展商即使做咗好耐Tech Days,依然竟用Mac book做展示,被咪記工作人員勸喻。另一家白金贊助商大地瓜,老頂彭叔剛退休,聽講話新老頂今星期返工,由原Dell嘅Steve Lam接任。近年Dell不斷收購,產品線好多,同場嘅Dell就推SonicWall,唔係再賣PC或伺服器。
VMware亦有新香港總經理,從母公司EMC大中華區VCE調咗Danny Tam譚仲良過來。 EMC嘅vBlock包括VMware,所以Danny Tam應該好熟悉產品,加上VMware來年推本身品牌嘅DR嘅IT as a Service同Desktone(VDI as a
service),Danny Tam銷售vBlock,同唔少服務供應商好熟,推服務好靠服務供應商,從調職可見VMware有乜動作。
2014年3月5日星期三
又到Tech Days
咪記每年一度Tech Days,下星期二,即係三月十一日開始一連三日,灣仔會展舉行,係渠道SKO外最大活動。咪記作為最大軟件商,參加贊助新廠商仍唔少,目標參加人數一千人。
從贊助廠商名單,可見業內此消彼長。鑽石贊助除咗同咪記千絲萬縷嘅Infocan之外;竟然係Splunk。Splunk專做大數據同Logs分析軟件,人數唔多,竟然成鑽石級贊助。Splunk安裝响Linux上,可能多過Windows,內部則全用Mac機,連瀏覽器都唔用IE。
白金贊助就有Riverbed,河床推雲運算加速,為Office 365及Salesforce.com等加速,減少頻寬需求達到九成,好合適作雲運算,切合今年主題。Salesforce.com亦上得好快,聽富士施樂市務部Debby話,渠哋亦剛轉用Salesforce.com,唔少用戶亦開始考慮利用河床加速。另一家白金廠商係Crestron,專門做家庭自動化系統。白金贊助商中最出名已算係河床。
金牌贊助先至係傳統硬件廠Lenovo同Dell,HP就無參加,可見贊助難搵。金牌最矚目係Nutanix,呢間公司係去年創投集資規模最大嘅企業之一,專門做虛擬化平台,取代SAN/NAS,美國明年上市炙手可熱。其他熟口熟面有Polycom,可能Lync賣得唔錯。伺服器內以快閃PCI卡加速嘅Fusion-IO亦有份,真係冷門。
今年Tech Days力推咪記雲服務Azure同埋Office 365。消費市場當然係Windows 8、Windows Phone及Xbox。Windows
8支援Miracast,直接投映小米盒子等,亦有硬件商開發Miracast組件,可畀投映機連接,唔駛帶線。聽講話現場送出Miracast套件,大會話亦會送三十部諾記Lumia 1520。
2013年8月14日星期三
Splunk針對Hadoop推出測試版本數據分析工具
近年愈來愈多企業或機構,採用Hadoop作為數據儲存,貪其開放式架構兼且可分散地運行於多台廉價伺服器(commodity server)。Hadoop以java寫成,可提供大量資料的分散式運算環境,用以儲存和處理超大規模的資料。
有見及此,實時智能市場軟件供應商Splunk早前便針對Hadoop市場,推出Splunk Analytics for Hadoop測試(beta)版本。此測試版本Hunk乃Splunk之最新產品,具備Hadoop資料探索、分析、圖像化功能,並以Splunk建置的海量數據分析技術為基礎,大幅提升與Hadoop數據互動及分析的速度和便利性,毋須設計程式、斥資整合或被迫遷移數據。
簡易部署毋須特殊技能
Splunk產品市場推廣部副總裁Sanjay Mehta表示,「由於目前市場上缺乏支援Hadoop的商業分析技術,要從Hadoop擷取數據進行分析並不容易,因此我們推出Hunk,目的就是為了在Hadoop上進行數據探索、分析和視像化。現階段參與測試的用戶,主要從事銀行金融、網上零售、電訊以及大學等。」
Mehta續強調Hunk的一大優勢在於簡易部署整合,毋須數據科學家的特殊技能與專業知識,亦能於一小時內完成安裝整合。「Hadoop的一大缺點是非實時,然而Splunk的虛擬索引技術,讓Hunk得以在接收到查詢請求(query)之時即能得出結果;此外,Hunk又融合了加速和視像化技術,令整體效率大幅提高。」
據悉,Hunk的主要功能包括正在申請專利的Splunk虛擬索引技術,讓用戶可流暢地使用所有Splunk技術,包括運用Splunk Search Processing Language、互動式探索、分析與圖像化數據,而不受儲存位置所限,令數據如同存放在Splunk索引內般便利。此外,Hunk亦適用於互動式探索大型多元數據庫,毋須事先了解數據內容,只須將Hunk設定於Hadoop叢集,即可開始進行數據探索,讓用戶能深層分析龐大的數據,同時偵測各項模式與異常狀態,也能自數據中發掘趨勢,並歸納出值得注意的數據規則或模式,從而助用戶總結出有價值的洞見。
有見及此,實時智能市場軟件供應商Splunk早前便針對Hadoop市場,推出Splunk Analytics for Hadoop測試(beta)版本。此測試版本Hunk乃Splunk之最新產品,具備Hadoop資料探索、分析、圖像化功能,並以Splunk建置的海量數據分析技術為基礎,大幅提升與Hadoop數據互動及分析的速度和便利性,毋須設計程式、斥資整合或被迫遷移數據。
簡易部署毋須特殊技能
Splunk產品市場推廣部副總裁Sanjay Mehta表示,「由於目前市場上缺乏支援Hadoop的商業分析技術,要從Hadoop擷取數據進行分析並不容易,因此我們推出Hunk,目的就是為了在Hadoop上進行數據探索、分析和視像化。現階段參與測試的用戶,主要從事銀行金融、網上零售、電訊以及大學等。」
Mehta續強調Hunk的一大優勢在於簡易部署整合,毋須數據科學家的特殊技能與專業知識,亦能於一小時內完成安裝整合。「Hadoop的一大缺點是非實時,然而Splunk的虛擬索引技術,讓Hunk得以在接收到查詢請求(query)之時即能得出結果;此外,Hunk又融合了加速和視像化技術,令整體效率大幅提高。」
據悉,Hunk的主要功能包括正在申請專利的Splunk虛擬索引技術,讓用戶可流暢地使用所有Splunk技術,包括運用Splunk Search Processing Language、互動式探索、分析與圖像化數據,而不受儲存位置所限,令數據如同存放在Splunk索引內般便利。此外,Hunk亦適用於互動式探索大型多元數據庫,毋須事先了解數據內容,只須將Hunk設定於Hadoop叢集,即可開始進行數據探索,讓用戶能深層分析龐大的數據,同時偵測各項模式與異常狀態,也能自數據中發掘趨勢,並歸納出值得注意的數據規則或模式,從而助用戶總結出有價值的洞見。
2011年6月29日星期三
分析機器數據的新利器Splunk
現代商業操作依頼IT系統,架構內有不少機器,從防火牆、路由器、伺服系統、作業系統、應用程式、數據庫,系統之間互動,產生大量記錄檔(Log)的機器數據,可以有不同用途,最常用是偵錯。系統一旦出現失效,只有靠記錄檔來尋找蛛絲馬跡、系統瓶頸等。
從記錄檔也可判斷系統安全是否受威脅,甚至運作異常,可能受入侵等。市面出現了如「保安及資訊事故管理」(SIEM);包括了HP收購的ArcSight、Symantec的SIM和RSA的enVision等,皆是擷取機器數據作分析,並發出入侵預警的SIEM工具。
機器數據也可用於分析消費者行為,企業擷取數據庫內的交易記錄,建立數據倉庫,作為報表分析用途。建立數據倉庫往往從不同來源擷取數據,甚至只擷取部分數據,數據倉庫必須界定不同數據性質(Schema),經過解讀(Parsing),建立數據倉庫再產生報表。這些報表可反映出業務效率,例如工作質量是否達標,並顯示出關鍵表現指標(KPI)。
上述系統,傳統上依賴關聯式數據庫,最耗時是數據須從不同來源,先經擷取、轉化、上載(Extract, Transform, Load)過程,整合成數據倉庫並建立OLAP多維結構,利用不同前端工具如Excel或Hyperion等,解讀數據和建立顯示KPI的儀表板。
機器數據用途廣
分析機器數據也對電子商貿,別具意義。電子商務網站、電訊商、甚至網上理財和銀行,從機器數據監察系統效率,判斷客戶體驗是否達標,甚至直接確定問題根源,這些「應用效能管理」(APM),類似IBM的Tivoli和HP的Quality Center、Oracle的Enterprise Manager,均可從眾多異質系統數據,實時全程監控用戶體驗。
但是,分析機器數據工作愈來愈複雜,除了涉及的機器愈來愈多,軟件趨向多層架構(Multi Tier),一筆交易先經多個元件處理,產生機器數據更多,近年SOA架構也加速多層化趨勢,雲運算更令部分運算,轉而遠端進行。
愈來愈多設備也具備智能,甚至安裝感應器,可以傳送設備狀態,數據量以幾何增長,實時分析市場也更形重要,如何迅速分析這些機器數據,也成為IT商業分析的發展方向。
機器數據也廣泛應用於其他用途;例如資產管理用途,比較著名的產品包括了IBM的Maximo,可以根據個別事故甚至條件,啟動不同處理程序,自動化管理設備,甚至是交通運輸和發電站等。
上述不同系統,從不同系統擷取數據作專門分析,各自為政,難有全盤觀點。
然而,系統所產生大多為非結構數據,格式不盡相同,短時間內產生極大量數據,又引起所謂「Big Data」問題,部分如APM和資產管理也須實時監察,甚至未寫進數據庫前,就先以串流(Streaming)分析,馬上獲得結果。
以檢索引擎取代數據庫
最近,市場上興起以非結構方式分析機器數據,而最著名的產品可數是Splunk。Splunk是檢索引擎,可以取代SIEM、APM、數據倉庫等功能,最吸引是設定簡單,擴充能力極強,短時間內分析大量的機器機器。
互聯網最普遍使用於搜尋和整理數據,是利用高速檢索引擎,建立索引再行組織。而幾乎所有機器數據皆有時間戮記(Time Stamp),發生次序又通常追查問題的最重要線索,加上最新分散運算技術Mapreduce,短時間內處理大量數據,甚至實時以串流分析。
Splunk亞太及日本區域副總裁劉文熙說,Splunk以專門用於機器數據的檢索引擎,優點是放棄關聯式數據庫,直接讀取機器數據,以檢索文字、XML及串流數據,作不同的監察和分析,涵蓋多種用途。
不同系統記錄檔格式各異,Splunk只是檢索(Indexing),不須任何轉譯或者連接器,甚至安裝資料庫,數據全部上載至Splunk的檔案系統和儲存器。Splunk以實時建立檢索,並向用戶馬上提供查詢答案。劉文熙表示:最初Splunk多用於記錄檔分析,後來愈來愈多用於商業智能和分析用途,以加快決策過程。
Splunk只要數天時間就能操作,比數據倉庫動輒數月才能設定要短得多,Splunk只要閱讀機器數據的TCP/UDP端口,就可以馬上工作。用戶可以設定Splunk閱讀任何設備、應用、甚至網上公開的XML服務,就可以就不同來源進行分析和檢索,甚至追尋數據之間的關係。
小題:設置時間大為縮短
「Splunk設置時間縮短,安裝簡單,因為不用關聯式數據庫,所以毋須專門人才去建立數據倉庫。Splunk也支援IPv6,支援從更多來源擷取數據。」劉文熙表示:「日本有公司利用Splunk來監察外判商表現,只消從遠端閱讀設備的記錄檔,便獲悉外判商實時工作表現。」
「電訊商可以通過記錄檔,通過簡單檢索,獲悉用戶實時體驗。例如用iPhone和Android用戶比例,登入和失敗次數,停留某網頁時間等。甚至用於作商業分析,建立KPI,釐定系統是否乎合服務水平。」
Splunk跟一般記錄檔分析工具分別,除了放棄採用關聯數據庫,不再界定Schema,也在於處理數據的極高性能。
Splunk可處理超大型數據(Big Data),原因是架構上跟目前處理超大型平行運算,起初由Google推動Hadoop架構,同樣採用了MapReduce原理,檢索和運算可分散至多部機器執行,化整為零,結果再化零為整,結合多部伺服器平行處理的運算,同樣查詢較SQL語言,快上十至八倍,卻毋須建立類似Teradata的MPP 數據倉庫架構。Splunk也能跟Hadoop平台整合。Hadoop採用了MapReduce技術和本身檔案系統,已普遍用於大型網站,其中最著名用戶包括Yahoo!。但Hadoop設定較為複雜,Splunk架設則相對簡單。
不同設備生產商也整合Splunk,例如F5就推出以Splunk檢索F5 Big IP和FirePass,記錄檔出現異常時發出預警。日本有整合商發明從IP電插座蒐集數據,統計用電量改善配電,以減少耗能。
劉文熙表示,有人以Splunk用RSS設定,從美國地質調查局擷取 XML數據,建立全球地震監察系統,隨時匯報全球地震的分佈。Splunk也被廣泛用於分析網站用戶行為。Splunk也有免費版本可供下載,可分析500MB數據。
從記錄檔也可判斷系統安全是否受威脅,甚至運作異常,可能受入侵等。市面出現了如「保安及資訊事故管理」(SIEM);包括了HP收購的ArcSight、Symantec的SIM和RSA的enVision等,皆是擷取機器數據作分析,並發出入侵預警的SIEM工具。
機器數據也可用於分析消費者行為,企業擷取數據庫內的交易記錄,建立數據倉庫,作為報表分析用途。建立數據倉庫往往從不同來源擷取數據,甚至只擷取部分數據,數據倉庫必須界定不同數據性質(Schema),經過解讀(Parsing),建立數據倉庫再產生報表。這些報表可反映出業務效率,例如工作質量是否達標,並顯示出關鍵表現指標(KPI)。
上述系統,傳統上依賴關聯式數據庫,最耗時是數據須從不同來源,先經擷取、轉化、上載(Extract, Transform, Load)過程,整合成數據倉庫並建立OLAP多維結構,利用不同前端工具如Excel或Hyperion等,解讀數據和建立顯示KPI的儀表板。
機器數據用途廣
分析機器數據也對電子商貿,別具意義。電子商務網站、電訊商、甚至網上理財和銀行,從機器數據監察系統效率,判斷客戶體驗是否達標,甚至直接確定問題根源,這些「應用效能管理」(APM),類似IBM的Tivoli和HP的Quality Center、Oracle的Enterprise Manager,均可從眾多異質系統數據,實時全程監控用戶體驗。
但是,分析機器數據工作愈來愈複雜,除了涉及的機器愈來愈多,軟件趨向多層架構(Multi Tier),一筆交易先經多個元件處理,產生機器數據更多,近年SOA架構也加速多層化趨勢,雲運算更令部分運算,轉而遠端進行。
愈來愈多設備也具備智能,甚至安裝感應器,可以傳送設備狀態,數據量以幾何增長,實時分析市場也更形重要,如何迅速分析這些機器數據,也成為IT商業分析的發展方向。
機器數據也廣泛應用於其他用途;例如資產管理用途,比較著名的產品包括了IBM的Maximo,可以根據個別事故甚至條件,啟動不同處理程序,自動化管理設備,甚至是交通運輸和發電站等。
上述不同系統,從不同系統擷取數據作專門分析,各自為政,難有全盤觀點。
然而,系統所產生大多為非結構數據,格式不盡相同,短時間內產生極大量數據,又引起所謂「Big Data」問題,部分如APM和資產管理也須實時監察,甚至未寫進數據庫前,就先以串流(Streaming)分析,馬上獲得結果。
以檢索引擎取代數據庫
最近,市場上興起以非結構方式分析機器數據,而最著名的產品可數是Splunk。Splunk是檢索引擎,可以取代SIEM、APM、數據倉庫等功能,最吸引是設定簡單,擴充能力極強,短時間內分析大量的機器機器。
互聯網最普遍使用於搜尋和整理數據,是利用高速檢索引擎,建立索引再行組織。而幾乎所有機器數據皆有時間戮記(Time Stamp),發生次序又通常追查問題的最重要線索,加上最新分散運算技術Mapreduce,短時間內處理大量數據,甚至實時以串流分析。
Splunk亞太及日本區域副總裁劉文熙說,Splunk以專門用於機器數據的檢索引擎,優點是放棄關聯式數據庫,直接讀取機器數據,以檢索文字、XML及串流數據,作不同的監察和分析,涵蓋多種用途。
不同系統記錄檔格式各異,Splunk只是檢索(Indexing),不須任何轉譯或者連接器,甚至安裝資料庫,數據全部上載至Splunk的檔案系統和儲存器。Splunk以實時建立檢索,並向用戶馬上提供查詢答案。劉文熙表示:最初Splunk多用於記錄檔分析,後來愈來愈多用於商業智能和分析用途,以加快決策過程。
Splunk只要數天時間就能操作,比數據倉庫動輒數月才能設定要短得多,Splunk只要閱讀機器數據的TCP/UDP端口,就可以馬上工作。用戶可以設定Splunk閱讀任何設備、應用、甚至網上公開的XML服務,就可以就不同來源進行分析和檢索,甚至追尋數據之間的關係。
小題:設置時間大為縮短
「Splunk設置時間縮短,安裝簡單,因為不用關聯式數據庫,所以毋須專門人才去建立數據倉庫。Splunk也支援IPv6,支援從更多來源擷取數據。」劉文熙表示:「日本有公司利用Splunk來監察外判商表現,只消從遠端閱讀設備的記錄檔,便獲悉外判商實時工作表現。」
「電訊商可以通過記錄檔,通過簡單檢索,獲悉用戶實時體驗。例如用iPhone和Android用戶比例,登入和失敗次數,停留某網頁時間等。甚至用於作商業分析,建立KPI,釐定系統是否乎合服務水平。」
Splunk跟一般記錄檔分析工具分別,除了放棄採用關聯數據庫,不再界定Schema,也在於處理數據的極高性能。
Splunk可處理超大型數據(Big Data),原因是架構上跟目前處理超大型平行運算,起初由Google推動Hadoop架構,同樣採用了MapReduce原理,檢索和運算可分散至多部機器執行,化整為零,結果再化零為整,結合多部伺服器平行處理的運算,同樣查詢較SQL語言,快上十至八倍,卻毋須建立類似Teradata的MPP 數據倉庫架構。Splunk也能跟Hadoop平台整合。Hadoop採用了MapReduce技術和本身檔案系統,已普遍用於大型網站,其中最著名用戶包括Yahoo!。但Hadoop設定較為複雜,Splunk架設則相對簡單。
不同設備生產商也整合Splunk,例如F5就推出以Splunk檢索F5 Big IP和FirePass,記錄檔出現異常時發出預警。日本有整合商發明從IP電插座蒐集數據,統計用電量改善配電,以減少耗能。
劉文熙表示,有人以Splunk用RSS設定,從美國地質調查局擷取 XML數據,建立全球地震監察系統,隨時匯報全球地震的分佈。Splunk也被廣泛用於分析網站用戶行為。Splunk也有免費版本可供下載,可分析500MB數據。
訂閱:
文章 (Atom)