近年來,有關大數據討論不少,應用案例卻有限。歷來數據的來源,以機器佔多。例如伺服系統或感覺器的紀錄(Log)。這些數據包含了不少系統和用戶信息,除了加快偵錯,從中也可發掘出寶貴的業務啟示。
不少機器產生的數據,皆屬於非結構數據。傳統分析系統的關聯數據庫,須先作將數據定義性質(Schema),再建立查詢(Query),找出不同關係。十年前,Splunk推出了利用類似Google的技術,以高速檢索方式,自動找出數據關係。自此利用Splunk分析大數據的優點,愈來愈為人認識。
最初,Splunk只是用於數據中心,省卻了管理人員,偵錯不再須要翻查浩瀚分散的系統紀錄檔。許多時,通過連結紀錄檔內時間標籤(Time Stamp),比較事故前因後果,Splunk短時間內往往可找出輪廓。Splunk亦可輕易按查詢的資料,建立「儀表板」(Dashboard),方便監察和分析,甚至建立負荷的「臨界點」(Threshold),系統超出負荷時,馬上作出警示。
逆向分析數據建立事件關係
不少系統廠商,很早就發現Splunk適合於偵錯用途,幾乎大部分均開發針對設備紀錄檔的檢索範本(Template)監察系統。這些所謂「範本」,可搜尋系統所產生特定格式的紀錄檔,憑關鍵字逆向辨認定義數據,也就是所謂「schema on-the-fly」。利用自行產生的Schema,加上簡單檢索語句,快速建立事件的關係,再以儀表板顯示系統或用戶狀態。檢索的範本又可不斷修正,增減監察因素。有時,不同系統紀錄檔加在一起,更可獲悉意想不到的關係。
目前,Splunk流行用於監察IT基建工具之一,原因是應用簡單,上馬迅速,只要Syslog檔交給Splunk,就幾乎可運作。Splunk亦廣泛應用於監察Citrix和VMware等虛擬系統。Splunk應用不少皆屬免費,下載安裝就即時檢索產生報告。除了排錯,也作為監察應用或網絡性能,即NPM或APM等用途。
相較傳統工具,Splunk可快速整合起動,極受系統人員歡迎,部署於IT營運管理,其他亦如雨後春筍,例如商業分析或SIEM,也可配合防火牆作保安或偵察APT,甚至用於「支付卡行業」(PCI)的安全評估程序審計,追蹤分析社交網絡趨勢等。
香港為基地的網上散戶證券商8 Securities,採用公共雲Amazon提供用戶交易平台。8 Securities讓客戶建立網上個人化的交易平台,用戶從單一介面,可投資超過一萬五千種美國及香港上市的股票和基金,取得市場數據和研究報告,也支援多語文和不同裝置。8 Securities客戶根據個人習慣,自行決定平台的內容,8 Securities系統支援極大量個人化資訊。
確保系統轉移萬無一失
去年,8 Securities收購了日本網上經紀United World,並且加入了五萬五千名新客戶,資產超過了十億美元,為全亞洲最大的獨立散戶經紀。
據8 Securities 科技總監Cedric Roll表示,收購之後8 Securities馬上將日本數據中心,轉移以Amazon的AWS雲服務作為客戶平台。「AWS相較於原有數據中心,節省達八成開支,穩定性和速度更高,仍維持同樣保安水平。」
轉移用戶過程不容有失,8 Securities交易平台內,有眾多虛擬機器,運行中間件、負載平衡、數據庫和第三方開發的應用。「Splunk可監察Amazon的AWS上運行狀況,Splunk可快速從AWS的VM傳回系統負載,不斷作修正。」
Roll表示,從Splunk數據很容找出雲端系統配置各種問題;例如資源或記憶體分配不足,或是軟件設計出現瑕疵,或者中間件必須調整等等。
「大量紀錄檔迅速儲存至Amazon低價的S3長期儲存內,作趨勢分析等用途。Splunk配搭AWS,令大量用戶轉移至雲平台,變得非常簡單。」
8 Securities除了讓用戶可按其習慣,自行建立個性化的平台;另外一項功能,是社交平台可讓用戶,參考內部投資者意見。Roll表示,他們將利用Splunk採掘內部社交平台的資料,自動向提供深入的市場分析,助用戶掌握準確投資趨勢。
「8 Securities仿似是投資的社區,相對其他公共投資社交平台,與用戶交換意見,8 Securities均彼此思維模式接近的投資者,比起公眾論壇,可信性更高。」
不少機器產生的數據,皆屬於非結構數據。傳統分析系統的關聯數據庫,須先作將數據定義性質(Schema),再建立查詢(Query),找出不同關係。十年前,Splunk推出了利用類似Google的技術,以高速檢索方式,自動找出數據關係。自此利用Splunk分析大數據的優點,愈來愈為人認識。
最初,Splunk只是用於數據中心,省卻了管理人員,偵錯不再須要翻查浩瀚分散的系統紀錄檔。許多時,通過連結紀錄檔內時間標籤(Time Stamp),比較事故前因後果,Splunk短時間內往往可找出輪廓。Splunk亦可輕易按查詢的資料,建立「儀表板」(Dashboard),方便監察和分析,甚至建立負荷的「臨界點」(Threshold),系統超出負荷時,馬上作出警示。
逆向分析數據建立事件關係
不少系統廠商,很早就發現Splunk適合於偵錯用途,幾乎大部分均開發針對設備紀錄檔的檢索範本(Template)監察系統。這些所謂「範本」,可搜尋系統所產生特定格式的紀錄檔,憑關鍵字逆向辨認定義數據,也就是所謂「schema on-the-fly」。利用自行產生的Schema,加上簡單檢索語句,快速建立事件的關係,再以儀表板顯示系統或用戶狀態。檢索的範本又可不斷修正,增減監察因素。有時,不同系統紀錄檔加在一起,更可獲悉意想不到的關係。
目前,Splunk流行用於監察IT基建工具之一,原因是應用簡單,上馬迅速,只要Syslog檔交給Splunk,就幾乎可運作。Splunk亦廣泛應用於監察Citrix和VMware等虛擬系統。Splunk應用不少皆屬免費,下載安裝就即時檢索產生報告。除了排錯,也作為監察應用或網絡性能,即NPM或APM等用途。
相較傳統工具,Splunk可快速整合起動,極受系統人員歡迎,部署於IT營運管理,其他亦如雨後春筍,例如商業分析或SIEM,也可配合防火牆作保安或偵察APT,甚至用於「支付卡行業」(PCI)的安全評估程序審計,追蹤分析社交網絡趨勢等。
香港為基地的網上散戶證券商8 Securities,採用公共雲Amazon提供用戶交易平台。8 Securities讓客戶建立網上個人化的交易平台,用戶從單一介面,可投資超過一萬五千種美國及香港上市的股票和基金,取得市場數據和研究報告,也支援多語文和不同裝置。8 Securities客戶根據個人習慣,自行決定平台的內容,8 Securities系統支援極大量個人化資訊。
確保系統轉移萬無一失
去年,8 Securities收購了日本網上經紀United World,並且加入了五萬五千名新客戶,資產超過了十億美元,為全亞洲最大的獨立散戶經紀。
據8 Securities 科技總監Cedric Roll表示,收購之後8 Securities馬上將日本數據中心,轉移以Amazon的AWS雲服務作為客戶平台。「AWS相較於原有數據中心,節省達八成開支,穩定性和速度更高,仍維持同樣保安水平。」
轉移用戶過程不容有失,8 Securities交易平台內,有眾多虛擬機器,運行中間件、負載平衡、數據庫和第三方開發的應用。「Splunk可監察Amazon的AWS上運行狀況,Splunk可快速從AWS的VM傳回系統負載,不斷作修正。」
Roll表示,從Splunk數據很容找出雲端系統配置各種問題;例如資源或記憶體分配不足,或是軟件設計出現瑕疵,或者中間件必須調整等等。
「大量紀錄檔迅速儲存至Amazon低價的S3長期儲存內,作趨勢分析等用途。Splunk配搭AWS,令大量用戶轉移至雲平台,變得非常簡單。」
8 Securities除了讓用戶可按其習慣,自行建立個性化的平台;另外一項功能,是社交平台可讓用戶,參考內部投資者意見。Roll表示,他們將利用Splunk採掘內部社交平台的資料,自動向提供深入的市場分析,助用戶掌握準確投資趨勢。
「8 Securities仿似是投資的社區,相對其他公共投資社交平台,與用戶交換意見,8 Securities均彼此思維模式接近的投資者,比起公眾論壇,可信性更高。」
沒有留言:
發佈留言