一、簡介

當(dāng)前計算機(jī)網(wǎng)絡(luò)與信息安全領(lǐng)域，正面臨著一場全新的挑戰(zhàn)。一方面，伴隨大數(shù)據(jù)和云計算時代的到來，安全問題正在變成一個大數(shù)據(jù)問題，企業(yè)和組織的網(wǎng)絡(luò)及信息系統(tǒng)每天都在產(chǎn)生大量的安全數(shù)據(jù)，并且產(chǎn)生的速度越來越快。另一方面，國家、企業(yè)和組織所面對的網(wǎng)絡(luò)空間安全形勢嚴(yán)峻，需要應(yīng)對的攻擊和威脅變得日益復(fù)雜，這些威脅具有隱蔽性強(qiáng)、潛伏期長、持續(xù)性強(qiáng)的特點(diǎn)。

    面對這些新挑戰(zhàn)，傳統(tǒng)的企業(yè)安全管理平臺局限性顯露無遺，主要體現(xiàn)在以下幾個方面：

1. 海量數(shù)據(jù)的處理

企業(yè)安全管理平臺管理涉及企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等，每天會產(chǎn)生大量的安全事件和運(yùn)行日志等安全數(shù)據(jù)，其數(shù)據(jù)量可能非常巨大。面對海量的安全數(shù)據(jù)，安全管理人員很難從中發(fā)現(xiàn)有價值的信息;另一方面，面對海量數(shù)據(jù)時，傳統(tǒng)的企業(yè)安全管理平臺技術(shù)架構(gòu)在數(shù)據(jù)采集、存儲、分析處理和展現(xiàn)方面也遭遇不同瓶頸。

2. 多源異構(gòu)數(shù)據(jù)采集

企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等均可能涉及不同種類不同廠家，由于各設(shè)備的產(chǎn)品差異性，企業(yè)安全管理平臺面對的安全數(shù)據(jù)在結(jié)構(gòu)和格式上均不統(tǒng)一，給數(shù)據(jù)分析帶來困難。這一問題造成企業(yè)安全管理平臺數(shù)據(jù)采集效率降低，從而導(dǎo)致性能上遇到瓶頸。

3. 安全數(shù)據(jù)分散和孤立

企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等會分散在網(wǎng)絡(luò)的不同位置，如果各個數(shù)據(jù)之間缺乏有效的關(guān)聯(lián)，則會導(dǎo)致安全信息的孤立，形成信息孤島，無法對大量數(shù)據(jù)進(jìn)行整體性的分析。目前網(wǎng)絡(luò)中的攻擊行為一般都是分段式的攻擊方式，每個步驟都可能由不同的安全設(shè)備監(jiān)測發(fā)現(xiàn)并存在于不同日志當(dāng)中，如果僅對單獨(dú)設(shè)備安全日志進(jìn)行分析則難以發(fā)現(xiàn)完整攻擊行為。為了提高安全數(shù)據(jù)分析的準(zhǔn)確性，就需要通過基于大數(shù)據(jù)的事件關(guān)聯(lián)分析，找出多條報警之間的相關(guān)性，從中發(fā)現(xiàn)潛在的威脅行為或攻擊行為。

4. 缺乏深度挖掘手段

當(dāng)前網(wǎng)絡(luò)環(huán)境中新型攻擊手段層出不窮，與傳統(tǒng)攻擊手段不同，新型攻擊手段更加隱蔽，用傳統(tǒng)檢測方法更加難以發(fā)現(xiàn)，比如APT攻擊。面對新型攻擊手段的長期性、隱蔽性和高級性，傳統(tǒng)的基于實(shí)時分析的監(jiān)控技術(shù)已經(jīng)不再適應(yīng)，為了防止新型攻擊手段造成的危害，有必要對歷史安全數(shù)據(jù)進(jìn)行深層的離線挖掘，從大量的歷史數(shù)據(jù)之中發(fā)現(xiàn)新型攻擊行為的端倪，從而防患于未然。

以上問題，可以用一句話來總結(jié)，即海量、多源異構(gòu)、分散獨(dú)立的安全數(shù)據(jù)，給傳統(tǒng)的企業(yè)安全管理平臺帶來了分析、存儲、檢索上的諸多難題。由此看來，新一代企業(yè)安全管理平臺應(yīng)該以大數(shù)據(jù)平臺架構(gòu)為支撐，支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化，將過去分散的安全信息進(jìn)行集成與關(guān)聯(lián)，獨(dú)立的分析方法和工具進(jìn)行整合形成交互，從而實(shí)現(xiàn)智能化的安全分析與決策，將機(jī)器學(xué)習(xí)、數(shù)據(jù)挖據(jù)等技術(shù)應(yīng)用于安全分析，并且要更快更好地的進(jìn)行安全決策。大數(shù)據(jù)的發(fā)展給企業(yè)安全管理平臺帶來了新的挑戰(zhàn)，但是其催生出的大數(shù)據(jù)技術(shù)也給企業(yè)安全管理平臺帶來機(jī)遇和全新的活力。

二、何為大數(shù)據(jù)?

大數(shù)據(jù)的通俗定義為“用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合”，廣義定義為“一個綜合性概念，它包括因具備4V(海量/多樣/快速/價值，Volume/Variety/Velocity/Value)特征而難以進(jìn)行管理的數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行存儲、處理、分析的技術(shù)，以及能夠通過分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織?！?/span>

大數(shù)據(jù)具有四個重要特征(即4V特點(diǎn))：Volume(海量)、Variety(多樣)、Velocity(快速)、Value(價值)。

• Volume指的是數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具進(jìn)行有效處理和分析，所以有必要變更傳統(tǒng)的數(shù)據(jù)處理和分析方法。

• Variety指的是數(shù)據(jù)來源廣、形式多樣，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，非結(jié)構(gòu)數(shù)據(jù)的增長速度比結(jié)構(gòu)化數(shù)據(jù)的增長速度更快，并且具有十分可觀的利用價值，對其進(jìn)行分析可以揭露出以前很難或無法確定的重要信息。

• Velocity是指相對于傳統(tǒng)數(shù)據(jù)處理系統(tǒng)而言，大數(shù)據(jù)分析系統(tǒng)對實(shí)時性的要求更高，需要在很短的時間內(nèi)完成計算，否則得出的結(jié)果將是過時的、無效的。

• Value是指大數(shù)據(jù)是有價值的，但在海量數(shù)據(jù)當(dāng)中，真正有價值有意義的只是很少一部分。

三、大數(shù)據(jù)在信息安全上的應(yīng)用

大數(shù)據(jù)在信息安全上的應(yīng)用主要表現(xiàn)為，數(shù)據(jù)的爆炸性增長給目前的信息安全技術(shù)帶來了挑戰(zhàn)，傳統(tǒng)的信息安全技術(shù)在面對超大數(shù)據(jù)量時已經(jīng)不再適宜，需要基于大數(shù)據(jù)環(huán)境的特點(diǎn)開發(fā)新一代安全技術(shù)。目前流行的安全實(shí)踐主要是依賴于邊界防御，依賴于需要預(yù)定網(wǎng)絡(luò)威脅知識的靜態(tài)安全控制措施。但是這種安全實(shí)踐在應(yīng)對目前極度延伸的、基于云的、移動性極強(qiáng)的商業(yè)世界來說，已經(jīng)不太適宜了。基于這個背景，業(yè)界開始將信息安全的研究重點(diǎn)轉(zhuǎn)向智能驅(qū)動的信息安全模型，這是一種能夠感知風(fēng)險的、基于上下文背景的、靈活的、能幫助企業(yè)抵御未知高級網(wǎng)絡(luò)威脅的模型。而這種由大數(shù)據(jù)分析工具支持的、智能驅(qū)動的信息安全方法可以融合動態(tài)的風(fēng)險評估、巨量安全數(shù)據(jù)的分析、自適應(yīng)的控制措施以及有關(guān)網(wǎng)絡(luò)威脅和攻擊技術(shù)的信息共享。其次，大數(shù)據(jù)理念可以被利用到信息安全技術(shù)中來，比如通過大數(shù)據(jù)分析可以對海量的網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行快速有效的關(guān)聯(lián)分析，從中找出與網(wǎng)絡(luò)安全相關(guān)的信息。可以預(yù)測，將大數(shù)據(jù)集成至安全實(shí)踐，將會極大地增強(qiáng)對IT環(huán)境的可視性，提高鑒別正?；顒雍涂梢苫顒拥哪芰?，從而幫助確保IT系統(tǒng)的可信性，并大大提高安全事件響應(yīng)能力。

四、大數(shù)據(jù)安全分析

大數(shù)據(jù)安全分析，顧名思義，就是指利用大數(shù)據(jù)技術(shù)來進(jìn)行安全分析。借助大數(shù)據(jù)安全分析技術(shù)，能夠更好地解決海量安全數(shù)據(jù)的采集、存儲的問題，借助基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡(luò)安全的態(tài)勢，更加主動、彈性地去應(yīng)對新型復(fù)雜的威脅和未知多變的風(fēng)險。

在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)安全分析是企業(yè)安全管理平臺安全事件分析的核心技術(shù)，而大數(shù)據(jù)安全分析對安全數(shù)據(jù)處理效果主要依賴于分析方法。但當(dāng)應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域的時候，還必須考慮到安全數(shù)據(jù)自身的特點(diǎn)和安全分析的目標(biāo)，這樣大數(shù)據(jù)安全分析的應(yīng)用才更有價值。

五、大數(shù)據(jù)分析在企業(yè)安全管理平臺上的應(yīng)用

目前應(yīng)用于大數(shù)據(jù)分析的主流技術(shù)架構(gòu)是Hadoop，業(yè)界在進(jìn)行大數(shù)據(jù)分析時越來越重視它的作用。Hadoop的HDFS技術(shù)和HBase技術(shù)與大數(shù)據(jù)的超大容量存儲需求正好匹配，Hadoop的MapReduce技術(shù)也能滿足大數(shù)據(jù)的快速實(shí)時分析需求。

基于前面介紹過的傳統(tǒng)企業(yè)安全管理平臺面對的挑戰(zhàn)和局限性問題，可以把Hadoop技術(shù)應(yīng)用在企業(yè)安全管理平臺中，發(fā)展成為新一代的企業(yè)安全管理平臺，實(shí)現(xiàn)支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化功能。

使用Hadoop架構(gòu)的新一代企業(yè)安全管理平臺具有以下特點(diǎn)：

• 可擴(kuò)展性：支持動態(tài)增加和刪除系統(tǒng)節(jié)點(diǎn)，集群搭建方式靈活可控。

• 高效性：以分布式文件系統(tǒng)進(jìn)行存儲數(shù)據(jù)，支持海量數(shù)據(jù)的快速讀/寫、查詢操作;采用分布式計算進(jìn)行數(shù)據(jù)分析與業(yè)務(wù)操作，各業(yè)務(wù)節(jié)點(diǎn)獨(dú)立計算互不干，節(jié)點(diǎn)數(shù)量越多運(yùn)算速度越快。

• 可靠性：系統(tǒng)自動容災(zāi)(HA);采用主-從機(jī)制(Master-Slave)進(jìn)行集群搭建，系統(tǒng)內(nèi)節(jié)點(diǎn)間數(shù)據(jù)互相實(shí)時備份，當(dāng)節(jié)點(diǎn)宕機(jī)時直接切換至備份節(jié)點(diǎn)，運(yùn)算單元宕機(jī)時直接切換至備份運(yùn)算節(jié)點(diǎn)。

• 低成本：對系統(tǒng)中各節(jié)點(diǎn)設(shè)備硬件要求不高，而且Java技術(shù)開發(fā)可跨平臺，相關(guān)技術(shù)是開源的。

總之，與傳統(tǒng)架構(gòu)的企業(yè)安全管理平臺相比，采用Hadoop的下一代企業(yè)安全管理平臺能大大提升數(shù)據(jù)分析的運(yùn)算速度，降低運(yùn)算代價，提高數(shù)據(jù)安全性，為用戶靈活提供各種分析引擎與分析手段。

六、總結(jié)

綜上所述，可以看出借助大數(shù)據(jù)分析框架及大數(shù)據(jù)安全分析技術(shù)，能夠很好地解決傳統(tǒng)企業(yè)安全管理平臺的安全數(shù)據(jù)采集、分析、存儲、檢索問題。從長遠(yuǎn)來看，未來的企業(yè)安全管理平臺還應(yīng)通過對基于大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖據(jù)算法、可視化分析及智能化分析等新技術(shù)的研究，完善企業(yè)安全管理平臺功能，使其能夠更加智能地分析網(wǎng)絡(luò)安全態(tài)勢，從而更加主動、彈性地去應(yīng)對新型復(fù)雜的威脅和未知多變的風(fēng)險。但是，不論企業(yè)安全管理平臺的技術(shù)如何發(fā)展，如何與大數(shù)據(jù)結(jié)合，企業(yè)安全管理平臺所要解決的客戶根本性問題，以及與客戶業(yè)務(wù)融合的趨勢依然未變。對大數(shù)據(jù)的應(yīng)用依然要服務(wù)于解決客戶的實(shí)際安全管理問題這個根本目標(biāo)。