文章基于當下網絡安全形勢及安全需求，從傳統網絡安全防護體系的不足和基于大數據技術的攻擊態勢感知分析優勢兩個方面，對全網多源安全事件進行關聯分析并研究，運用數據挖掘、態勢分析等技術，建立一套集安全信息采集與存儲、集中處置與分析、態勢監測與預測于一體的態勢感知平臺。該平臺整合全網環境內管理類、用戶類、資產類等數據，經統一匯聚存儲，利用智能分析技術，將多種安全日志、報警數據轉換成可視化的安全事件信息，解決了目前多個網絡安全系統之間無法形成有效的整體安全防護效果的問題。文章從多源安全數據的采集與處理、存儲、分析與展示三個層面對平臺的設計思路、技術要點和分析方法進行闡述，并對平臺的實現情況進行了說明。
經過多年的信息化與網絡安全建設，各單位的信息系統發展日益復雜化且功能愈加強大，信息化建設日益復雜化且功能強大。但隨著網絡環境的不斷變化，面向業務和用戶數據的攻擊行為也在迅猛增加，并且朝著技術專業化、團隊組織化、行動隱蔽化、攻擊分散化等特點發展，網絡空間安全面愈加嚴峻的威脅和挑戰。一方面攻擊面不斷增加，攻擊者可能會從一個業務系統的各組件進行掃描，利用多弱點實施攻擊；另一方面攻擊的步驟逐漸復雜化，攻擊者進行持續的滲透工作，進而最終攻克用戶的核心業務系統或竊取核心數據。在這種背景下，雖然組織不斷完善安全防護體系，部署了防火墻、防病毒等各類防護設備，但無法掌握全網安全狀況，無法有效整合串聯所有的安全監控資源及安全信息，無法將全網安全信息有效利用起來，形成全網統一監測、集中分析、集中展示呈現的態勢感知機制。
為提高國家信息安全保障能力，2015年1月，公安部頒布了《關于加快推進網絡與信息安全通報機制建設的通知》（公信安[2015]21號）文件。通知明確要求建立攻擊態勢感知監測通報手段和信息通報預警及應急處置體系，實現對重要網站和網上重要信息系統的安全監測、網上計算機病毒木馬傳播監測、通報預警、應急處置、態勢分析、安全事件（事故）管理等功能，為開展相關工作提供技術保障。
《網絡安全法》明確了監測預警與應急處置措施，建立統一的檢測預警、信息通報和應急處置制度和體系。因此加強和完善網絡安全監測預警與主動防御的能力刻不容緩。
一、傳統網絡安全防護存在的問題
隨著互聯網以及周邊網絡安全產品的發展，信息安全越來越受到重視。組織無論是出于對自身利益的考慮，還是對于社會責任的考慮，都已開始構建更為豐富的內部安全體系。安全體系涵蓋了包括防火墻，IDS、WAF、抗DDOS等在內的安全防護系統以及安全評估、安全加固等專業安全服務。但業務信息系統運行依然面臨諸多安全威脅，主要安全問題為：
安全設備在過去幾年里積累了大量的歷史數據，但現有技術手段無法有效分析信息系統各設備和軟件的運行或檢測數據，導致安全問題無法及時發現；無法預測安全風險趨勢，導致無法及時調整安全策略。
過去的安全設備往往是針對某種特定威脅的，但隨著信息安全事件的不斷復雜化，孤立的安全措施很難適應綜合的安全事件，無法從根本上解決這些問題。
無法了解當前整個IT系統的整體運行狀況和安全狀態。
傳統的安全發現大多反應的是網絡和系統的可用性問題，無法有效發現由安全風險引發的網絡和系統問題，
傳統的網絡安全防護機制是當安全問題出現之后，才考慮如何去追溯，無法提前預測或在發現問題出現之前發現。
現有的安全措施很難保障組織對信息安全事件的響應速度，無法達到業務連續性的要求。
二、基于大數據的攻擊態勢感知平臺設計
（一）基礎架構設計
平臺依托于前沿大數據技術框架，整合E L K、Impala等大數據技術，形成基于大數據的攻擊態勢感知平臺。平臺從數據采集、數據存儲到態勢分析與功能呈現都應用了大數據技術，以應對海量安全信息數據的高速處理場景，并通過分析結果和可視化效果呈現全網的攻擊態勢感知。
平臺整個技術架構分為3個層次：數據采集與處理層、數據存儲層、態勢分析與功能呈現層（如圖1）。下面圍繞系統設計、技術要點和實現方案對這三個層次進行闡述。
數據采集與處理層：實現了對全網IT資源的資產信息、性能信息、日志與安全事件信息、弱點信息等安全信息的統一采集與匯聚功能。
數據存儲層：數據存儲采用MPP架構數據倉庫來存儲加工處理后的日志數據，并將數據積累起來，實現海量安全大數據的分布式存儲，為上層態勢分析提供數據支撐。
態勢分析與功能呈現層：針對各類安全信息，實現失陷主機實時檢測與告警分析、攻擊鏈實時分析、用戶行為畫像分析、資產異常行為分析、時間軸組件分析等態勢分析能力，是系統的核心功能層。
（二）數據采集與處理
攻擊態勢感知平臺安全數據源主要指用戶環境內各類IT資產信息、設備性能信息、日志與安全事件信息等各類原始安全數據。
采集與處理環節的主要原理是利用FileBeat、Logstash等方式收集個日志源的數據并發送到Kafka集群，通過Logstash等方式對日志進行格式化處理并經初步篩選后，將匯總數據寫入Elasticsearch。再利用Impala On Elasticsearch的前沿技術方案將非結構化數據處理并轉換成結構化數據。
平臺通過Impala來讀取存儲在Elasticsearch中的數據并進行查詢和實時展現。具體實現如圖2：
Impala是用于處理存儲在大數據集群中（HDFS＼ HBASE等）的海量數據的MPP（大規模并行處理）SQL查詢引擎。
（三）數據存儲
數據存儲集成分布式文件系統、數據庫集群、關系數據庫系統等構建混合數據倉庫，實現了海量數據的集中存儲與管理，滿足結構化數據、非結構化數據等不同類型數據的存儲需要。針對不同數據類型采用不同存儲機制，如設備、系統數據由于其具有異構性及高并發性，采用分布式存儲進行數據保存；安全情報數據進行結構化存儲；相關重點數據進行索引保存。
本平臺數據存儲層采用MPP架構數據倉庫技術來存儲加工處理后（Impala SQL數據集）的日志數據，將數據積累起來，形成歷史數據庫，用于數據挖掘和分析使用，具體技術如下圖3：
（四）態勢分析與功能呈現
態勢分析與功能呈現實現對數據存儲層中海量數據的實時和歷史分析，并將分析結果數據可視化展示，綜合威脅情報提供安全預警，并提供人機交互界面，向安全管理人員呈現全方位安全狀態。
本平臺涉及的態勢分析場景包括3類，分別為失陷主機實時檢測與告警分析、攻擊鏈實時分析、用戶行為畫像分析。
1、失陷主機實時檢測與告警分析
失陷主機基于“確定性指數”和“威脅性指數”兩個維度劃定不同的風險級別區域，將失陷主機大概劃分為高風險區域、中風險區域、低度險區域三個區域，根據不同區域判斷主機的風險級別。
高風險區域集中分布高風險主機，代表組織要立即采取風險應對措施。
中風險區域集中分布中風險主機，代表主機處于預警狀態，組織需關注并跟蹤分析這部分主機。
低風險區域集中分布低風險主機，代表主機風險很小，組織無需采取風險應對措施。
組織可以通過失陷主機檢測與分析透徹了解主機威脅情況，通過鉆取每一臺主機的失陷分析過程，定位出存在或者可能出現的失陷主機、活躍程度和風險等級，為安全管理人員提供決策依據。
（1）分析模型
本模型根據一定時間段內有影響的大規模安全事件，如僵尸網絡、DDoS攻擊、掛馬網 站訪問等，按事件類型的不同形成若干安全事件集合，再通過安全事件集合間IP地址的重合度，判斷不同安全事件集合間的關聯性，從而發現大規模安全事件間的失陷主機群組。例如檢測到某些失陷主機被同一個僵尸網絡控制端控制，參與了某次DDos攻擊行為。
模型輸入數據指能夠檢測到大規模安全事件的各類安全設備和外部數據，包括系統數據及大規模安全事件（DDos事件、蠕蟲事件、惡意網站訪問事件）等。
具體算法如下：
1）群組生成
將一段較長周期（如24小時）的安全事件集合作為輸入，計算不同類型的主機群組。
僵尸網絡群組：被同一個Botnet控制端控制的所有受控端，組成一個僵尸網絡群組。由于可能存在多個僵尸網絡控制端，因此會有多個僵尸網絡群組（過濾群組規模小于J（經驗值，初步設為10）的群組）。
DDoS攻擊群組：對同一個目標進行DDoS攻擊的所有攻擊源，組成一個DDoS攻擊群組。由于可能存在多次DDoS攻擊，因此會有多個DDoS攻擊群組（過濾群組規模小于K（經驗值，初步設為10）的群組）。
蠕蟲事件群組：感染同一類蠕蟲的所有源IP，組成一個蠕蟲群組。由于可能存在多種類型的蠕蟲病毒，因此會有多個蠕蟲群組（過濾群組規模小于L（經驗值，初步設為10）的群組）。
訪問惡意資源群組：對同一個惡意資源（例如惡意IP、惡意URL、惡意域名等）進行了訪問的所有源IP，組成一個訪問惡意資源群組。由于可能存在多個惡意資源，因此會有多個訪問惡意資源群組。過濾群組規模小于 M（經驗值，初步設為10）的群組。
2）群組間關聯性檢測
對生成的群組兩兩進行相似性判斷，判斷方法為：
其中A，B為群組中的元素，分子表示兩個群組中相同元素的數量，分母表示兩個群組求并集后的元素數量。
如果兩個群組之間的相似性大于設定的閾值r（經驗值，初步設定為0.3），則認為這兩個群組存在關聯關系，是被同一批攻擊者控制的失陷主機群組。
（2）輸出結果
根據檢測到安全事件的各類群組，以及存在關聯關系的群組集合，展示出內網的失陷主機數以及根據失陷主機互聯關系圖，定位出存在可能出現的失陷主機數量。
2、攻擊鏈實時分析
將收集的事件元（單一事件日志）以時間區間和對象組合成整體的攻擊鏈，同時從事件日志中提取該攻擊鏈的不同維度計算行為特征，描繪該攻擊鏈所屬攻擊行為和攻擊程度。
（1）分析模型
根據當前觀測到的各類事件數量，如木馬事件、僵尸網絡事件、蠕蟲事件、攻擊事件等，觀測本周期并預測下一周期內各類事件的數量。本文采用winters乘法模型進行分析。
模型輸入數據包括不限于能夠檢測到攻擊行為的各類安全設備和外部數據，如攻擊事件數據、木馬事件數據等。
具體算法如下：
（2）輸出數據
針對現有攻擊事件、APT等，將攻擊事件基于攻擊鏈模型進行分析，還原出黑客攻擊過程。
3、用戶行為畫像分析
結合用戶角色和個人用戶操作行為特征，利用用戶日志歷史信息勾勒出用戶行為畫像，并給出用戶行為畫像實例。
（1）分析模型
本文采用數值統計分析模型做用戶行為畫像分析。
通過對網絡中抓取的郵件和特殊定義事件，進行IP與用戶郵箱的關聯分析，發現IP與“人”之間的關系，通過對郵箱的所屬信息，進行異常行為的發現，該用戶的攻擊時間分布，攻擊趨勢的分析，判定針對用戶視角判定攻擊時間、趨勢。如果用戶行為與某個網絡攻擊的特征相匹配，則通過統計結果能發現這些網絡攻擊。
（2）輸出結果
根據攻擊畫像中發現的攻擊對應關系以及攻擊對應關系圖，定位出攻擊對象、受攻擊對象以及存在的攻擊行為。
4、資產異常行為分析
資產異常行為分析是指在海量的數據中識別哪些為資產數據，并且根據資產歷史行為信息進行機器學習，判斷資產行為是否為異常行為。根據異常行為資產關聯其相關的所有數據進行追蹤溯源。
資產異常行為分析重點站在分析對象的角度，通過聚焦對象在一定時間范圍內的攻擊行為、入侵行為、正常業務行為，提供綜合的判定依據。
（1）分析模型
通過對網路內部的資產（IP）和組織（IP組）定義，從中發現重點資產的告警行為，通過重點資產的告警行為發現異常線索，通過線索，在進行關聯分析，發現該資產組是否有異常外聯行為，惡意樣本或者C&C等信息。
（2）輸出數據
根據資產異常行為分析結果，通過資產視角展示攻擊與被攻擊等異常行為。
5、時間軸組件分析
通過時間序列，針對A攻擊B的行為，通過關聯防火墻、IPS、網絡設備、業務系統日志等方式，對威脅行為以時間軸為線索，展示整個攻擊鏈。
（1）分析模型
本文采用基于情境的關聯分析方法做時間軸組件分析。
基于情境的關聯分析是指將安全事件與當前網絡和業務的實際運行環境進行關聯，透過更廣泛的信息相關性分析，識別安全威脅。簡單地說，情境關聯就是在分析安全事件的時候，不僅考察被分析的事件本身，還要考慮到事件的上下文相關信息，例如一個事件表示一個源IP攻擊了一個目的IP，那么，我們不禁會問，這個目的IP是什么資產？它重要嗎？是什么操作系統？有什么漏洞？開放了什么端口？開放的端口是否正好是攻擊被利用的端口？這些IP之間的拓撲關系如何？這個攻擊源IP是來自個人黑客還是有組織犯罪團伙，抑或敵對勢力？
基于情境的安關聯分析又包括以下幾種方式：
基于資產的情境關聯：分析師可以將事件中的IP地址與資產名稱、資產價值、資產類型（包括自定義類型）、自定義資產標簽進行關聯；
基于弱點的情境關聯：將安全事件與該事件所針對的目標資產當前具有的漏洞信息進行關聯，包括端口關聯和漏洞編號關聯；
基于威脅情報的情境關聯：將安全事件與來自外部或內部的威脅情報信息進行關聯；
基于網絡告警的情境關聯：將安全事件與該事件所針對的目標資產（或發起的源資產）當前發生的告警信息以及當前的網絡告警信息進行關聯；
基于拓撲的情境關聯：根據網絡故障沿網絡拓撲水平傳播的特性，通過對大量網絡告警事件在拓撲空間中的分布，以及傳播時間上的順序，自動進行網絡根本故障源（Root Cause）診斷。
實際使用中，情境定義了行為分析的主體、在該主體上采用的分析指標和觸發行為預警的閾值。行為分析主體就是資產IP；行為分析指標表征某種行為的關鍵指標，通過對這些指標的監控與分析發現可疑的行為。一般地，將某種類型或特征的事件的數量或比例作為特征指標。例如：用戶會關注Apache服務器日志的數量突變，關注路由器日志數量的突變，關注配置變更類日志的數量突變，關注登錄類日志的數量突變 。
（2）輸出數據
從時間維度分析展示全網威脅行為。通過攻擊鏈展示，追蹤溯源，通過攻擊關系找到攻擊源頭達到溯源效果。
三、平臺實現情況
平臺已在浙江日報報業集團部署并上線運行。硬件構成包括2臺Impala應用服務器、3臺MPP數據倉庫服務器、1臺展示平臺服務器，軟件構成包括Impala SQL數據集、MPP數據倉庫、ELK、Kafka等。平臺在數據采集與處理、數據存儲、態勢分析與功能呈現等環境都得到了實際應用，威脅預警、安全報警、態勢可視化展示等功能也都運行良好。
四、結束語
本文從分析傳統網絡安全防護體系的不足、基于大數據技術進行攻擊態勢感知分析的優勢兩個方面，對全網多源安全事件進行關聯分析并研究。從設計思路、技術要點和分析方法三個層面對建立一套集安全信息采集與存儲、集中處置與分析、態勢監測與預測于一體的態勢感知平臺進行闡述。平臺在實際應用中取得了很好的效果，為用戶展示面向全網業務資產防護的安全態勢，幫助用戶感知隱患和威脅，進而提供決策支撐。
作者單位：浙江日報報業集團