深入登降數(shù)據(jù)利用_后臺版3.49

引言

　　隨著大數(shù)據(jù)時代的到來， 數(shù)據(jù)資源正日益顯現(xiàn)出與傳統(tǒng)自然資源不同的特性， 成為國家信息能力提升的基石和來源 .世界各國均在高度重視和大力發(fā)展數(shù)據(jù)資源挖掘利用 ,對于數(shù)據(jù)的掌握及運用能力 ,在一定程度上體現(xiàn)了國家的信息能力和綜合國力，并與國家安全息息相關(guān) 。如何對各類數(shù)據(jù)進行深度挖掘分析 ,以發(fā)揮其最大功效 ,是當(dāng)下一個重大的科研課題和應(yīng)用難題 。 本文從登降數(shù)據(jù)著手 ,就其收集、 存儲、預(yù)處理、 挖掘利用等方面進行深入探討 。

登降數(shù)據(jù)概述

　　登降數(shù)據(jù)是指在信息系統(tǒng)運行過程中因提供服務(wù)而產(chǎn)生或使用的活動數(shù)據(jù)記錄 ,其可以客觀、連續(xù)、實時的反映信息系統(tǒng)活動周期全過程，成為維護網(wǎng)絡(luò)安全的重要數(shù)據(jù)資源 。 傳統(tǒng)的登降數(shù)據(jù)利用在其數(shù)據(jù)形態(tài)、 存儲結(jié)構(gòu)經(jīng)全局定義規(guī)范化后 ,在 LoginAlarm 或其他相似平臺實現(xiàn)登錄過程的事中、事后監(jiān)管 。 為了提高系統(tǒng)的運行效率及動態(tài)靈活性，一些登陸日志未能進行規(guī)范化輸出 ,這在一定程度上限制了登降數(shù)據(jù)的應(yīng)用范圍 ，但此類數(shù)據(jù)包信息更加豐富， 對其挖掘利用會具有更高價值。

登降數(shù)據(jù)的收集及存儲

　　登降數(shù)據(jù)的收集主要從以下幾個方面入手 ：

　　1數(shù)據(jù)來源多樣化。 登降數(shù)據(jù)的獲取現(xiàn)目前主要來自 :網(wǎng)絡(luò)系統(tǒng)自身產(chǎn)生的數(shù)據(jù) （包括客戶端和服務(wù)端）,外部輔助系統(tǒng)產(chǎn)生的數(shù)據(jù) （如認(rèn)證、計費等平臺）及人工收集的數(shù)據(jù) 。 要實現(xiàn)登降數(shù)據(jù)的深度挖掘就需要收集更多的相關(guān)數(shù)據(jù) ， 并且數(shù)據(jù)來源需是多種類型、多個數(shù)據(jù)源 ,只有這樣才能滿足海量數(shù)據(jù)之一 “大”特征。

　　2 動態(tài)收集與靜態(tài)收集相結(jié)合則側(cè)重點會有所不同 。 靜態(tài)收集主要依附于系統(tǒng)日志記錄，可實時性不強，數(shù)據(jù)量少，針對特定事件挖掘價值較高，如登錄認(rèn)證平臺的密碼嘗試次數(shù)超出上限后升級操作。 動態(tài)收集由于是實時記錄登錄信息，海量特征明顯，可對網(wǎng)絡(luò)安全態(tài)勢進行快速準(zhǔn)確的分析，例如電信級IDC的登錄流量突然增加則可能是 DDoS 攻擊

　　3 被動收集和主動收集相結(jié)合， 其中 .被動收集著重點是記錄數(shù)據(jù)存儲過程，主動收集著重點是采集發(fā)起過程。結(jié)合被動收集和主動采集兩者特點 ，既可以從產(chǎn)生源獲取實時的信息記錄，又可以實現(xiàn)對于數(shù)據(jù)自身更深層次的挖掘。

　　針對收集所得的數(shù)據(jù)進行存儲 ,首選海量存儲設(shè)備 ——SAN .SAN以其高速的數(shù)據(jù)傳輸速率、 方便的數(shù)據(jù)備份功能、 較高的數(shù)據(jù)可靠性成為海量數(shù)據(jù)存儲的首選存儲設(shè)備 。但綜合考慮存儲成本及維護成本，結(jié)合數(shù)據(jù)使用需求，可以將少量需要用于深度挖掘的數(shù)據(jù)存儲在 SAN 上過度使用會加大存儲成本。

登降數(shù)據(jù)的預(yù)處理

　　登降數(shù)據(jù)的預(yù)處理是指運用一定的算法預(yù)取輸入數(shù)據(jù)的冗余信息和一致信息，提高數(shù)據(jù)的表征能力，降低數(shù)據(jù)的復(fù)雜度，提高數(shù)據(jù)的利用率和有效性。登降數(shù)據(jù)的預(yù)處理方法主要有以下幾種 ：

　　1 數(shù)據(jù)清洗。 數(shù)據(jù)清洗的目的去除重復(fù)的數(shù)據(jù)，消除噪聲和不一致性的數(shù)據(jù)，規(guī)范化數(shù)據(jù)格式使其標(biāo)準(zhǔn)化。 數(shù)據(jù)篩選的方法有統(tǒng)計方法和利用領(lǐng)域知識的診斷方法兩種。統(tǒng)計方法就是基于數(shù)據(jù)的頻率和粒度進行裁剪，診斷方法就是運用經(jīng)驗分析的方法剔除不符常規(guī)的數(shù)據(jù)。

　　2 數(shù)據(jù)集成。 數(shù)據(jù)集成就是把來自多樣化的數(shù)據(jù)源中的數(shù)據(jù)合并在一起，并存儲到一個一致的視圖中的過程。 在數(shù)據(jù)集成過程中 ,標(biāo)簽不一致性是一個重要問題。要解決數(shù)據(jù)類型的不一致性問題，就需要將數(shù)據(jù)間的對應(yīng)特征變成相同的標(biāo)簽。

　　3 數(shù)據(jù)變換。 數(shù)據(jù)變換是在預(yù)處理過程中改進原有屬性的方式來增強數(shù)據(jù)的可理解性，具體方法有規(guī)范化和屬性構(gòu)造。數(shù)據(jù)規(guī)范化就是把屬性按比例縮放，使之落入一個小的、 指定的范圍；屬性構(gòu)造則是創(chuàng)建新的特征來表現(xiàn)數(shù)據(jù)潛在的結(jié)構(gòu)和性質(zhì)。

登降數(shù)據(jù)挖掘利用

　　登降數(shù)據(jù)挖掘利用主要有以下幾個方面 ：

　　1 藍牙測向設(shè)備多峰值分析法。藍牙信號強度非線性關(guān)系的處理可以利用藍牙RSS漂移特性和相關(guān)方法克服RSSI的缺點：采用多種設(shè)備、技術(shù)測量距離；用概率估計距離和位置。

　　2 無線網(wǎng)絡(luò)定位數(shù)據(jù)挖掘。針對用戶移動過程中的無線網(wǎng)絡(luò)連接狀態(tài)變化進行分析，發(fā)掘移動終端用戶上網(wǎng)規(guī)律和行為特征；針對受網(wǎng)絡(luò)狀態(tài)影響的廣告業(yè)務(wù)和傳統(tǒng)業(yè)務(wù)進行分析，尋找新的業(yè)務(wù)增長點，可應(yīng)用于無線廣告精確投放、基站優(yōu)化、用戶流量創(chuàng)新套餐設(shè)計。

　　3 無線網(wǎng)絡(luò)拓撲發(fā)現(xiàn)技術(shù)。根據(jù)無線信號發(fā)現(xiàn)用戶接入狀態(tài)變化、手機狀態(tài)變化等，發(fā)現(xiàn)核心網(wǎng)與無線網(wǎng)絡(luò)的拓撲關(guān)系；結(jié)合物理網(wǎng)絡(luò)實際上下三層的拓撲結(jié)構(gòu)，分析運營商實際網(wǎng)絡(luò)的用戶分布及使用特征。

總結(jié)

　　登降數(shù)據(jù)資源具有價值密度低、類別繁多、缺乏標(biāo)簽、海量的特征 .如何把握這些特性對數(shù)據(jù)進行深度挖掘 ，是目前科研的一大挑戰(zhàn)本課題以登降數(shù)據(jù)為研究對象探討其從生成、存儲到挖掘利用的相關(guān)技術(shù)，力圖突破現(xiàn)有研究的約束，實現(xiàn)登降數(shù)據(jù)資源分析方法的創(chuàng)新，豐富登降數(shù)據(jù)資源的利用方式 。