時間：2022-05-04 05:49:29
引言：易發表網憑借豐富的文秘實踐，為您精心挑選了九篇網絡流量監測范例。如需獲取更多原創內容，可隨時聯系我們的客服老師。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網絡流量的特征
(一)數據流是雙向的,但通常是非對稱的
互聯網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。
(二)大部分TCP會話是短期的
超過90%的TCP會話交換的數據量小于10K字節,會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節,WWW的巨大增長使其在這方面產生了決定性的影響。
(三)包的到達過程不是泊松過程
大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續到達,即包的到達是有突發性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。
(四)網絡通信量具有局域性
互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。
二、網絡流量的測量
網絡流量的測量是人們研究互聯網絡的一個工具,通過采集和分析互聯網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題。互聯網流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。
(二)主動測量和被動測量
被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。
(三)在線分析和離線分析
有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線地顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。
(四)協議級分類
對于不同的協議,例如以太網(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。
三、網絡流量的監測技術
根據對網絡流量的采集方式可將網絡流量監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。
(一)基于網絡流量全鏡像的監測技術
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。
(二)基于Netflow的流量監測技術
Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。
(三)基于SNMP的流量監測技術
關鍵詞 網絡管理；流量監測；方法；
中圖分類號TP39 文獻標識碼A 文章編號 1674-6708（2012）69-0174-02
自人類進入21世紀以來，以計算機為基礎的互聯網技術在我們生活中各個領域得到了不同程度的應用。因此，對網絡的管理工作為保證其穩定、良好的運行有著十分重要的意義。在網絡管理中，對于用戶的各種應用我們難以進行強制限制。由此也可能帶來管理上的難題與安全隱患，比如由于病毒、木馬或其它流量導致網絡的擁塞。因而科學的網絡規劃時前提，但對網絡上的各種流量進行長期的監測，也是保障網絡正常穩定的運行重要舉措。
1 進行網絡流量監測的現實意義
所謂網絡流量監測是指通過對網絡數據的連續采集，從而對網絡的流量情況進行了解與監視，它是網絡管理中最基礎的工作之一。對于網絡監測所獲取的網絡流量數據進行統計與和計算，從而得到網絡重要成分的性能指標。網絡管理員就可以根據已存儲網絡的相關數據結合當前所獲取的網絡性能數據指標，通過分析了解網絡性能變化趨勢。了解網絡運行情況，分析制約網絡性能的瓶頸問題，從而為科學規劃網絡、優化網絡設置，為解決網絡故障采取及時有效的措施，提供了重要信息，有著重要的現實意義。
2 網絡流量的特性分析
在經過對互聯網通信流量的長期監測與測量，從現有的技術水平來說，我們把網絡流量的主要特性歸結為以下4個方面：
1）數據流雙向和非對稱性：即，從互聯網上的應用來看，其實質就是數據的雙向交換，因此網絡流量體現出雙向性的特點；但同時這種雙向的數據交流并非是對等的，上行和下載的流量并不相同，而是表現出非對稱性的特點。
2）大部分TCP會話是短期的。在互聯網通信中，從時間的角度來看，TCP會話時間只有數秒十分之短，這是由于會話中交換的數據量超過90%的比例都是小于10K字節的。從研究來看，一些不是短期的TCP對話（如文件傳輸），不過由于80%的WWW文檔傳輸都小于10K字節，WWW的快速增長從而使得TCP會話時間也是十分短暫。
3）包的到達過程不是泊松過程。在過去較長的時間內，傳統的排隊理論以及通信網絡設計都假設包的到達過程是泊松過程，即包到達的間斷時間的分布是獨立的指數分布。然而隨著技術的進步，研究發現這種理論解釋存在著不足，它難以精確地描述包的到達過程，人們開始從網絡通信量模型展開研究，進而來豐富網絡流量的理論原理。
4）網絡流量體現出局域性。從現有技術應用特點來看，網絡通信量表現出在時間和空間兩個維度的局域性。這主要是從互聯網流量中數據包的時間和目的地址上，從而表現顯時間局域性和空間局域性的特性。
3 網絡管理中網絡流量監測的方法
在對互聯網通信特性有了深入的了解以后，我們就可以采取相應的技術措施來對網絡流量進行監測。從當前實踐用用來看，習慣上我們把當對流量監測的方法歸為主動測量和被動測量兩大類，他們各自的優勢與特點主要表現如下：
3.1主動測量
主動測量是基于端到端的測量，通過測量設備向被測網絡注入一些以探測網絡特征或網絡流量負載等信息為目的的探測流，進而了解被測網絡目前的運行狀態和提供數據傳輸的能力。
從上述分析我們可以看到，在進行網絡流量的主動測量，我們構建的網絡測量系統應當由測量節點、中心服務器、中心數據庫、分析服務器這四個部分構成。
從主動測量的實踐應用來看，其優勢體現在主動性、可控性、靈活性三個方面。即，在進行網絡流量監測時是主動發送測量數據，同時這個操作過程可以靈活把握，因而可控制性也比較高。此外，主動測量也便于對端到端的性能能夠開展直觀的統計。
不過從測試過程我們也可以看出，由于是主動對網絡進行注入流量，因此，我們所獲取的結果與實際情況存在偏差是在所難免的，這就是主動測量的不足之處。
3.2被動監測
被動測量是一種分布式的網絡監測技術的應用，其監測原理是對被測對象部署一定的監測點與網絡設備，從而通過這些點與設備來獲取網絡流量的相關信息與數據。因此，這種監測它是在不改變原有網絡流量的基礎上進行的。通過諸多的被動監測的實踐，也證明了這一點。
被動監測的優勢不僅如此，并且相對前文分析中的主動測量來說，被動測量方式得到的網絡數據與實際情況偏差更小一些。其缺點是被動測量是從單個設備或點實現相關信息的采集，這種實時采集往往信息數據量大，因此難以實現對網絡端對端的性能分析，還為數據泄露等安全問題留下了隱患。但總體來說，被動測量的優點遠大于其不足，因此被廣泛用于測量和分析網絡流量分布。
4 結論
以計算機為基礎的現代信息技術成為了當前事（企）業單位的科研生產的重要平臺，一方提高了工作效率，另一方面也加大了人們對網絡的依賴和需求，因此加強網絡流量監測工作十分重要。本文對網絡管理中的流量監測問題進行了闡述，并根據其中存在的問題進行總結與歸納，以對其進行改善和提高。這需要我們廣大從事信息技術的工作者與管理員提高業務水平，加強對相關技術的研發與探索，創新管理手段，以促進網絡的良好穩定運行。
參考文獻
本文就網絡流量監測的作用和移動互聯網的研究現狀進行分析，探討CDMA移動互聯網的特征，以便更好的對網絡流量進行監測。
【關鍵詞】
網絡流量；監測；移動互聯網
0 引言
隨著互聯網規模的不斷擴大，其應用領域越來越廣泛，因此，急需要對網絡流量進行實時、在線的監控和管理。對網絡流量特征進行研究，有利于有效的管理、規劃、發展網絡。其中網絡流量監測是網絡測量技術之一，通過對網絡流量進行監測和分析研究，能夠較好的掌握網絡流量的特征，了解網絡的狀況，并能夠根據詳細的流量信息，對故障進行定位和修復，能夠獲取網絡所承載的業務的大小，及時了解用戶應用強度、頻度等行為模型。
1 網絡流量監測的作用
其一，有利于網絡規劃。在移動網絡中出現擁堵的現象時，傳統的做法通常為網絡擴容。如果借助網絡流量監測技術，能夠及時的掌握當前的移動網絡的流量趨勢，有效的解決網絡中出現的問題，并運用科學合理的方式進行規劃。
其二，提高網絡資源的利用率。由于移動網絡的流量比較復雜多變，目前還有大多數網絡特征未被外界認知，通過網絡流量監測技術，能夠及時的了解當前網絡流量的情況和移動網絡業務的特征。
其三，便于移動網絡安全維護。隨著網絡的普及，越來越多的惡意程序通過網絡傳播，嚴重影響到用戶的隱私和財產安全。充分運用網絡流量監測技術，能夠對網絡流量進行分析，制定出不同移動平臺的移動網絡安全策略。
2 移動互聯網的現狀
近年來，隨著社交網絡、微博、微信等新型網絡應用的發展，使得互聯網行業的發展充滿生機和活力。移動通信技術和互聯網技術的緊密結合形成了一種新的網絡，即移動互聯網。移動互聯網指的是通過使用手機網絡、平板電腦等移動終端，基于移動網絡聯網獲取圖像、語音、文字等用戶需求的隨時可接入的網絡。根據通訊世界網訊全球技術研究和咨詢公司的最新研究報告表明，我國手機用戶在2013年突破10億，預測在2014年，我國手機市場將銷售4.436億部手機，使用手機將超過10.76億部。網民人數達到6.15億，移動互聯網用戶數已達到8.38億。我國的移動互聯網用戶人數將會呈現持續增長的趨勢，同時，伴隨著平板電腦、智能手機的發展，國內移動互聯網絡用戶群將會逐漸擴大。另外，在移動互聯網迅猛發展的同時，也會帶來一定的風險和挑戰。首先隨著移動互聯網內容不斷的豐富，產生了各種寬帶負荷較大的業務，例如基于P2P業務。傳統的互聯網監控方式不一定適用于移動互聯網，缺乏有針對性的移動互聯網監控平臺。目前移動互聯網的監控制度還不夠完善，限制了網絡服務質量的提高，對未來網絡的發展具有嚴重的影響作用。其次，移動網絡運營商雖然為各種內容提供商業支持，推廣了各種業務，但多種業務的流量特征研究不夠完善，運行質量沒有進行深入的研究，大多互聯網基礎指標在移動互聯網的場景下分布比較異常。
3 CDMA移動互聯網特征研究
3.1網絡流量原始流量采集
本文使用的網絡數據是由本研究團隊自行研發的檢測設備TMS進行采集的。原始網絡流量均采用我國某大城市的骨干網節點。在采集CDMA實驗數據時，部署了4個采集探針在同一個城市的鏈路上，位于分組數據服務節點和城市核心節點之間并行的鏈路上。詳情如圖1所示。
另外，網絡流量分類技術主要包括深度包檢測和深度流檢測技術。分類時，首先使用深度包檢測技術，通常能夠達到較高的分類效果。針對不同的網絡應用，比較適合使用深度流檢測技術。本文的算法中就引入了深度流檢測的技術。
3.2網絡流量建模
由于采集的網絡寬帶較大，運算和存貯資源比較有限，需要選取一個適合的時間段，采集數據子集后為后續分析充當樣本。網絡流量建模的原理指的是充分利用統計獲取的網絡流量特征，對其進行數學推導后得出的符合統計規律的模型來模擬實際網絡流量趨勢。網絡流量建模通常采用ARIMA模型[3]。其指的是分差整合移動平均自回歸模型，通常用于進行平穩序列和分差后平穩序列的建模分析。ARIMA模型分析的一般步驟為：（1）根據序列的自相關函數分布圖和偏相關函數分布圖，分析序列的平穩性。（2）對非平穩性序列進行平穩化處理；根據時間序列的識別規定，對ARIMA模型的相關參數進行識別，建立相應模型。建立分析后，需要對參數進行評估，并對參數進行檢驗，其中參數檢驗通常會采用AIC準則。AIC的計算公式為：
其中T為可使用的觀測值，RSS指的是參差平方根和，n為待估參數個數。比較不同參數時，需要采用AIC值更小的模型。
3.3網絡流量基本特征
其一，網絡協議。在互聯網中使用的TCP/IP協議族為傳輸層明確了兩個主要的協議，分別為TCP協議和UDP協議。TCP協議需要在兩個TCP之間建立一個虛連接，在運輸層中使用流量控制和差錯控制機制，即為面向連接的、可靠的傳輸協議。UDP協議為無連接、不可靠傳輸協議。本文對兩種網絡協議進行研究，如表1所示。
其二，網絡流長（字節）分布。網絡中的流量實際時由IP流來承擔的，IP流的長度在一定程度上反映了網絡負載的情況。圖2為CDMA網絡中的流長分布情況。
其三，網絡流持續時間分布。IP流持續的時間為IP流第一個報文達到的時間和最后一個報文達到的時間差值。對IP流持續的時間分布進行研究，可以從宏觀的角度反映出IP流在網絡中分布的時間，根據其他網絡特征，可以綜合對網絡流的各種行為特點進行研究。根據統計可知，CDMA網絡中平均UDP流持續的時間為62.15秒，在TCP流中持續的時間為17.85秒。
4 總結
隨著移動互聯網絡的飛速發展，多種移動互聯網絡的應用成為人們生活中不可或缺的一部分。由于移動互聯網場景復雜，使得流量的多種特征還沒被發現。網絡流量監測技術和移動互聯網特征的研究，能夠對移動網絡流量進行保存，可以有效的規劃網絡，充分利用網絡資源，維護移動互聯網的安全。
【參考文獻】
[1]王華奎.移動通信原理與技術[M].清華大學出版社，2010.
關鍵詞:網絡 異常流量 檢測
一、異常流量監測基礎知識
異常流量有許多可能的來源,包括新的應用系統與業務上線、計算機病毒、黑客入侵、網絡蠕蟲、拒絕網絡服務、使用非法軟件、網絡設備故障、非法占用網絡帶寬等。網絡流量異常的檢測方法可以歸結為以下四類:統計異常檢測法、基于機器學習的異常檢測方法、基于數據挖掘的異常檢測法和基于神經網絡的異常檢測法等。用于異常檢測的5種統計模型有:①操作模型。該模型假設異常可通過測量結果和指標相比較得到,指標可以根據經驗或一段時間的統計平均得到。②方差。計算參數的方差,設定其置信區間,當測量值超出了置信區間的范圍時表明可能存在異常。③多元模型。操作模型的擴展,通過同時分析多個參數實現檢測。④馬爾可夫過程模型。將每種類型事件定義為系統狀態,用狀態轉移矩陣來表示狀態的變化。若對應于發生事件的狀態轉移矩陣概率較小,則該事件可能是異常事件。⑤時間序列模型。將測度按時間排序,如一新事件在該時間發生的概率較低,則該事件可能是異常事件。
二、系統介紹分析與設計
本系統運行在子網連接主干網的出口處,以旁路的方式接入邊界的交換設備中。從交換設備中流過的數據包,經由軟件捕獲,處理,分析和判斷,可以對以異常流量方式出現的攻擊行為告警。本系統需要檢測的基本的攻擊行為如下:(1)ICMP攻擊(2)TCP攻擊,包括但不限于SYN Flood、RST Flood(3)IP NULL攻擊(4)IP Fragmentation攻擊(5)IP Private Address Space攻擊(6)UDP Flood攻擊(7)掃描攻擊不同于以特征、規則和策略為基礎的入侵檢測系統(Intrusion Detection Systems),本研究著眼于建立正常情況下網絡流量的模型,通過該模型,流量異常檢測系統可以實時地發現所觀測到的流量與正常流量模型之間的偏差。當偏差達到一定程度引發流量分配的變化時,產生系統告警(ALERT),并由網絡中的其他設備來完成對攻擊行為的阻斷。系統的核心技術包括網絡正常流量模型的獲取、及對所觀察流量的匯聚和分析。由于當前網絡以IPv4為主體,網絡通訊中的智能分布在主機上,而不是集中于網絡交換設備,而在TCP/IP協議中和主機操作系統中存在大量的漏洞,況且網絡的使用者的誤用(misuse)也時有發生,這就使得網絡正常流量模型的建立存在很大的難度。為達到保障子網的正常運行的最終目的,在本系統中,采用下列方式來建立多層次的網絡流量模型:
(1)會話正常行為模型。根據IP報文的五元組(源地址、源端口、目的地址、目的端口和協議),TCP和UDP報文可以構成流(flow)或偽流(pseudo-flow)。兩個五元組中源和目的相反的流可以構成一個會話。由于ICMP的特殊性,對于ICMP的報文,分別進行處理:ICMP(query)消息構成獨立會話,而ICMP錯誤(error)消息則根據報文中包含的IP報頭映射到由IP報頭所制定的會話中去。每一類協議(TCP/UDP/ICMP)的正常行為由一個有限狀態及刻畫。在這個狀態機中,如果一個事件的到來導致了錯誤狀態的出現,那么和狀態機關聯的計數器對錯誤累加。協議狀態機是一種相對嚴格的行為模型,累加的錯誤計數本身并不一定代表發現了攻擊行為。
(2)流量規則特征模型。在正常的網絡流量中,存在著穩定的規則特征。比如一個IP收到和發出的含SYN標志位和含FIN標志位的報文的比值、一個IP的出度和入度的比值以及一個IP的平均會話錯誤數等。這些網絡不變量是檢驗在一定時間區間內,一個IP是否行為異常的標準之一。這個模型要求對會話表中的會話摘要(一個含有會話特征的向量)進行匯聚,在會話正常行為模型基礎上增加攻擊行為判斷的準確程度。
(3)網絡流量關聯模型。把一些流量特征(如字節數、報文數、會話錯誤數等)在一定時間區間內的累加值記錄下來,可以看作時間序列。通過對序列的分析,可以找到長期的均值、方差、周期、趨勢等特征。當攻擊行為發生時,觀察到的一些流量特征會偏離其長期特征。這種特征偏離的相關性就提供了判斷是否攻擊已發生的一個依據。
三、大規模流量異常檢測框架
異常檢測通常需要描述正常網絡行為,網絡行為模型越準確,異常檢測算法效果越好。在大規模流量異常檢測中通常通過網絡探針了解單個實體或結點的行為來推測整個網絡行為,基于網絡斷層成像(network tomography)思想通過使用探針測量推斷網絡特征,這是檢測非協作(noncooperative)網絡異常和非直接管理控制網絡異常的有效手段。對于單個管理域,基于實體研究可以向網絡管理者提供有用信息,例如網絡拓撲。在單個結點使用一些基本的網絡設計和流量描述的方法,可以檢測網絡異常和性能瓶頸。然后觸發網絡管理系統的告警和恢復機制。為了對大規模網絡的性能和行為有一個基本的了解,需要收集和處理大量網絡信息。有時,全局網絡性能信息不能直接獲得,只有綜合所獲得的本地網絡信息才能對全局網絡行為有個大致的了解。因為不存在準確的正常網絡操作的統計模型,使得難以描述異常網絡模型的統計行為,也沒有單個變量或參數能包括正常網絡功能的各個方面。需要從多個統計特征完全不同的矩陣中合成信息的問題。為解決該問題,有人提出利用操作矩陣關聯單個參數信息。但導致算法的計算復雜度較高,為了滿足異常檢測的實時性要求,本文關聯本地和全局數據檢測網絡異常。盡管本章利用行為模型對IP Forwarding異常進行檢測,但該方法并不僅限于檢測本地異常。通過關聯多條網絡鏈路的時間序列數據,也可以檢測類似于空間的網絡異常。因此,該方法可以擴展到其他類型的大規模網絡數據和其他大規模網絡異常。
參考文獻:
[1]司偉紅.淺析網絡攻擊常用方法.科技廣場,2006,7:36-38.
關鍵詞：入侵檢測；異常檢測；時間序列分析
中圖分類號：TP393文獻標識碼：A文章編號：1009-3044(2007)05-11229-02
1 引言
隨著科技進步和網絡技術的飛速發展，信息產業及其應用得到了巨大的發展，政府、金融、教育等企事業單位以及個人用戶等對網絡的依賴程度越來越高。同時也由此帶來了信息安全隱患，如何保障網絡與信息系統的安全已經成為高度重視的問題。作為一種主動安全防護技術，入侵檢測系統能夠檢測和識別來自外部或者內部的異常活動或者入侵行為(例如，對計算機和網絡資源的惡意使用或者破壞、內部用戶的未授權訪問等)，己經成為傳統計算機安全技術(如防火墻)的有益補充，是網絡安全領域研究的一個新熱點。
入侵檢測系統(Intrusion Detection System, IDS)是防火墻的合理補充。本文使用時間序列分析，設計和實現一個面向網絡流量異常的檢測系統，實時地監測和分析網絡中的異常流量，并采取相應措施(如與防火墻聯動)來避免或抑止網絡掃描、Dos/DDoS攻擊、網絡蠕蟲病毒、惡意下載等網絡攻擊對局域網安全的威脅，保障網絡的正常運行，最大限度地發揮網絡的作用。
2 常見的網絡流量異常
網絡流量異常會嚴重影響網絡性能，造成網絡擁塞，嚴重的甚至會網絡中斷，使網絡設備利用率達到100%，無法響應進一步的指令。造成網絡異常流量的原因可能有：網絡掃描、Ddos攻擊、網絡蠕蟲、惡意下載、用戶對網絡資源的不當使用以及物理鏈路損壞或者設備不能正常運轉等。
這些安全攻擊或威脅有一個共同點，即會引起網絡流量的急劇變化，它對網絡的影響主要體現在兩個方面：
(1)占用帶寬資源使網絡擁塞，造成網絡網絡丟包或時延增大，嚴重時可導致網絡不可用；
(2)占用網絡設備系統資源（CPU、內存等），使網絡不能正常的服務。
3 面向流量異常檢測的數學建模
本文設計和實現面向流量異常的網絡檢測系統，是在基于網絡行為學的研究結果。網絡行為學認為網絡的流量行為具有長期特征和短期特征。網絡長期特征表現在網絡行為具有一定的規律性和穩定性。能夠對局域網的流量或者某些關鍵主機的流量情況進行實時監測，及早發現和識別入侵攻擊的發生。
網絡流量模型依據的數學理論基礎的不同，大致可以分為4大類:馬爾可夫類模型、自回歸類模型、長程依賴類流量模型,漏桶類模型[1]。其中，自回歸模型定義下一個業務流量變量作為前一個變量的一個明確的函數，即利用前一段時間變量的數據來預測該變量的下一個時間的值，在一個時間窗口中，由目前向過去延伸。多個研究結果表明，它可以有效地用于網絡流量行為的實時預測和控制。因此，可以通過對統計的歷史統計量數據進行分析，為網絡流量建立合理的統計模型，并作為檢測系統的異常檢測引擎。
首先在局域網的總出口處連續的采集進出網絡的流量數據，觀測時間為4周（每周7個工作日），建立網絡的正常行為模式。從采集到的數據序列，可以看出，網絡的帶寬利用率(或者總流量)和單播/非單播包比率具有明顯的周期性特征，但它是一個不平穩的序列，可以采用時間序列分析的方法為它們建立統計模型[2]。
對帶寬利用率和單播/非單播包比率這兩個統計量的時間序列模型可以按如下步驟建立，并用于異常流量的檢測。
(1)原始數據處理
首先，采集4周28個工作日的數據作為基礎數據。數據采集系統在工作中有時會引入一些虛假數據，因此，在整個數據分析過程中，最好先進行異點的檢測和剔除，以便確保這些值是體現正常網絡行為。根據格拉布斯準則，如果x表示x1,x2,x3,x4的在一周內的某一時刻的平均值(4周數據的平均)，v表示它們的標準差，即，如果xi滿足|xi|>kv，則xi為異常值，應剔除不用。 x1,x2,x3,x4中剩余的求平均。其中k是格拉布斯準則系數，與置信區間為95%相對應的k=1.46。這樣，得到了4周歷史數據的10080個時刻的平均值。再采用方差分析的方法的方法對序列進行平穩化，這樣就可以把網絡流量的局部看成統計上近似的平穩。然后將這個局部作為一個滑動時間窗口，窗口的大小設為N。用這N個局部流量數據建立ARMA(n,n-1)模型，來判斷第N+1個數據是否異常(在實時異常檢測中，只需要將時間窗口不斷往前依次滑動[3]。
(2)模型的確定和模型參數的估計
在建模策略上，系統建模法采用ARMA(n，n-1)模型逼近序列{xt}，即
為使建模過程計算盡量簡單，降低階數，我們用直線擬合樣本數據的趨勢，然后提取趨勢項。對提取趨勢項后的數據進行建模研究。
文中建模時的初始猜測值采用逆函數方法確定。它的基本原理是：逆函數系數本身是ARMA模型無窮展開式的自回歸參數，所以對于一個ARMA，可以用無窮階AR模型去逼近。對于ARMA(2n，2n-1)，需要擬和一個AR(2n-1)模型。這一步可以通過求解Yule-Walker方程方法容易地估出AR的系數Φi。把這些AR模型的系數Φi作為ARMA(n，n-1)模型的逆函數系數Ii。逆函數系數的公式如下
將式(2)代入式(1)可以得到算子恒等式，再利用相應的系數相等的方法，得到ARMA(n，n-1)的滑動平均系數Φi，最后利用已知的Φi和Ii求出作為AR模型系數Φi的初始估計值。這樣可以得到ARMA(n，n-1)模型的初始參數Φi和θi。該方法的整個過程都僅涉及到線性方程組的求解，因而計算簡便易于實現，是對高階ARMA模型進行參數初估計的有效方法。這種參數初估計方法不但具有在計算機上容易實現的特點，而且與當前常用的參數初估計方法相比，在參數估計精度上有了較大的提高。
由于最終的ARMA模型方程對參數是非線性的，文章用非線性最小二乘法來逐步逼近的方式來實現殘差平方和的極小化。這個方法從諸參數的初始值開始，利用下式遞歸計算殘差并求得平方和
一旦在參數空間中達到平方和較小的那一點時，則以此點為初始值開始新一次的迭代，迭代一直持續到達到規定的允許誤差為止。文中利用全局收斂的Levenberg-Marquardt修正的高斯-牛頓法算法來迭代計算殘差。一旦達到誤差要求，就可以得到模型的參數和階數。這個方法還可利用局部線性的假設，借助線性最小二乘理論求得各估計參數的近似置信區間。
(3)模型適用性檢驗
文中所用的檢驗判據是F檢驗。 ，式中A0是不受限模型的平方和（較小），A1是受限模型的平方和（較大），F(s，N-r)是具有s和N-r個自由度的F-分布。其中殘差平方和的公式為：RSS=∑a 。用F檢驗來驗證在階數增加的過程中殘差的平方和是否顯著，從而確定在那個顯著性水平上，模型是否合適。同時F判據還可以作為擬合ARMA（2n，2n-1）系列時的停止判據。一旦決定停止在ARMA(2n，2n-1)模型上時，還可以進一步用F-判據判斷是否自回歸階次為奇數。在決定了最終的模型后，也可以用F-判據去判斷是否還有其他理想的模型形式是合適的。
在使用F-判據的同時，還必須使用殘差的自相關檢驗x2來作為進一步的實用性檢驗。x2分布是表征相互獨立的諸標準正態變量平方和的一個分布， 。使用殘差的自相關檢驗來判斷殘差的相互獨立性，從而確定殘差是否是白噪聲序列，進一步確定模型是否合理。
3 入侵檢測系統的功能模塊設計
根據系統的功能需求，可以將流量異常檢測原型系統分成5個基本模塊：流量采集模塊、流量統計模塊、流量異常檢測模塊，報警和響應模塊以及人機交互界面。系統的體系結構如圖1所示。
系統的工作原理是：在局域網的總出口(或被監控的核心主機附近的采集點)采集流量數據；對每個數據包進行分類并統計相關流量信息(如協議和端口使用量等)，將這些統計值保存到特定的存儲結構:并采用異常檢測模塊對這些流量數據進行分析；對于識別出的異常流量分析特征，并通過修改防火墻的規則或者受害主機隔離等方式來抑止和阻斷這些網絡攻擊的進一步發展。最后，安全管理人員可以通過人機交互模塊對查看系統的工作狀態并對系統進行配置和管理[4]。
圖1 系統的體系結構
圖1中的5個模塊的功能分別如下：
(1)流量采集模塊。局域網的總出口或者網絡中被監控的核心服務器附近設置流量采集點，采集所有流經該采集點的流量數據；
(2)流量統計模塊。對所有捕獲的網絡數據包進行拆分，統計各種協議的包的協議類型、源/目標地址、端口、大小、標識位等信息。然后，該模塊以分鐘為時間粒度，統計網絡帶寬利用率、單播/非單播包比率、應用層協議包數量、SYN(SYN+ACK)包比率等統計量進行存儲，等待進一步的處理；
(3)異常檢測模塊。該模塊通過分析網絡流量的幾個統計量來描述其正常的行為模式或者狀態。其中網絡帶寬利用率、單播/非單播包比率是與時間相關的統計量，采用時間序列分析的方法為它們建立ARMA(2,1)模型，并用于檢測這些統計量序列中的異常。通過綜合這些統計量的異常情況，識別出網絡流量中的異常情況，并產生安全事件消息；
(4)報警和響應模塊。如果檢測到異常流量，首先需要報警，使系統和系統管理員可以根據情況選擇不同的處理方法。然后，系統根據報警級別和安全響應策略采取兩種更為主動的響應方式，即防火墻聯動和主機隔離；
(5)人機交互界面。采用基于Web的用戶管理，通過該交互界面可以實現信息查看、闡值設定以及處理報警等功能。系統應該對于檢測出的異常主機進行標記，標記異常的類型、統計量、閡值指標、消息以及異常發生的時間等情況，給系統管理員報告一個異常信息。
4 系統實現與測試
原型系統在Windows 2000環境采用VC++6.0開發，采用SQL Sever 2000作為安全事件數據庫、安全日志、安全響應策略庫等的后臺數據庫。
實驗結果表明，本文設計和實現的網絡流量異常檢測原型系統對于網絡掃描、Dos/Ddos、蠕蟲等類型的網絡攻擊和入侵具有明顯的檢測效果。但是，相對于紛繁變化的網絡攻擊手段，限于軟硬件環境和統計分析技術的缺陷，系統的異常檢測能力還不是很完善，存在著一些不足之處這些都還有待改進。因此，本文的主要目的是希望為同類型的入侵檢測系統或者網絡異常檢測系統的設計和開發提供一種思路和模式，也為建立局域網的立體縱深、多層次防御系統進行一些有益的嘗試。
參考文獻：
[1]宋獻濤.等.入侵檢測系統的分類學研究[J].計算機工程與應用,2002,38(8):132-13.
[2]孫欽東,張德運,高鵬.并行入侵檢測系統的負載均衡算法[J].小型微型計算機,2004,25(12): 2215-2217.
[3]李信滿,趙大哲,趙宏.基于應用的高速網絡入侵檢測系統研究[J].通信學報，2002, 23(9):1-7.
>> 基于支持向量機的網絡流量分類方法 一種基于多維支持向量機的P2P網絡流量識別模型 基于支持向量機的地鐵客流量預測 支持向量機的半監督網絡流量分類方法 基于組合優化理論的無線網絡流量建模與預測 基于支持向量機的Freegate軟件流量檢測研究 基于小波神經網絡的網絡流量預測 基于徑向基神經網絡的網絡流量預測 基于小波神經網絡的網絡流量預測研究 基于改進Elman神經網絡的網絡流量預測 基于改進小波神經網絡的網絡流量預測研究 基于BP神經網絡的非線性網絡流量預測 一種基于神經網絡的網絡流量組合預測模型 基于支持向量機的股指期貨合約價格預測 基于支持向量機的債券時間序列預測 基于支持向量機回歸的中國CPI預測研究 基于免疫支持向量機預測模型的研究 基于支持向量機的短期負荷預測 基于支持向量機的短期電力負荷預測 基于長相關網絡流量預測分析 常見問題解答 當前所在位置：l上獲得)，按5分鐘的時間尺度對該流量序列做聚集操作，獲得了用于建模的流量序列，記為TSb，長度為250。
核函數選擇徑向基函數，動態調整法選取參數后，流量預測結果如圖1所示,預測RMSE為2.5136，RRMSE為0.021。各項誤差指標對比如表1所列,在參數優化后, RMSE和RRMSE都少了，表明參數優化后的效果優于優化前。
5 結論
網絡流量工程對于大規模網絡的規劃設計、網絡資源管理以及實現網絡入侵檢測等方面都具有積極的意義，而流量建模與預測是網絡流量工程的重要組成部分。傳統的流量時間序列模型只適合于分析平穩過程及特殊的非平穩過程，難以刻畫大規模網絡的復雜流量行為。文中采用支持向量機回歸方法進行網絡流量預測，首先對觀測序列進行歸一化預處理,根據訓練樣本動態調整參數后，再進行預測。從實際預測結果來看,該方法具有較好的預測效果。
參考文獻：
[1] Kantz H.非線性時間序列分析[M].北京:清華大學出版社,2000.
[2] Chen Bor-Sen ,Peng Sen-Chueh,Wang Ku-Chen. Traffic Modeling,Prediction,and Congestion Control for High-Speed Networks:A Fuzzy AR Approach[J].IEEE Transaction on Fuzzy Systems,2000 ,8(5)
[3] Vapnik V N. Statistical Learning Theory [M].New York Wiley,1998.
[4] 劉勝,李妍妍.自適應GA-SVM 參數選擇算法研究[J]. 哈爾濱工程大學學報,2007,28(4).
[5] 魏海坤.神經網絡結構設計的理論與方法[M].北京：國防工業出版社,2005.
關鍵詞：ITS 3G網絡 交通流量 數據傳輸
中圖分類號：TP368 文獻標識碼：A 文章編號：1007-9416(2012)07-0028-02
智能交通系統通過實時、準確、高效和多方位的檢測監控設備，檢測有關車道占有率、車流量、行車速度等交通流量信息，利用有線以及無線通信網絡傳輸檢測數據信息，使得交通主管部門能夠詳實的數據，處理交通流量數據，充分發揮現有交通基礎設施潛力，改善交通安全以及緩解交通擁擠，提高整個路網的運輸效率和通行能力；既能夠降低油耗，減少廢氣排放，降低、對環境的污染[2]，又能夠提高交通出行的方便性、安全性，節約運輸成本，提高社會效益和經濟效益。
1、交通流量檢測技術
交通流量檢測是智能交通系統的基礎部分，其在交通監控、交通誘導、交通應急指揮等研究應用中占有很重要的地位。主要是通過各種檢測設備對路面行駛車輛進行探測，獲取相關交通參數，包括各車道的車流量、車道占有率，車速、車型、車頭時距等，以達到對公路各路段交通狀況及異常事件的自動檢測、監控、報警等目的。交通流量檢測方式一種是接觸式[3][4]，其主要分為壓電、壓力管探測、環行線圈探測和磁力式探測，其特點是埋藏在路面之下，當汽車經過采集裝置上方時會引起相應的壓力、電場或磁場的變化，最后采集裝置將這些力和場的變化轉換為所需要的交通信息；另一種是非接觸式[5]，主要分為微波、超聲波和紅外、和視頻探測等，除了超聲波探測只能進行單車道交通信息采集外，其余都可同時進行多車道交通信息采集，其安裝維護簡單，發展非常迅速。
2、交通流量檢測需求分析
智能交通系統應用了計算機技術、信息技術、通信技術和控制技術等新技術，把人、車、路緊密聯系起來，通過對交通流信息進行實時檢測，掌握道路交通的運行情況，根據交通流的動態變化，迅速做出交通誘導控制，不僅有效的解決了交通阻塞問題，而且對交通事故的應急處理、環境的保護、能源的節約都有顯著的效果。它是以交通指揮中心為主體，并隨著科技發展和管理方法的改進在不斷完善中。交通流量檢測系統和通信系統是智能交通系統的關鍵。交通流量檢測系統主要完成提取流量數據所需的原始信息的采集工作，可通過地感線圈、激光、紅外或視頻方法，檢測與識別交通流、路況等實時監視，提取交通流信息(車流量、車道占有率、車速等)；通信系統是數據采集和數據處理的橋梁，它是將原始數據信息通過有線網絡或是無線網絡傳輸到交通監控中心，監控中心處理原始數據，進而對得到的信息進行進一步地分析，判斷該路段的交通擁塞狀況，監督異常事故的發生，在交通擁擠未發生時交通信息，及時采取分流措施，疏導交通，防止交通擁擠發生。智能交通系統的結構圖如圖1所示。
目前智能交通系統中使用的有線傳輸主要采用標準RS-232或是光纖通信等，在距離監控中心較遠且供電不便利的重點路段、橋隧等地區，或者一些臨時性的設備通信，傳統的有線連接便顯得十分不方便，因此希望以一種低成本、高可靠性的無線傳輸方案來代替傳統的有線方式。3G網絡技術可以方便實現設備之間的無線連接，具有低成本、低功耗、高速率、組網靈活等特點，其通信架設方便，供電可以采用蓄電池或太陽能電池板等，是實現無線數據采集系統的理想選擇。
3、3G網絡技術傳輸架構
第三代移動通信技術（3rd-generation，3G）[6]，主要是支持高速數據傳輸的蜂窩移動通訊技術。目前3G標準分別是WCDMA、CDMA2000和TD-SCDMA。3G網絡架構由無線接入網絡（RAN）和核心網絡（CN）組成。其中，RAN用于處理所有與無線有關的功能，而CN則處理3G系統內所有的話音呼叫和數據連接，并實現與外部網絡的交換和路由功能，CN從邏輯上可分為電路交換域（CS）和分組交換域（PS）。3G網絡分為核心網和接入網，UMTS 陸地無線接入網（UTRAN）、CN與用戶設備（UE）一起構成了整個無線系統[7]，如圖2所示，體現出分層建設的特點：骨干層傳輸設備位于網絡的骨干或核心節點，具有大容量的業務調度功能，強調業務的中繼和傳送能力；接入層傳輸設備覆蓋在城域的各熱點地區，完成業務的接入，體現出低成本、業務處理能力弱的特點；匯聚層設備連接骨干層和接入層，完成MADM之間的業務整合和匯聚功能。
4、智能交通檢測系統架構及連接拓撲圖
智能交通檢測系統的結構分為交通信息采集系統、交通信息數據傳輸和交通信息處理整合審核管理三大子系統，分為二層結構，信息數據層和信息應用基礎層。具體結構如圖3所示。
交通信息采集是整個系統的基石，其采集主要是通過設置在公路上交通流量檢測器、視頻監控的信息采集設備以及其他方式，獲得真實的、可靠及時的交通流量狀況、突發事件等有關交通的信息，同時與其他相關部門的數據共享，及時動態獲得各種信息。
交通通信系統是將現場的交通流量的檢測設備檢測到的信息，通過有線或者無線傳輸系統，傳輸到監控中心，在那里進行集合與整理。如距離比較近，可以采用光纖與標準RS-232等進行傳輸；當檢測設備距離監控中心較遠，布設數據線與供電不方便處，就可以采用3G網絡進行無線數據傳輸，同時采用蓄電池或是太陽能電池板進行供電。
交通信息處理整合是集合與整理，去偽存真，而這些是需要大量人力、物力以及先進的網絡設備和技術。將與交通流量有關的信息自動統計匯總，通過人工智能決策系統，或是人工分析處理的方法，確定暢通路線、擁擠路段、交通的氣象信息等，并且存儲到數據庫中。
根據交通部門的對交通流量需求，對交通數據進行采集，同時集成其他有關交通的部門有關交通流量的信息，通過無線或是3G網絡進行傳輸，傳輸到交通監控指揮中心，進而進行數據集合和整理，其連接拓撲圖如圖4。
5、結語
目前，智能交通系統發展應用的時期，建立和完善交通流量數據采集與傳輸系統來滿通出、交通管理以及應急指揮的需要是當務之急。隨著智能交通系統的實施及應用的逐步發展，充分利用新技術先進設備建設的高標準高質量的3G網絡傳輸技術，其多樣化的數據傳輸設置，有利于智能交通系統更大的應用，它的建成以及所采用的各類設施設備各種技術為交通運輸和交通管理的安全暢通發揮了十分重要的作用，將會在實際使用中取得了很好的效果，達到了預期的建設目標。
參考文獻
[1]夏勁,郭紅衛.國內外城市智能交通系統的發展概況與趨勢及其啟示[J].科技進步與對策.2003年01期.P176-179.
[2]葉文進.高速公路出行綜合信息服務系統分析[J].中國交通信息化，2010(6):125-128.
[3]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time[J].IEEE,1996,(9):351～356.
[4]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679～683.
[5]劉東.ITS中的車輛檢測技術[J]北京:公安大學學報(自然科學版),2000,20(4):35～39.
1網絡流量監測的必要性及意義
網絡管理中非常重要且非常基礎的一個環節就是網絡流量監測，網絡流量監測即是通過對網絡數據的連續采集，以此來監測網絡的流量。網絡及其重要成分的性能指標也是對網絡流量數據的統計和計算得到的。網絡管理員根據當前的和歷史的存儲網絡及其重要成分的性能的數據數據，就可對網絡及其主要成分的性能進行性能管理，通過數據分析獲得性能的變化趨勢。分析制約網絡性能的瓶頸問題。在網絡流量監測的基礎上，管理員可對感興趣的網絡管理對象設置閾值范圍以配置網絡閾值對象，閾值對象監控實時輪詢網絡獲取定義對象的當前值。若超出閥值的上限和下限則報警，幫助管理員發現網絡瓶頸，這樣即可實現一定程度上的故障管理，而網絡流量監測本身也涉及到安全管理方面的內容。所以，研究網絡流量監測是非常有意義的。
2網絡流量的特性
2.1數據流是雙向的，但通常是非對稱的。互聯網上大部分的應用都是雙向交換數據的，因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異，這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。
2.2大部分TCP會話是短期的。超過90%的TCP會話交換的數據量小于10K字節，會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的WWW文檔傳輸都小于10K字節，WWW的巨大增長使其在這方面產生了決定性的影響。1.3包的到達過程不是泊松過程大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程，即包到達的間斷時間的分布是獨立的指數分布。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布，而且不是獨立分布的。大部分時候是多個包連續到達，即包的到達是有突發性的。很明顯，泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性，從而促進了網絡通信量模型的研究。
2.3網絡通信量具有局域性。互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關（時間局域性）和基于空間的相關（空間局域性）。
3網絡流量的監測技術與方法
3.1網絡流量的監測技術種類
（1）基于流量鏡像協議分析。流量鏡像（在線TAP）協議分析方式是把網絡設備的某個端口（鏈路）流量鏡像給協議分析儀，通過7層協議解碼對網絡流量進行監測。與其他3種方式相比，協議分析是網絡測試的最基本手段，特別適合網絡故障分析。缺點是流量鏡像（在線TAP）協議分析方式只針對單條鏈路，不適合全網監測。
（2）基于硬件探針的監測技術。硬件探針是一種用來獲取網絡流量的硬件設備，使用時將它串接在需要捕捉流量的鏈路中，通過分流鏈路上的數字信號而獲取流量信息。一個硬件探針監視一個子網（通常是一條鏈路）的流量信息。對于全網流量的監測需要采用分布式方案，在每條鏈路部署一個探針，再通過后臺服務器和數據庫，收集所有探針的數據，做全網的流量分析和長期報告。與其他的3種方式相比，基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。但是硬件探針的監測方式受限于探針的接口速率，一般只針對1000M以下的速率。而且探針方式重點是單條鏈路的流量分析，Netflow更偏重全網流量的分析。
（3）基于SNMP的流量監測技術。基于SNMP的流量信息采集，實質上是測試儀表通過提取網絡設備Agent提供的MIB（管理對象信息庫）中收集一些具體設備及流量信息有關的變量。相似的方式還包括RMON。與其他的方式相比，基于SNMP的流量監測技術受到設備廠家的廣泛支持，使用方便，缺點是信息不夠豐富和準確，分析集中在網絡的2、3層的信息和設備的消息。SNMP方式經常集成在其他的3種方案中，如果單純采用SNMP做長期的、大型的網絡流量監控，在測試儀表的基礎上，需要使用后臺數據庫。
（4）基于Netflow的流量監測技術。Netflow流量信息采集是基于網絡設備（Cisco）提供的Netflow機制實現的網絡流量信息采集。Netflow為Cisco之專屬協議，已經標準化，并且Juniper、extreme、華為等廠家也逐漸支持，Netflow由路由器、交換機自身對網絡流量進行統計，并且把結果發送到第3方流量報告生成器和長期數據庫。一旦收集到路由器、交換機上的詳細流量數據后，便可為網絡流量統計、網絡使用量計價、網絡規劃、病毒流量分析，網絡監測等應用提供計數根據。Netflow方式是網絡流量統計方式的發展趨勢。在綜合比較四種技術之后，不難得出以下結論：基于SNMP的流量監測技術能夠滿足網絡流量分析的需要，且信息采集效率高，適合在各類網絡中應用。
3.2網絡流量的監測方法
流量監測包括測量工具/系統的部署、流量數據的采集（包括數據包捕獲、歸并和采樣處理等）、數據包的解析和處理、測量實體量化數值的獲得與統計分析、流量特征化描述、流量存儲和查詢表示、流量建模等多個環節，具有相對復雜的處理和分析過程。目前存在有眾多種流量測量的實現方法，他們可適用不同的測量環境、滿足不同的測量要求，并且有著不同的實現方式。基于硬件的測量通常需要設計和應用特定的硬件設備來對流量數據進行采集和分析。被測量的流量并非由普通的商用計算機直接獲得，而是需要從服務器、交換機、路由器等特定的網絡設備上經過一定處理后導出，然后再由普通的商用計算機完成后續的流量處理和統計分析等工作。不同形式的數據，對應要求在普通的商用計算機上通過不同的程序或軟件實現相應的流量處理和統計分析功能。
【論文摘要】:網絡流量性能測量是網絡管理和系統管理的一個重要組成部分,為網絡的運行和維護提供了重要信息,問時也是網絡流量具體建模、分析的必要前提和手段。網絡流量的測量方法分為主動測量和被動測量。兩種測量方法各有優缺點,分別用于不同的場合。針對網絡流量的測量展開系統性的研究將對Internet行為學方面的研究取得理論突破具有重要意。
網絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態進行趨勢預測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網絡中采用網絡性能監測技術,可以實現
1.1 合理規劃和優化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
1.2 基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3 網絡應用狀況監測與分析
了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。
1.4 實時監測網絡狀況
針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。
1.5 網絡用戶行為監測與分析
這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。 2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5 流量參數
ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。
3.2 被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網絡流量抽樣測量技術
選擇部分報文,當采樣時間間隔較大時,細微的網絡行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統采樣或隨機采樣;也隨觸發采樣事件的不同而不同。如由報文到達時間觸發(基于時間采樣),由報文在流中所處的位置觸發(基于數目采樣)或由報文的內容觸發(基于內容采樣)。為了在減少采樣樣本和獲取更精確的流量數據之間達到平衡。
4.結語
