基于元数据和安全事件的 大数据分析

《基于元数据和安全事件的 大数据分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1896192019872006基于元数据和安全事件的大数据分析上海交通大学网络信息中心姜开达2013年12月28日个人介绍1997~2001~2013(16years)上海交通大学网络信息中心工作经历:学生宿舍网络建设与管理大中小网络运行与维护信息系统建设与管理近五年主要专注于网络信息安全领域主要内容一MetaData的获取二大数据分析平台三安全事件关联分析四未来研究方向安全的颗粒度NetFlow/sFlow报文采样DDOS/PortScan/异常流量发现深度数据包检测（DPI）基于已知签名的识别，对加密流量作用有限元数

2、据（MetaData）介于两者之间http/smtp/pop3/ftp/dns/telnet……美国情报收集系统X-Keyscore可针对邮件、网站内容等执行强大的查询提供实时的目标活动信息所有未过滤的数据可在缓冲区存3天存储所监控网站的完整数据，为元数据建立索引安全事件历史回溯Flow采样分析太粗，丢失信息较多基于五元组等信息完整数据包长期存储，代价巨大1G/10G/100GMission:Impossible依靠长期历史元数据是现实的选择在线分析漏过了，不能再错过离线处理MetaData的生成基于网络流量，生成需

3、要的格式吐出nfdump介绍http://nfdump.sourceforge.net/Thenfdumptoolscollectandprocessnetflowdataonthecommandline.Webinterfacehttp://sourceforge.net/projects/nfsen/CoralReef介绍http://www.caida.org/tools/measurement/coralreef/CoralReefisacomprehensivesoftwaresuitedevelopedbyCA

4、IDAtocollectandanalyzedatafrompassiveInternettrafficmonitors,inrealtimeorfromtracefiles.CoralReefsupportsmonitoringofanystandardnetworkinterface(vialibpcap)onunix-likesystems,aswellasspecializedhighperformanceATM,POS,andEthernetdevicesatuptoOC192and10GigEbandwidthsonI

5、ntel-basedworkstationsrunningFreeBSDorLinux.Justniffer介绍http://justniffer.sourceforge.net/NetworkTCPPacketSnifferReliableTCPFlowRebuildingOptimizedfor"Request/Response"protocols.CanrebuildandsaveHTTPcontentonfilesHTTPMetaData示例1．GET类型Time

6、G

7、Host

8、URI

9、

10、

11、Referer

12、SrcI

13、P

14、SrcPort

15、DstIP

16、DstPort

17、User-Agent2013-08-2511:01:02

18、G

19、news.sjtu.edu.cn

20、/images/index1_1.jpg

21、

22、

23、http://news.sjtu.edu.cn/info/1021/127584.htm

24、111.180.72.x

25、31869

26、202.120.2.102

27、80

28、Mozilla/4.0(compatible;MSIE7.0)2．POST等其他类型Time

29、P

30、Host

31、URI

32、Type

33、Size

34、Referer

35、SrcIP

36、SrcPort

37、Dst

38、IP

39、DstPort

40、User-Agent2013-08-2511:01:29

41、P

42、welcome.sjtu.edu.cn

43、/jdyx/memeber/login.php?action=checkandlogin

44、application/x-www-form-urlencoded

45、38

46、http://welcome.sjtu.edu.cn/jdyx/news/

47、110.179.29.x

48、26605

49、202.120.63.4

50、80

51、Mozilla/5.0(compatible;MSIE7.0)3．服务器返回类型Time

52、HTTPCod

53、e

54、

55、

56、Type

57、Size

58、

59、SrcIP

60、SrcPort

61、DstIP

62、DstPort

63、2013-08-2511:03:06

64、404

65、

66、

67、text/html

68、168

69、

70、220.120.2.102

71、80

72、202.119.208.93

73、81