基于元数据和安全事件的 大数据分析

《基于元数据和安全事件的 大数据分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1896192019872006基于元数据和安全事件的大数据分析上海交通大学网络信息中心姜开达2013年12月28日个人介绍1997~2001~2013(16years)上海交通大学网络信息中心工作经历:学生宿舍网络建设与管理大中小网络运行与维护信息系统建设与管理近五年主要专注于网络信息安全领域主要内容一MetaData的获取二大数据分析平台三安全事件关联分析四未来研究方向安全的颗粒度NetFlow/sFlow报文采样DDOS/PortScan/异常流量发现深度数据包检测（DPI）基于已知

2、签名的识别，对加密流量作用有限元数据（MetaData）介于两者之间http/smtp/pop3/ftp/dns/telnet……美国情报收集系统X-Keyscore可针对邮件、网站内容等执行强大的查询提供实时的目标活动信息所有未过滤的数据可在缓冲区存3天存储所监控网站的完整数据，为元数据建立索引安全事件历史回溯Flow采样分析太粗，丢失信息较多基于五元组等信息完整数据包长期存储，代价巨大1G/10G/100GMission:Impossible依靠长期历史元数据是现实的选择在线分

3、析漏过了，不能再错过离线处理MetaData的生成基于网络流量，生成需要的格式吐出nfdump介绍http://nfdump.sourceforge.net/Thenfdumptoolscollectandprocessnetflowdataonthecommandline.Webinterfacehttp://sourceforge.net/projects/nfsen/CoralReef介绍http://www.caida.org/tools/measurement/coralree

4、f/CoralReefisacomprehensivesoftwaresuitedevelopedbyCAIDAtocollectandanalyzedatafrompassiveInternettrafficmonitors,inrealtimeorfromtracefiles.CoralReefsupportsmonitoringofanystandardnetworkinterface(vialibpcap)onunix-likesystems,aswellasspecializedhi

5、ghperformanceATM,POS,andEthernetdevicesatuptoOC192and10GigEbandwidthsonIntel-basedworkstationsrunningFreeBSDorLinux.Justniffer介绍http://justniffer.sourceforge.net/NetworkTCPPacketSnifferReliableTCPFlowRebuildingOptimizedfor"Request/Response"protoco

6、ls.CanrebuildandsaveHTTPcontentonfilesHTTPMetaData示例1．GET类型Time

7、G

8、Host

9、URI

10、

11、

12、Referer

13、SrcIP

14、SrcPort

15、DstIP

16、DstPort

17、User-Agent2013-08-2511:01:02

18、G

19、news.sjtu.edu.cn

20、/images/index1_1.jpg

21、

22、

23、http://news.sjtu.edu.cn/info/1021/127584.htm

24、111.180.72.x

25、31869

26、20

27、2.120.2.102

28、80

29、Mozilla/4.0(compatible;MSIE7.0)2．POST等其他类型Time

30、P

31、Host

32、URI

33、Type

34、Size

35、Referer

36、SrcIP

37、SrcPort

38、DstIP

39、DstPort

40、User-Agent2013-08-2511:01:29

41、P

42、welcome.sjtu.edu.cn

43、/jdyx/memeber/login.php?action=checkandlogin

44、application/x-www-form-urlencoded

45、38

46、

47、http://welcome.sjtu.edu.cn/jdyx/news/

48、110.179.29.x

49、26605

50、202.120.63.4

51、80

52、Mozilla/5.0(compatible;MSIE7.0)3．服务器返回类型Time

53、HTTPCode

54、

55、

56、Type

57、Size

58、

59、SrcIP

60、SrcPort

61、DstIP

62、DstPort

63、2013-08-2511:03:06

64、404

65、

66、

67、text/html

68、168

69、

70、220.120.2.102

71、80

72、202.119.208.93

73、81