2019年分布式流式关联引擎.pdf

1、分布式关联分析引擎Sabre在NGSOC中的应用01：事件关联和CEP02：大数据场景下的CEP关联分析03：分布式流式关联分析引擎-Sabre目录新一代分布式流式关联分析引擎CEP(复杂事件处理)技术在大数据领域的一个实现中文名-军刀，代表开箱即用，威慑力强“Sabre”是什么？事件关联和CEP01事件是计算机系统中某一活动产生的一组数据。事件的体现形式是一个对象，它由特定属性和数据组成。什么是事件？src_user:fangwen,dport:80,log_type:fw,msgid:d00de753f73a4583a5197d34d8a30b25,collect_ip:10.95.36.

2、14,dip:110.12.12.15,protocol:TCP,event_name:Match url profile,dev_type:/安全设备/防火墙,occur_time:1564453383000,sip:110.12.12.13,severity:6_信息,serial_num:1896129436,systype:log,dev_ip:10.91.130.216,sport:7704事件关联是一类用于对数以百计的设备中产生的数以百万计的日志进行分析以发现难以捉摸的攻击模式的技术什么是事件关联？网络攻击是复杂的，多阶段，持续时间段，跨多节点的动态过程独立的日志源无法看到攻击的全

3、貌，而只能看到完整攻击的一个片段不进行关联，就无法把大量的片段组合起来完成 全景拼图什么是事件关联？CEP：Complex Event Processing（复杂事件处理）一种基于动态环境中事件流的分析技术什么是CEP？CEP：COMPLEX EVENT PROCESSING（复杂事件处理），CEP是 SIEM(SOC)的核心技术之一。什么是CEP？事件复杂度处理速度复杂事件简单事件人类速度机器速度传统商务智能技术关系型数据库复杂事件处理Complex、Event、Processing消息队列Messaging&Routing、Systems数据库技术和CEP的区别水库vs水管CEP：SQL

4、on stream大数据场景下的CEP关联分析02海量数据如何有机结合？拥有各种类型的日志或数据，彼此之间孤立，不能发现深层复杂安全事件。大量告警如何高效应对？传统安全设备产生的大量告警事件，数量级已经达到靠人工无法有效处置。典型场景如何精准防御？缺乏对典型场景的关键影响因素细粒度地分析。高级威胁如何及时发现？面对的高级威胁事件APT攻击越来越多，没有能力及时地发现此类威胁。大数据场景下的工程难点难 点 1难 点 2难 点 3计算与存储资源的平台化趋势与已建大数据平台的兼容性依赖重运维的自有系统 VS 轻运维的产品大数据场景下CEP关联分析实现的过程步 骤 1步 骤 2步 骤 3(流式)计算框

5、架的选择复杂逻辑的拆分，使能分布式计算任务的生命周期管理（创建，运行，监控）分布式流式关联分析引擎-SABRE03SABRE的特性技 术特 性产 品独有的事件处理语言(EPL)图计算代码生成聚合计算、序列分析、关联计算、时间窗口、分组去重、表计算、国内首款大数据分布式实时关联分析引擎（产品级）可横向扩展的分布式引擎支持多源、异构日志支持漏洞、资产、威胁情报等多维数据支持自定义对象内容类Visio可拖拽轻松配置150+预置规则100+语义表达建模更简便支持分布式部署支持横向扩展集群更可靠可达10WEPS的实时处理能力性能更强劲国内第一款具有自主知识产权及专利的大数据分布式关联分析引擎来源更丰富灵

6、活的规则建模能力传统安全设备的规则是基于代码级别的编码，通过特征识别发现威胁的。但威胁是快速变化的，通过规则升级来响应是滞后的。通过类VISIO的图形化连线拖拽配置，就可实时地对威胁场景进行建模，配置规则统计规则关联规则序列规则快速配置和上线通过Sabre关联分析引擎，将一个新的监控需求的实现从开发、测试和上线的复杂流程中解放出来。通过工具化的配置拖拽即可轻松定制任何检测场景！遇到问题遇到问题分析原理分析原理确定方法确定方法编程开发编程开发测试上线测试上线具备具备监测能力监测能力快速配置和上线通过Sabre关联分析引擎，将一个新的监控需求的实现从开发、测试和上线的复杂流程中解放出来。通过工具化