覃永靖-如何设计信息安全领域的实时.pdf

1、覃永靖奇安信集团高级技术专家如何设计信息安全领域的实时安全基线引擎如何设计信息安全领域的实时安全基线引擎什么是安全分析什么是安全分析#1#1计算框架的选择计算框架的选择#2#2引擎设计引擎设计#3#3实践与展望实践与展望#4#40 01 1什么是安全分析什么是安全分析日志采集日志采集&解析解析流量日志流量日志威胁日志威胁日志运行日志运行日志终端日志终端日志实时安全分析实时安全分析安全基线安全基线安全运营安全运营&态势感知态势感知态势可视化态势可视化事件流大数据集群大数据集群安全事件实时安全分析关联分析关联分析安全规则安全规则威胁情报威胁情报安全知识库安全知识库安全联动安全联动安全运营安全运营安

2、全编排安全编排支持简单易用的安全分析语义第一时间发现和响应安全事件快速响应132检测的是异常（少数），而不是正常（多数）大量领域独有需求场景定制混合部署大量组件在同一节点同时运行硬件/节点扩展成本高/受限资源受限安全领域特点安全领域的需求时延要求严格，攻防双方抢时间差安全事件驱动，解决方案上线快，响应及时实时分析提供丰富的安全分析语义覆盖大部分安全分析场景语义丰富轻松部署在各种大数据平台支持客户自建平台最大的版本兼容灵活部署支持部署到从一到几十甚至上百台节点的集群上运行资源占用尽可能小且支持大规模分析规则/基线（上千）同时运行最小资源提供企业级产品的稳定性运行稳定安全基线分析检测对象数据/日志

3、/特点，然后人工归纳/统计出可检测特征，建立安全模型：安全规则/威胁情报基于特征的检测根据检测对象数据/日志，采用各种方法学习出行为特征，建立行为基线，并用于异常检测：安全基线基于行为的检测常见安全场景场景1最近账号登录VPN服务器的次数和行为，相比历史数据异常DBA用户账户登陆异常：位置异常/访问资产异常邮件发送附件数量超出基线设置场景2场景30202计算框架的选择计算框架的选择计算框架的选择OR计算框架的选择Flink是一种先进的面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。优势点：优势点：分布式计算框架，部署灵活1 1高吞吐低延迟，性能强大2

4、 2灵活的 Data Streaming API，方便实现定制化需求3 3检查点和保存点机制简单易用低4 4社区活跃，丰富的文档和场景样例5 5计算框架的选择在企业级受限资源（硬件资源）环境，规则集数量上千规模的情况下，Flink标准版本及现有的“Flink SQL”和“Flink CEP”均在满足业务及性能需求上遇到问题。痛点：痛点：无大规模规则语义/流优化1不便于动态更新规则和运行图2无业务原生级状态监控3缺乏安全场景定制窗口和逻辑4无资源保护机制5重复告警，不支持空值窗口触发6无安全基线相关算子7使用和调优门槛较高80303引擎设计引擎设计应用架构威胁情报态势分析资产漏洞地理位置知识数据

5、node1node2node N.Flink runtimeFlink DataStream APISabreRules/DSL安全分析安全运营资源监控FlinkSabre应用层部署业务流程Sabre-Server基线编辑规则配置运行监控RESTfull API规则解析及优化器图优化及代码生成代码编译及打包图监控映射业务逻辑基线引擎消息队列/存储消息队列/存储规则和运行策略配置任务包(jar)图节点运行监控信息Task codeDAG事件流事件流用户界面大数据集群基线路由任务监控Sabre基线下发业务监控信息基线数据DSL简单易用学习成本低，易上手符合分析人员直觉思维数据类型丰富提供丰富的数据

6、类型基础类型IP，日期，地理位置，威胁情报，资产语义丰富提供丰富的分析语义对安全分析语义进行增强和定制设计支持扩展提供扩展接口支持自定义处理逻辑readKafka(bootstrap.servers=localhost:9092,topic=input,group.id=sabre,data.type=json,timestamp.type=event,timestamp.field=occur_time,timestamp.format=yyyy-MM-dd HH:mm:ss:SSS,timestamp.unit=millisecond).filter(select*add$ruleID a