【SIEM、SOC、MSS】
前言
SIEM 和 SOC 在国内并不是一个新兴的名词，相反在国内安全圈内经过了 10 余年的挣扎，SIEM 已经趋于成熟，但是 SOC 仍处于一个鸡肋的位置，我认为其主要原因在 SOC 受制于国内体制、政策、相关日志标准、应用环境、传统认识的制约，从而它在国内一开始就是以产品的方式出现。
缺少了 MSS 的辅助 SOC 就像是要求汽车驾驶员去驾驶维护飞机，这也是国内 SOC 一直无法用起来的主要原因。
而以 SOC 为基础的 MSS（可管理安全服务）一直无法发展状大的原因有二:
技术原因。
提供 MSS 服务要求拥有相当经验高级安全分析专家、完整的 SOC 运维团队；标准的安全事件响应与处理流程、SLA；成熟的信息安全检测模型、威胁场景库；精确的警报系统、报告系统。
学习和建立这一套服务体系不光要耗费大量的金钱、时间与人力，还需要海量的运营资源来实践，可见要拉出一支这样的团队实属不易。
高昂的人力成本与客户现场运维相冲突。
做到以上 MSS 服务的要求需要的成本非常高昂，这就意味是如果要使其商业化最好的方式是集中式管理运营，这点与国内高端客户普遍要求服务商在现场运维是相冲突的。
欧美国家的 MSS 服务之所以盛行，其原因是其相关信息安全标准已经非常成熟，国家与商业机构都已经普遍执行并认可，所以 MSS 所要求的日志外传+集中式管理运营（安全日志代运维）得到了接受和认可。
SIEM(security information and event managemen，安全信息和事件管理)
SIEM 的基本原理是四化（标准化、整合化、关联化和可视化）
SIEM 是软件和服务的组合，是 SIM（安全信息管理）和 SEM（安全事件管理）的融合体。
SEM 侧重于实时监控和事件处理方面，SIM 侧重历史日志分析和取证方面。
SIEM 为企业和组织中所有 IT 资源（包括网络、系统和应用）产生的安全信息（包括日志、告警等）进行统一的实时监控、历史分析，对来自外部的入侵和内部的违规、误操作行为进行监控、审计分析、调查取证、出具各种报表报告，实现 IT 资源合规性管理的目标，同时提升企业和组织的安全运营、威胁管理和应急响应能力。
SIEM 组成
SIEM 是一个由多个监视和分析组件组成的安全系统
一款典型的 SIEM 产品是将许多其他安全规则和工具结合在一个综合的框架下形成的一个合集。
典型的包括以下模块：
- 日志管理(LMS)：用于传统日志收集和存储的工具。
- 安全信息管理(SIM)：集中于从多个数据源收集和管理与安全相关的数据的工具或系统。例如，这些数据源可以是防火墙、DNS 服务器、路由器和防病毒应用程序。
- 安全事件管理(SEM)：基于主动监视和分析的系统，包括数据可视化、事件相关性和警报
大多数的 SIEM 包括以下元素：
安全数据采集。
主要是基于安全日志数据，数字环境中运行的进程的原始输出，是提供实时发生的事情的准确图像的最佳来源，因此是 SIEM 系统的主要数据源。
无论是防火墙日志、服务器日志、数据库日志，还是在实际网络环境中生成的任何其他类型的日志，SIEM 系统都能够收集这些数据并将其存储在一个中心位置以进行扩展的保留。
此采集过程通常由代理或应用程序执行，部署在监视的系统上，并配置为将数据转发到 SIEM 系统的中央数据存储。安全数据解析处理和标准化。
为了能够跨不同源和事件相关性高效地解释数据，SIEM 系统能够规范化日志。这个规范化过程包括将日志处理为可读的结构化格式，从日志中提取重要数据，并映射日志中包含的不同字段。安全数据集中存储。
安全信息数据存储的目地当然是为了利用数据进行管理分析发现安全事件。安全数据分析。
一旦收集、解析和存储日志，SIEM 系统下一步将连接这些点并关联来自不同数据源的事件。这种关联工作基于各种 SIEM 工具提供的规则、为不同的攻击场景预定义的规则，或者由分析人员创建和调整的规则。
大多数 SIEM 系统还提供生成报告的内置机制。这些报告可以用于管理、审计或合规性原因。例如，可以将详细描述触发警报或规则的每日报告嵌入到仪表板中。安全数据呈现。
可视化数据和事件的能力是 SIEM 系统中的另一个关键组件，因为它允许分析人员方便地查看数据。包含多个可视化或视图的仪表板有助于识别趋势、异常情况，并监控环境的总体健康或安全状态。
一些 SIEM 工具将附带预先制作的仪表板，而另一些工具将允许用户创建和调整自己的仪表板。
基于目前海量的安全信息数据，大数据架构已经成为主流。并不是说 SIEM 必须使用大数据架构，因为这是一个应用场景问题而非技术问题。但面对大量数据需要处理的场景时，基于大数据架构的 SIEM 则必不可少。所以有些厂商提出了 SDC（security data center）安全大数据中心的概念就是把所有的安全数据集中管理起来，在 SDC 的基础上构建安全数据分析和展现能力，形成 SIEM 平台。
开源的 SIEM
目前成熟的 SIEM 产品有很多，开源的有 OSSIM、Elastic SIEM、Opensoc，可以参考：6大开源SIEM工具，安全信息和事件管理的“利器”
OSSIM
OSSIM 是 SIEM 的代表性产品，在产品形式上和 Kali 类似是一个基于 Debain 进行二次开发的 Linux 发行版，5.6.5版本基于Dibian 8（jessie）。
OSSIM使用Nmap等实现资产发现、使用Nessus等实现漏洞扫描、使用Snort等实现入侵检测、使用MySQL等进行数据存储，自己实现的部分主要是工具、数据整合和可视化展示。ossim 存储支持多种日志格式，包括鼎鼎大名的Snort、Nmap、 Nessus以及Ntop等，对于数据规模不大的情况是个不错的选择，新版界面很酷炫
从架构上来看，OSSIM系统是一个开放的框架，它的核心价值在于创新的集成各开源软件之所长，它里面的模块既有C/S架构，又有B/S架构，但作为最终用户主要掌握OSSIM WebUI主要采用B/S架构，Web服务器使用Apache。OSSIM系统结构示意图如下图所示。
- 第1层，数据采集层，使用各种采集技术采集流量信息、日志、各种资产信息，经过归一化处理后传入核心层。该层体现安全事件来源，入侵检测、防火墙、重要主机发出的日志都是安全事件来源，它们按发出机制分为两类：模式侦查器和异常监控（两者都采集警告信息，功能互补）由它们采集的安全事件，再被Agent转换为统一的格式发到OSSIM服务器，这一层就是Sensor要完成的内容。
- 第2层，核心处理层，主要实现对各种数据的深入加工处理，包括运行监控、安全分析、策略管理、风险评估、关联分析、安全对象管理、脆弱性管理、事件管理、报表管理等。该层中OSSIM Server是主角，OSSIM服务器，主要功能是安全事件的集中并对集中后的事件进行关联分析、风险评估及严重性标注等。所谓的集中就是以一种统一格式组织所有系统产生的安全事件告警信息（Alarms）并将所有的网络安全事件告警存储到数据库，这样就完成了对网络中所产生事件的一个庞大视图。系统通过事件序列关联和启发式算法关联来更好的识别误报和侦查攻击的能力。
- 第3层，数据展现层，主要负责完成与用户之间的交互，达到安全预警和事件监控、安全运行监控、综合分析的统一展示，形式上以图形化方式展示给用户。Web框架(Framework)控制台界面即OSSIM的Web UI（Web User Interface，Web用户界面），其实就是OSSIM系统对外的门户站点，它主要由仪表盘、SIEM控制台、Alarm控制台、资产漏洞扫描管理、可靠性监控、报表及系统策略等部分组成。
OSSIM本质上通过对各种探测器和监控产生的告警进行格式化处理，再进行关联分析，通过后期这些处理能提高检测性能，即减少告警数量，减小关联引擎的压力，从整体上提高告警质量。
OSSIM主要模块的关系:
OSSIM系统主要使用了PHP、Python、Perl和C等四种编程语言，从软件层面上看OSSIM框架系统包括五大模块：Agent模块、Server模块、Database数据库模块、Frameworkd模块以及Framework模块，逻辑结构如图所示。
Elastic SIEM 的核心是全新的 SIEM 应用，此应用是安全团队的交互式工作空间，可允许他们对事件进行分类并开展初期调查。其中包括的时间线事件查看器 (Timeline Event Viewer) 能够允许分析师收集和存储攻击证据，固定相关活动并添加注释，以及添加评论并分享他们的发现，而且这一切在 Kibana 中即可完成；这样一来，您便能够轻松处理符合 ECS 格式的任何数据了。
Opensoc
Opensoc是思科2014年在BroCon大会上公布的开源项目，但是没有真正开源其源代码，只是发布了其技术框架。可以参考Opensoc发布的架构，结合实际落地SIEM的方案。Opensoc完全基于开源的大数据框架kafka、storm、spark和es等，天生具有强大的横向扩展能力
所以从SIEM的定义和功能来看有两个核心能力，一个是安全信息数据的采集汇聚能力，一个就是安全事件的分析能力。
SIEM 搭建实例
SOC(Security Operations Center, 安全运营中心)
SOC（安全运营中心）来源于NOC（网络运营中心）。
SOC（安全运营中心）是以资产为核心，以安全事件管理为关键流程，采用安全域划分的思想，建立一套实时的资产风险模型，协助管理员进行事件及风险分析，预警管理，应急响应的集中安全管理系统。
SOC 是一个复杂的系统，它既有产品，又有服务，还有运维(运营)，SOC 是技术、流程和人的有机结合。SOC 产品是 SOC 系统的技术支撑平台，这是 SOC 产品的价值所在。
随着安全态势感知平台的兴起，安全运营中心将以态势感知平台作为智能安全运营的载体，在风险监测、分析研判、通知协作、响应处置、溯源取证等各方面进行了增强，同时融入了当前流行的技术和平台作为支撑，如大数据技术、东西向流量采集技术，EDR 终端检测响应技术、机器学习、欺骗攻击技术等。
同时态势感知平台与 ITIL（Information Technology Infrastructure Library，ITIL）理念与信息安全管理标准相融合，将安全运营划分为不同角色，如安全管理人员、安全专家、安全运维、安全分析师、安全应急响应人员、安全研究人员等，在集成了安全事件管理全生命周期的流程中，通过工作流程将其串联起来，使安全运营流程更加规范和有序。
为什么用 SOC
随着信息安全问题的日益突出，安全管理理论与技术的不断发展，需要从安全的角度去管理整个网络和系统，而传统的 NOC 在这方面缺少技术支撑，于是出现了 SOC 的概念。
过去我们都让安全专家来管理各种类型的防火墙、IDS 和诸如此类的安全措施，这主要是因为安全问题一般都发生在网络中非常具体的某个地点。但是，现在的情况已经变化，安全问题已经不再像当年那么简单。
安全是一个动态的过程，因为敌方攻击手段在变，攻击方法在变，漏洞不断出现；我方业务在变，软件在变，人员在变，妄图通过一个系统、一个方案解决所有的问题是不现实的，也是不可能的，安全需要不断地运营、持续地优化。安全措施应当被实施在应用层、网络层和存储层上。它已经成为您的端对端应用服务中的一部分，与网络性能的地位非常接近。
起源
SOC 的提出首先来源于安全服务提供商，他们首先提出了可管理安全服务（MSS）概念。从1998~2001年国外 SOC 发展的大致情况看，SOC 发展一直都是作为服务（中心）和产品（平台）两个维度来发展的。现在的 SOC 究竟是服务还是产品，取决于你的发展策略：
SOC 可以用于建立 MSS 运营平台，成为 MSS 的基础，这个 SOC 是一个中心，有固定的场所，有一个 SOC 技术支撑平台，有组织人员、有一套运营的流程，为第三方提供安全管理服务；
SOC 可以用于建立企业和组织的安全运营中心。这个中心首先要有一套 SOC 平台，然后借助这个平台，企业和组织进行安全运维。如果仅仅购买一个平台，而不考虑运维，就像买了一把扫帚而不用，房间是不会自己变干净的。
业界最终用户建设 SOC 安全运营中心的三种方法
- 自建型 SOC：自己搭建平台，建立自己的组织和流程，并进行运维。其中平台部分，用户可以自己设计并开发平台，也可以外购一个技术平台；
- 外包型 SOC：购买 MSS 服务，租用 MSSP(管理安全服务提供商)的 SOC，或者叫做安全服务外包，包括租用安全基础设施；
- 共建 SOC：目前比较多见的方式，自己搭建 SOC 技术平台，建立核心的组织结构和流程，处理核心的安全问题，然后利用外脑（外包服务）来进行协维、咨询；该方式是前两种方式的综合。
自建型 SOC 主要涉及 SOC 的创建和运维，SOC 的创建可以参考《Building a Security Operations Center》，运维可参考《How to SOC it to the bad guys》。
针对外包型 SOC，选择时除了考虑有强有力的基础实施、人员、流程和制度管理外，还应该有很好的信誉和资质，能够给用户带来安全感。
MSSP 如何构建 SOC
对于自己搭建 SOC 安全运营中心，但主要不是自用，而是用它去做 MSS 的 MSSP 在构建 SOC 时同样要考虑技术、流程和组织三个方面的内容。具体操作的时候，也有两个方式：
- 自建型 MSSP，也就是自己来，以我为主的方式。可以利用自身现有的积累和优势，拓展成为一个 MSSP，如国内的安全宝。
- 共建型 MSSP，就是几个人（几家单位）一起来，各自贡献自己的优势，参与方可能包括基础设施提供商、运维和服务提供商，还有技术平台提供商，等等。
MSS
MSS（可管理安全服务）是由专业的 MSSP（可管理安全服务提供商）提供的安全运维外包服务。
MSS 可为客户带来以下收益。
- 降低成本：人员配置，技能要求，场地需求。
- 全天候监控：7×24 的监控服务。
- 风险监控：有效监控安全风险，第一时间提供解决方案。
- 发现和解决问题：及时发现和解决可能存在的安全问题。
- 趋势分析：专业的安全趋势分析，月、季、年安全分析报告。
- 日志存储和查询：日志有效存储和备份、快速查询定位。
安全态势感知平台
“态势感知”早在 20 世纪 80 年代由美国空军提出，其包含感知、理解和预测三个层次。截止目前，业界对网络安全态势感知还没有一个统一全面的定义，基于美国 Endsley 博士的理论对网络安全态势感知做出的定义：
“网络安全态势感知是综合分析网络安全要素，评估网络安全状况，预测其发展趋势，并以可视化的方式展现给用户，并给出相应的报表和应对措施。”
什么是态势感知平台，大家都认为应该是利用大数据、机器学习等技术对态势感知态势海量数据进行提取，进行多维度的关联分析。能够提供对安全风险保持报警、趋势预测等，海量数据、关联分析、大屏展示和趋势预测是四个重点。而趋势预测最核心，目前做起来也比较难。
个人理解，SIEM 重点在于对安全事件的感知和理解，态势感知重点在于通过大数据、机器学习等技术加深了对安全趋势的预测。国外一般不提态势感知系统，而国内，很多厂商都推出了态势感知系统。
目前国内安全厂商提供的“态势感知产品”包含的功能模块有：资产管理、漏洞管理、大数据平台、日志分析平台、威胁情报、沙箱、用户行为分析、网络流量分析、取证溯源、威胁捕捉等能力。
几个关键点：
- 大数据平台。随着监测范围的扩大，数据量也在扩大，需要一个具备大数据处理和计算能力的平台，这是整个态势感知平台建设很重要的基础。
- 基于威胁情报的监测。威胁情报对于降低大量数据和报警中的垃圾数据或者报警噪声，帮助更快速、更高效的发现攻击行为和攻击者非常关键，威胁情报的质量是检验态势感知平台能力的很重要的方面。
- 全要素数据的采集。利用态势感知这样的平台能力的核心目的，是要监测到复杂的、高级的攻击，就需要态势感知平台首先要捕获到微观的状态，低成本、高效率的全要素数据采集能力是基础。
- 基于攻击场景的分析研判。攻击不再是基于特征的监测，需要运用威胁情报、运用一些专家的经验，来构建基于场景的分析系统，它不是一个静态的东西，是一个与时俱进的攻防对抗过程中不断学习、学习参考的过程，需要持续运营这样的分析管理，需要更多的专家的经验和安全运营人员的参与。
SIEM、SOC 和 MSS 的区别与关联
SIEM 侧重于日志的集中式管理和审计，SOC 则用于安全日志的分析和安全风险的监控与定位。两者的侧重点不同决定了，SIEM 可以用产品来交附而 SOC 则必需加入 MSS 服务的人工干预来完善。
对于两者之间的区别，SIEM 只做到了传统的安全日志数量统计，SOC+MSS 则是对安全日志重定义并生成新的安全事件，实现对安全日志的归并、过滤与威胁定级，将安全警报量化。例如，A 公司受到黑客的 DDoS 攻击,15 分钟内收到了 20W 条相关的安全日志。SIEM报给客户的报警为 20W 条，而 SOC 报给客户的报警为 1 条，显然在安全风险管理的角度上来看，SIEM 的计数方式是不科学的。
MSS 服务结合 SOC 则能做到智能化监控、分析、预警服务，改变过往自行维护繁复的安全信息与事件管理平台的习惯，摒弃安全信息与事件管理平台的复杂化，从管理的简易性、事件呈现、事件处理等角度提供解决方案，可以通过门户网站的模式获得所关心的内容，同时也可以在指定时间内通过电话等多种形式得到安全响应和相应的安全解决方案，在门户网站上也能得到更加详细的解决方案内容。
个人理解的 SOC 和 SIEM 的区别
- SIEM 的基础是安全日志，SOC 的基础除了安全日志外还有威胁情报、应急响应、资产管理、自动化编排和运营、主动防御、后门查杀等等。
- SIEM 是一个平台，SOC 除了平台之外，还包括 MSS。