日志审计系统设计

背景

    萨班斯(SOX)法案。在美国上市公司必须遵循的“萨班斯(SOX)法案” 中要求对企业内部网络信息系统进行评估，其中涉及对业务系统操作、数据库访问等业务行为的审计。

日志审计模型

系统架构参考

四层模型

日志审计类别

1) HTTP 会话审计
从流量中还原 HTTP 会话数据，并根据会话特征进一步深度解析 HTTP BBS访问、HTTP 网页标题、HTTP 威胁情报、HTTP DGA 域名（DGA 域名库、机器学习）、搜索关键词及其他 HTTP 会话等，数据中至少包含请求方法、返回值、主机名、网页地址、用户代理、语言、服务器类型等数据。

                                以上Ngnix日志结构化示例

从结构化的视角看日志，可以从内在属性和外在属性着手。

内在属性是从时间戳、字段、字段命名等日志内容本身所具备的信息内容的角度，对日志进行分析。

外在属性是从来源、归属分类、资产信息等维度来分析。来源是指日志来自哪台主机、哪个 IP；归属分类是从日志的所属系统及日志用途等方面看日志；日志的资产信息是指日志的负责人、负责人的联系方式等相关信息，可以通过平台将日志与负责人进行关联，以便事故发生后可以直接通知到相关负责人

2) DNS 会话审计
从流量中还原 DNS 会话数据，并根据会话特征进一步深度解析 DNS 威胁情报、DNS DGA 域名、DNS 解码错误、DNS 解析错误、DNS 解析超时，数据中至少包含请求域名（FQDN）、DNS 服务器地址、DNS 服务器端口、请求返回解析地址等信息。

3）FTP 会话审计
从流量中还原 FTP 会话数据，数据中至少包含登录用户、传输文件名以及操作命令等信息。

3）Telnet 会话审计
从流量中还原 Telnet 会话数据，数据中至少包含登录用户以及操作命令的实际内容等信息。数据库会话审计从流量中还原主流数据库会话数据，如 Mysql、SQLServer、Oracle 等主流数据库，数据中至少应包含登录用户名、操作命令（抓取 SQL 语句）等信息。

4）邮件会话审计
从流量中还原邮件会话数据，包括 POP3，SMTP、IMAP 协议，数据中至少包含收件人、发件人、主题、附件名称等信息。

5）TLS 会话审计
从流量中还原 TLS 会话数据，主要针对 SSL/TLS 握手部分（非加密），数据中至少包含服务器及客户端证书、服务器名称等信息。

6）工控会话
从流量中还原应用协议为 IEC104、MMS、MODBUS、OPC、OPCUA、EthernetI IP 和 CIP 的工控会话，数据中包含工控会话的 MODBUS 的功能码、功能描述，支持解析 IEC、EthernetI IP 和 CIP 的命令等信息。

7）其他会话审计
其他会话均通过可以通过组合条件查询网络会话支撑审计，网络会话列表包含了全流量的会话还原留存，会话详情将根据 SSH、SMBv1/v2、DCERPC 自动适配字段展现。

日志分析系统

       日志分析的关键环节主要集中在日志源识别、数据接入、数据结构化清洗、数据分析等环节。根据企业实际生产环境，日志数据分别有操作系统日志、网络设备日志、中间件日志、数据库日志、业务系统日志等类型。数据接入有 Agent、Syslog、SNMP 等方式。数据结构化涉及各种类型日志的清洗方式、字典扩展、正则解析、字段识别等内容，内容比较多，有一个标准化流程的话实施起来会相对容易。数据分析包括搜索、可视化，此外还要考虑监控、定时任务、报表等功能。在落地交付时，可以从业务维度，根据系统模块进行数据接入，先调研部分业务系统要实现的分析效果，然后针对这些需求做相应的告警、分析。后续用户还可接入更多的业务系统。也可以从功能维度做日志分析，即先调研所有系统要实现的分析目的，然后再做告警、分析。根据自身企业的需求选择对应的交付方式。

---

今天先到这儿，希望对技术领导力， 企业管理，系统架构设计与评估，团队管理, 项目管理, 产品管理,团队建设 有参考作用 , 您可能感兴趣的文章:
领导人怎样带领好团队
构建创业公司突击小团队
国际化环境下系统架构演化
微服务架构设计
视频直播平台的系统架构演化
微服务与Docker介绍
Docker与CI持续集成/CD
互联网电商购物车架构演变案例
互联网业务场景下消息队列架构
互联网高效研发团队管理演进之一
消息系统架构设计演进
互联网电商搜索架构演化之一
企业信息化与软件工程的迷思
企业项目化管理介绍
软件项目成功之要素
人际沟通风格介绍一
精益IT组织与分享式领导
学习型组织与企业
企业创新文化与等级观念
组织目标与个人目标
初创公司人才招聘与管理
人才公司环境与企业文化
企业文化、团队文化与知识共享
高效能的团队建设
项目管理沟通计划
构建高效的研发与自动化运维
某大型电商云平台实践
互联网数据库架构设计思路
IT基础架构规划方案一(网络系统规划)
餐饮行业解决方案之客户分析流程
餐饮行业解决方案之采购战略制定与实施流程
餐饮行业解决方案之业务设计流程
供应链需求调研CheckList
企业应用之性能实时度量系统演变

如有想了解更多软件设计与架构, 系统IT,企业信息化, 团队管理 资讯，请关注我的微信订阅号：

作者：Petter Liu
出处：http://www.cnblogs.com/wintersun/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 该文章也同时发布在我的独立博客中-Petter Liu Blog。

来源：oschina

链接：https://my.oschina.net/u/4411637/blog/4496715