系统日志

日志是每个系统最为头疼的地方，杂乱，还多，没有还不行，想管理好的话，得经得起考验，要解决的问题总结如下： （1）高并发 （2）高吞吐量 （3）支持分布式集群 （4）检索要快 简介： 1.Zoomkeeper Kafka的通道 2. Kafka Kafka主要是解决大量日志的处理的分布式发布订阅消息系统，拥有高吞吐量，相比Redis而言，可能存在数据丢失的情况，速度更快，仅支持topic模式，更适合做日志系统 3.Logstash Logstash是一个写入工具，可以说是一个桥梁，实现将kafka的consumer端和Elasticsearch数据连通有很大作用，另外也可以将文件写入到Elasticsearch中，还可以将历史的日志也转存到Elasticsearch中，还是个多功能的工具，官方最新版本中已经默认支持了对Kafka和Elasticsearch的配置 4.Elasticsearch Elasticsearch是可以分布式集群部署的全文搜索引擎服务器（NoSQL数据存储），既拥有Lucene的全文检索功能，同时还能进行分布式储存，检索速度快，与Hadoop联合作数据分析，稳健性高，可以在一个集群宕机后，使用备用集群，一样可以工作，缺点：需要足够的内存和CPU资源 5.Kibana Kibana主要用于对Elasticsearch数据的展示和分析 方案：

一，下载软件 下载地址 https://www.elastic.co/cn/downloads/ ，里面有 Elasticsearch Kibana Logstash Beats 整套软件下载，我们只下载 Elasticsearch 和 Kibana 。 下载有 2种 一种是 rpm 包，另外是 .tar.gz 解压文件，我们这里选择 .tar.gz ，版本选择 最新版 注意要版本一致。 下载命令： wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.1-linux-x86_64.tar.gz wget wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.1.tar.gz 二，修改系统参数 vim /etc/sysctl.conf #增加如下内容 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.ip_local_port_range = 10240 65535 vm.max_map_count = 262144 vim /etc/security/limits.conf #增加如下内容 root soft nofile 65536

假设存在日志文件 hrun.log，查询的关键字为"新增用户"： 根据关键字查看日志 cat hrun.log | grep "新增用户" 根据关键字查看后10行日志 cat hrun.log | grep "新增用户" -A 10 根据关键字查看前10行日志 cat hrun.log | grep "新增用户" -B 10 根据关键字查看前后10行日志，并显示出行号 cat -n hrun.log | grep "新增用户" -C 10 查看日志前 50 行 cat hrun.log | head -n 50 查看日志后 50 行，并显示出行号 cat -n hrun.log | tail -n 50 说明： -A 表示关键字之后，After -B 表示关键字之前，Before -C 表示关键字前后，Context linux之grep命令 grep是一个多用途的文本搜索工具，linux中使用非常频繁，并且使用很灵活，可以是变量，也可以是字符串。最基本的用法有以下两种： 1.搜索内容中无空格，可以直接执行grep命令，比如：grep pass a.txt，表示在a.txt文件中搜索pass所在的行。 2.如果搜索内容中有空格，则需要使用单引号或者双引号把搜素内容引起来，比如： grep "hello all" a.txt或者grep 'hello all' a.txt

随着互联网行业的不断发展，各种监控工具多得不可胜数。这里列出网上最全的监控工具。让你可以拥有超过80种方式来管理你的机器。在本文中，我们主要包括以下方面： 命令行工具 网络相关内容 系统相关的监控工具 日志监控工具 基础设施监控工具 监控和调试性能问题是一个艰巨的任务，但用对了正确的工具有时也是很容易的。下面是一些你可能听说过的工具，也有可能没有听说过——何不赶快开始试试？ 八大系统监控工具 1. top 这是一个被预装在许多 UNIX 系统中的小工具。当你想要查看在系统中运行的进程或线程时：top 是一个很好的工具。你可以对这些进程以不同的方式进行排序，默认是以 CPU 进行排序的。 2. htop htop 实质上是 top 的一个增强版本。它更容易对进程排序。它看起来上更容易理解，并且已经内建了许多通用操作。它也是完全交互式的。 3. atop atop 和 top，htop 非常相似，它也能监控所有进程，但不同于 top 和 htop 的是，它可以按日记录进程的日志供以后分析。它也能显示所有进程的资源消耗。它还会高亮显示已经达到临界负载的资源。 4. apachetop apachetop 会监控 apache 网络服务器的整体性能。它主要是基于 mytop。它会显示当前的读取进程、写入进程的数量以及请求进程的总数。 5. ftptop ftptop

redo log redo log ：重做日志。每当有操作时，在数据变更之前将操作写入 redo log ，这样当发生掉电之类的情况时系统可以在重启后继续操作 undo log ：称为撤销日志，当一些变更执行到一半无法完成时，可以根据撤销日志恢复到变更之间的状态。 redo log 位于存储引擎层， InnoDB 中有使用。 InnoDB 的 redo log 是固定大小，比如配置一组4个文件，每个文件的大小为1G，那么总共可以记录4GB的操作。从头开始写，写到末尾就又回到开头循环写。 write pos ：当前记录的位置，一边写一边后移 checkpoint ：当前要擦除的位置，是往后推移并且循环的，擦出记录前要把记录更新到数据文件 write pos 和 checkpoint 之前是日志还空着的部分，可以用来记录新的操作。如果 write pos 追上 checkpoint ，表示日志满了，这时候不能再执行新的更新，得停下来先擦掉一些记录。 有了 redo log ， InnoDB 就可以保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力成为 crash-safe 。 WAL ： Write-Ahead Loggin ，预写日志系统。在使用WAL的系统中，所有的修改都先被写入到日志中，然后再被应用到系统状态中。通常包含redo和undo两部分信息。 具体来说

　　 网站日志流量分析系统之（日志收集） 已将数据落地收集并落地至HDFS，根据 网站日志流量分析系统 中架构图，接下来要做的事情就是做离线分析，编写MR程序或通过手写HQL对HDFS中的数据进行清洗；由于清洗逻辑比较简单，这里我选择用Hive来对HDFS中的数据进行清洗（当然也可以用MR来清洗）。数据清洗处理过程相对较长，所以：Be patient，please! 二、服务器规划 三、数据清洗 　　由于本次测试数据清洗逻辑较为简单，所以采用Hive来进行清洗（当然你也可以选择手写MR程序），下面操作是在hadoopalone主机操作（即安装有hadoop伪分布式） （1）进入hive命令行模式，创建库logdb hive> create database logdb; （2）创建外部分区表管理数据（HDFS） hive>use logdb; hive> create external table logdemo > (url string,urlname string,title string,chset string, > scr string,col string,lg string,je string,ec string, > fv string,cn string,ref string,uagent string, > stat_uv string,stat_ss

日志系统架构图 软件版本： filebeat-7.5.1 elasticsearch-7.5.1 logstash-7.5.1 kibana-7.5.1 redis-5.0.8 主机： system：Centos 7.7 host IP: 192.168.1.105 安装 elasticsearch、kibana、logstash 192.168.1.103 安装 redis 192.168.1.111 安装 filebeat、nginx 192.168.1.79 安装 filebeat、nginx JDK：jdk-8u231-linux-x64 安装： 1、安装elasticsearch（单机） 修改环境参数，配置线程个数。修改配置文件/etc/security/limits.conf，增加配置 * hard nofile 65536 * soft nofile 65536 * soft nproc 2048 * hard nproc 4096 修改/etc/sysctl.conf文件，增加配置： vim /etc/sysctl.conf vm.max_map_count=262144 执行 sysctl -p 命令，使配置生效 增加普通用户 groupadd elsearch --- 添加elsearch组 useradd elsearch -g elsearch --

3 月，跳不动了？>>> Systemd 是 Linux 系统工具，用来启动守护进程，已成为大多数发行版的标准配置。 本文介绍它的基本用法，分为上下两篇。今天介绍它的主要命令，下一篇介绍如何用于实战。 一、由来 历史上，Linux 的启动一直采用init进程。 下面的命令用来启动服务。 $ sudo /etc/init.d/apache2 start # 或者 $ service apache2 start 这种方法有两个缺点。 一是启动时间长。init进程是串行启动，只有前一个进程启动完，才会启动下一个进程。 二是启动脚本复杂。init进程只是执行启动脚本，不管其他事情。脚本需要自己处理各种情况，这往往使得脚本变得很长。 二、Systemd 概述 Systemd 就是为了解决这些问题而诞生的。它的设计目标是，为系统的启动和管理提供一套完整的解决方案。 根据 Linux 惯例，字母d是守护进程（daemon）的缩写。 Systemd 这个名字的含义，就是它要守护整个系统。 （上图为 Systemd 作者 Lennart Poettering） 使用了 Systemd，就不需要再用init了。Systemd 取代了initd，成为系统的第一个进程（PID 等于 1），其他进程都是它的子进程。 $ systemctl --version 上面的命令查看 Systemd 的版本。

本书涉及面较广，但是白话较多，没有太多的干货。寸之深，亩只阔，适合作为科普读物快速阅读。 文章目录 Ⅰ 基础知识 1 开启网络安全态势感知的旅程 2 大数据平台和技术 2.1 大数据基础 2.1.1 大数据关键技术 2.1.2 大数据计算模式 2.2 大数据主流平台框架 2.2.1 Hadoop 2.2.2 Spark 2.2.3 Storm 2.3 网络安全态势感知架构 2.4 大数据采集与预处理技术 2.5 大数据存储与管理技术 2.6 大数据处理与分析技术 2.7 大数据可视化技术 Ⅱ 态势提取 3 网络安全数据范围 3.1 完整内容数据 3.2 提取内容数据 3.3 会话数据 3.4 统计数据 3.5 元数据 3.6 日志数据 3.7 告警数据 4 网络安全数据采集 4.1 制定数据采集计划 4.2 主动式采集 4.3 被动式采集 4.4 数据采集工具 4.5 采集点部署 5 网络安全数据预处理 5.1 数据清洗 5.2 数据集成 5.3 数据归约 5.4 数据变换 5.5 数据融合 Ⅲ 态势提取 6 网络安全检测与分析 6.1 入侵检测 6.1.1 IDS分类 6.1.2 入侵检测的分析方法 6.2 入侵防御 6.2.1 IPS分类 6.3 入侵容忍 6.4 安全分析 6.4.1 安全分析流程 6.4.2 数据包分析 6.4.3 计算机/网络取证 6.4.4 恶意软件分析

项目背景 随着业务的不断优化调整，开发的环境由传统环境转向Docker容器方向，各种开发过程和应用的日志变得更加种类繁多。 因此，集中式的日志管理与展示分析变得尤为重要。 项目实施架构 Docker环境搭建 Centos 7.5 docker ( 一 ) 安装 EFK简介 ## Elasticsearch ： 官网 https://www.elastic.co 分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。 Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 ## Fluentd (td-agent)： https://www.fluentd.org 是开源社区中流行的日志采集器，提供了丰富的插件来适配不同的数据源、输出目的地等。 fluentd基于C和Ruby实现，并对性能表现关键的一些组件用C语言重新实现，整体性能不错 由于docker的log driver默认支持Fluentd，所以发送端默认选定Fluentd. td-agent是fluentd的易安装版本，由Treasure Data公司维护。一般会默认包含一些常用插件 fluentd适合折腾，td