splunk

从爱因斯坦2到爱因斯坦3 ——再谈美国爱因斯坦计划 1 NCPS NCPS（National CybersecurityProtection System，国家网络空间安全保护系统）的核心就是保护美国联邦政府的网络空间基础设施安全，其实可以简单理解为其政府电子政务网络的安全，尤其是互联网出口安全，提升其防御网络空间安全威胁的能力。 NCPS的关键技术点包括： 1）入侵检测技术 2）入侵防御技术 3）高级网络空间分析技术 a) 数据聚合与关联 b) 可视化 c) 恶意代码分析 d) 包捕获 4）突发事件管理 5）信息共享与协作 上述这些关键技术分别体现在E1（Einstein 1）、E2（Einstein 2）和E3（Einstein3）中。 2 爱因斯坦计划的路线图 NCPS采用了渐进式迭代开发的方法论，并将整个任务分解为不同的子系统（Blocks）。每个子系统都有自己的迭代周期。而三个子系统之间是逐步增强、同时也不是完全取代的关系。 必须指出，E2的计划并非都按期按量完成，Delay和调整是很正常的，研究一下GAO（美国审计署）对DHS的审计报告，以及DHS自己的内审报告和财报就能看出端倪。 2.1 Block1 其实就对应E1，重点是Flow传感器的部署和Flow存储、Flow分析。这个我们已经分析过了，不再赘述。 2.2 Block2 其实就对应E2，又进一步分解为三个阶段

编辑：Amusi 转自：CVer 作者：formulahendry(Jun Han) 2020 届（2019 年）秋招落下帷幕，2021 届（2020 年）暑期实习 / 春招补招还有 "神仙打架" 的秋招即将开始... Amusi 在这里分享一个 955 不加班的公司名单，相信会对有些同学有点帮助，起码多个可投的对象。 另外说一下，这个 955.WLB（work-life balance） 其实建立的背景就是之前很火的 996.ICU ，目前 955.WLB 在 github 上已经获得 17.4 star。 955.WLB https://github.com/formulahendry/955.WLB 与 996.ICU 相呼应，955 公司白名单。旨在让更多的人逃离 996，加入 955 的行列。 996 工作制：即每天早 9 点到岗，一直工作到晚上 9 点。每周工作 6 天。 955 工作制：即每天早 9 点到岗，一直工作到下午 5 点。每周工作 5 天。 11-5-5 工作制：即每天上午 11 点到岗，一直工作到下午 5 点。每周工作 5 天。 996.ICU: 工作 996，生病 ICU。 955.WLB: 工作 955，work–life balance (工作与生活的平衡)。 1155.Life: 工作 11-5-5，生活为先。 说明 以下公司名单，基本不属于

在这里分享一个955 不加班的公司名单，相信会对有些同学有点帮助，起码让即将实习的同学们多个可投的对象。 另外说一下，这个 955.WLB（work-life balance） 其实建立的背景就是之前很火的 996.ICU，目前 955.WLB 在github上已经获得 17.4 star。 # 955.WLB https://github.com/formulahendry/955.WLB 与 996.ICU 相呼应，955 公司白名单。 旨在让更多的人逃离 996，加入 955 的行列。 996 工作制： 即每天早 9 点到岗，一直工作到晚上 9 点。 每周工作 6 天。 955 工作制： 即每天早 9 点到岗，一直工作到下午 5 点。 每周工作 5 天。 11-5-5 工作制： 即每天上午 11 点到岗，一直工作到下午 5 点。 每周工作 5 天。 996.ICU: 工作 996，生病 ICU。 955.WLB: 工作 955，work–life balance (工作与生活的平衡)。 1155.Life: 工作 11-5-5，生活为先。 # 说明 以下公司名单，基本不属于 996 的公司，相对接近 955/965 的水平，但是依旧要看部门和地区，不能保证完全准确性。 不能保证所有部门都是 955/10-6-5/965/10-7-5 的水平 就算部门的平均水平是 955/10

“ 什么是 DevOps？“DevOps”是“开发”development 和“运维”operations 两者的组合。 图片来自 Pexels DevOps 可看作一种文化风向标，在该文化引领下，能促进项目团队中开发，测试，运维，产品等成员间的无缝协作。 它通过有效的自动化及可重复的方式更快地将代码部署到生产环境中，提高企业交付应用程序或服务的速度，从而更好地为客户提供高质量的产品，并在市场上获取更强有力地竞争优势。 因此，DevOps 可视为企业项目团队中一条持续优化，密切配合，协同运转的“隐形生产链”。 为什么需要 DevOps？ 在那些没有 DevOps 实践的日子里，项目团队都经历了什么： 项目内部开发团队和运维团队是完全独立的。 当开发团队针对需求进行代码设计/构建后，测试任务和部署任务也是完全孤立彼此的活动，往往导致整体项目实际周期比预期构建耗时更长。 团队成员各自花费大量时间用于设计，开发，测试，部署，而非汇聚于整体项目构建本身（即，分而不合）。 手动部署代码往往不可避免出现人为错误，即便通过 Jenkins 持续集成，这仅仅是构建中的一部分而已。 产品，开发，测试，运维团队有各自的时间轴，并不同步，将导致累计延迟的情况。 持续提升团队产品的交付率，在确保产品质量的前提下缩短交付时间，是每个项目团队共同的目标，然而理想与现实间总会横着一道难以逾越的鸿沟。

步骤一： 编辑/opt/splunk/etc/apps/search/local/indexs.conf ，在每个索引下面 加入最后两行内容 [messages] coldPath = $SPLUNK_DB/messages/colddb enableDataIntegrityControl = 0 enableTsidxReduction = 0 homePath = $SPLUNK_DB/messages/db thawedPath = $SPLUNK_DB/messages/thaweddb bucketRebuildMemoryHint = 0 compre***awdata = 1 enableOnlineBucketRepair = 1 syncMeta = 1 frozenTimePeriodInSecs=2592000 maxTotalDataSizeMB = 15360 步骤二: 重启splunk服务端 /opt/splunk/bin/splunk restart 步骤三： 在页面上查看设置或者修改 点击右上角的设置，选择索引 查看索引大小已经和配置文件里一样了，也可以直接在这里编辑索引大小。 来源： oschina 链接： https://my.oschina.net/u/4353713/blog/4705576

原文作者：王长春，来自平安银行零售大数据团队 概述 Apache Calcite是一个基础的软件框架，它提供了查询处理、查询优化以及查询语言支持的能力。很多流行的开源数据处理系统例如Apache Hive,Apache Storm,ApacheFlink,Druid等都采用了它。 下图是采用Apache Calcite的开源数据处理系统，以及Calcite能连接到的数据源。 大多数数据处理系统是使用Calcite来做SQL解析和查询优化。还有部分使用Avatica(Calcite的子项目)来构建自己的JDBC driver。还有部分使用Calcite来重写查询请求以使用物化视图。 最近十几年来，出现了很多专门的数据处理引擎。例如列式存储、流处理引擎、文档搜索引擎等等。这些引擎宣称他们在特殊方面能提供更高“性价比”的性能，并且宣称“one size fits all”范式的时代已经终结了。Spark、Storm、Flink、Elasticsearch、Druid等多种引擎的流行确实说明了这一点。 这些数据处理引擎都面临着一些共同但是难以解决的问题。 一是数据处理引擎都要做查询优化以及提供sql查询语言或者其他DSL查询语言。 二是使用者可能使用了多个专门的数据引擎，例如使用了ES、Spark、Druid.那么使用者很可能会有在异构数据源上支持查询以及查询优化的需求。 Apache

传统IT技术团队中通常都有多个独立的组织-开发团队、测试团队和运维团队。开发团队进行软件开发、测试团队进行软件测试，运维团队致力于部署，负载平衡和发布管理。 他们之间的职能有时重叠、有时依赖、有时候会冲突。 因为衔接与沟通问题，有时会导致开发-测试-发布的周期太长了，特别是对于互联网公司，时间就是生命。从而需要建立一支由开发，质量保证和运营组成的混合专业知识的团队的需求，并引入了DevOps来弥合团队之间的鸿沟，帮助他们快速而可靠地操作和开发应用程序。 一、什么是DevOps？ 顾名思义，Devops是“开发”与“运维”的缩写。它定义了一组流程，这些流程通过在开发和运维团队之间进行协作带来组织文化上的转变。它包含四个关键组件：协作，实践，文化和工具。 二、为什么我们需要DevOps？ DevOps带来更高水平的协作和速度，使组织提高生产力，降低运营成本以有效地为客户提供服务并保持市场竞争力。它还有助于更快地发布产品，管理计划外的工作，更快地捕获和解决关键问题。 三、DevOps实践 独立devops团队 DevOps使用各种工具，例如docker、k8s、Jenkins，Terraform，Nagios，Grafana，Prometheus或Splunk等，组织应建立一个集中部门来创建和操作这些工具。这个集中管理部门负责开发团队中的敏捷实践设置，该团队将研究新的工具并坚持使用