机房监控

背景 某集团经过多年的经营，公司业务和规模在不断发展，公司管理层和IT部门也认识到通过信息化手段可以更好地支撑公司业务运营、提高企业生产和管理效率。同时随着新建办公大楼、研发大楼和厂房的落成，IT部门也需要对整个集团的信息化和企业IT基础架构进行规划和建设。目前主要分为以下两部分： 楼宇智能化规划和建设方案：主要包括视频监控、门禁系统、语音和数据节点规划和布线、CATV、大屏幕电子显示屏、机房建设等。 企业IT基础架构规划和解决方案：主要包括企业局域网基础网络拓扑规划和网络设备选型、互联网接入和VPN接入、IT硬件部署和选型、企业IT信息化基础软件系统规划和选型等。 本方案主要是针对某集团企业IT基础架构进行规划，并提出解决方案和进行投资预算。而关于楼宇智能化规划和建设的方案参见其它相关方案。 企业IT架构 一般企业的IT架构情况，本方案主要针对IT基础架构部分进行规划，并提供选型和部署参考，关于企业IT业务应用系统部分的规划和建设请参考其它方案。 网络系统规划 当前，企业一般能给信息化方面投入有限。除了人力有限，还缺少专业人才，应用能力、维护能力、开发能力、实施能力等都普遍较弱，这就要求网络架构成熟、稳定安全、高可靠、高可用，尽可能少投入人力和金钱进行维护。其次，由于企业首要解决的是生存问题，根本没办法做到“先信息化，再做业务”，因此网络建设实施要求必须容易，实施时间必须极短。

一般的大中型企业因为需要办公的人数较多，内部数据交换频繁，办公设备也比较多所以通常都会建有一个独立的机房，用于支撑企业办公设备正常运作。机房里面一般都会有各种电源、配线、服务器、空调等各种设备。都说机房重地需要注意的安全事项比较多 1.消防安全：防火。配备灭火器、消防栓、消防龙头等，安装防火门，装修材料应具有阻燃特性。建有消防通道，逃生路线指示，火灾报警设备。 2.防盗安全：安装红外、微波防盗传感器，监控设备，对机箱等设备加锁防止部件被盗。 3.电气保护：配备漏电保护，防止人员电击。配备防雷设施，防止雷电对计算机、人员的伤害。 为了保障机房的安全与各种办公设备的稳定运行，对机房设备进行监控管理，对核心业务进行保障，机房会上机房动力环境监控系统。主要包含以下四个方面： 一、动力系统监控包括：智能电量仪、配电开关、UPS、发电机、蓄电池、精密配电柜、ATS，防雷等。 二、环境系统监控包括：温湿度、精密空调、普通空调、漏水、新风机、有害气体浓度、粉尘浓度等。 三、安防系统监控包括：视频CCTV系统、门禁系统、红外防盗、消防系统等。 四、IT网络设备监控包括：操作系统、防火墙、交换机、路由器、服务器等。 我们都知道机房对于企业来说很重要，像个初生的婴儿需要各种保护。除了考虑各种物理类，化学类破坏因素的之外还要考虑生物类的破坏因素。机房里不能够蚊虫老鼠一大堆。所以机房里得时刻保持空气清新

1.架构 主项 子项 rabbitMQ rocketMQ Kafka Hippo Tube 高可用 1：镜像队列。 2：集群。master/slave机制。 HA 同步双写和异步复制均支持 （同mafka） 1、中心节点：HA 高吞吐 性能 跟cpu 密切相关，5000是4核，5000左右。具体见 rabbitmq基准性能测试 异步刷盘 单机7万qps， 三台机器12万（网测） （同mafka） 未提及 单个Tube集群可稳定承载5w以上的客户端（生产者/消费者）数量，单台broker并发写入量可达10w TPS，使用1k大小的消息测试（机器配置：12核2.1GHz CPU带超线程、64G内存，Raid 5级磁盘阵列）时，可跑满千兆网卡带宽；Tube在绝大多数场景下可以将消息的延迟限制在毫秒级。 多机房部署 公司内无，shovel等插件支持 待确认 无 支持多 DC 部署 无 多机房容灾 公司内无，shovel等插件支持无 无 mirror maker 未提及 无 高可靠 事务性， 1：producer->broker，producer 回ack的时候会在刷到盘或者消费者消费到回ack。并且会持久化 2：broker->consumer, 有确认机制。也会持久化，但是消费完会删除数据。 异步复制可保证99%的消息不丢失，通过同步双写技术可以完全避免单点，同步双写会对性能有一定的影响

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找 ：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断 ：通过对日志信息进行统计、分析

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找 ：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断 ：通过对日志信息进行统计、分析

KVM切换器是系统管理员可以通过一组键盘、鼠标、显示器，控制多台服务器或电脑主机的计算机外围设备。近几年，KVM技术迅猛发展，从简单的桌面型KVM到管理成千上百台服务器的数字KVM，从手动切换到热键、OSD菜单切换，其所支持的管理方式也随着先进技术的发展一路由传统的机柜式管理，发展到网络管理。 KVM机房管理根据具体管理目标的不同，大致可以分为3种管理模式。包括机柜式管理、数字化管理和远程IP管理。 机柜式管理 这种管理模式适用于机柜不多的中、小型机房，服务器全部集中在同一机房的几个机柜中，每个机柜通过一台带屏 KVM（液晶KVM）进行监控。管理员需要查看服务器状态的时候就从机柜中拉出 KVM,向上推起液晶屏幕后，就可以对该机柜中的服务器进行操控。常用的KVM液晶切换器8口KVM一体机、16口KVM一体机、32口KVM一体机等。 如果管理的机柜较多，管理的实时性较强，IT管理人员不能随意离开机房，他们必须全天候待在狭小空间中，以便严密地监控系统是否有不稳定、故障、当机或无法连接的情形，甚至于连服务器升级与软件的更新也都必须在机房中完成，在此情况下，单纯采用这种方式就不太合适，会造成管理员工作强度较大，工作束缚较强的情况。改善办法就是通过给带屏 KVM级联的方式把控制端集中起来，通过1台或少数几台LCD（LED） KVM集中管理机房中所有的服务器。 数字化管理 随着网络科技的普及

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含沪江网校，交易，金融，CCtalk（直播平台） 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断：通过对日志信息进行统计、分析

精密空调主要用来控制机房的温度和湿度。 在核心机房建设期间，一个空调的重量大约2千斤，需要12个人进行抬放安装，在安装结束后，进行了保压，加上制冷剂，在机房建设期间，由于电源不稳定，导致机房频频断电，从而每次在加电一分钟后，空调自动进行重启，进行制冷，在此时会出现一个警告开机的警告信息。 有一次在断电之后，空调自动重启，但是未能进行制冷，只能看到空调进行吹风的功能，从而导致核心机房内温度大幅度上升，服务器的轰鸣声真是难以忍受，顺便说下刀片机的风扇转动的速度不是一般的快，那就是一个机器马达在那吼叫，在服务器运行的过程中，普通的服务器还好，刀片机的声音真是出奇的大，原因在于刀片机的机箱就那么几个风扇了，电源模块分为两个，从而提供双路电源，但是在送电的时候，一个电源需要接入pdu中需要三个插座，从而才能提供刀片机的电源供应，从而导致了刀片机的风扇剧烈的吹动，所以也就导致了刀片机风扇的声音无与伦比了。 IBM hs23还是其他型号的刀片机，在一个刀片也就是一个服务器，公用了所有的资源，在一个刀箱中就有十几个刀片，从而整体运行的话，需要的动力也是比较多，从而使用电量比较多，从而风扇必须努力的工作，这也就是刀片机风扇声音最大的源头了。 在空调异常之后，温度上升最快的也就是存储了，ds8800占用了大约一个机柜的位置，总共是两个机柜，主要用于存储云平台的相关数据，由于存储太多

https://my.oschina.net/itshare/blog/775466 http://blog.51cto.com/467754239/1700828 日志系统 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 日志数据在以下几方面具有非常重要的作用： 数据查找：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断：通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态 数据分析：可以做进一步的数据分析，比如根据请求中的课程 id ，找出 TOP10 用户感兴趣课程。

作为系统管理员，如何远程对服务器进行安全、方便、有序的监控和管理？传统的远程桌面类应用一直是最常用的方式，但是对于操作系统的依赖性很大，一旦系统出现问题只能现场维护。因此面对数目众多的服务器，从硬件底层进管理和控制才是王道，这就是我们谈到的服务器远程管理利器——KVM。 KVM(多计算机切换器)可协助用户通过由单一键盘 (Keyboard) 、显示器(Video) 及鼠标 (Mouse) 所组成的控制端来控制计算，简单来说只需在控制端口接上显示器和键盘鼠标就可以在KVM的控制界面进行多台服务器之间直接的切换，从而达到查看和控制每一台服务器的目的，更是可以集中访问管理多达上千台服务器。KVM在各台服务器之间是电子式切换，避免了热插拔设备带来的不可预知的问题（最常见的是死机）。 按照管理技术的不同，可以把KVM设备分为以下三类 模拟 KVM 模拟 KVM 交换机系统提供完全独立于软件和网络操作系统的简易即插即用安装系统，直接连接任意计算机上的键盘、视频和鼠标，并使用户能够对多台计算机进行实时访问。模拟 KVM 最适用于用户和系统处于同一位置的环境，是访问集中化多 PC 和多机架环境的理想技术。 KVM over IP KVM over IP将键盘、视频和鼠标数据数字化，并使用TCP/IP 技术远程访直接连接至任意计算机上的KVM 信号。该技术利用了现有网络基础设施无需侵入计算机系统