京东云

随着互联网技术的发展，越来越多企业开始认识DevOps重要性，在企业内部推进实施DevOps，期望获得更好的软件质量，缩短软件开发生命周期，提高服务稳定性。但在DevOps 的实施与落地的过程中，或多或少的会碰到一系列问题，使得DevOps实施的效果打了折扣。 比如当我们在谈论敏捷开发的时候，自动化测试是对团队的较高要求，但到了 DevOps 时代，自动化测试已经是基本要求，我们更多谈论的是持续集成。 同时缺少自助式的持续交付平台也是企业推进 DevOps 面临的难题，DevOps 不仅仅是关于运维的自动化，同时也是关于开发、测试到运维各个职能围绕着每一次软件变更的紧密协作，在协作过程中各个环节的任务涉及到一系列工具构成的工具链，但是很多团队在工具上是割裂的，无法保证持续交付。 另外在 DevOps 的实施落地中，寻找经验丰富，身经百战的 DevOps 工程师往往很难，同时DevOps的实施需要多个团队与组织的协作，涉及稳定性、效率、成本与安全等多个层面，为此大多企业都需要一个漫长的探索过程。DevOps文化的建立，是一个“任重道远”的过程。 京东云 DevOps 作为京东云的核心技术产品，在京东云服务中是最被看中的部分，对于京东云来说，无论是在持续交付、监控系统设计还是质量平台建设上都积累了很多经验，涉及到落地时还有更多细节值得和开发者一起讨论，如果你对自动化运维感兴趣，请关注

随着互联网技术的发展，越来越多企业开始认识DevOps重要性，在企业内部推进实施DevOps，期望获得更好的软件质量，缩短软件开发生命周期，提高服务稳定性。但在DevOps 的实施与落地的过程中，或多或少的会碰到一系列问题，使得DevOps实施的效果打了折扣。 比如当我们在谈论敏捷开发的时候，自动化测试是对团队的较高要求，但到了 DevOps 时代，自动化测试已经是基本要求，我们更多谈论的是持续集成。 同时缺少自助式的持续交付平台也是企业推进 DevOps 面临的难题，DevOps 不仅仅是关于运维的自动化，同时也是关于开发、测试到运维各个职能围绕着每一次软件变更的紧密协作，在协作过程中各个环节的任务涉及到一系列工具构成的工具链，但是很多团队在工具上是割裂的，无法保证持续交付。 另外在 DevOps 的实施落地中，寻找经验丰富，身经百战的 DevOps 工程师往往很难，同时DevOps的实施需要多个团队与组织的协作，涉及稳定性、效率、成本与安全等多个层面，为此大多企业都需要一个漫长的探索过程。DevOps文化的建立，是一个“任重道远”的过程。 京东云 DevOps 作为京东云的核心技术产品，在京东云服务中是最被看中的部分，对于京东云来说，无论是在持续交付、监控系统设计还是质量平台建设上都积累了很多经验，涉及到落地时还有更多细节值得和开发者一起讨论，如果你对自动化运维感兴趣，请关注

近年来，围绕区块链的讨论声音越来越大，区块链的作用也被夸得越来越大，有人说区块链现在可以： 1、帮助解决收入不平等的问题 2、确保所有数据的安全 3、让很多事情都可以变得更加高效和更加去信任化 区块链到底是个什么？它真的如大家所说的那么神秘且厉害吗？区块链真的能给诸如医疗保健、金融、供应链管理和音乐版权等各种各样的行业带来变革吗？认同比特币不就意味着你要支持区块链吗？你怎么能只认同比特币而否认其背后的技术呢？在本文中，我试图通过讨论区块链究竟是什么，来了解以上的这些问题。 什么是区块链？ 首先，我们需要来看看区块链的定义是什么？ 有许多的公司会使用“区块链”一词来表示某种数据永远不会出现安全问题的神奇“设备”。但其实我们都知道，至少在现在的这个时代，这种设备是不存在的。 那么什么是区块链？从技术上讲，区块链是区块的链表，而区块是一组有序交易。如果你不理解最后一句话，可以将区块链视为数据库的子集，并具有一些其他属性。 区块链和普通数据库的主要区别是，关于如何将数据放入数据库的规则。也就是说，它不能与数据库中已有的某些其他数据（一致）冲突，它只能追加（不可变），并且数据本身被锁定为所有者（可拥有），是可复制且可用的。最后，每个人都同意在没有中央参与者（去中心化）的情况下数据库中事物的状态（规范）。 “分权”确实是区块链非常有吸引力的一部分，因为它意味着没有单点故障。也就是说

谈运维为什么离不开监控？典型监控系统一般是如何设计的？业务驱动的高可用监控系统又有何不同？作为巨头之一的电商平台京东， 其基于京东云的监控系统是否有值得借鉴的地方？本文将解答这些问题。本文整理自 10 月 30 日由京东云开发者社区和英特尔联合举办的在线公开课，京东云工具产品研发部专家架构师颜志杰的在线课程演讲——业务驱动监控系统设计与落地。 世上没有百分百可靠的系统，程序、机器、网络都可能在运行中出现问题，进而导致服务异常, 带来金钱及品牌的损失，所以监控目标就是降低损失，通过发现、定位、解决问题，期望缩短异常出现的 MTTR （平均修复时间）。 要达到这个目标，监控对象必须具备可观测性，即通过数据描述是否出现异常，这些数据包括指标监控 Metric、日志 log 和 Trace 数据。 为了实现缩短 MTTR 的目标，监控系统应该具有这些能力： 数据采集能力，获取可观测的数据 数据能够方便加工，比如把相关的数据汇聚起来，得到我们需要关注的数据 对这些关注的数据，做异常检测，及时产生告警 收到告警后，通过 Dashbord 查图定位，最好有专家推荐，加速定位 定位问题后，通过预案平台进行快速止损 整个监控系统需要做到高可用，监控就是为了发现异常，如果由于异常导致自身不可用，肯定是减分的 “典型监控系统从功能模块分为采集、计算、存储、告警、算法、业务端等。” 从下往上来看

监控是运维的生命线，监控系统的作用其实总结起来主要体现在发现问题、定位问题和解决问题三个部分，在这方面，京东云定义了一套统一的监控标准： 即监控需要覆盖基础-存活-性能-业务四个层面，从而保证采集数据的全面，进而避免监控遗漏 。 那么在这个过程中，如何以监控业务需求为基础进行监控系统的设计，遇到的难点和解决方案有哪些？如何通过数据量化思维的方式去做监控呢？10 月 30 日，京东云工具产品研发部专家架构师颜志杰，将以在线直播的方式与大家讲解京东云监控实践。 对课程感兴趣的从业者和开发者们，更多实用、有趣的课程内容，等着你来Pick！ 来源： https://www.cnblogs.com/jdclouddeveloper/p/11734013.html

注：最好利用京东云对象存储来存储一些静态文件，不建议用其直接存储数据库之类的数据文件，而且也会受到速度的影响，当然我们可以利用其存储备份文件。 今天我们来利用s3fs工具将京东云对象存储挂载到京东云云主机，把对象存储Bucket（空间）当成一个文件夹挂载到Linux系统内部，当成一个系统文件夹来使用，之后我们会利用inotify+rsync工具来实现主机文件自动同步到对象存储的挂载目录，以此来实现主机文件自动同步至京东云对象存储。 演示示意图： 一、挂载对象存储到云主机 1. 创建CentOS 7.4云主机 首先我们需要打开京东云官网：http://www.jdcloud.com，点击右上角控制台登陆后开始创建一台京东云云主机，方法详见：https://docs.jdcloud.com/cn/virtual-machines/create-linux-instance 云主机创建完成后如下： 2. 安装依赖包 yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y 3. 安装s3fs yum install epel-release s3fs-fuse -y 4. 创建密码文件 echo Access_Key_ID:Access_Key

随着互联网和物联网的发展，物联网技术已经深入到人们的生活、城市建设等方方面面当中，将设备接入物联网，进行设备数据收集与数据处理挖掘，实现降本增效已成为广大企业的必然选择。 据有关预测，2020年将有超过300亿台设备连接互联网，到2025年，这一数字将超过750亿。另据预测，到2023年，全球联网的物联网设备会达到230亿，同时物联网的营收会跃升到8600亿美元。5G时代，物联网行业将呈现爆发式增长。 京东云现已推出3款物联网产品： 1、 物联网引擎（IoT Core） :京东云物联网平台的高级服务，实例部署在用户自定义的 VPC 私有网络内，帮助用户快速完成设备上云，设备管理、设备数据采集处理以及物联网应用集成。通过规则引擎功能，快速的将处理后的数据转发转储到京东云其他服务，例如JCQ，ES等。 2、 物联网协议适配（IoT Protocol Adaptor ）:搭配物联网引擎使用，内置了JT/T-808（道路运输车辆卫星定位系统终端通讯协议及数据格式）协议支持，通过内置交通行业协议、数据封装协议和通信协议转换适配模块，帮助客户快速、低成本的将既有设备连接上云。 3、 物联网设备SDK（IoT Device SDK） :让开发者可以很方便的将设备安全可靠地接入到物联网引擎。京东云物联网引擎可以助力客户，便捷接入亿级海量设备，高效的完成多场景物联网应用开发

2019年9月7日，我们招募的第一批【开发者走进京东云数据中心】活动已圆满落幕。此次活动中，我们特邀了两位行业KOL与开发者们同行，参观的同时，与大家进行技术沟通与交流。 今天，我们特别为大家带来了袁绍龙老师关于京东云数据中心的技术解读，带领没有机会去到现场的开发者们一起走近京东云数据中心！ 作者 | 袁绍龙 “大数据在线 ”创始人，拥有 12 年企业级媒体经验和甲方市场传播经验，熟悉云计算、 大数据、人工智能、存储、服务器等企业级领域的市场规律和传播方法;曾担任百分点集团市场部副总监、联想集团大客户事业部高级公关主管，具有丰富的企业级内容传播规划、深度内容撰写、产品包装、大型活动内容策划等经验。 云计算服务提供商的核心竞争力有哪些？ 除了技术、产品与服务之外，基础设施亦是不可忽视的一大因素。之所以会如此，是因为云计算是一个堪称“三高”的市场：高技术壁垒、高投资投入、高市场增长，云服务提供商需要保持长期投入，通过规模效应来实现成本优势，从而吸引更多用户采用其相关服务与产品。数据中心等基础设施的建设是云服务提供商实现持续成长的关键所在。 数据不会骗人。根据咨询机构 Synergy Research 数据表明，2018 年，全球前二十大云和互联网公司对于数据中心的运营成本支出高达 320 亿美元，云数据中心数量同比增长 11%。这其中，互联网巨头京东走在了业界的最前沿

那么在云上安全备受瞩目的大环境下，云态势感知技术又如何为安全保驾护航呢？在未来又有着怎样的发展趋势呢？为此，京东云产品研发部产品经理梁洋洋，专门为大家解读了云态势感知的进化论。 01态势感知出现的技术背景 虽然态势感知是近几年新有的安全名词，但对于有安全背景的人来说，态势感知并不陌生，它是跟SOC（安全操作中心）对标的产品。 在2010年之前，安全威胁不是特别多，主要还是集中在网络层面，所以当时的SOC产品还是停留在NOC（网络操作中心）基础架构的阶段。 当时比较出名的产品是Cisco-MARS产品，主要是把所有Cisco的交换机、路由器、防火墙、IDS、IPS数据都收集上来，然后放到MARS里面来关联分析，形成攻击拓扑图。这就是态势感知最初始化的雏形，也就是把网络层面的安全数据收集到NOC的产品当中。在安全技术还未成熟的2010年，这个技术足以让人眼前一亮。 由于安全威胁场景不断变化，普通的NOC产品无法分析出APT攻击，加上安全设备和安全事件的突增，传统的NOC已无法满足需求，所以在2010年-2015年逐步兴起SIEM/SOC平台。SIEM是安全信息和日志管理平台。可以把主机上的安全日志包括登录日志都搜集上来存储到SIEM里，对分析攻击场景有很大的帮助。 不过，国内的一些安全厂商对SOC输出没有标准，导致搜集的日志格式不统一，后面的关联分析达不到用户需求，最终80

简易的Pandas之路 任何使用Python数据的人都会熟悉Pandas包。Pandas是大多数行和列格式数据的go-to包。如果你没有Pandas，请确保在终端中使用pip install安装： pip install pandas 现在，让我们看看Pandas包中的默认方法可以做些什么： 以下内容写给不知道上面发生了什么的新手： 任何Pandas数据帧都有一个.descripe（）返回上面的输出的方法。但是，此方法中没有注意到分类变量。在上面的示例中，输出中完全省略了“ method ”列。 让我们看看能不能解决这个问题。 Pandas分析 如果我告诉你仅用3行Python就可以产生以下统计信息，你会怎么想？但其实，如果不计算imports的话，总体上只用1行就够。 要点 ：类型，唯一值，缺失值 分位数统计信息 ：例如最小值，Q1，中位数，Q3，最大值，范围，四分位数范围 描述性统计数据 ：例如平均值，众数，标准偏差，总和，中位数绝对偏差，变异系数，峰度，偏度 常用值 直方图 高相关变量Spearman ，Pearson和Kendall矩阵的相关性突出显示 缺失值矩阵 ，计数，热图和缺失值树状图 （功能列表直接来自Pandas Profiling GitHub） 好吧，我们可以使用Pandas Profiling软件包！要安装Pandas Profiling软件包