场景应用

常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性，主要因为它有很多插件，详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题是它的性能以及资源消耗(默认的堆大小是 1GB)。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。这里有 Logstash 与 rsyslog 性能对比以及Logstash 与 filebeat 的性能对比。它在大数据量的情况下会是个问题。 另一个问题是它目前不支持缓存，目前的典型替代方案是将 Redis 或 Kafka 作为中心缓冲池： 典型应用场景 因为 Logstash 自身的灵活性以及网络上丰富的资料，Logstash 适用于原型验证阶段使用，或者解析非常的复杂的时候。在不考虑服务器资源的情况下，如果服务器的性能足够好，我们也可以为每台服务器安装 Logstash 。我们也不需要使用缓冲

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 **摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 业务规模及演进 下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘字典、交易数据、用户行为日志与后端服务日志。图示最下部分代表公司实时数据采集、实时数据计算的业务模块，本文中的案例将重点介绍数据实时计算部分的设计、实现及应用内容。 发展历程 在2018年初，随着公司埋点治理规范的推进，我们建设了DP实时数据总线，统一承接各种埋点数据流的标准化处理，并对外提供清洗后的实时数据。随着维护的实时任务增加，面临着实时数据流稳定性以及任务管理方面的挑战，于是贝壳大数据部着手研发了Hermes实时计算平台，提供统一的实时任务管理平台。 在2018年10月，我们推出了SQL V1编辑器来方便用户开发实时计算任务

Ajax 适用场景 1.表单驱动的交互 传统的表单提交，在文本框输入内容后，点击按钮，后台处理完毕后，页面刷新，再回头检查是否刷新结果正确。使用 Ajax ，在点击sunmit按钮后，立刻进行异步处理，并在页面上快速显示了更新后的结果，这里没有整个页面刷新的问题。 2.深层次的树的导航 深层次的级联菜单（树）的遍历是一项非常复杂的任务，使用JavaScript来控制显示逻辑，使用 Ajax 延迟加载更深层次的数据可以有效的减轻服务器的负担。 我们以前的对级联菜单的处理多数是这样的 为了避免每次对菜单的操作引起的重载页面，不采用每次调用后台的方式，而是一次性将级联菜单的所有数据全部读取出来并写入数组，然后根据用户的操作用 JavaScript来控制它的子集项目的呈现，这样虽然解决了操作响应速度、不重载页面以及避免向服务器频繁发送请求的问题，但是如果用户不对菜单进行 操作或只对菜单中的一部分进行操作的话，那读取的数据中的一部分就会成为冗余数据而浪费用户的资源，特别是在菜单结构复杂、数据量大的情况下（比如菜单有 很多级、每一级菜又有上百个项目），这种弊端就更为突出。 字串4 如果在此案中应用 Ajax 后，结果就会有所改观： 在初始化页面时我们只读出它的第一级的所有数据并显示，在用户操作一级菜单其中一项时，会通过 Ajax 向后台请求当前一级项目所属的二级子菜单的所有数据，如

本文所有相关资料 https://163.53.94.133/assets/uploads/files/cmp-key-shuxun.pdf 上海数讯CIO钱誉 上海数讯是一家以传统数据中心业务为主的公司，为什么会转到云计算呢？在2011年以后，整个数据中心行业越来越像房地产了，数据中心这种业务可复制性比较强，竞争激烈。到2013年的时候，有一些新的技术出来，包括OpenStack的爆发式增长，于是2014年开始决定去做云计算这个事情。 当初的定义是多平台，从实际应用场景来看的话，不是说虚拟机和容器哪个好，它们两个应用在不同的场景，没有谁替代谁的问题，要做两个平台的时候，又碰到一个很尴尬的问题，虚拟机的网络和容器的网络，完全是两回事。 中间我们找了差不多10个SDN技术，从商用的到开源的，再到国产小范围应用的，那个时候Tungsten Fabric还叫OpenContrail，当时的版本还只支持OpenStack。 CMP是这几年提出来的，但刚开始做的时候，已经有CMP的理念了。 对比所有的Portal去看，不管是OpenStack还是原生的K8s，基本都是以运维视角出发的，不是一个对外提供业务的一个case。所以从使用者来看的话，是一件非常痛苦的事情，当时我们就决定把两个平台统一，在Web上做一个完整的、基于用户自己界面的平台。 在那个时候，确定了数讯云平台和SDN的方向

本文整理自“TF中文社区成立暨第一次全员大会”上的演讲，点击下载幻灯片文档。 https://tungstenfabric.org.cn/assets/uploads/files/financial-case-ztcloud.pdf 深证通金融云研发中心总助张鹏 各位上午好！我是来自深证通的张鹏。很荣幸能有机会和大家分享一下开源云在金融行业的应用。 首先介绍一下深证云的情况，我们公司是深圳证券通信有限公司，成立于1993年，主要为深圳的证券市场提供行情、交易，还有清算的通信服务，同时也为中国的金融证券机构提供综合IT服务。 从2013年开始，随着云计算浪潮的兴起，我们就着手搭建行业云，主要为中国的金融证券行业提供云服务，我们的四项基本原则叫做开放、中立、专业、合规。 开放主要是我们去拥抱开源的技术路线，去打造一个开放的生态；中立是指公司具有行业公信力，作为独立的第三方，保持业务的中立性；专业是指我们20多年的金融证券IT服务经验，就专注于这个行业；合规是指我们符合证监会等监管机构的规定，同时利用专业的服务去帮助我们云上的客户做业务合规。 我们主要是基于开源的技术体系，使用了大家熟悉的OpenStack，计算虚拟化用的KVM，然后分布式存储用Ceph，SDN也用到了TungstenFabric。现在我们正在基于K8S去做相关的容器云服务的研发。上面BSS业务支撑系统

本文整理自华胜天成云计算研发与产品中心总经理李明军在“TF中文社区成立暨第一次全员大会”上的演讲。更多会议资料，请在公众号后台回复“成立大会”获取。 华胜天成云计算研发与产品中心总经理李明军 非常高兴有机会跟大家分享，华胜天成在云计算开源网络落地方面的经验。 我们接触Tungsten Fabric是在2019年上半年，到现在有半年多的时间，非常欣喜地看到这样一个出色的解决方案能够放到社区里来。 企业用户需求：开放、异构、场景化 在过去的十年里面，我们看到云计算从一个概念，到现在成为一个主流的架构。在这个过程里，我们的客户对云计算技术架构的需求，以及功能的期望，也在发生着变化。 对于中大型的企业市场来说，需求由最初的异构，演变成后来的异构混合，到今天变成了异构混合多云的管理需求——在基础设施层面，有桌面云，以虚拟化形态存在的各种类型的资源池，还有各种公有云的资源池，公有云的应用，都已经进入到中大型的企业的IT环境里面。企业需要在这样一个异构混合多云的环境里面，找到一个集成的、直接服务于业务的基础设施。 这就带来一个非常切实的需求，我们总结了三个词：开放、异构、场景化。 怎么来理解开放？与开放相对应的，就是在前期的时候很多私有的解决方案，或者由单一厂商主导的解决方案，带来的就是对功能扩展和商务合作上的限制。 异构的情况出现在很多层面，比如历史的IT架构与现有的应用系统和IT基础设施

哈希算法的概念和特性 我们前面分享了散列表、散列函数和散列冲突，其实也可以译作哈希表、哈希函数和哈希冲突，是一个意思。哈希算法简单理解就是实现前面提到的哈希函数的算法，用于将任意长度的二进制值串映射为固定长度的二进制值串，映射之后得到的二进制值就是哈希值（散列值）。 我们日常开发中最常见的哈希算法应用就是通过 md5 函数对数据进行加密了，md5 就是一个哈希函数，结合 md5 我们可以归纳出哈希算法的一般特性： 从哈希值不能反向推导出原始数据（所以哈希算法也叫单向算法，不可逆）； 对输入数据非常敏感，哪怕原始数据只修改了一个比特，最后得到的哈希值也大不相同； 散列冲突的概率要很小，对于不同的原始数据，哈希值相同的概率非常小； 哈希算法的执行效率要尽量高效，针对较长的文本，也能快速地计算出哈希值 哈希算法的应用 1、场景一：安全加密 日常用户密码加密通常使用的都是 md5、sha等哈希函数，因为不可逆，而且微小的区别加密之后的结果差距很大，所以安全性更好。 2、场景二：唯一标识 比如 URL 字段或者图片字段要求不能重复，这个时候就可以通过对相应字段值做 md5 处理，将数据统一为 32 位长度从数据库索引构建和查询角度效果更好，此外，还可以对文件之类的二进制数据做 md5 处理，作为唯一标识，这样判定重复文件的时候更快捷。 3、场景三：数据校验 比如从网上下载的很多文件

================================================================================= PO设计模式： 测试对象和测试用例 分离。 用例当中：没有元素定位，没有元素操作。 只有页面的行为调用。 测试对象： 元素定位，页面行为。 TestCases,PageObjects,TestDatas,PageLocators TestCases = PageObjects + TestDatas | PageLocators 分离测试数据： 1）部分数据共用。 2）方便维护。 修改测试数据 3）环境切换：SIT - 预发布() - 生产 管理测试数据？？ 1、excel管理 - 2、配置文件 - 3、yaml 4、python?? 1、命名规范 - 文件命名/页面 XX_page_locs.py 2、业务层级 - 3、 自动化的用例设计原则(前置/步骤/后置 - 测试顺序)： 1）用例尽量保持独立性。 其它的用例成功失败，都不会影响本用例的执行。 1）每一个用例，打开关闭浏览器。环境准备和清理工作。 2）有必然业务： 流程，5个角色。申请人 - 审批1 - 审批2 - 审批3 -审批4 - 1 2）用例尽量简单(太复杂的用例不做自动化)。 - 复杂用例 -拆成多个子用例实现。 3）正常场景。–主流程覆盖。 异常场景

1、简介   增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。 2、概述   增强现实（Augmented Reality，简称AR），增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。   增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。 3、发展   AR技术的起源

作者 | 杜万（倚贤） 阿里巴巴技术专家 本文整理自 1 月 2 日社群分享，每月 2 场高质量分享， 点击加入 社群。 关注“阿里巴巴云原生”公众号，回复关键词 0102 即可下载本文 PPT。 导读 ：本文作者将以一个自动生成五言绝句诗句的示例，向大家介绍一个典型函数计算的应用场景：AI Model Serving（AI 模型服务化）。内容分三个部分进行：首先介绍函数计算和 AI 推理；其次介绍了如何 3 步搭建自动生成五言绝句诗句应用；最后介绍了函数计算在 AI 推理场景的优势。 函数计算和 AI 推理 第一部分，我们简单介绍一下什么是 函数计算 和 AI 推理。函数计算能为 AI 场景做些什么？ Serverless 分为 FaaS 和 BaaS，阿里云函数计算属于 FaaS，是事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码，并提供日志查询、性能监控、报警等功能。 借助于函数计算，您可以快速构建任何类型的应用和服务，无需管理和运维。而且，您只需要为代码实际运行所消耗的资源付费，代码未运行则不产生费用。 如上图所示：是一个完整的机器学习项目的工作流程。 工作流程可以分为三个部分： 首先对原始数据进行预处理； 然后将处理过的数据进行模型训练