ZK

Kafka【第一篇】Kafka集群搭建 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing

1 为什么需要kafka （1）在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ （2）具有高水平扩展和高吞吐量。 （3）动态扩容 （4）zk完美结合，分布式调用，应用于soa架构 2 kafka概念 Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker [5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处） Partition Partition是物理上的概念，每个Topic包含一个或多个Partition. Producer 负责发布消息到Kafka broker Consumer 消息消费者，向Kafka broker读取消息的客户端。 Consumer Group

1 zookeeper如何实现高可用 1 zookeeper 多台构成集群实现高可用，有三种角色群首（leader），追随者（follower），观察者（observer）。 Leader作为整个ZooKeeper集群的主节点，负责响应所有对ZooKeeper状态变更的请求。它会将每个状态更新请求进行排序和编号，以便保证整个集群内部消息处理的FIFO Follower的逻辑就比较简单了。除了响应本服务器上的读请求外，follower还要处理leader的提议，并在leader提交该提议时在本地也进行提交。，leader和follower构成ZooKeeper集群的法定人数，也就是说，只有他们才参与新leader的选举、响应leader的提议。 如果ZooKeeper集群的读取负载很高，或者客户端多到跨机房，可以设置一些observer服务器，以提高读取的吞吐量。Observer和Follower比较相似，只有一些小区别：首先observer不属于法定人数，即不参加选举也不响应提议；其次是observer不需要将事务持久化到磁盘，一旦observer被重启，需要从leader重新同步整个名字空间。 2 zookeeper如何实现负载均衡？ 以前接触的负载均衡是通过VIP调度到各个节点。如：nginx+keepalived实现负载均衡和高可用

3 月，跳不动了？>>> 摘要 Attention 注意力模型在神经网络中被广泛应用。在已有的工作中，Attention 机制一般是决定性的而非随机变量。 我们提出了将 Attention 建模成隐变量，并应用 VAE 和 policy gradient 训练模型 。在不使用 KL annealing 等 trick 的情况下训练，在 IWSLT 14 German-English 上建立了新的 state-of-the-art。 ■ 论文 | Latent Alignment and Variational Attention ■ 链接 | https://www.paperweekly.site/papers/2120 ■ 源码 | https://github.com/harvardnlp/var-attn 背景 近年来很多文章将 VAE 应用到文本生成上，通过引入隐变量对文本中的一些不确定性（diversity，如文章风格主题、蕴含情感等）进行建模。 这样做往往会遇到一个常见的问题—— KL collapsing 。这个问题最早在 16 年时由 Bowman 指出 [1]，其描述的现象是直接训练 VAE 得到的 KL 接近 0——这也就意味着近似后验和先验一样，使得隐变量被模型忽略 [5]。 Bowman 的解决办法是使用 KL annealing [1]（KL 项的权重从

3 月，跳不动了？>>> 7 月 21 日、22 日，由 KDD China 主办，西南交通大学和京东金融承办的 KDD Summer School 暨 KDD Pre-Conference，「交通大数据智能」论坛在成都举行，多位知名数据挖掘领域专家以及 KDD 2018 国际会议录用论文的作者介绍了自己的工作以及各自领域的进展。 作为会议的承办方，京东金融的城市计算事业部在会议上给出了一个主题演讲和两篇论文介绍，分享了京东进行城市计算的方法论，辅以众多实际案例。 点、线、面的结合与规划、运维、预测的闭环 京东金融集团副总裁、首席数据科学家、城市计算事业部总经理郑宇给出了以《城市计算：用人工智能和大数据打造未来城市》的演讲，概括性地介绍了京东城市计算事业部的工作。 「城市计算是大数据、人工智能、云计算在城市场景里的有机融合。京东的城市计算的特点，一是点、线、面结合的总体设计和跨领域的垂直应用，二是建立规划、运维和预测的闭环，来给城市计算方案以演进和变化的能力，以适应城市不断的演进和变化。」郑宇这样总结道。 他以雄安的智能城市顶层设计中的自行车道设计为例：自行车道首先要经过「规划」；然后研究自行车的调动、运力最大化，也就是「运维」；还要对短至未来一两个小时、长至一两年内，自行车需求量进行估计，也就是「预测」，预测会反过来指导规划。自行车道的设计、运费和预测三个「点」组成一条「线」

3 月，跳不动了？>>> 2018 年 7 月 4 日-5 日，百度在国家会议中心举办第二届 AI 开发者大会。在今年的开发者大会上，百度发布了 PaddlePaddle3.0，既升级了核心框架，又提供了 EasyDL 快速应用平台、AutoDL 网络结构自动化设计，以及 AI Studio 在线实训平台。本文从功能简介，实战建模及 AI 能力应用等角度介绍了 AI Studio。 AI Studio 是百度推出的一站式开发平台：一个囊括了 AI 教程、代码环境、算法算力、数据集，并提供免费的在线云计算的一体化编程环境。用户不必纠结于复杂的环境配置和繁琐的扩展包搜寻，只要打开浏览器输入 aistudio.baidu.com，就可以在 AI Studio 开展深度学习项之旅。 据介绍，运用 AI Studio 开发者可以实现自定义的 AI 建模能力而无需考虑硬件成本、运维成本、人力成本。相比于在其他云平台上花钱买计算资源和存储空间跑模型来说，AI Studio 提供全套免费服务（计算资源免费，空间资源免费，项目托管免费，视频教程也免费）。 1. 功能简介 第一次进入主页，首先的感觉是这是个类似 Kaggle 的数据竞赛平台，但是仔细看来，AI Studio 强化了工程项目的概念，一大亮点就是 AI 学习项目这个版块，里面包括大量真实场景的工程项目（图像识别，情感分析，个性化推荐等）

3 月，跳不动了？>>> 7 月，全球 AI 人才荟聚瑞典斯德哥尔摩，前来参加学界顶尖会议 ICML 和 IJCAI。在两个会议交接之际，腾讯在当地时间 14 日晚举办了 TAIC 大会，与三位特邀嘉宾、腾讯七大事业群代表探讨前沿 AI 研究与应用。 据机器之心了解，今年腾讯共有 17 篇论文被 ICML 2018 接收，15 篇论文被 IJCAI 2018 接收。本次活动设有三个特邀 keynote，以及五个分论坛，介绍了腾讯在人工智能领域的多元探索和全方位布局。 IJCAI 第 27 届回顾和工程化的标准建立 作为特邀嘉宾，香港科技大学主任教授，腾讯微信-港科大人工智能联合实验室主任杨强教授在开场演讲中表示，「中国队虽然没有进入足球世界杯，但我们进入了人工智能的世界杯，能有今天非常不易。」 1969 年，人们在华盛顿举办了第一届 IJCAI 大会，自那时起，中国学者的出席人数和论文提交量逐年递增。1995 年，参会的韩家炜、张钹等教授还在一起讨论该如发扬中国学界的声音，而中国科学院的教授更为了中国承办学术顶会四处奔走。快进到 2018，中国学者递交的 IJCAI 文章数目已经超过了美国同行，并在一些子方向的研究上开始领先。 杨强教授提到今年 IJCAI 将颁发首个以人工智能领域创始人之一马文·明斯基命名的 Marvin Minsky Award，获奖团队是 Demis

3 月，跳不动了？>>> 没人能够想到，拿下加拿大CIK电讯公司全球多语言智能客服合作权的，是一家成立刚满四年的中国公司。 这不是一单容易的生意：CIK电讯公司总部位于加拿大，顾客范围覆盖中国、东南亚、北美等地，因此，其智能客服也就承担着3种服务语言+7x24小时服务的重压。再加上CIK电讯自成立以来，一直遵循“一个电话解决问题”的理念，希望所有技术问题都能通过第一通电话解决，这就对多语言智能客服的服务有了更高质量的要求。 能获得CIK电讯公司的认可，一方面基于晓多客服机器人（下称“晓多”）在智能客服领域的数据积累，另一方面，也得益于其在技术上的创新。 本周中，在晓多北京的办公室，其创始人江岭向大数据文摘记者讲述了他们在这一领域的积累，以及上线全球首家多语言智能客服的秘密武器。 迁移学习技术赋能，从行业到多语言的“冷启动” 迁移学习是晓多现在最核心的技术，江岭告诉大数据文摘。 用通俗的语言来说，迁移学习就像人类通过举一反三来学习一样，可以把其他领域积累的大量数据、信息和训练出来的模型迁移到一个新的领域，减少适配新行业的成本。 而在智能客服这样的领域，涉及到的行业和场景都非常分散，这时候迁移能力就显得极其重要。 在晓多的测试中，要适配一个新的行业并达到一个较好的效果，使用迁移学习所需要的数据量只有一般深度学习所需的的70%到80%。这就解决了一些行业数据积累不足的难题

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分布式文件系统，分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop (看不明白这5台虚拟机的请看前面 01前期准备 ) 解压配置文件 [hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh mv /usr/local/hadoop/etc/hadoop /usr/local/hadoop/etc/hadoop_back [hadoop@nn1 hadoop_base_op]$ ./scp_all.sh ../up/hadoop.tar.gz /tmp/ [hadoop@nn1 hadoop_base_op]$ #批量将自定义配置 压缩包解压到/usr/local/hadoop/etc/ #批量检查配置是否正确解压 [hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh head /usr/local/hadoop/etc/hadoop/hadoop-env.sh [hadoop

什么是 zookeeper? Zookeeper 是google的chubby一个开源实现，是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 在Hbase中会用到。 Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据的事物性一致。 Zk默认数据2M以下。 zookeeper架构图 如何搭建Zookeeper服务器集群 zk服务器集群规模不小于3节点，要求服务器之间系统时间要保持一致。 将下载的zookeeper复制到/usr/local 里，解压： tar –zxvf zookeeper-3.4.5.tar.gz 重命名： mv zookeeper-3.4.5.tar.gz zk 在hadoop的/usr/local目录下，解压缩zk….tar.gz，设置环境变量 设置环境变量： 加入： export ZOOKEEPER_HOME=/usr/local/zk 在PATH 后面追加： :$ZOOKEEPER_HOME/bin 使环境变量生效： source /etc/profile 在conf目录下，修改文件 mv zoo_sample.cfg zoo.cfg [root@hadoop zk]# cd conf [root@hadoop conf]# ls configuration.xsl