Ledger

这周我们请到了来自 StreamNative 的高级工程师——李鹏辉，为大家详细介绍一些关于 Pulsar 2.6.0 版本新特性。 首先回顾一些最近一周 Pulsar 的相关进展： 1. 新增 PIP-68：Exclusive producer https://github.com/apache/pulsar/wiki/PIP-68%3A-Exclusive-Producer 2. Pulsar 2.6.1 版本也已在计划中，敬请期待！ 接下来就一起看看关于 Pulsar 2.6.0 新特性吧！ PIP 相关 🖌 PIP-37：支持传输大消息体的消息 Pulsar 默认支持发送 最大为 5 MB 的消息，如果超过，则 producer 不允许发送此消息。此 PIP 则通过将大消息体的消息拆分成多个 chunk，使其支持生产和消费大消息体的消息。 读取时则直接在 metadata 里获取「几个 chunk」目标信息，consumer 会根据获取到的目标信息，进行大消息组装。 目前，该功能仅对 non-shared subscription 有效，并对客户端有改动。如需使用该功能，你需要将 Pulsar 客户端升级至 2.6.0。使用该特性可以在生产端启用消息 trunking 机制。 更多此特性细节讲解，可参考视频回放 05:00-09:35 时间段。 🖌 PIP-39：新增

最近社区里有些招聘的需求，我们汇总了下，有兴趣的朋友请自行联系。 如果你的团队也在招聘，可以和我们联系，我们汇总后，会不定时的发出。 币信 区块链工程师： 岗位描述 主要负责公链基础设施研究与开发； 负责公链上层的应用产品的设计和研发工作； 不限技术栈，可根据个人开发偏好进行技术选型； 职位要求 对区块链技术有浓厚兴趣； 熟悉常用的数据结构和算法； 有区块链, 分布式网络、应用密码学、网络安全等研发经验； 熟悉 Golang 、C/C++，Rust，java，Javascript，Python 等至少一种编程语言，良好的编程习惯 优先 有过区块链钱包开发经验； 熟悉以太坊 ETH 及 Solidity 合约语言； 熟悉常用加密算法 币信 前端工程师: 岗位描述 主要负责加密货币钱包的浏览器插件开发； 单页应用 SPA 的开发和桌面端封装（ Electron ）； 不限技术栈，可根据个人开发偏好进行技术选型 职位要求 独立思考、分析、解决、归纳问题的能力； 2 年及以上相关工作经验，编码能力和编码风格良好，精通常用的数据结构与算法； 熟悉 Javascript / HTML / CSS / HTTP，熟悉 W3C 标准与 ES 规范，熟悉 Web 语义化和相关前端技术； 熟练使用目前各类主流前端框架（ React / Vue / Angular 选之一 ）并理解相关实现原理 优先

点击上方“ 开发者技术前线 ”，选择“置顶或者星标” 属于你的文章第一时间送达！ 最早关于谷歌新系统 Fuchsia 的消息 出现 在 2016 年，到目前为止，距今已过去近两年。期间，大家一直期望谷歌会公布这款融合了桌面操作系统 Chrome OS 与移动操作系统 Android 的系统的消息。然而经历了两届谷歌开发者大会，除了民间的一些传闻，关于 Fuchsia 的官方消息可谓是屈指可数。 目前，像 Google Pixelbook 这些最好的 Chromebook 跑着 Chrome OS 桌面操作系统，但却可以通过谷歌应用商店运行 Android 应用。然而 Fuchsia 系统却将会更进一步，它将接管谷歌针对手机、平板电脑和 Chromebook 这些设备开发的独特又统一的操作系统的地位。 目前我们还没有看到任何关于谷歌系统 Fuchsia 的发布信息，不过我们也没“跟丢”什么内容。一位 Reddit 用户显然发现了谷歌正在开发"AltOS模式"的证据，该模式允许在某种双启动配置下在 Chrome OS 和“替代操作系统”之间切换，但最近我们发现有消息指出谷歌正在为其硬件添加 Windows 支持 —— 所以这种"AltOS模式"也可能与 Fuchsia 无关。不过，当它最终进入市场时，这可以作为运行 Fuchsia 的一个方法。 切回正题 Fuchsia 是什么

据传苹果汽车将会提前问世，明年 Q3 对外发布 据外媒报道，援引未透露姓名的中国台湾制造商高管的话说，苹果传闻已久的电动汽车将至少提前两年推出，预计会在 2021 年第三季度发布。该报道称，台湾制造商们正在准备最早在明年第二季度增加“苹果汽车”零部件的生产，另外还补充称，苹果已经在加州的道路上秘密测试了数十辆原型车。 来源： cnbeta 拍一拍：不知道苹果电动车会是什么体验，也会有个 AppStore 吗？ Rust 语言正吸引更多项目使用 Rust 语言项目公布的最新调查显示，83% 的回应者表示正在使用 Rust 从事开发。Rust 是由 Mozilla 创造的语言，Mozilla 用它开发了实验性的渲染引擎 Servo，并逐渐将部分组件整合到 Firefox 中，但在前不久的裁员中 Mozilla 裁掉了许多 Rust 项目的核心开发者。Rust 项目宣布独立，而 Servo 项目则成为了 Linux 基金会托管项目。微软和亚马逊 AWS 部门的工程师都在尝试使用 Rust 项目开发更安全的软件。 来源： solidot 拍一拍：RUST 这些年已经炙手可热了，想必能从 C/C++ 和 Java 手中抢下一些份额。 黑客免费公布 27 万加密货币钱包 Ledger 用户信息 近日，一名网络攻击者在黑客论坛发帖，免费公布了从 Ledger 窃取的电子邮件和邮寄地址。在今年 6

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 这是我在【物女心经】专栏写的第178篇文章。 在上周的文章《广东1800亿打响新基建第一枪，河南、陕西工业互联网投资迎头赶上，500个项目揭示最佳赛道...》中，我们重点追踪并分析了已公布具体信息的466个工业互联网新基建项目及内涵，并且形成了一张总览全国性工业互联网项目分布的气泡图。 这次的新基建，让工业互联网的发展，搭载在具有周密计划、覆盖全国重点区域、超大规模的集体决策智慧之上。 在分析的过程中，我们还有很多颇具价值的发现。 区块链和人工智能，同样被列入新基建的范畴。 在4月底由国资委和发改委同时召开经济运行例行发布会上，首次明确划定了新基建的范围。物联网作为通信网络基础设施的代表，区块链、人工智能作为新技术基础设施的代表，共同属于信息基础设施这一层面。 就像自行车、手表和缝纫机是工业时代的“三大件”。人工智能、区块链与物联网，正在成为智能时代的“新三大件”。 加之新基建和新冠疫情的不期而遇，成为了人类社会数字化迁徙的助推剂，让新三大件之间的耦合越来越紧密，落地越来越加速。 从物理世界到数字世界跨越的分水岭已经出现。 你肯定知道，近期非常重要的一个事件是石油价格的暴跌。这是一次金融市场发生的踩踏事件，也是一次新旧能源转换的标志性事件。工业文明，石油是能源；智能文明

接着之前的一篇文章 BookKeeper 集群搭建及使用 ，本文是 BookKeeper 系列的第二篇，短期来看应该也是最后一篇，本篇文章主要聚焦于 BookKeeper 内核的实现机制上，会从 BookKeeper 的基本概念、架构、读写一致性实现、读写分离实现、容错机制等方面来讲述，因为我并没有看过 BookKeeper 的源码，所以这里的讲述主要还是从原理、方案实现上来介绍，具体如何从解决方案落地到具体的代码实现，有兴趣的可以去看下 BookKeeper 的源码实现。 BookKeeper 基础 正如 Apache BookKeeper 官网介绍的一样：A scalable, fault-tolerant, and low-latency storage service optimized for real-time workloads。BookKeeper 的定位是一个可用于实时场景下的高扩展性、强容错、低延迟的存储服务。 Pulsar-Cloud Native Messaging & Streaming - 示说网 中也做了一个简单总结： 低延迟多副本复制：Quorum Parallel Replication； 持久化：所有操作保证在刷盘后才 ack； 强一致性：可重复读的一致性（Repeatable Read Consistency）; 读写高可用； 读写分离。

Fabric整体项目结构介绍 版本较低，建议去看高版本手册。 bccsp ：提供了加密标准以及算法的实现，为整个项目提供统一的加密、签名、验签服务。 common ：common模块提供了通用功能以及一些通用的代码实现，包括日志、错误、工具包等，主要包括项目全局的功能性代码。 core ：core模块为Fabric项目的核心代码模块，其中包括权限控制、chaincode模块、committer、endorser、ledger、policy等核心功能的代码实现。 discovery ：该模块旨在为客户端程序提供服务发现的功能。 docs ：该模块基于Python的sphinx进行在线文档的构件。 events ：该模块为客户端提供事件订阅的功能。 examples ：为整个项目提供相关的操作案例。 gossip ：是为Fabric在节点间达成最终一致性，实现的信息传播的模块。 msp ：msp模块，为Fabric统一提供成员服务。 orderer ：进行全局的交易排序以及切块，并推送给peer。 peer ：包含peer节点的入口代码，以及命令行操作相关功能。 proposals ：存放相关提案。 protos ：存放Protocol buffer消息。 release_notes ：各个版本的changelog。 sampleconfig ：相关样例配置文件。 scripts

在正式分享 2.6.1 版本更新细节之前，冉小龙首先为我们分享了两个相关 PIP 的内容。 一个是 PIP-47 中关于「基于时间来进行版本更新」的计划。该 PIP 提出后，从 2.5.0 版本到目前即将发布的 2.6.1 版本中，时间更短、发布频率更高成为最突出的特点。同时反馈周期快，基本是每三个月更新一个大版本。这样用户也可以大概了解版本的一个更新周期，增进了项目透明度。 另一个是 PIP-69 中计划在 Go Client 中集成 schema 相关的功能和特性，更多详情介绍可以参考下方： https://github.com/apache/pulsar/wiki/PIP-69%3A-Schema-design-for-Go-client 。 版本更新情况 此次 2.6.1 版本更新接收了来自社区的 112 次 commits，覆盖 broker、Pulsar Functions、Go Function、Pulsar SQL、Schema、Java/CPP Client 等层面。同时截止目前 Apache Pulsar 项目已有 6400+ star、1500+ fork，以及即将超过 300 人的 contributor 数量。 接下来就简单介绍一些 2.6.1 版本中的更新功能吧。 修复 Key_Shared 中 stick hash range 冲突的问题 Key

​导语 | 云原生场景，多语言、多种协议兼容，任意多的消息 Topic、任意多的消费者，性能的按需快速扩展成为消息队列基本的要求。本文是对腾讯TEG技术委员会专家工程师刘德志老师在云+社区沙龙 online 的分享整理，介绍基于 Apache Pulsar 的新一代存储计算分离设计的消息队列 TDMQ，希望与大家一同交流。 点击视频查看完整直播回放 一、金融级别云原生消息队列功能需求 1. 腾讯计费背景介绍 腾讯计费是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台，其核心是帮助用户与产品，安全、便捷的完成支付和收款，在交易过程中帮助产品盈收实现最大化。 如果把腾讯比喻为一个饭店，腾讯计费就相当于门口柜台的收费平台，你在饭店的消费，可以用微信支付、银行卡、苹果支付、QQ钱包、充值卡抵扣券或其他方式支付。 这里包括了 ToC 场景，比如用户往自己的 QB 账户充值，或者在游戏终端购买道具、游戏币，比如王者荣耀购买英雄或者皮肤等。也包括 ToB 场景，比如广告主、网红主播、腾讯云客户的扣款收费，都是通过腾讯计费这套平台提供的服务。 平台承载了腾讯公司每天数亿收入的大盘，为 180+ 个国家（地区）、万亿业务代码、100W+ 计算商户提供服务，托管账户总量 300 多亿，是一个全方位一站式计费平台。 腾讯计费平台有四个版本，分别是基础版、企业版、海外版、行业版，为众多广告客户提供服务

Pulsar Kafka Topic Topic Partition Partition Ledger(Segment)/Fragment/Entry Fragment/Segment Bookie Broker Broker Client SDK Ensemble Size metadata.broker.list Write Quorum Size (Qw) Replica Number Ack Quorum Size (Qa) request.required.acks Qa 是每次写请求发送完毕后需要回复确认的 Bookie 的个数，类似于 Kafka 的 request.required.acks pulsar > topic > partition > Segment(Ledger) > Entry Pulsar vs kafka Pulsar: Topic > partition > Segment(n个segment均匀分布在各节点，单节点只存储了部分segment) > entry > msg Kafka: Topic > partition > Segment(一个分区的所有segment文件全量存储在节点一个目录) 区别： Kafka的一个分区的所有log文件(segment)索引文件都是全量存储在某节点的同一目录这样会有局限性 https://www