lz4

导语 | 在百花齐放的交互式分析领域，ClickHouse 绝对是后起之秀，它虽然年轻，却有非常大的发展空间。本文将分享 PB 级分析型数据库 ClickHouse 的应用场景、整体架构、众多核心特性等，帮助理解 ClickHouse 如何实现极致性能的存储引擎，希望与大家一起交流。文章作者：姜国强，腾讯实时检索研发工程师。 一、交互式分析之 ClickHouse 1. 交互式分析简介 交互式分析，也称 OLAP（Online Analytical Processing），它赋予用户对海量数据进行多维度、交互式的统计分析能力，以充分利用数据的价值进行量化运营、辅助决策等，帮助用户提高生产效率。 交互式分析主要应用于统计报表、即席查询（Ad Hoc）等领域，前者查询模式较固定，后者即兴进行探索分析。代表场景例如：移动互联网中 PV、UV、活跃度等典型实时报表；互联网内容领域中人群洞察、关联分析等即席查询。 交互式分析是数据分析的一种重要方式，与离线分析、流式分析、检索分析一起，共同组成完整的数据分析解决方案，在互联网、物联网快速发展的背景下，从不同维度满足用户对海量数据的全方位分析需求。 相比专注于事务处理的传统关系型数据库，交互式分析解决了 PB 级数据分析带来的性能、扩展性问题。 相比离线分析长达 T + 1 的时效性、流式分析较为固定的分析模式、检索分析受限的分析性能

导语 | 在百花齐放的交互式分析领域，ClickHouse 绝对是后起之秀，它虽然年轻，却有非常大的发展空间。本文将分享 PB 级分析型数据库 ClickHouse 的应用场景、整体架构、众多核心特性等，帮助理解 ClickHouse 如何实现极致性能的存储引擎，希望与大家一起交流。文章作者：姜国强，腾讯实时检索研发工程师。 一、交互式分析之 ClickHouse 1. 交互式分析简介 交互式分析，也称 OLAP（Online Analytical Processing），它赋予用户对海量数据进行多维度、交互式的统计分析能力，以充分利用数据的价值进行量化运营、辅助决策等，帮助用户提高生产效率。 交互式分析主要应用于统计报表、即席查询（Ad Hoc）等领域，前者查询模式较固定，后者即兴进行探索分析。代表场景例如：移动互联网中 PV、UV、活跃度等典型实时报表；互联网内容领域中人群洞察、关联分析等即席查询。 交互式分析是数据分析的一种重要方式，与离线分析、流式分析、检索分析一起，共同组成完整的数据分析解决方案，在互联网、物联网快速发展的背景下，从不同维度满足用户对海量数据的全方位分析需求。 相比专注于事务处理的传统关系型数据库，交互式分析解决了 PB 级数据分析带来的性能、扩展性问题。 相比离线分析长达 T + 1 的时效性、流式分析较为固定的分析模式、检索分析受限的分析性能

生产端核心参数 1. acks 参数说明：这是一个非常重要的参数，表示指定分区中成功写入消息的副本数量，这是Kafka生产端消息的持久性（durability）保证。只有当leader确认已成功写入消息的副本数后，才会给Producer发送响应，此时消息才可以认为“已提交”。该参数影响着消息的可靠性以及生产端的吞吐量，并且两者往往相向而驰，通常消息可靠性越高则生产端的吞吐量越低，反之亦然。acks有3个取值： acks = 0：表示生产端发送消息后立即返回，不等待broker端的响应结果。通常此时生产端吞吐量最高，消息发送的可靠性最低。 acks = 1: 表示leader副本成功写入就会响应Producer，而无需等待ISR（同步副本）集合中的其他副本写入成功。这种方案提供了适当的持久性，保证了一定的吞吐量。默认值即是1。 acks = all或-1: 表示不仅要等leader副本成功写入，还要求ISR中的其他副本成功写入，才会响应Producer。这种方案提供了最高的持久性，但也提供了最差的吞吐量。 调优建议：建议根据实际情况设置，如果要严格保证消息不丢失，请设置为all或-1；如果允许存在丢失，建议设置为1；一般不建议设为0，除非无所谓消息丢不丢失。 2. max.request.size 参数说明：这个参数比较重要，表示生产端能够发送的最大消息大小，默认值为1048576

一、Kafka概述 关于Kafka，我们在之前的文章里也介绍，简而言之Kafka是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有时还可以当做存储系统来用。Kafka的设计遵循生产者消费者模式，其中生产者和消费者都属于客户端，服务端则是由多个broker实例组成，broker主要负责接收和处理来自客户端的请求，以及对消息进行持久化。基本架构如下： 二、broker端核心参数 1. broker.id 参数说明：broker的唯一标识id，默认值为-1，如果不指定Kafka会自动生成一个id。生产环境推荐设置从0开始，按1递增的数字，比如0,1,2,3...等。 2. log.dirs 参数说明：设置Kafka持久化消息的数据目录，如果不设置Kafka会将消息持久化到/tmp/kafka-logs，通常都需要我们手动设置。多个目录逗号分隔，也就是一个csv列表。 调优建议：这是必须要上线前规划好的，建议设置成挂载不同磁盘的多个数据目录。创建topic时分区会自动均匀的分布到不同目录里，磁盘的io请求与空间占用也会负载均衡。 3. zookeeper.connect 参数说明：指定Kafka依赖的ZK连接信息，这个参数同样是一个csv列表，比如：zk1:2181,zk2:2181,zk3:2181。因为Kafka依靠Zookeeper做分布式协调服务

我先说几个最让你兴奋和开心的点吧： 在 TiDB 里，你完全不用担心磁盘容量的问题。 在 TiDB 里，原生支持 Online DDL，你完全不用担心第三方改表工具改表出现各种 Bug 的问题，相信用开源工具改过上 T 级别表的同学都遇到过或多或少的各类 error。 在 TiDB 里，加列、主键扩容字段都是秒级的，比如我刚刚就刚对一张 19 亿的表加完了字段，1 秒完事，这在 MySQL 里要 8.0 才可以，而且还要求列在最后才行。 在 TiDB 里，你会发现 count(*) 惊人的快，一张近 20 亿的表 coun(*) 大概在 1 分钟完事儿，当然，这取决于你的 KV 数量和磁盘性能。 在 TiDB 里，从 MySQL 迁移将变得简单，图形化一键迁移，爽不爽？ 在 TiDB 里，绝大多数情况你会发现比单机 MySQL 有更好的性能，当然也不排除一些例外，例如 enum 这样奇葩的字段类型。 在 TiDB 里......您且往下看，我慢慢和您说。 使用背景 60 云平台对 360 集团各大业务线均有提供服务支持，涉及的数据库支持方案有：MySQL、Redis、MongoDB、ES、GP、PiKA。 其中 MySQL 至今已有过万的实例，目前，对于一些写入量大的业务，已经出现瓶颈。 例如磁盘空间，虽然我们可以通过分库分表的方式，拆分出来，但这对业务和 DBA

1）Addressable如何删除旧资源 ​2）Addressable如何更新Catalog文件 3）Editor在Android平台下加载AssetBundle的疑问 4）资源被打成AssetBundle后，图集被多次加载在内存中 5）Gfx.WaitForPresent耗时与GPU的关系 这是第209篇UWA技术知识分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题，建议阅读时间10分钟，认真读完必有收获。 UWA 问答社区： answer.uwa4d.com UWA QQ群2：793972859（原群已满员） Addressable Q1：目前计划使用Addressable来实现资源热更新，实际真机测试发现当资源更新后，旧的资源Addressable并不会把它删除，同时可以看到App占用的数据文件会越来越大。请问有什么办法可以把指定的Group或Label的资源删除吗？ 试了Addressable.ClearDependencyCacheAsync也不行。实际测试这个接口只能删除最新版本的资源。当本地已经是最新版本资源时这个接口确实有效；但是如果本地需要更新资源时，这个接口应该也是尝试去删除最新资源，然而本地并没有最新版的资源，所以大概就无效了。 A：调用Addressable.ClearDependencyCacheAsync实质是调用了 “Caching