Druid

使用场景 HikariCP 这个数据源号称是最快的数据源。 其实个人认为 性能肯定还是在SQL语句和数据库。而且 这个数据源功能其实并不多。 个人不喜欢使用 将其作为主数据源。 druid 数据源对比 但是 如果将 HikariCP 作为读取 读取第三方 数据库 也就是多数据源来 使用，个人认为是非常适合的。 多数据源配置 package com.door.remote.dataSource; import cn.hutool.cache.CacheUtil; import cn.hutool.cache.impl.TimedCache; import cn.hutool.db.Db; import com.door.common.constants.DbConst; import com.door.common.constants.biz.dr.DbSetType; import com.door.entity.dr.AcDrDbSource; import com.door.utils.db.CfsDatabase; import com.zaxxer.hikari.HikariDataSource; import lombok.extern.log4j.Log4j2; import org.apache.commons.lang3.StringUtils; import

异常信息 2018-12-12 21:57:07.034 8084 --- [SimpleAsyncTaskExecutor-3130] com.alibaba.druid.pool.DruidDataSource : discard connection com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 900,045 milliseconds ago. The last packet sent successfully to the server was 900,044 milliseconds ago. at sun.reflect.GeneratedConstructorAccessor111.newInstance(Unknown Source) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance

Java面试题全集（8） 白玉 IT哈哈 71、如何用Java代码列出一个目录下所有的文件？ 答： 如果只要求列出当前文件夹下的文件，代码如下所示： import java.io.File; class Test12 { public static void main(String[] args) { File f = new File("/Users/Hao/Downloads"); for(File temp : f.listFiles()) { if(temp.isFile()) { System.out.println(temp.getName()); } } } } 如果需要对文件夹继续展开，代码如下所示： import java.io.File; class Test12 { public static void main(String[] args) { showDirectory(new File("/Users/Hao/Downloads")); } public static void showDirectory(File f) { _walkDirectory(f, 0); } private static void _walkDirectory(File f, int level) { if(f.isDirectory()) { for(File temp

使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地 http://lxw1234.com/archives/2015/12/588.htm 一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io）太过复杂，整个Druid由5、6个服务组成，而且加载数据也不太方便，性能一般，亦或是我还不太会用它。后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求。 ElasticSearch相信大家都很熟悉了，它在搜索领域已经有了举足轻重的地位，而且也支持越来越多的聚合统计功能，还和YARN、Hadoop、Hive、Spark、Pig、Flume等大数据框架兼容的越来越好，比如：可以将ElasticSearch跑在YARN上，还可以在Hive中建立外部表映射到ElasticSearch的Index中，直接在Hive中执行INSERT语句，将数据加载进ElasticSearch。 所谓OLAP，其实就是从事实表中统计任意组合维度的指标，也就是过滤、分组、聚合，其中，聚合除了一般的SUM、COUNT、AVG、MAX、MIN等，还有一个重要的COUNT(DISTINCT)，看上去这些操作在SQL中是非常简单的统计，但在海量数据、低延迟的要求下，并不是那么容易做的。

简介： 针对数据库连接池到DRDS连接探活的优化 1. 问题背景 近期在给某专有云客户进⾏云产品应⽤性能优化分析时，发现了⼀个有趣的关于DRDS使⽤层⾯的问题，这⾥给⼤家分享⼀下。 使⽤过DRDS产品的同学都知道在DRDS中，未分库分表的数据表会存储在“0号库”上，对于这些表操作的SQL会被分发到“0号库”上执⾏。所以⼀般情况下，0号库所在实例的压⼒会⽐其它实例的压⼒稍⼤⼀些。近期分析该客户的数据库性能时，发现客户使⽤的DRDS下0号库所在的RDS实例的压⼒明显⽐其它RDS实例⾼出许多。 图1：SQL语句平均每秒执行次数及事务数 2. 原因分析 通过查看0号库所在的RDS实例的执⾏SQL发现，有⼤量的 SELECT 'x' 的查询语句。检查应⽤侧代码后发现，这个查询语句是应⽤侧连接池配置的连接探活SQL，所有的连接池实现⼏乎都有这个功能，可以通过探活SQL检测连接当前是否可⽤。 那么问题来了： 为什么只有0号库所在RDS上会有⼤量此类的语句？ DRDS中不带表名的（⽐如 SELECT 'x'）SQL和show命令都会被下发到0号库执⾏。 对于客户端来说这种连接检测是否有⽤？ 答案⼀定是有⽤的，因为如果因⽹络闪断或其它原因导致的连接状态不可⽤，即使获取到了连接对象，也不能进⾏数据访问操作。所以这个检测是有必要的，但对于使⽤DRDS作为数据源的场景来说，⽬前配置的检测⽅式是存在问题的。

mysql保存emoji表情的问题 起因 默认的utf-8编码支持的一个字符最多是3个字节,而手机输入法中的emoji表情是4个字节,所以保存时会报错. 解决方案 utf8的超集utf8mb4一个字符最多能有4字节，支持emoji表情的存储。 操作步骤 1.修改mysql配置 打开my.cnf文件(一般在/etc下),加入配置 [client] default-character-set = utf8mb4 [mysql] default-character-set = utf8mb4 [mysqld] character-set-client-handshake = FALSE character-set-server = utf8mb4 collation-server = utf8mb4_unicode_ci init_connect='SET NAMES utf8mb4' 2.修改数据库/表/字段 ALTER DATABASE 数据库名 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; ALTER TABLE 表名 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ALTER TABLE 表名 CHANGE 字段名 字段名 该字段原来的数据类型

1）使用场景 对于Mysql主从复制实现读写分离来说，可以解决读的扩展性问题。但是写的话，面对庞大的数据量还是集中在Master上，并且Master挂载的slave不可能无限制多，因为slave依赖于Master的能力和负载的限制。因此需要对Master进行扩展来实现海量数据的需要。 2）分表 对于访问极为频繁，数据量又极大的表来说，最直接做的就是减少数据量的总条数，以便减少数据查询所需要的时间，可以对大数据表进行分表。 分表策略：用id来进行分表是最为常见的策略，因为大部分查询都要带上id，又不影响查询又能使得数据均衡的分布在各个表中。假设有一个订单表有1000w条数据，将该表分成16个表，将id%16进行存储，如果id不是数字可以先hash取值。拆分的记录根据取余的值进行存储，App应用根据取余的值进行表的访问。 3）分库 分表能解决数据量过大造成的查询效率低下的问题，但是无法有效提示数据的并发访问能力。将数据库拆分，提高数据库的写入能力就是所谓的分库。 与分表类似，分库策略可以通过对某一个字段如id进行取余操作，来对数据访问进行路由。如id=19，分成3个库，19%3=1，这时候就路由到第一个库。 4）sharding-jdbc 实现分库分表 sharding-jdbc 最先是当当网开源代码，后来被Apache集成。 sharding-jdbc能帮我们实现什么： 1

简介： 本篇将重点介绍Hologres在阿里巴巴网络监控部门成功替换Druid的最佳实践，并助力双11实时网络监控大盘毫秒级响应。 概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。借此之际，我们将陆续推出云原生实时数仓双11实战系列内容，本篇将重点介绍Hologres在阿里巴巴网络监控部门成功替换Druid的最佳实践，并助力双11实时网络监控大盘毫秒级响应。 3... 2... 1... 00:00:00 。购物车，结算，提交订单，付款 00:01:00...。滴，您的支付宝消费xxx万元。 亿万人同时参与的千亿级项目，破记录的峰值58万笔/秒，剁手党们在整个交易过程中如丝般顺滑，好像参加了一个假的双11，而这一切的背后都离不开阿里巴巴网络能力的强大支持。随着技术的发展，尤其是近年来云和电商业务的愈发兴盛，基础网络也变得越来越庞大和复杂，如何保障这张膨胀网络的稳定性，提供云上用户畅通无阻的购物体验，对网络系统建设者和运维者说更是极大的考验。 理论上来说，故障不可避免，但是如果能够做到快速发现，定位，修复甚至预防故障，缩短故障时长，即可让用户轻微或无感是稳定性追求的终极目标。2015年的微软提出了pingmesh，成为业界事实的解决方案

前言 一年一度的 数据库领域顶级会议VLDB 2019 于美国当地时间8月26日-8月30日在洛杉矶召开。在本届大会上，阿里云数据库产品团队多篇论文入选Research Track和Industrial Track。 本文将对入围Industrial Track的论文《AnalyticDB: Realtime OLAP Database System at Alibaba Cloud》进行深度解读。 1、背景 随着数据量的快速增长，越来越多的企业迎来业务数据化时代，数据成为了最重要的生产资料和业务升级依据。伴随着业务对海量数据实时分析的需求越来越多，数据分析技术这两年也迎来了一些新的挑战和变革： 1) 在线化和高可用、离线和在线的边界越来越模糊，一切数据皆服务化、一切分析皆在线化； 2) 高并发低延时，越来越多的数据系统直接服务终端客户，对系统的并发和处理延时提出了新的交互性挑战； 3) 混合负载，一套实时分析系统既要支持数据加工处理，又要支持高并发低延时的交互式查询； 4) 融合分析，随着对数据新的使用方式探索，需要解决结构化与非结构化数据融合场景下的数据检索和分析问题。 图1 阿里巴巴分析型数据库发展历史 阿里巴巴最初通过单节点Oracle进行准实时分析, 后来转到Oracle RAC。随着业务的飞速发展, 集中式的Shared Storage架构需要快速转向分布式