udf

一、information_schema简介 在MySQL中，把 information_schema 看作是一个数据库，确切说是信息数据库。其中保存着关于MySQL服务器所维护的所有其他数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权 限等。在INFORMATION_SCHEMA中，有数个只读表。它们实际上是视图，而不是基本表，因此，你将无法看到与之相关的任何文件。 information_schema数据库表说明: SCHEMATA表：提供了当前mysql实例中所有数据库的信息。是show databases的结果取之此表。 TABLES表：提供了关于数据库中的表的信息（包括视图）。详细表述了某个表属于哪个schema，表类型，表引擎，创建时间等信息。是show tables from schemaname的结果取之此表。 COLUMNS表：提供了表中的列信息。详细表述了某张表的所有列以及每个列的信息。是show columns from schemaname.tablename的结果取之此表。 STATISTICS表：提供了关于表索引的信息。是show index from schemaname.tablename的结果取之此表。 USER_PRIVILEGES（用户权限）表：给出了关于全程权限的信息。该信息源自mysql.user授权表。是非标准表。

本节列出特定于 MGR 插件的系统变量。每个系统变量的前缀都是“group_replication”字符串。 组复制的大多数系统变量都是动态的，它们的值可以在MySQL Server运行时更改。但是，在大多数情况下，需要使用STOP GROUP_REPLICATION语句和START GROUP_REPLICATION语句重启组复制之后才会生效。而一小部分系统变量，修改它们的值会立即生效，不需要重启组复制，这些系统变量与流量控制相关，如下： group_replication_flow_control_applier_threshold group_replication_flow_control_certifier_threshold group_replication_flow_control_mode 组复制的大多数系统变量在不同的组成员中可以设置不同的值，但对于以下系统变量，建议对组中的所有成员设置相同的值，以避免导致不必要的事务回滚、消息传递失败或消息恢复失败： group_replication_auto_increment_increment group_replication_communication_max_message_size group_replication_compression_threshold group_replication_message

一、下载源码包 1.1 下载mysql源码包 MySQL源码，网址为：https://dev.mysql.com/downloads/mysql/ : 1.2 下载boost 下载网址为：http://www.boost.org/users/download/ 这个版本的MySQL要求boost的版本是1.59，链接为： http://www.boost.org/users/history/version_1_59_0.html 下面给出boost 1.59.0的链接，在/usr/local/src目录下直接用wget进行下载 wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.20.tar.gz 二、编译安装 2.1 安装必要的软件依赖： yum install -y cmake bison bison-devel libaio-devel gcc gcc -c++ git ncurses-devel 2.2 解压MySQL源文件： tar -zxvf mysql- 5.7 . 20 . tar .gz 将boost的压缩包移动至解压后的源文件目录内: mv boost_1_65_1. tar .gz mysql- 5.7 . 20 2.3 进入MySQL源文件目录，新建configure做为编译目录

简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 一、 背景 在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 StreamSQL 和低阶 API 两种服务形式。现有集群规模达到了 1500 台物理机，运行任务数超过 12000 ，日均处理数据 3 万亿条左右。 不过随着社区的发展，尤其是 Blink 合入 master 后有很多功能和架构上的升级，我们希望能通过版本升级提供更好的流计算服务。今年 2 月份，里程碑版本 Flink-1.10 发布，我们开始在新版上上进行开发工作，踏上了充满挑战的升级之路。 二、 Flink-1.10 新特性 作为 Flink 社区至今为止的最大的一次版本升级，加入的新特性解决了之前遇到很多的痛点。 1. 原生 DDL 语法与 Catalog 支持 Flink SQL 原生支持了 DDL 语法，比如 CREATE TABLE/CREATE FUNCTION，可以使用 SQL 进行元数据的注册，而不需要使用代码的方式。 也提供了 Catalog 的支持，默认使用 InMemoryCatalog 将信息临时保存在内存中，同时也提供了

简介： 本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。 一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我把它叫做三横四纵。所谓三横，第一是贯穿全链路的元数据以及血缘，贯穿数据集成、数据处理、数据消费、以及数据应用的全过程链路。另外一块贯穿全链路的是数据安全，包括受限域的认证系统、权限系统、整体的审计系统。根据数据的流向，我们把数据处理的过程分为数据集成、数据处理、数据消费、以及数据应用这 4 个阶段。 在数据集成阶段，我们对于公司内部的，比如说用户行为数据、日志数据、DB 数据、还有文件数据，都有相应的集成的系统把数据统一到我们的数据处理的存储中，比如说 Kafka 中。 在数据处理阶段，分为流式处理链路、批处理链路以及基于这套链路的数仓工作平台（万象平台）。生产出来的数据，经过 Datalink 导入到消费的存储中，最终通过应用以不同的形式呈现出来。 我们目前在 Flink 上面应用比较广泛的地方，包括从 Kafka 把数据导到 Hive，包括实时的处理，数据导出的过程。今天的分享就集中在这些方面。 2.美团 Flink 应用概况 美团的 Flink 目前大概有

简介： 本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。 一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我把它叫做三横四纵。所谓三横，第一是贯穿全链路的元数据以及血缘，贯穿数据集成、数据处理、数据消费、以及数据应用的全过程链路。另外一块贯穿全链路的是数据安全，包括受限域的认证系统、权限系统、整体的审计系统。根据数据的流向，我们把数据处理的过程分为数据集成、数据处理、数据消费、以及数据应用这 4 个阶段。 在数据集成阶段，我们对于公司内部的，比如说用户行为数据、日志数据、DB 数据、还有文件数据，都有相应的集成的系统把数据统一到我们的数据处理的存储中，比如说 Kafka 中。 在数据处理阶段，分为流式处理链路、批处理链路以及基于这套链路的数仓工作平台（万象平台）。生产出来的数据，经过 Datalink 导入到消费的存储中，最终通过应用以不同的形式呈现出来。 我们目前在 Flink 上面应用比较广泛的地方，包括从 Kafka 把数据导到 Hive，包括实时的处理，数据导出的过程。今天的分享就集中在这些方面。 2.美团 Flink 应用概况 美团的 Flink 目前大概有

一、背景 0.0 神说，要有正态分布，于是就有了正态分布。 0.1 神看正态分布是好的，就让随机误差都随了正态分布。 0.2 正态分布的奇妙之处，就是许多看似随机事件竟然服从一个表达式就能表达的分布，如同上帝之手特意为之。 神觉得抛硬币是好的，于是定义每个抛出硬币正面记+1分，反面记-1分。创世纪从0分开始，神只抛1次硬币，有2种可能：一半的概率+1分，一半的概率-1分。此时概率分布大概是这样的： 神决定扔10个硬币，此时概率分布如下： 如果画图来感受，数据分布大概如下： 如果是100个，甚至是无穷多个呢？平均分数分布情况大概是什么样呢？画个图感受一下： ——《创世纪·数理统计·正态分布的前世今生》 开头摘自统计学中非常经典的一本书籍，由此可见正态分布是非常经典和随处可见的，为什么正态分布这么常见呢？因为通常情况下，一个事物的影响因素都是多个，好比每个人的学习成绩，受到多个因素的影响，比如： 本人的智商情况。 上课听讲的认真程度，课前的预习程度，与老师的互动程度。 课后是否及时复习，有没有及时温习知识点呢，有没有做好作业巩固。 每一天的因素，每天的行为，对于学生的成绩不是产生正面因素就是负面因素，这些因素对于成绩的影响不是正面就是负面的，反复累计加持就像上图的抛硬币一样，让成绩最后呈现出正态分布。数据呈现正态分布其实背后是有中心极限定理原理支持，根据中心极限定理

一、背景 0.0 神说，要有正态分布，于是就有了正态分布。 0.1 神看正态分布是好的，就让随机误差都随了正态分布。 0.2 正态分布的奇妙之处，就是许多看似随机事件竟然服从一个表达式就能表达的分布，如同上帝之手特意为之。 神觉得抛硬币是好的，于是定义每个抛出硬币正面记+1分，反面记-1分。创世纪从0分开始，神只抛1次硬币，有2种可能：一半的概率+1分，一半的概率-1分。此时概率分布大概是这样的： 神决定扔10个硬币，此时概率分布如下： 如果画图来感受，数据分布大概如下： 如果是100个，甚至是无穷多个呢？平均分数分布情况大概是什么样呢？画个图感受一下： ——《创世纪·数理统计·正态分布的前世今生》 开头摘自统计学中非常经典的一本书籍，由此可见正态分布是非常经典和随处可见的，为什么正态分布这么常见呢？因为通常情况下，一个事物的影响因素都是多个，好比每个人的学习成绩，受到多个因素的影响，比如： 本人的智商情况。 上课听讲的认真程度，课前的预习程度，与老师的互动程度。 课后是否及时复习，有没有及时温习知识点呢，有没有做好作业巩固。 每一天的因素，每天的行为，对于学生的成绩不是产生正面因素就是负面因素，这些因素对于成绩的影响不是正面就是负面的，反复累计加持就像上图的抛硬币一样，让成绩最后呈现出正态分布。数据呈现正态分布其实背后是有中心极限定理原理支持，根据中心极限定理

把当前ubuntu系统做成镜像 2018年06月19日 15:24:51 还需要再学习一个 阅读数：9720 原文地址： http://community.bwbot.org/topic/167/%E4%BD%BF%E7%94%A8systemback%E5%88%B6%E4%BD%9Cubuntu%E8%87%AA%E5%AE%9A%E4%B9%89%E7%B3%BB%E7%BB%9F%E9%95%9C%E5%83%8F%E5%92%8C%E7%B3%BB%E7%BB%9F%E5%A4%87%E4%BB%BD Systemback是一个 Ubuntu系统 中用于发布自定义系统镜像和系统备份的软件。有时候我们对自己的Ubuntu做了很多设置，比如各种软件包，各种自定义的配置。我们想要在另一台电脑上也安装一个和我们 一模一样 的系统，这个时候就会用到这种方法了。这个方法不仅可以用于发布系统，也可以用来作为系统备份使用。 下面就具体介绍一下这个软件的安装和使用方法 安装 sudo add-apt-repository ppa:nemh/systemback sudo apt- get update && sudo apt- get install systemback unionfs-fuse 使用方法 安装完成后在Dash菜单中就能找到这个软件了 输入管理员密码，打开后界面如下图所示