Maxwell

一：在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed） 3重启msyql服务 service mysqld restart 查看是否已经开启binlog 查看是否已经开启 binlog 是否改为 row模式 /var/lib/mysql下看到生成了相应的binlog监听日志文件，如图，master.000001文件，每次重启msyql服务，就会生成一个新的监听文件 配置Maxwell相关的部署工作 1下载Maxwell 官网 http://maxwells-daemon.io/ 安装 tar –zxvf maxwell-1.14.4.tar.gz 创建Maxwell的db和用户 create database maxwell; GRANT ALL on maxwell.* to 'maxwell'@'%' identified by '123456’; GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%'; flush privileges; 3.5测试STDOUT:

今天猪脚是maxwell， zendesk 公司开源 https://github.com/zendesk/maxwell 先看架构，和他竞争的有 Debezium Connector for MySQL 废话不多说，搭建目标任务 mysql的binlog 到redis （192.168.0.1 ~~~~~~~192.168.0.3） 1：下载 https://github.com/zendesk/maxwell/releases/download/v1.22.0/maxwell-1.22.0.tar.gz 2： 安装java ，配置好java环境变量 ，解压maxwell-1.22.0.tar.gz（因为是java 写的） 3：mv maxwell-1.22.0 /usr/local && ln -s maxwell maxwell-1.22.0 4: 配置原库（192.168.0.1）添加账号，(后面要用）. mysql > select user ,host from mysql. user where user = ' canal ' ; + -- -----+------+ | user | host | + -- -----+------+ | canal | % | + -- -----+------+ 1 row in set ( 0.01 sec) mysql>

#1.项目背景 ####1.1 MaxWell 介绍 Maxwell是一个守护进程，它能监听并读取MySQL的binlog，然后解析输出为json，支持将数据输出到Kafka、Kinesis或其他流媒体平台，支持库和表的过滤。 地址： https://github.com/zendesk/maxwell ####1.2 版本选型 maxwell-1.25.0 #2.配置MySql 需要打开MySql的 binlog(默认是关闭),采用 row-based replication(RBR) 日志格式 binlog有三种格式：Statement、Row以及Mixed –基于SQL语句的复制(statement-based replication,SBR) –基于行的复制(row-based replication,RBR) –混合模式复制(mixed-based replication,MBR) STATMENT模式：每一条会修改数据的sql语句会记录到binlog中 ROW模式：不记录sql语句上下文相关信息，仅保存哪条记录被修改 Mixed模式：从5.1.8版本开始，MySQL提供了Mixed格式，实际上就是Statement与Row的结合 ####2.1 创建my.cnf cp /usr/share/mysql/my-default.cnf /etc/my.cnf #my.cnf

一、概述 玩过稍微大型一点的游戏的朋友都知道，很多游戏的存档功能使得我们可以方便地迅速进入上一次退出的状态（包括装备、等级、经验值等在内的一切运行时数据），那么在程序开发中也存在这样的需求：比较简单的程序，对象的处理都在内存中直接实现，程序退出后对象就消失；但对于功能需求稍微拔高一点的程序来讲，很多时候往往需要需要把对象持久化保存起来，以便下次启动程序时还能直接进入最后一次的状态。 这个处理过程在程序开发中就是序列化与反序列化。 二、序列化与反序列化的概念 概述中引入了一个游戏存档的场景，本质上是游戏程序把运行时的对象转换成可以持久存储的对象，然后保存（到数据库）的过程。还是以这个为引子来讲讲序列化与反序列化的概念（以下概念整合自网络资料，个人认为解释比较到位了）。 序列化 我们把程序运行时 内存中的数据结构或对象 转换成 二进制串字节序列 的过程称之为序列化，这样我们就可以对对象实现持久化存储或网络传输。 请注意以下重点： 1. 序列化的对象 是 内存中的数据结构或对象 ，也就是我们在程序运行中操纵的一切对象（这是一个面向对象的时代，当然包括很多地方说的变量啦~） 2. 序列化后的对象 变为 二进制串字节序列 ，这个不作过多解释，要持久化保存到硬件或进行网络传输，必须是bytes对象。 3. 序列化的目的 想想自己玩游戏时存档的那种便利性和必要性把，有些对象必须能够持久化地保存

论文连接： https://arxiv.org/abs/2004.10934 翻译的很多都是直译的，不准的地方请欢迎大佬指正 摘要 有许多功能可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。一些功能仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小规模数据集上运行； 而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们假设此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自对抗训练（SAT）和Mish激活函数。我们使用以下新功能：WRC，CSP，CmBN，SAT，Mish激活，Mosaic数据增强，CmBN，DropBlock正则化和CIoU_loss，并结合使用其中的一些功能以实现最新的结果：43.5％的AP（65.7 在Tesla V100上，MS COCO数据集的实时速度约为65 FPS。源代码位于 https://github.com/AlexeyAB/darknet 。 Introduction 大多数基于CNN的物体检测器仅适用于推荐系统。例如，通过慢速精确模型执行通过城市摄像机搜索空闲停车位的过程，而汽车碰撞警告则与快速不准确的模型有关。提高实时物体检测器的准确性，不仅可以将它们用于生成推荐系统，还可以用于独立的流程管理并能减少人工输入

某厂面试归来，发现自己落伍了！>>> 一. 概述 在大数据的静态数据处理中，目前普遍采用的是用 Spark + Hdfs （Hive / Hbase） 的技术架构来对数据进行处理。 但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存储到 Hdfs 中进行处理。而追加（append）这种操作在 Hdfs 里面明显是比较麻烦的一件事。所幸有了 Storm 这么个流数据处理这样的东西问世，可以帮我们解决这些问题。 不过光有 Storm 还不够，我们还需要其他中间件来协助我们，让所有其他数据源都归于一个通道。这样就能实现不同数据源以及 Hhdfs 之间的解耦。而这个中间件 Kafka 无疑是一个很好的选择。 这样我们就可以让 Mysql 的增量数据不停得抛出到 Kafka ，而后再让 storm 不停得从 Kafka 对应的 Topic 读取数据并写入到 Hdfs 中。 二. 基本知识 2.1 Mysql binlog 介绍 binlog 即 Mysql 的二进制日志。它可以说是 Mysql 最重要的日志了， 它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录 ，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。 上面所说的提到了 DDL 和 DML ，可能有些同学不了解，这里顺便说一下： DDL

今天( 3 月 19日)，NVIDIA GPU 技术大会在美国加利福尼亚州圣何塞市开幕。会上，NVIDIA 宣布推出 一款全新的人工智能计算机Jetson Nano，可以创建数百万个智能系统。 　　这款CUDA-X人工智能计算机外观小巧但功能强大，可提供472 GFLOPS(每秒十亿次浮点运算)的计算性能以支持现代人工智能工作负载运行，而耗电量仅为 5 瓦。 　　Jetson Nano 支持高分辨率传感器，可以并行处理多个传感器，并且可在每个传感器流上运行多个现代神经网络。它还支持许多常见的人工智能框架，让开发人员轻松地将自己偏爱的模型及框架集成到产品中。 　　NVIDIA 创始人兼CEO黄仁勋在大会上公布了两个版本的 Jetson Nano：1、面向开发人员、创客和技术爱好者的，售价为 99 美元的开发者套件;2、为希望面向大众市场创建边缘系统的企业提供售价为 129 美元的生产就绪型模块。 　　Jetson Nano属于Jetson产品系列，该系列还包括用于完全自主机器的Jetson AGX Xavier和用于边缘人工智能的 Jetson TX2。作为大型企业、初创公司和研究人员的理想选择，Jetson 平台通过 Jetson Nano 将其适用范围扩展到全球 3000 万名创客、开发人员、发明者和学生。 　　NVIDIA 副总裁兼自主机器事业部总经理 Deepu Talla

A comprehensive set of APIs for hardware accelerated video encode and decode on Windows and Linux. NVIDIA GeForce Now is made possible by leveraging NVENC in the datacenter and streaming the result to end clients Quick Links: Download GPU Support Matrix Using Video Codec SDK FFmpeg/libav Resources NVEncode Features Performance NVDecode Features Performance The Video Codec SDK includes a complete set of APIs, samples and documentation for hardware accelerated video encode and decode on Windows and Linux. The SDK consists of two hardware acceleration interfaces: NVENCODE API for video encode