增量更新

Linux—MySQL增量备份与恢复 一.增量备份与恢复 1.增量备份的优点 没有重复数据，备份量不大，时间短； 2.缺点 需要上次完全备份以及完全备份之后的所有增量备份才能恢复，而且对所有增量备份进行逐个反推恢复，操作较为繁琐 3.MySQL没有直接提供增量备份的方法，但是通过MySQL的二进制日志间接实现增量备份 4.二进制日志保存了所有更新或者可能更新或者可能更新数据库的操作 5.二进制日志在启动MySQL服务器后开始记录，并且在文件达到max_binlog_size所设置的大小或者接收到的flush logs命令之后重新创建日志文件 6.只需要定时执行flush logs 方法重新创建新的日志，生成日志文件序列，并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份 二.具体操作 1.开启二进制日志功能，重启服务（mysqld里添加） [root@localhost opt]# vim /etc/my.cnf log-bin=mysql-bin [root@localhost opt]# systemctl restart mysqld.service 2.使用mysqldump工具进行完全备份 [root@localhost data]# mysqldump -uroot -pabc123 school > /opt/school.sql [root

简介： 作者 | 鸿历 作者简介：王伟骏，花名鸿历，阿里巴巴搜索推荐事业部高级开发工程师。2016年硕士毕业于南京邮电大学。Apache Hadoop && Flink && Eagle Contributor。目前负责阿里巴巴搜索离线平台Runtime层相关工作。 另外，陈华曦（昆仑）给了本文很多建议，文中部分图由李国鼎（石及）贡献。 阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？ 前言 在阿里搜索工程体系中我们把搜索引擎、在线算分等ms级响应用户请求的服务称之为“在线”服务；与之相对应的，将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。搜索离线平台作为搜索引擎的数据提供方，是集团各业务接入搜索的必经之路，也是整个搜索链路上极为重要的一环，离线产出数据的质量和速度直接影响到下游业务的用户体验。 搜索离线平台经过多年沉淀，不仅承载了集团内大量搜索业务，在云上也有不少弹外客户，随着平台功能的丰富，Blink（阿里内部版本的Flink） 版本的领先。我们在2019年年初开始计划把主搜（淘宝天猫搜索）迁移到搜索离线平台上。

一.Flume收集各数据库日志，准实时抽取到HDFS 安装HDP，包含Flume 方案优点： 1.配置简单，不用编程：只要在flume.conf文件中配置source、channel及sink的相关属性 2.采用普通SQL轮询的方式实现，具有通用性，适用于所有关系库数据源 方案缺点： 1.在源库上执行了查询，具有入侵性 2.通过轮询的方式实现增量，只能做到准实时，而且轮询间隔越短，对源库的影响越大 3.只能识别新增数据，检测不到删除与更新 4.要求源库必须有用于表示增量的字段 二.canal 原理： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送( slave拉取，不是master主动push给slaves )binary log给slave(也就是canal) canal解析binary log对象(原始为byte流) mysql中需要配置一个用户，专门提供给canal用 canal开源代码中发送端仅仅支持mysql,不支持oracle，接收端由于采用jdbc，mysql、oracle等可以通吃。 三.maxwell 优点： 支持bootstrap启动，同步历史数据 集成kafka，直接将数据落地到kafka

写在前面的话 　　需求，将MySQL里的数据实时增量同步到Kafka。接到活儿的时候，第一个想法就是通过读取MySQL的binlog日志，将数据写到Kafka。不过对比了一些工具，例如：Canel，Databus，Puma等，这些都是需要部署server和client的。其中server端是由这些工具实现，配置了就可以读binlog，而client端是需要我们动手编写程序的，远没有达到我即插即用的期望和懒人的标准。 　　再来看看flume，只需要写一个配置文件，就可以完成数据同步的操作。官网： http://flume.apache.org/FlumeUserGuide.html#flume-sources 。它的数据源默认是没有读取binlog日志实现的，也没有读数据库表的官方实现，只能用开源的自定义source： https://github.com/keedio/flume-ng-sql-source 同步的格式 　　原作者的插件 flume-ng-sql-source 只支持csv的格式，如果开始同步之后，数据库表需要增减字段，则会给开发者造成很大的困扰。所以我添加了一个分支版本，用来将数据以JSON的格式，同步到kafka，字段语义更加清晰。 　　sql-json插件包下载地址： https://github.com/yucy/flume-ng-sql-source

当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢？ 1. 增量式爬虫 概念：通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。 如何进行增量式的爬取工作： 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储介质时判断内容是不是已经在介质中存在 分析： 不难发现，其实增量爬取的核心是 去重 ， 至于去重的操作在哪个步骤起作用，只能说各有利弊。在我看来，前两种思路需要根据实际情况取一个（也可能都用）。第一种思路适合不断有新页面出现的网站，比如说小说的新章节，每天的最新新闻等等；第二种思路则适合页面内容会更新的网站。第三个思路是相当于是最后的一道防线。这样做可以最大程度上达到去重的目的。 去重方法 将爬取过程中产生的url进行存储，存储在redis的set中。当下次进行数据爬取时，首先对即将要发起的请求对应的url在存储的url的set中做判断，如果存在则不进行请求，否则才进行请求。 对爬取到的网页内容进行唯一标识的制定，然后将该唯一表示存储至redis的set中

canal 基于Mysql数据库增量日志解析  1.前言  最近太多事情 工作的事情，以及终身大事等等 耽误更新，由于最近做项目需要同步监听 未来电视 mysql的变更了解到公司会用canal做增量监听，就尝试使用了一下 这里做个demo 简单的记录一下。  2.canal简介  canal：主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费的中间件 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x  3.MySQL 注备复制原理   3.1 mysql主备复制工作原理   1.MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)  2.MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)  3.MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据   3.2 canal 工作原理   1.canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议  2

3.当下大部分互联网创业公司为什么都愿意采用增量模型来做开发？ ①　很多软件在开发之前并不知道或者说不完全知道用户的需求，采用增量模型，先发布一个基础软件，根据用户的使用反馈来总结用户需求，在原来的基础上完善软件的功能，这样既不会像瀑布模型一样在软件开发之前就要花大量的时间去做需求分析和管理，也不会做出不符合用户需求的无价值软件，既加快了软件开发步伐，又可以保证软件的质量。 ②　用户的需求不稳定，可能会随时发生变化，再加上软件开发需要投入大量的资金，使用增量模型，如果用户评价不好，收入不好，可以及时停止开发，减少投入资金。 ③　软件市场不稳定，更新、研发软件的速度也很快，使用增量模型可以早先发布软件，避免被别人抢先发布而带来损失。 来源： https://www.cnblogs.com/cxmlj/p/5244700.html

MySQL数据库的三大范式和备份 文章目录 MySQL数据库的三大范式和备份 前言 1.MySQL数据库的三大范式 1.范式的简介 2.通俗的理解 2.数据库备份的重要性 2.1数据库备份的重要性 2.2造成数据丢失的原因 3.数据库备份的分类 3.1从物理与逻辑的角度 3.2数据库的备份的策略角度 3.3MySQL完全备份 1.完全备份 2.完全备份的优点 3.完全备份的缺点 3.4mysqldump备份数据库 1.MySQL数据库的备份的方式 2.mysqldump命令 3.mysqldump命令备份 3.5恢复数据库或者数据库中的表 1.恢复数据库 2.恢复数据库中的表 3.MySQL备份思路 4.MySQL增量备份 4.1MySQL增量备份的恢复方法 前言 我们已经能够很明显的区分出数据库的增量备份和差异备份了，下面，我们就来仔细研究研究如何进行备份。 1.MySQL数据库的三大范式 1.范式的简介 范式的英文名称是Normal Form，它是英国人E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的。 范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF）

数据备份的重要性 在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 造成数据丢失的原因 1.程序错误 2.人为错误 3.计算机失败 4.磁盘失败 5.zai难和偷窃 数据库备份的分类 物理备份： 对数据库操作系统的物理文件（如数据文件、日志文件等）的备份 物理备份又可分为脱机备份（冷备份）和联机备份（热备份） -冷备份：是在关闭数据库的时候进行的 -热备份：数据库处于运行状态，这种备份方法依赖于数据库的日志文件 逻辑备份：对数据库组件（如表等数据库对象）的备份 表：表的结构文件(FRM)、数据文件(MYD)、索引文件(MYI) 从数据库的备份策略角度，备份可分为 1.完全备份 每次对数据进行完整的备份 完全备份：会把服务器内的所有数据全部备份，每次都这么执行 优点：安全 缺点：数据备份冗余，占用磁盘空间 2.差异备份 备份那些自从上次完全备份之后被修改过的文件 前提是必须要备份一次完全备份，接下来每次只备份基于完全备份的基础上被修改过的文件 3.增量备份 只有那些在上次完全备份或者增量备份后被修改的文件才会被备份 差异备份与增量备份比较： 相同点：基础都是完全备份 不同点：差异备份只参考基础的完全备份， 增量备份是参考上一次的数据备份与当前状态进行对比，备份被修改的文件 增量备份效率更高，空间利用率很高，但是在安全性能不高 mysql完全备份

MySQL增量备份与恢复 一、前言 ​ 上篇文章（ MySQL完全备份与恢复概念及操作 ）中我们详细介绍了MySQL完全备份与恢复的概念以及详细的命令操作进行验证，并且也讲述了一些增量备份的概念。而本文将就MySQL的增量备份及恢复作进一步介绍与实例操作。 二、再谈MySQL增量备份 2.1问题引出与解决 ​ 首先我们思考一个问题：既然有了完全备份和差异备份，为什么还需要增量备份呢？ ​ 上篇文章中我们谈到可以使用tar命令将数据库的数据目录中的目录和文件进行xz格式的打包从而进行数据库的变相备份，也可以使用MySQL数据库自带的mysqldump工具进行完全备份。 ​ 但是我们会发现这样一个问题：当数据库系统中的数据库包含的数据表越来越多（在生产环境中，尤其是大型企业，数据表中必然会有大量的数据），那么我们继续使用tar压缩解压恢复或者说进行完全备份操作来备份数据库的数据时，就会造成诸多问题，比如：备份时间加长，备份冗余数据庞大，服务器存储资源占用大，占用网络带宽，备份过程中出现网络瘫痪，服务器宕机等问题时就会造成无法承担的灾难，而差异备份也是如此，毕竟差异备份的参考对象仅仅是完全备份的内容。 ​ 因此，我们需要考虑如何在节约各种成本的情况下，兼顾安全与性能，得出一个相对更好的方法来备份数据，而这个方法就是进行“增量备份”，其余差异备份的差别在于参考对象