增量更新

1、增量备份： 增量数据是从上次全量备份之后，更新的新数据，对于mysql来说，binlog日志就是mysql的增量数据； （1）按天进行备份： 周一00点全量备份 周二00点全量备份 ...... 01.sql.gz 02.sql.gz ...... 周一增量备份 周二增量备份 ...... mysql-bin.000001 mysql-bin.000002 mysql-bin.000003 mysql-bin.index mysql-bin.000004 mysql-bin.000005 mysql-bin.000006 mysql-bin.index ...... 1）优点：恢复时间短，维护成本低； 2）缺点：占用空间多，占用系统资源多，经常锁表影响用户的体验； （2）按周进行备份： 周六00全量备份 01.sql.gz 01.sql.gz 01.sql.gz 周一增量备份 周二增量备份 周三增量备份 mysql-bin.000001 mysql-bin.000002 mysql-bin.000003 mysql-bin.index mysql-bin.000004 mysql-bin.000005 mysql-bin.000006 mysql-bin.index mysql-bin.000007 mysql-bin.000008 mysql-bin.000009 mysql

MySQL数据库备份与恢复 1、备份方式 逻辑备份（文本表示：SQL 语句） 物理备份（数据文件的二进制副本） 基于快照的备份 基于复制的备份 增量备份（刷新二进制日志） 2、备份类型 2.1 热备份 这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。 2.2冷备份 这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 2.3温备份 这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是，其不足之处在于无法在进行备份时修改数据集，这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。 3、物理备份 物理备份由存储数据库内容的目录和文件的原始副本组成。这种类型的备份适用于需要在发生问题时快速恢复的大型重要数据库。 3.1物理备份的特点 备份由数据库目录和文件的精确副本组成。通常这是全部或部分MySQL数据目录的副本。 物理备份方法比逻辑更快，因为它们只涉及文件复制而无需转换。 输出比逻辑备份更紧凑。 由于备份速度和紧凑性对繁忙

1.什么是 checkpoint checkpoint 是数据库的一个内部事件，检查点激活时会触发数据库写进程 (DBWR) ，将数据缓冲区里的脏数据块写到数据文件中。 其作用有两个方面： 1 ） 保证数据库的一致性 ，这是指将脏数据从数据缓冲区写出到硬盘上，从而保证内存和硬盘上的数据是一致的。 2 ） 缩短实例恢复的时间 ，实例恢复时，要把实例异常关闭前没有写到硬盘的脏数据通过日志进行恢复。如果脏块过多，实例恢复的时间也会过长，检查点的发生可以减少脏块的数量，从而减少实例恢复的时间。 2.检查点分类 ①完全检查点 full checkpoint ②增量检查点 incremental checkpoint ③局部检查点 partial checkpoint 2-1.完全检查点工作方式： 记下当前的 scn, 将此 scn 之前所有的脏块 一次性 写完，再将该 scn 号同步更新 控制文件 和 数据文件头 。 触发完全检查点的四个操作 ①正常关闭数据库 :shutdown immediate ②手动检查点切换 :alter system checkpoint; ③日志切换 ： alter system switch logfile; ## 滞后触发 dbwr，先记后写 ④数据库热备模式： alter database begin backup; 示例 1 ： 验证以上概念可以做一下

方案1： 对于一个表来说，我们要实现备份最简单的方法就是直接备份，这张表包括数据与结构直接备份，这种情况对已小的数据库表来说是行的通的，但是这种方法存在一些问题：例如，如果这个表的数据很大呢？达到上G、几G、几十个G之类的，这样的话备份的时候很占资源和时间，所以，我觉得这样的备份不值得推荐。 所以针对上面的问题，我用触发器来实现，具体思路如下： 1、 假设现在有一个表mytest需要做备份，然后有mytest_backup表来保存备份的数据，然后这两个表的结构是一样的； 例如: mytest: CREATE TABLE `mytest` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `colum1` varchar(50) DEFAULT NULL, `colum2` varchar(50) DEFAULT NULL, `colum3` varchar(50) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 mytest_backup: CREATE TABLE mytest_backup like mytest; 2、 建立触发器mytest_backup，每当mytest有数据插入的时候，就向mytest

增量模型融合瀑布模型了的基本成分（重复应用）和原型实现的迭代特征，该模型采用随着日程时间的进展而交错的线性序列，每一个线性序列产生软件的一个可发布的“增量”。当使用增量模型时，第1个增量往往是核心的产品，即第1个增量实现了基本的需求，但很多补充的特征还没有发布。客户对每一个增量的使用和评估都作为下一个增量发布的新特征和功能，这个过程在每一个增量发布后不断重复，直到产生了最终的完善产品。 1.互联网创业公司作为新的公司步入市场并不能非常准确的了解用户的具体需求，而是需要在产品进入市场后，根据用户的需求逐步完善功能，这样就迫使互联网创业公司采用增量模型来开发程序。 2.像一些游戏公司花费大量的时间和金钱去做一个游戏，在推出市场后并不受用户的欢迎，就会导致公司的利益受损，所以采用增量模型作开发可以避免这个后果。用户需求的变化也是不可避免的，如果采用增量模型作开发，创业公司可以根据市场的反应来逐步改变自己的功能，而且修改软件的费用也会比较低。 3.创业公司如果在产品开发过程中采用增量模型也更容易去和投资公司进行商业洽谈，融资也更方便，因为投资公司会考虑风险适当的做出调整甚至退出市场。 4. 有助于延长产品的寿命。产品进入市场后，根据社会民众需求的阶段性变化而不断更新功能，使产品避免被淘汰出市场。 来源： https://www.cnblogs.com/666battle/p/5248164

图解排序算法(二)之希尔排序 　　希尔排序是希尔（Donald Shell）于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n 2 ）的第一批算法之一。本文会以图解的方式详细介绍希尔排序的基本思想及其代码实现。 基本思想 　　希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。 　　 简单插入排序很循规蹈矩，不管数组分布是怎么样的，依然一步一步的对元素进行比较，移动，插入，比如[5,4,3,2,1,0]这种倒序序列，数组末端的0要回到首位置很是费劲，比较和移动元素均需n-1次。而希尔排序在数组中采用跳跃式分组的策略，通过某个增量将数组元素划分为若干组，然后分组进行插入排序，随后逐步缩小增量，继续按组进行插入排序操作，直至增量为1。希尔排序通过这种策略使得整个数组在初始阶段达到从宏观上看基本有序，小的基本在前，大的基本在后。然后缩小增量，到增量为1时，其实多数情况下只需微调即可，不会涉及过多的数据移动。 　　我们来看下希尔排序的基本步骤，在此我们选择增量gap=length/2，缩小增量继续以gap = gap/2的方式，这种增量选择我们可以用一个序列来表示，{n/2,(n/2

　希尔排序是希尔（Donald Shell）于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n 2 ）的第一批算法之一。本文会以图解的方式详细介绍希尔排序的基本思想及其代码实现。 基本思想 　　希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。 　　 简单插入排序很循规蹈矩，不管数组分布是怎么样的，依然一步一步的对元素进行比较，移动，插入，比如[5,4,3,2,1,0]这种倒序序列，数组末端的0要回到首位置很是费劲，比较和移动元素均需n-1次。而希尔排序在数组中采用跳跃式分组的策略，通过某个增量将数组元素划分为若干组，然后分组进行插入排序，随后逐步缩小增量，继续按组进行插入排序操作，直至增量为1。希尔排序通过这种策略使得整个数组在初始阶段达到从宏观上看基本有序，小的基本在前，大的基本在后。然后缩小增量，到增量为1时，其实多数情况下只需微调即可，不会涉及过多的数据移动。 　　我们来看下希尔排序的基本步骤，在此我们选择增量gap=length/2，缩小增量继续以gap = gap/2的方式，这种增量选择我们可以用一个序列来表示，{n/2,(n/2)/2...1}，称为 增量序列

ADO.NET实用经验大总结 刷新DataSet中的数据 如果想用服务器上的更新值刷新DataSet中的值，就使用DataAdapter.Fill。如果有在DataTable上定义的主 键，DataAdapter.Fill会根据主键进行新行匹配，并且当更改到现有行时应用服务器上的值。即使刷新之前修改了这些数据，刷新行的 RowState仍被设置为Unchanged。注意，如果没有为DataTable定义主键，DataAdapter.Fill就用可能重复的主键值添加新行。 如果想用来自服务器的当前值刷新表，并同时保留对表中的行所做的任何更改，必须首先用DataAdapter.Fill填充表，并填充一个新的 DataTable，然后用preserveChanges值true将DataTable合并到DataSet之中。 在DataSet中搜索数据 在DataSet中查询与特定条件相匹配的行时，可以利用基于索引的查找提高搜索性能。当将PrimaryKey值赋给DataTable时，会创 建一个索引。当给DataTable创建DataView时，也会创建一个索引。下面是一些利用基于索引进行查找的技巧。 1) 如果对组成DataTable的PrimaryKey的列进行查询，要使用DataTable.Rows.Find而不是 DataTable.Select。 2) 对于涉及到非主键列的查询

数据库的冷备份与热备份 数据导出不完全等于数据备份： 数据导出是指将数据库中的数据逆向成SQL语句进行导出，所以导出的是SQL文件。通常用作把数据从一个系统迁移到另一个系统，目的是屏蔽系统之间的差异性 数据备份是指将数据库中数据存储的相关文件进行拷贝，用于保存一个数据库的全部物理数据，所以备份后的数据与原本数据在细节及状态上都是完全一致的。不会像SQL那样在使用了一些函数的情况下，可能会在不同的时间点或不同的系统上产生不一样的结果 冷备份与热备份： 冷备份：在数据库已经关闭的情况下，对数据的备份称作冷备份 热备份：与冷备份相反，在数据库节点不停机的状态下进行的备份被称作热备份 冷备份的限制： 数据库必须停机备份，这对一些线上数据库是无法接受的 备份的数据文件非常占用存储空间，并且不支持增量备份 冷备份是备份所有的数据文件和日志文件，所以无法单独备份某个逻辑库和数据表 联机冷备份： 单节点的数据库在冷备份时需要停机，这就会对业务系统产生影响。为了解决这个问题，我们可以组建集群然后挑选集群中的一个节点进行停机冷备份。由于集群中还有其他节点在运行，所以不必担心影响正在运行的系统。等备份结束之后再启动该节点，这样就能解决停机备份带来的影响 热备份的限制： 数据库在热备份的时候会全局加读锁，备份期间节点只能读取数据不能写入数据 联机热备份： 同样的方式，为了避免全局加锁

什么是Coreseek Sphinx默认不支持中文索引及检索，基于Sphinx开发了Coreseek全文检索服务器，Coreseek应该是现在用的最多的Sphinx中文全文检索，它提供了为Sphinx设计的中文分词包LibMMSeg包含mmseg中文分词。 安装 --解压安装包 # tar -zxvf coreseek-3.2.14.tar.gz # ls csft-3.2.14 mmseg-3.2.14 README.txt testpack 安装中文分词mmseg # cd mmseg-3.2.14/ # ./configure --prefix=/usr/local/mmseg --编译报错 config.status: error: cannot find input file: src/Makefile.in --运行下面指令再次编译就能通过了 # automake # make && make install --运行mmseg，输出安装信息则mmseg中文分词已经安装好了 # /usr/local/mmseg/bin/mmseg Coreseek COS(tm) MM Segment 1.0 Copyright By Coreseek.com All Right Reserved. Usage: /usr/local/mmseg/bin/mmseg <option>