增量更新

建模时遇到过哪些问题 CUBE与DSO的选择，CUBE中数据尽量保持粒度不要太明细； 上线遇到过什么问题？ 软件环境，一点就报错，提示BW函数出错，实际是GUI的问题，覆盖两个OCX文件，用Regsrv32.exe注册一下就好了 数据上传出错怎么办？ 点开错误堆栈，查看报错，分析报错内容，看是由请求引起的还是数据本身有问题 处理链出错怎么办？ SM59 测试RFC连接，SM50查看后台运行的进程，是否有执行时间超长的进程，可能是进程卡死导致，手动停止该进程。sm37查看后台job，任务被取消了 如何抽取汇率？ RSCUR 设置汇率转换 如何在 query 中把默认的转换汇率改成期末汇率 ? 在 query 中默认的汇率转换类型都是 “M” ，但现在我需要把一个报表的转换汇率改成期末汇率，即汇率类型为 “V”. ? 在 RSCUR 中创建新的货币转换类型就可以了 现在有一个 QUERY 运行十分慢 , 所以我想在 BW 里找到一个工具来分析这个 QUERY 是怎么运行的 . 想知道慢在什么地方 , 用了多少时间等一些具体信息 . 　　　　在 BW 中使用交易代码 RSRT 填上需要测试的报表的技术名称 单击执行 + 调试 勾选弹出的调试选项对话框的其他中的显示统计数据和未使用高速缓存 输入 Querry 的所需要的变量，运行 结果回来之后， F3 返回 统计数据界面

flink业务使用记录 部署好flink集群，我的模式是flink on yarn 新建flink处理逻辑代码模块 将该模块打成可执行的jar放到整个项目中 在flink客户端执行提交作业操作 在flink管理页面上查看业务详情。 Flink窗口函数(Window Functions) 定义完窗口分配器后，我们还需要为每一个窗口指定我们需要执行的计算，这是窗口的责任，当系统决定一个窗口已经准备好执行之后，这个窗口函数将被用来处理窗口中的每一个元素(可能是分组的)。 请参考: https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/windows.html#triggers 来了解当一个窗口准备好之后，Flink是如何决定的。 　　window函数可以是 ReduceFunction , FoldFunction 或者 WindowFunction 中的一个。前面两个更高效一些(),因为在每个窗口中增量地对每一个到达的元素执行聚合操作。一个 WindowFunction 可以获取一个窗口中的所有元素的一个迭代以及哪个元素属于哪个窗口的额外元信息。 　　有 WindowFunction 的窗口化操作会比其他的操作效率要差一些，因为Flink内部在调用函数之前会将窗口中的所有元素都缓存起来。这个可以通过

阅读： http://www.cnblogs.com/royi123/archive/2013/06/27/3158396.html http://www.cnblogs.com/zijianlu/p/4829953.html 一.编译bspatch 源代码网址 http://www.daemonology.net/bsdiff/ 网上找的可用的 android 库 appupdatetest https://github.com/cundong/SmartAppUpdates 1.官网下载最近版NDK 2.配置eclipse 教程 http://www.cnblogs.com/skyseraph/p/3979238.html 3.编写 Application.mk APP_ABI : = all 运行打包 二.bspatch 的不足 1.每一个版本都和最新的版本作差分，繁琐。但是可以写脚本批量生成。 2.基础包（系统内置的apk）无法获取到，无法进行增量升级；合成前做基础包包校验，保证基础包的一致性。 由于apk本质上是一个压缩包，压缩会导致做差分的时候效果并没有那么明显，差分包与新文件大小还是比较接近。所以我们可以做更进一步的优化，首先在服务端将apk1和apk2解压，逐文件对比。另外创建一个清单记录，如果有文件增加则标记增加，删除做删除标记，更改则对文件做差分

题目地址： https://leetcode-cn.com/problems/minimum-increment-to-make-array-unique/ 题目描述 给定整数数组 A，每次 move 操作将会选择任意A[i]，并将其递增 1 。返回使A中的每个值都是唯一的最少操作次数。 题目示例 示例 1: 输入：[1,2,2] 输出：1 解释：经过一次 move 操作，数组将变为 [1, 2, 3]。 示例 2: 输入：[3,2,1,2,1,7] 输出：6 解释：经过 6 次 move 操作，数组将变为 [3, 4, 1, 2, 5, 7]。 可以看出 5 次或 5 次以下的 move 操作是不能让数组的每个值唯一的。 提示： 0 <= A.length <= 40000 0 <= A[i] < 40000 解题思路 思路1：第一种思路是用数组统计出每个数出现的次数，然后对于每个重复出现的数，暴力地将它递增，直到它增加到一个没有重复出现的数为止。但这样的方法的时间复杂度较大，可以达到O(n^2) 思路2：另一种思路是首先对拿到的数组排序，然后用变量tmp初始化A[0]，用于储存较大值，接下来，从后一个数开始遍历，如果发现后一个数比tmp大，则更新tmp，否则，将当前数A[i]调整为tmp+1所需次数，即tmp+1-A[i] 程序源码 class Solution {

文章目录 前言 Ozone内部的增量ByteBuffer实现 引用 前言 对于Java nio ByteBuffer，我们常常会拿来做缓冲数据的处理。如果我们就为了图方便，每次数据读写操作专门allocate一个比较大capacity的ByteBuffer，这样会造成不必要的JVM heap的浪费。但是如果我们转而变为多个小ByteBuffer的动态申请，又会加大ByteBuffer的管理协调 操作。那么有什么办法能结合上述二者的特点，做到既不浪费JVM heap空间的使用，又不用在业务上执行复杂的ByteBuffer逻辑。本文笔者介绍一个Ozone内部实现的增量ByteBuffer的实现。增量ByeBuffer在外部使用上和ByteBuffe原生r操作方法语义完全兼容，内部增量allocate capacity操作对调用方而言完全透明。 Ozone内部的增量ByteBuffer实现 这里简单介绍下Ozone的背景，Ozone作为对象存储系统，在存储对象文件的时候，会涉及到大量小数据对象的写入，以Chunk文件的形式进行物理存储。在读写chunk数据的过程中，Ozone使用了ByteBuffer做中间数据的存储。在初始实现中，Ozone内部初始的ByteBuffer allocate的capacity是比较大的，也不管用户写入的数据有多大。为此

一、备份的目的 做灾难恢复：对损坏的数据进行恢复和还原 需求改变：因需求改变而需要把数据还原到改变以前 测试：测试新功能是否可用 二、备份需要考虑的问题 可以容忍丢失多长时间的数据； 恢复数据要在多长时间内完； 恢复的时候是否需要持续提供服务； 恢复的对象，是整个库，多个表，还是单个库，单个表。 三、备份的类型 1、根据 是否需要数据库离线 冷备 （cold backup）：需要关mysql服务，读写请求均不允许状态下进行； 温备 （warm backup）： 服务在线，但仅支持读请求，不允许写请求； 热备 （hot backup）：备份的同时，业务不受影响。 注： 1、这种类型的备份，取决于业务的需求，而不是备份工具 2、 MyISAM不支持热备，InnoDB支持热备 ，但是需要专门的工具 2、根据要 备份的数据集合的范围 完全备份：full backup，备份全部字符集。 增量备份: incremental backup 上次完全备份或增量备份以来改变了的数据，不能单独使用，要借助完全备份，备份的频率取决于数据的更新频率。 差异备份：differential backup 上次完全备份以来改变了的数据。 建议的恢复策略： 完全+增量+二进制日志 完全+差异+二进制日志 3、 根据备份数据或文件 物理备份：直接备份数据文件 优点： 备份和恢复操作都比较简单，能够跨mysql的版本

- 增量式 - 概念：用于监测网站数据更新的情况。 - 核心机制：去重。redis的set实现去重- 总结反爬机制： - robots - UA伪装 - 验证码 - 代理 - cookie - 动态变化的请求参数 - js加密 - js混淆 - 图片懒加载 - 动态数据的捕获 - seleium：规避检测1、创建scrapy startproject 项目名2、创建虫子scrapy genspider -t crawl zjs www.xxx.com3、配置文件UA伪装、日志等级、robots4、虫子里面解析电影名称、详情页url、描述5、items里面配置6、虫子里面导入items7、pipelines管道里面配置输入数据8、配置文件开启管道9、执行虫子scrapy crawl zjs10、redis启动客户端：redis-cli.exe 查询所有的keys：keys * 查询长度：llen moiveData 查询数据：smembers movie_detail_urls 清空：flushall zjs.py # -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom

MySQL 定时备份 参考 zone7_ 的 实战-MySQL定时备份系列文章 参考 zmcyu 的 mysql数据库的完整备份、差异备份、增量备份 更多binlog的学习参考 马丁传奇 的 MySQL的binlog日志 ，这篇文章写得认真详细，如果看的认真的话，肯定能学的很好的。 如果查看binlog是出现语句加密的情况，参考 mysql row日志格式下 查看binlog sql语句 说明 产品上线后，数据非常非常重要，万一哪天数据被误删，那么就gg了，准备跑路吧。 所以要对线上的数据库定时做 全量备份 和 增量备份 。 增量备份的优点是没有重复数据，备份量不大，时间短。但缺点也很明显，需要建立在上次完全备份及完全备份之后所有的增量才能恢复。 MySQL没有提供直接的增量备份方法，但是可以通过mysql二进制日志间接实现增量备份。二进制日志对备份的意义如下： 二进制日志保存了所有更新或者可能更新数据的操作 二进制日志在启动MySQL服务器后开始记录，并在文件达到所设大小或者收到flush logs 命令后重新创建新的日志文件 只需定时执行flush logs 方法重新创建新的日志，生成二进制文件序列，并及时把这些文件保存到一个安全的地方，即完成了一个时间段的增量备份。 全量备份 mysqldump --lock-all-tables --flush-logs --master

整个网站通常会很大，尤其的其中静态的图片视频之类，但我们通常不会修改他们，平常只会修改几个文件，如果每次更新都将整个网站从本地上传到服务器，无疑很费时间，如果要找到修改的文件，并只上传这些文件，甚至只上传这些文件修改的部分，无疑会方便很多。 这就要用的到今天的主角 Rsync ，Rsync 可以执行增量备份，它只传输源文件和目标文件之间不一致的部分 环境： web服务器root目录 /usr/share/nginx/game.shaochenfeng.com 本地项目目录 /git/game.shaochenfeng.com/public 首先建议配置好本地到web服务器的ssh免密码登陆[如何？]()，不配置需要以后每次同步时输入密码 1.在web服务器端安装rsync 直接yum或apt安装就可以，在服务器端和本地都安装 yum install rsync # 红帽系 apt install rsync # Debian系 为什么要在服务器也安装rsync呢？因为虽然是通过ssh建立链接，但rsync使用的是自己的传输规则，而不是scp 2.向服务器推送 在本地执行，同步 本地项目目录 到 web服务器root目录 rsync -avz --delete <本地路径> www@192.168.56.10:<远程路径> rsync -avz --delete /git/game

Mysql 备份恢复与 xtrabackup备份 1.1 备份的原因 　　备份是数据安全的最后一道防线，对于任何数据丢失的场景，备份虽然不一定能恢复百分之百的数据(取决于备份周期)，但至少能将损失降到最低。衡量备份恢复有两个重要的指标：恢复点目标(RPO)和恢复时间目标(RTO)，前者重点关注能恢复到什么程度，而后者则重点关注恢复需要多长时间。 1.1.1 备份的目录 　　做灾难恢复：对损坏的数据进行恢复和还原 　　需求改变：因需求改变而需要把数据还原到改变以前 　　测试：测试新功能是否可用 1.1.2 备份中需要考虑的问题 　　可以容忍丢失多长时间的数据； 　　恢复数据要在多长时间内完； 　　恢复的时候是否需要持续提供服务； 　　恢复的对象，是整个库，多个表，还是单个库，单个表。 1.1.3 备份的类型 热备份： 　　这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。 冷备份： 　　这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 温备份： 　　这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身