rsync

1、什么是读写分离 读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 2、为什么要读写分离呢？ 因为数据库的“写”（写10000条数据到oracle可能要3分钟）操作是比较耗时的。 但是数据库的“读”（从oracle读10000条数据可能只要5秒钟）。 所以读写分离，解决的是，数据库的写入，影响了查询的效率。 3、什么时候要读写分离？ 数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用，利用数据库 主从同步 。可以减少数据库压力，提高性能。当然，数据库也有其它优化方案。memcache 或是 表折分，或是搜索引擎。都是解决方法。 4、主从复制与读写分离 在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于前面我们学习过的rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。 4.1、 mysq支持的复制类型 1） 基于语句的复制。在服务器上执行sql语句

ECS day4 第5章 掌握负载均衡SLB 课时25 SLB产品概要 负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的服务。 负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 SLB服务通过设置虚拟服务地址（IP ），将位于同一地域（ Region ）的多台云服务器（ ECS ）资源虚拟成-个高性能、高可用的应用服务池。根据应用指定的方式，将来自客户端的网络请求分发到云服务器池中。 SLB服务会检查云服务器池中ECS的健康状态，自动隔离异常状态的ECS。从而解决了单台ECS的单点问题，同时提高了应用的整体服务能力。 在标准的负载均衡功能之外，SLB服务还具备TCP与HTTP抗DDoS攻击的特性，增强了应用服务器的防护能力。 SLB服务是ECS面向多机方案的一个配套服务，需要同ESC结合使用。 课时26 SLB简介 基本概念 LoadBalancer：一个SLB实例 Listener：用户制定的负载均衡策略和转发规则 BackendServer：后端的一组云端服务器 当前提供4层（ TCP/UDP协议）和7层（ HTTP/HTTPs协议）的负载均衡服务。 可以对后端ECS进行健康检查，自动屏蔽异常状态的ECS，待该ECS恢复正常后自动解除屏蔽。 提供会话保持功能，在Session的生命周期内

systemd systemctl start service //启动service systemctl stop service //停止service systemctl restart service //重启service systemctl enable service //service开机自启 systemctl disable service //service禁止开机自启 systemctl status service //查看service systemctl is-enabled service //查看service是否开机自启 查看系统信息 arch #显示机器的处理器架构 uname -m #显示机器的处理器架构 uname -r #显示正在使用的内核版本 dmidecode -q #显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda #罗列一个磁盘的架构特性 hdparm -tT /dev/sda #在磁盘上执行测试性读取操作 cat /proc/cpuinfo #显示CPU info的信息 cat /proc/interrupts #显示中断 cat /proc/meminfo #校验内存使用 cat /proc/swaps #显示哪些swap被使用 cat /proc/version #显示内核的版本

增量同步 rsync [args] SRC [DEST] 情形：同时维护着两份不同的 data_center ，但以 old_data_center 为标准。因为权限的缘故没有开启rsync自动同步，只是每隔一段时间手动同步一下。 SRC 和 DEST 都是采用mount形式，如果每一次都完整地 copy ，耗时很长，这时候就想到采用增量同步的方法，因为两份 data_center 同时由不同人维护，所以内容略有不同， data_center 同步的时候不光要完全同步 old_data_center 的所有内容，而且要删除自身多余的内容，保持完全一致。 rsync -a --delete --progress /old_vip_data_center/test_envs/trainer/resource /vip_data_center/test_envs/trainer/resource/ --delete: 删除 DEST 端存在但是 SRC 端不存在的文件，如果不使用此参数，则DEST端会同步SRC端的文件，但DEST端已有的文件不受影响。 快速删除大量文件 先建一个空目录，随便位置 mkdir /local/empty_dir 用rsync删除目标目录 rsync --delete-before -avH --progress /local/empty_dir/

问题： Is there a simple shell command/script that supports excluding certain files/folders from being archived? 是否有一个简单的shell命令/脚本支持将某些文件/文件夹排除在存档之外？ I have a directory that need to be archived with a sub directory that has a number of very large files I do not need to backup. 我有一个目录，该目录需要与一个子目录一起存档，该子目录包含许多不需要备份的非常大的文件。 Not quite solutions: 不完全解决方案： The tar --exclude=PATTERN command matches the given pattern and excludes those files, but I need specific files & folders to be ignored (full file path), otherwise valid files might be excluded. tar --exclude=PATTERN 命令匹配给定的模式并排除了这些文件

IT 基础设施中的备份系统应该具备如下几个特性： C/S 架构：备份是每台机器都要做的事情，极为需要集中控制, 不支持 C/S 架构的工具可以用 rsh/ssh/samba 等包装下凑合模拟成 C/S 架构； 跨 OS 支持：工作用 PC 也是需要备份的，不只是服务器; 快速定位备份所在位置，尤其能妥善处理分卷的情况，备份的一大窘境是找不到需要的文件放哪里了; 支持不同种类数据的备份，如文件系统、数据库、代码库，不是所有情况都能 rsync、tar 搞定的，应该可以容易的自定义插件以应对特定的数据。 这个需求可以写独立脚本做，导出完毕后再开始备份，但如果备份系统有直接支持会更一致更方便; 稳妥应对备份存储可用空间耗尽的情况; 有则更佳的特性： 支持多种存储设备：硬盘、磁带、光盘，这几种介质本身的特性决定了在写入时不能等同看待; 不支持的话需要额外写脚本，比如从硬盘转储到磁带、光盘; 支持分卷存储：备份的存储总有耗尽的时候，需要能够容易的切换存储位置继续写入; 支持增量备份或者差异备份，加快备份速度; 能定制策略决定完整、增量备份的频率和顺序，能定制备份轮转策略，或者直接 支持 GFS 轮转策略，不支持的话也可以写脚本包装下; 备份的存储格式上，有一些流行的做法： 保存一份快照以及一系列补丁，这种做法对频繁修改的大文件很有利，比如 Outlook 的邮箱文件 保存多份快照

基础服务 简述Linux中常见的系统服务，其作用分别是？ 常见的系统服务及其作用有： • NTP/Chrony：用于时钟同步； • DHCP：动态主机配置协议，用于自动分配主机地址，默认使用UDP 63端口； • DNS：域名解析，运行在UDP协议之上，默认使用53端口； • NFS：网络文件系统，依赖于RCP协议，其基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。 • Postfix：邮件服务； • rsync：远程数据备份服务。 • ***：虚拟专用网。 更多服务参考： http://c.biancheng.net/view/1059.html 。 简述FTP主要的工作模式？ FTP工作模式是以服务端角度来区分，有主动模式和被动模式。 • 主动模式是指由FTP服务端主动向客户端发起连接，服务端端口号为20（用于传输）和21（用于控制），即20端口向客户端的一个大于1024的随机端口传输数据； • 被动模式是指由FTP客户端向服务端发起连接，服务端采用随机端口等待客户端的随机端口来访问，从而传输数据。 简述FTP两种登录方式以及两种传输模式？ • FTP有两种登录方式：匿名登录和授权登录。 使用匿名登录时，用户名为：anonymous，密码为：任何合法email地址； 使用授权登录时

环境说明： 本地主机hostA目录dirA <--- rsync ---> 远程主机hostB目录dirB rsync有两种工作方式：SSH和daemon。 SSH方式是使用系统上的用户通过SSH进行同步操作。 daemon方式是rsync服务器会开一个873端口，等待客户端去连接，连接是进行验证，通过后进行同步。 一、SSH模式下进行同步操作 语法 rsync -options <src> <dest> 说明： src：代表源目录，dest：代表目标目录，当通过ssh链接时， 请使用rsync -option -e ssh src dest，有时需要指定ssh端口， 请使用这个方式：rsync -options -e "ssh -p 10000" src_dir dest_dir。 常用场景 本地拷贝目录 将/home/dirA/拷贝到/data/dirA/ rsync -avu /dirA/ /home/dirA/ 将本地目录拷贝到远程服务器 rsync -avu --progress --delete /dirA/ <your_user>@hostB:/dirB/ 说明： --delete 参数，这样当本地删除的文件，远程端也会删除，保持完整的一致。 --progress参数，显示具体过程。 如果改了SSH端口，需要加-e "ssh -p 你的SSH端口"

阿里云计算 http://mirrors.aliyun.com/centos/ 网易 http://mirrors.163.com/centos/ 北京理工大学 http://mirror.bit.edu.cn/centos/ 重庆大学 http://mirrors.cqu.edu.cn/CentOS/ https://mirrors.cqu.edu.cn/CentOS/ CN99 Corp http://mirrors.cn99.com/centos/ 大连东软信息大学 http://mirrors.neusoft.edu.cn/centos/ 南京大学 http://mirrors.nju.edu.cn/centos/ 南京邮电大学 http://mirrors.njupt.edu.cn/centos/ https://mirrors.njupt.edu.cn/centos/ 上海交通大学 http://ftp.sjtu.edu.cn/centos/ https://ftp.sjtu.edu.cn/centos/ 清华大学 http://mirrors.tuna.tsinghua.edu.cn/centos/ https://mirrors.tuna.tsinghua.edu.cn/centos/ rsync://mirrors.tuna.tsinghua.edu.cn

Rsync 是一个通过检查文件的时间戳和大小，来跨计算机系统高效地传输和同步文件的工具。 通常情况下，管理程序在启动 Rsync 服务后，会直接运行传输任务。如果 Rsync 服务未经过安全加固，则很容易出现未授权访问等安全问题；其直接后果是传输数据裸露在互联网上，可以被任何人访问获取，带来严重的数据泄露风险。 建议您在使用 Rsync 服务端时，参考本文对 Rsync 服务进行安全加固，保障数据安全。 加固方案 隐藏 module 信息 将配置文件修改为以下内容： list = false 使用权限控制 将不需要写入权限的 module 设置为只读： read only = true 限制网络访问 使用 安全组策略 或白名单，限制允许访问主机的 IP 地址。 hosts allow = 123.123.123.123 启用账户认证 只允许指定的用户，使用指定的密码，来调用 Rsync 服务。 服务端配置 auth users = ottocho secrets file = /etc/rsyncd.secrets 在文件 /etc/rsyncd.secrets 中写入使用的账号密码，格式为：username:password，支持多行。 注意：密码要求满足强密码策略，必须是 8 位以上，且包括大小写字母、数字、特殊字符的字符串。此处的 password 使用明文。 客户端配置