容灾备份

杉岩数据异地容灾备份解决方案(中移物联网案例)

若如初见. 提交于 2020-01-17 16:13:46
中国移动物联网有限公司(简称中移物联网)是中国移动全资子公司,聚焦物联网产业,专业化运营物联网专用网络,设计生产物联网专用模组和芯片,打造车联网、智能家居、智能穿戴等特色产品,开发运营物联网连接管理平台 OneLink和物联网开放平台OneNET。中移物联网拥有11万企业客户,物联卡用户超4亿,是全球四大物联网连接管理平台之一。 公司按照中国移动整体战略布局,围绕“物联网业务服务的支撑者、专用模组和芯片的提供者、物联网专用产品的推动者”的战略定位,专业化运营物联网专用网络,设计生产物联网专用模组和芯片, 打造车联网、智能家居、智能穿戴等特色产品,开发运营物联网连接管理平台OneLink和物联网开放平台OneNET,推广物联网解决方案,形成了五大方向业务布局和物联网“云-管-端”全方位的体系架构。 为了保障海量数据的安全,实现现网业务数据异地容灾备份的目标,突破传统存储在各个方面对应用系统的限制,中移物联网要求存储产品必须是完全由“软件定义”的存储管理平台,且能部署在通用x86服务器上,适用于广泛的传统应用、数据库、虚拟化平台及私有云资源池等架构,满足弹性易扩展、高可靠性、高安全性等要求。 部署杉岩数据解决方案 中移物联网部署杉岩统一存储平台 (SandStone USP),构建分布式存储集群,用于现网业务数据的异地容灾备份,计划通过以下四个阶段完成: 第一阶段

AWS数据库容灾-RDS异号备份

 ̄綄美尐妖づ 提交于 2019-12-19 16:39:01
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> AWS数据库容灾 项目要求 A账号定时将本账号北京区的RDS数据库进行快照备份,并将备份的快照分享给B账号,B帐号收到分享后及时将分享的快照复制到自己的北京区RDS快照组中进行备份。 解决方案 A账号中: 创建一个名为timer-trigger-lambda 的CloudWatch Scheduler Event用于定时触发lambda函数。 创建一个名为timer-create-dbSnapshot的lambda函数,当收到定时的Event触发时对要求的rds(或列出所有的rds)进行打快照处理 创建一个名为notify -manualCreateSnapshot-SNS-lambda的RDS时间订阅,订阅指定RDS实例(或所有实例)的快照处理事件,并将事件发送给SNS topic。 创建一个名为find-new-rds-snap的SNS的topic,用于接收RDS快照事件订阅并将订阅的事件转发给lambda函数,触发快照分享操作。 创建一个名为share-dbSnapshot-to-B的lambda函数,当接收到SNS的触发时进行指定快照的分享给B账号,并将过期的快照删除,并将结果发给SNS去通知B账号进行快照复制操作。 创建一个名为notify-to-B-NewShareSnapshot的SNS

elasticsearch集群扩容和容灾

瘦欲@ 提交于 2019-11-30 11:54:43
elasticsearch专栏: https://www.cnblogs.com/hello-shf/category/1550315.html 一、集群健康 Elasticsearch 的集群监控信息中包含了许多的统计数据,其中最为重要的一项就是集群健康,它在 status 字段中展示为 green 、 yellow 或者 red。 在kibana中执行:GET /_cat/health?v 1 epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 2 1568794410 08:13:30 my-application yellow 1 1 47 47 0 0 40 0 - 54.0% 其中我们可以看到当前我本地的集群健康状态是yellow ,但这里问题来了,集群的健康状况是如何进行判断的呢? green(很健康) 所有的主分片和副本分片都正常运行。 yellow(亚健康) 所有的主分片都正常运行,但不是所有的副本分片都正常运行。 red(不健康) 有主分片没能正常运行。 注意: 我本地只配置了一个单节点的elasticsearch,因为primary

HBase 系列(九)——HBase 容灾与备份

ε祈祈猫儿з 提交于 2019-11-28 17:27:09
一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即 CopyTable 、 Export / Import 、 Snapshot 。分别介绍如下: 二、CopyTable 2.1 简介 CopyTable 可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 、row 区间 、改变表名称 、改变列族名称 、以及是否 Copy 已被删除的数据等功能; 执行命令前,需先创建与原表结构相同的新表; CopyTable 的操作是基于 HBase Client API 进行的,即采用 scan 进行查询, 采用 put 进行写入。 2.2 命令格式 Usage: CopyTable [general options] [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] <tablename> 2.3 常用命令 同集群下 CopyTable hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=tableCopy tableOrig 不同集群下 CopyTable # 两表名称相同的情况 hbase org.apache.hadoop.hbase.mapreduce.CopyTable \ --peer.adr

记录一次邮件容灾恢复过程

若如初见. 提交于 2019-11-26 02:49:36
背景介绍 客户目前使用的是Exchange Server 2013,两前两后,数据盘是存储挂载过来的,邮件备份使用的是NBU,由于机房漏水,导致存储服务器宕机。导致绝大部分数据丢失。 Exchange恢复过程 使用新存储重新划分磁盘,并使用NBU逐个恢复数据库,按照原路径恢复。 检查已恢复的数据库所在的服务器(以数据库L14DB3为例) Get–MailboxDatabase L14DB2 | Get-MailboxDatabaseCopyStatus 3.检查数据库和log路径 Get-MailboxDatabase L14DB3 | fl Name,edb ,Log 4.检查是否有日志缺失 进入到HQEXMB01服务器上,以管理员运行命令提示符,进入到数据库目录 输入Eseutil /mh L14db3.edb 检查数据状态及是否有日志缺失: 如图:Log Required项显示有日志缺失 5.修复缺失Log文件 eseutil /r E0C /L G:\Mailboxlog\L14DB3 再次检查,状态如下: 6.检查多余的Log文件 7.删除此数据库的DAG副本 Remove-MailboxDatabaseCopy –Identity L14DB3\ HQEXMB01 –Confirm:$False 8.装入数据库 mount-database L14DB3 -Force