存储服务器

一、服务器数据恢复故障描述 机房突然断电导致整个存储瘫痪，加电后存储依然无法使用。经过用户方工程师诊断后认为是断电导致存储阵列损坏。 整个存储是由12块日立硬盘（3T SAS硬盘）组成的RAID-6磁盘阵列，被分成一个卷，分配给几台Vmware的ESXI主机做共享存储。整个卷中存放了大量的Windows虚拟机，虚拟机基本都是模板创建的，因此系统盘都统一为160G。数据盘大小不确定，并且数据盘都是精简模式。 二、备份服务器数据 将故障存储的所有磁盘和备份sss数据的目标磁盘连入到一台Windows Server 2008的服务器上。故障磁盘都设为脱机（只读）状态，在专业工具WinHex下看到连接状态如下图所示：(图中HD1-HD12为目标备份磁盘，HD13-HD24为源故障磁盘，型号为HUS723030ALS640)： 图一： 使用WinHex 对HD13-HD24以底层方式读取扇区，发现了大量损坏扇区。初步判断可能是这种硬盘的读取机制与常见的硬盘不一样。尝试更换操作主机，更换HBA卡，更换扩展柜，更换为Linux操作系统，均呈现相同故障。与用户方工程师联系，对方回应此控制器对磁盘没有特殊要求。 使用专业工具对硬盘损坏扇区的分布规律进行检测，发现如下规则： 1、损坏扇区分布以256个扇区为单位。 2、除损坏扇区片断的起始位置不固定外，后面的损坏扇区都是以2816个扇区为间隔。

一、存服务器故障环境描述 客户设备为华为OceanStor S5600T服务器，同时支持SAN和NAS存储协议。某天服务器在运行时客户发现存储上一个NAS卷中的数据丢失，卷大小为4T，主要数据类型为office文件，PDF文档文件，图片文件（JPG、JPEG、PNG等），视频文件（MP4、AVI等），音频文件（MP3等）。管理员随即关闭系统应用，停止上传数据。 二、服务器数据备份 1、准备好备份空间及备份服务器，将备份服务器连接至客户的存储环境中； 2、查看存储管理界面，找到4T卷所对应的服务器LUN，经查看，改卷对应两个服务器LUN； 3、将对应的LUN映射至备份服务器，使用数据恢复工具对LUN进行镜像备份。 三、服务器数据恢复过程 1、分析服务器LUN 的结构，解析两个LUN之间的对应关系； 图1 LUN1 图2 LUN2 2、分析4T的NAS卷在两个存储LUN中的分布情况，将4T卷虚拟重组出来； 3、分析4T卷的存储结构，获取文件系统类型、超级块、节点等结构； 4、分析该4T卷中的超级块、节点等结构，获取节点、目录项、数据区之间的索引关系； 图3 超级块 图4 节点 5、编写程序，解析目录项、节点，提取数据。 四、数据恢复结果 1、对4T卷的全部空间进行扫描，发现文件系统的目录项还在，并扫描目录项和节点，查看文件系统的日志中找到部分有效的节点 图为找到的部分目录项及其对应节点

参考地址： https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更

博文结构 Oracle数据库体系结构 Oracle物理结构 Oracle逻辑结构 Oracle内存结构 Oracle进程结构 创建用户并授权 一.oracle体系结构概述 Orcale体系结构 Oracle体系结构包含一系列组件。 如图显示了Oracle体系结构中的主要组件，包括实例、用户进程、服务器进程、数据文件及其他文件，如参数文件、口令文件 和归档日志文件等. 从图中可以看出,实例和数据库是Oracle数据库体系结构的核心组成部分，也是最重要的 两个概念, DBA -个很重要的工作就是维护实例和数据库本身的正常工作。 1.实例 Oracle实例是后台进程和内存结构的集合，必须启动实例才能访问数据库中的数据。Oracle 实 例启动时，将分配- -个系统全局区(SGA) 并启动一系列Oracle后台进程。Oracle 实例有两种类型: 单进程实例和多进程实例。单进程Oracle实例使用一个进程执行Oracle的全部操作,在单进程环境下 的Oracle实例仅允许- -个用户可存取。多进程Oracle实例(又称多用户Oracle)使用多个进程来执行 Oracle的不同部分，对于每个连接的用户都有一个进程。 2.数据库 数据库是数据的集合，物理上是指存储数据库信息的一组操作系统文件，每个数据库有-个逻 辑结构和一个物理结构。物理结构是指构成数据库的一组操作系统文件

第4章 开发进阶 本章将介绍一些重中之重的数据库开发知识。 在数据库表设计中，范式设计是非常重要的基础理论，因此本章把它放在最前面进行讲解，而这其中又会涉及另一个重要的概念——反范式设计。 接下来会讲述MySQL的权限机制及如何固化安全。 然后介绍慢查询日志及性能管理的部分理念，并讲述数据库的逻辑设计、物理设计、导入导出数据、事务、锁等知识。 最后会提及 MySQL的一些非核心特性，并对于这些特性的使用给出一些建议。 4.1 范式和反范式 4.1.1 范式 什么是范式？ 范式是数据库规范化的一个手段，是数据库设计中的一系列原理和技术，用于减少数据库中的数据冗余，并增进数据的一致性。 数据规范化通常是将大表分成较小的表，并且定义它们之间的关系。这样做的目的是为了避免冗余存放数据，并确保数据的一致性。 添加、删除和修改数据等操作可能需要修改多个表，但只需要修改一个地方即可保证所有表中相关数据的一致性（由于数据没有冗余存放，修改某部分数据一般只需要修改一个表即可）。 由于数据分布在多个表之间，因此检索信息可能需要根据表之间的关系联合查询多个表。 数据规范化的实质是简单写、复杂读。 写入操作比较简单，对于不同的信息，分别修改不同的表即可；而读取数据则相对复杂，检索数据的时候，可能需要编写复杂的SQL来联合查询多个表。 常用的范式有第一、第二、第三范式，通常来说

1. nfs存储的单点问题 如果nfs服务器宕机了，则所有的nfs客户机都会受到影响。一旦宕机，会丢失部分用户的数据。为了解决单点问题，需要实现共享存储的实时备份，即：将nfs服务端共享目录下的数据实时备份到备份服务器（或其它存储设备），以保证数据的完整性。 2. NFS共享数据的实时同步推送备份 公司有两台web服务器一直在对外提供服务，但随着业务的发展用户越来越多，网站的功能也越来越强大，各种图片，视频等占用硬盘空间越来越大。 于是，领导将web服务器的数据直接存储到NFS服务器上作为存储使用；并且为了防止NFS服务器发生单点故障，领导希望将web服务器存储的内容实时同步到Rsync备份服务器上。现在由你来计划完成领导的需求。 具体要求如下： NFS服务器的要求如下： 服务器的共享目录名为/data目录； 权限要求只能内网网段访问且可读可写，时时同步； 为了方便管理人员管理，需要指定NFS虚拟账户为zuma，uid=888，gid=888 所有访问者的身份都压缩为最低身份 将/data目录里的内容同步时时推送到备份服务器的/data目录里（inotify+rsync） web服务器将NFS共享目录统一挂载到/var/html/www目录下 思路： 1. NFS存储服务器和Rsync备份服务器，Rsync服务器部署运行rsync --daemon服务

一、概述 二、数据类型 STRING LIST SET HASH ZSET 三、数据结构 字典 跳跃表 四、使用场景 计数器 缓存 查找表 消息队列 会话缓存 分布式锁实现 其它 五、Redis 与 Memcached 数据类型 数据持久化 分布式 内存管理机制 六、键的过期时间 七、数据淘汰策略 八、持久化 RDB 持久化 AOF 持久化 九、事务 十、事件 文件事件 时间事件 事件的调度与执行 十一、复制 连接过程 主从链 十二、Sentinel 十三、分片 十四、一个简单的论坛系统分析 文章信息 点赞功能 对文章进行排序 参考资料 一、概述 Redis 是速度非常快的非关系型（NoSQL）内存键值数据库，可以存储键和五种不同类型的值之间的映射。 键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合、散列表、有序集合。 Redis 支持很多特性，例如将内存中的数据持久化到硬盘中，使用复制来扩展读性能，使用分片来扩展写性能。 二、数据类型 数据类型 可以存储的值 操作 STRING 字符串、整数或者浮点数 对整个字符串或者字符串的其中一部分执行操作 对整数和浮点数执行自增或者自减操作 LIST 列表 从两端压入或者弹出元素 对单个或者多个元素进行修剪， 只保留一个范围内的元素 SET 无序集合 添加、获取、移除单个元素 检查一个元素是否存在于集合中 计算交集、并集、差集

数据库服务器 依赖于 存储服务器 的数据，这意味着数据库数据文件被放置在 存储服务器 上。 数据以记录的形式存储在数据库中；数据库将数据作为文件存储在 存储服务器 上。 数据库服务器 由在局域网和数据库管理系统软件中运行的一台或多台计算机组成， 数据库服务器 为客户端应用程序提供数据服务。存储服务器是为特定目标设计的，因此配置也不同。它可能是一个稍有额外存储空间的服务器，或者它可能有很多存储空间。 数据库服务器存储数据依赖于存储服务器，也就是说数据库的数据文件要放在存储服务器上。 数据是以记录形式存在数据库中的；而数据库将数据以文件形式存储在存储服务器上。 数据库服务器由运行在局域网中的一台/多台计算机和数据库管理系统软件共同构成，数据库服务器为客户应用程序提供数据服务。而存储服务器是指为特定目标而设计，因此配置方式也不同。它可能是拥有一点额外的存储，也可能拥有很大的存储空间的服务器。 来源： https://www.cnblogs.com/xkxjack/p/12021955.html

问题描述 有的表每天会记录服务器当天的记录，每天会收集当天记录到大数据仓库当中，作为数据工作者的我们，不仅要保证 不漏掉历史记录 ，而且要 避免冗余存储 ，我们把每天都传过来的日数据表称为A表，存储所有记录的表称为B表。 插入新增或者有变化的sql insert into table history_table select A . col1 , A . col2 , A . col3 . . . . , A . colN from ( select col1 , col2 , col . . . . . from daily_table ) A left outer join （ select col1 , col2 , col . . . . . from history_table ) B on A . col1 = B . col1 and A . col2 = B . col2 and . . . . where B . col1 is null 对上述sql的解释 只考察部分字段有区别才视为新纪录的话，join 的on 条件里面省去不考察的字段， where 条件只要任意考察字段为空 就能选出新纪录，因为有一个条件不一样， 右表所有字段都为NULL。 来源： CSDN 作者： dinl_vin 链接： https://blog.csdn.net/dinl_vin

你只管努力， ——剩下的交给时光。 首先我们带着问题来学习 1、什么是Redis？为什么要用它？用它有什么好处？ Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦 可持久化的日志型、Key-Value数据库 ，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets) 等类型。以上标红为Redis常用数据类型。 2、Redis的安装 安装教程 Windows安装 在 https://github.com/MSOpenTech/redis/releases 地址下载后解压，打开命令行进入解压目录运行 redis-server.exe redis.conf（省略则使用默认） 出现下图服务就已经启动成功了 Linux安装 在https://redis.io/地址下载最新版 解压：$ tar -xzf redis-4.0.11.tar.gz 进入解压后目录：$ cd redis-4.0.11 编译：$ make 进入src目录启动服务器：$ cd src $ ./redis-server 配置 Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf。 可以通过 CONFIG