存储服务器

博文目录 一、GlusterFS概述 1、GlusterFS的特点 2、GlusterFS术语 3、模块化堆栈式架构 二、GlusterFS的工作原理 1、GlusterFS的工作流程 2、弹性HASH算法 三、GlusterFS的卷类型 1、分布式卷 2、条带卷 3、复制卷 4、分布式条带卷 5、分布式复制卷 一、GlusterFS概述 GlusterFS是一个开源的分布式文件系统，同时也是Scale-Out存储解决方案Gluster的核心，在存储数据方面有强大的横向扩展能力，通过扩展不同的节点可以支持PB级别的存储容量。GlusterFS借助TCP/IP或InfiniBand RDMA网络将分散的存储资源汇聚在一起，同一提供存储服务，并使用单一全局命令空间来管理数据。GlusterFS基于可堆叠的用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。 GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关（可选，根据需要选择使用）组成。GlusterFS架构中最大的设计特点就是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等，这样的设计在浏览目录时效率非常高，但是也存在一些缺陷，如单点故障，一旦元数据服务器出现故障，即使节点具备再高的冗余性

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Mysql Fabric用来管理mysql服务，提供扩展性和容易使用的系统，管理mysql分片和高可用部署(当前实现了两个特性：高可用和使用数据分片的横向扩展，能单独使用或结合使用这两个特性。)。 架构图： 应用请求一个扩展的mysql连接器版本，使用XML-RPC协议访问Fabric，当前可以使用python和J连接器。Fabric管理启动 GTIDs(全局事务标识) 的mysql集合，检查和维护服务器之间的一致性。集合中的服务器叫高可用组。不属于Fabric高可用组的成员实例，叫备用存储(backing store)。 Fabric组织服务器在一个组(叫高可用组)，管理不同分片或简单提供高可用。例如如果使用标准异步复制，Fabric可以配置自动监控mysql服务状态。如果组中当前master错误，组中有一个服务器能变成master，它选择一个新的服务器做为master。 除了高可用操作如故障转移和切换，Fabric也允许分片操作，如分片创建和移除。 高可用和数据分片在两个层实现： 1、mysqlfabric进程处理任何管理请求，接收通过mysqlfabric命令行接口或其他支持XML/RPC接口的进程的管理任务。当使用HA特性，该进程能监控master服务器，当master故障时能进行故障恢复

PL/SQL 语言基础 PL/SQL 是 ORACLE 对标准数据库语言的扩展， ORACLE 公司已经将 PL/SQL 整合到 ORACLE 服务器和其他工具中了，近几年中更多的开发人员和 DBA 开始使用 PL/SQL ，本文将讲述 PL/SQL 基础语法，结构和组件、以及如何设计并执行一个 PL/SQL 程序。 　　 PL/SQL 的优点 　　从版本 6 开始 PL/SQL 就被可靠的整合到 ORACLE 中了，一旦掌握 PL/SQL 的优点以及其独有的数据管理的便利性，那么你很难想象 ORACLE 缺了 PL/SQL 的情形。 PL/SQL 不是一个独立的产品，他是一个整合到 ORACLE 服务器和 ORACLE 工具中的技术，可以把 PL/SQL 看作 ORACLE 服务器内的一个引擎， sql 语句执行者处理单个的 sql 语句， PL/SQL 引擎处理 PL/SQL 程序块。当 PL/SQL 程序块在 PL/SQL 引擎处理时， ORACLE 服务器中的 SQL 语句执行器处理 pl/sql 程序块中的 SQL 语句。 　　 PL/SQL 的优点如下： 　　 . PL/SQL 是一种高性能的基于事务处理的语言，能运行在任何 ORACLE 环境中，支持所有数据处理命令。通过使用 PL/SQL 程序单元处理 SQL 的数据定义和数据控制元素。 　　 . PL/SQL

前言 本文来自 Prometheus官网手册 和 Prometheus简介 存储 Prometheus是一个本地磁盘时间序列数据库，但也可选择与远程存储系统集成，其本地时间序列数据库以自定义格式在磁盘上存储时间序列数据。 1.1 磁盘布局 采集的样本按每两个小时的时间段保存到一个目录，该目录包含一个或多个块文件，该文件包含该时间窗口的所有时间序列样本，以及元数据文件和索引文件（用于将度量名称和标签索引到块文件中的时间序列）。通过API删除系列时，删除记录存储在单独的逻辑删除文件中（而不是立即从块文件中删除数据） 当前传入样本的块保存在内存中，但尚未完全保留。通过预写日志（WAL）防止崩溃，可以在崩溃后重新启动Prometheus服务器时重放。预写日志文件以128MB段存储在wal目录中。这些文件包含尚未压缩的原始数据，因此它们比常规块文件大得多。 Prometheus将保留至少3个预写日志文件，但是高流量服务器可能会看到三个以上的WAL文件，因为它需要保留至少两个小时的原始数据。 Prometheus服务器的数据目录的目录结构如下所示： ./data ├── 01BKGV7JBM69T2G1BGBGM6KB12 │ └── meta.json ├── 01BKGTZQ1SYQJTR4PB43C8PD98 │ ├── chunks │ │ └── 000001 │ ├──

对象存储可以简单理解为用来存储图片、音频、视频等非结构化数据的数据池。相对于主机服务器，具有读写速度快，利于分享的特点。杉岩数据在这里给大家总结了这六点。 1、网站数据动静分离，大幅提升网页性能 一般情况下，我们都是建议使用主机服务器和对象存储分工合作的方式来存储网站数据。主机服务器主要负责存储网站的动态数据，对象存储则用来存储网站的静态文件。从而实现网站的动静分离，当用户访问一个网站时，分别从主机服务器和对象存储的服务器同步读取数据，可以大幅的提升网页性能。 2、单独的文件管理界面，管理网站文件和本地电脑一样方便 无论是腾讯云、阿里云、杉岩，对象存储都有单独的管理控制台，腾讯云和阿里云还有专门的电脑客户端。你不必打开网站，就可以像使用百度云盘一样使用对象存储来管理你的网站文件，除了上传、下载、预览等常用功能，还可以直接在对象存储上进行图片处理/媒体转码/数据分析等。 3、本质是”内置大容量硬盘的分布式服务器“，同一个文件支持跨域共享 对象存储的本质是“内置大容量硬盘的分布式服务器”，对象存储有自己的 CPU、内存、网络和磁盘系统，具备一定的智能，同一个对象存储数据池可以新建不同的存储桶（bucket），分别用来存储不同网站的数据，彼此互不干扰。而且同一个文件可以引用到不同的网站，可以有效的减少数据冗余。 4、储存节点多，支持跨地域实时同步，实现异地容灾

mongodb是最常用的noSql数据库，在数据库排名中已经上升到了前五。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。 在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。 相关概念 mongodb集群架构图： 从图中可以看到有四个组件：mongos、config server、shard、replica set。 mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。 config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！ shard，分片（sharding

对象存储可以简单理解为用来存储图片、音频、视频等非结构化数据的数据池。相对于主机服务器，具有读写速度快，利于分享的特点。杉岩数据在这里给大家总结了这六点。 1、网站数据动静分离，大幅提升网页性能 一般情况下，我们都是建议使用主机服务器和对象存储分工合作的方式来存储网站数据。主机服务器主要负责存储网站的动态数据，对象存储则用来存储网站的静态文件。从而实现网站的动静分离，当用户访问一个网站时，分别从主机服务器和对象存储的服务器同步读取数据，可以大幅的提升网页性能。 2、单独的文件管理界面，管理网站文件和本地电脑一样方便 无论是腾讯云、阿里云、杉岩，对象存储都有单独的管理控制台，腾讯云和阿里云还有专门的电脑客户端。你不必打开网站，就可以像使用百度云盘一样使用对象存储来管理你的网站文件，除了上传、下载、预览等常用功能，还可以直接在对象存储上进行图片处理/媒体转码/数据分析等。 3、本质是”内置大容量硬盘的分布式服务器“，同一个文件支持跨域共享 对象存储的本质是“内置大容量硬盘的分布式服务器”，对象存储有自己的 CPU、内存、网络和磁盘系统，具备一定的智能，同一个对象存储数据池可以新建不同的存储桶（bucket），分别用来存储不同网站的数据，彼此互不干扰。而且同一个文件可以引用到不同的网站，可以有效的减少数据冗余。 4、储存节点多，支持跨地域实时同步，实现异地容灾

在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。 Cookie Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用Cookie实际上只能存储一小段的文本信息。 例如：登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是Cookie。 Session Session是另一种记录客户状态的机制，它是在服务端保存的一个数据结构（主要存储的的SessionID和Session内容，同时也包含了很多自定义的内容如：用户基础信息、权限信息、用户机构信息、固定变量等），这个数据可以保存在集群、数据库、文件中，用于跟踪用户的状态。 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。 用户第一次登录后，浏览器会将用户信息发送给服务器，服务器会为该用户创建一个SessionId，并在响应内容（Cookie）中将该SessionId一并返回给浏览器

在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。 Cookie Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用Cookie实际上只能存储一小段的文本信息。 例如：登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是Cookie。 Session Session是另一种记录客户状态的机制，它是在服务端保存的一个数据结构（主要存储的的SessionID和Session内容，同时也包含了很多自定义的内容如：用户基础信息、权限信息、用户机构信息、固定变量等），这个数据可以保存在集群、数据库、文件中，用于跟踪用户的状态。 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。 用户第一次登录后，浏览器会将用户信息发送给服务器，服务器会为该用户创建一个SessionId，并在响应内容（Cookie）中将该SessionId一并返回给浏览器

目录： （一）了解什么是共享存储及共享存储的必要性 （二）配置iSCSI服务器端 （三）配置iSCSI客户端 iSCSI（Internet Small Computer System Interface），Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，提出，并于2003年2月11如成为正式的标准。与传统的SCSI技术比较起来，iSCSI技术有以下三个革命性的变化：1.把原来只用于本机的SCSI协议透过TCP/IP网络发送，使连接距离可作无限的地域延伸；2.连接的服务器数量无限（原来的SCSI-3的上限是15）；3.由于是服务器架构，因此也可以实现在线扩容以至动态部署。 （一）了解什么是共享存储及共享存储的必要性 (1.1)现在我们想要搭建一个集群，在我们的集群中有节点node1和节点node2，我们搭建的是高可用的集群，所以如果当node1节点出现问题的时候，会快速的切换到由node2节点提供服务。此时我们遇到的问题是如何保证node1节点和node2节点数据同步且保持一致性。我们的解决方案是配置共享存储，例如我们配置一个NFS服务器，node1节点和node2节点都挂载到NFS服务器提供的目录中，用户正常是使用node1节点访问nfs服务器中的数据，当node1节点宕机时