存储服务器

1.什么是OAuth2 OAuth（开放授权）是一个开放标准，允许用户授权第三方移动应用访问他们存储在另外的服务提供者上的信息，而不需要将用户名和密码提供给第三方移动应用或分享他们数据的所有内容，OAuth2.0是OAuth协议的延续版本，但不向后兼容OAuth 1.0即完全废止了OAuth1.0。 2.应用场景 第三方应用授权登录：在APP或者网页接入一些第三方应用时，时长会需要用户登录另一个合作平台，比如QQ，微博，微信的授权登录。 原生app授权：app登录请求后台接口，为了安全认证，所有请求都带token信息，如果登录验证、请求后台数据。 前后端分离单页面应用（spa）：前后端分离框架，前端请求后台数据，需要进行oauth2安全认证，比如使用vue、react后者h5开发的app。 3.名词定义 （1） Third-party application：第三方应用程序，本文中又称"客户端"（client），比如打开知乎，使用第三方登录，选择qq登录，这时候知乎就是客户端。 （2）HTTP service：HTTP服务提供商，本文中简称"服务提供商"，即上例的qq。 （3）Resource Owner：资源所有者，本文中又称"用户"（user）,即登录用户。 （4）User Agent：用户代理，本文中就是指浏览器。 （5）Authorization server：认证服务器

服务器规划： VIP :10.100.139.129 跟踪服务器 1 【主机】（ Tracker Server ）： 10.100.139.121 跟踪服务器 2 【 备 机】（ Tracker Server ）： 10.100.138.180 存储服务器 1 （ Storage Server ）： 10.100.139.121 存储服务器 2 （ Storage Server ）： 10.100.138.180 存储服务器 3 （ Storage Server ）： 10.100.138.153 操作系统： CentOS7 用户： root 数据存储目录： 应用 安装目录 Nginx /opt/nginx Fastdfs /usr/bin Keepalived /usr/local 安装包 /home/yxgly/resources è /usr/local/src Tracker_data /fastdfs/tracker Storage_data /fastdfs/storage 安装包： FastDFS_v5.08.tar.gz ： FastDFS 源码 libfastcommon-master.zip ：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库） fastdfs-nginx-module-master.zip ： storage 节点

NAS 是带存储系统的专用高性能文件服务器。它可提供文件级数据访问和共享。 NAS 使用网络和文件共享协议，包括用于数据传输的 TCP/IP 以及用于远程文件服务的 CIFS 和 NFS。 最简单的备份方法是使用文件拷贝。 也可以在原始设备级别执行数据备份。 这意味着，必须卸载文件系统，才能执行拷贝。此类型的备份通常比文件拷贝速度要快，但会影响恢复粒度。 ------------------------------------------------------------------------------ 《备份恢复解决方案 — NDMP 集成MR-1WP-BRSNDMP SRG》中提到： 1、NAS环境中备份，基于服务器 在应用程序服务器上安装客户端，备份时，NAS机头读取数据，在传送到客户端。客户端再把数据发送到存储节点，由存储节点写入到备份设备（DD或磁带）。这样NSA机头到客户端，客户端到存储节点都占用了带宽。 NAS机头---（LAN）---客户端---（LAN）---存储结点---（FC SAN）---DD或磁带 2、NAS环境中备份，无服务器 在存储节点上直接装载网络共享（共享是基于TCP/IP），存储节点（也是备份客户端）会从 NAS 机头读取数据，并将其写入备份设备，而不会涉及应用程序服务器。与之前基于服务器方案比，减少了一个网络跳。 个人理解是： NSA机头

FastDFS：是由C语言编写,轻量级开源的分布式文件系统,在跨境通等B2C商城的项目之中作为图片服务器使用,用来存储商家的Logo,商品的图片等图片资源,github地址: https://github.com/happyfish100/fastdfs FastDFS中有三个角色.Tracker Storage Client.见名知意 Tracker : 翻译过来是追踪者,本身并不是作为存储的角色,而是作为调度者的角色而存在的,也有负载均衡的理念在里面.Tracker管理所有的Storage和Group. Storage : Storage是存储的角色,每个Storage启动时会连接Tracker告知自身所属的Group并且报纸周期心跳Tracker则以此来建立Group到Storage的映射信息.同一个Group中的Storage中内容相同,互为备份.Group中Storage的容量以当前组中最小的为准,所以配置的时候要注意最好是设置成相同的大小,避免空间浪费. Client : 这个就不都说了,一看名字就知道是客户端.和Redis之类的中间件一样都需要一个客户端来访问. 说了那么多 画一下FastDFS的架构图吧. 如图所示Client访问Tracker,请求对应的文件地址,Tracker中包含了Storage所属的分组信息

对于个人或刚成立的小微企业来说，搭建一个云计算平台是一件不太容易实现的事情，小微企业云计算服务器该怎么配置搭建？今天给大家推荐一下这篇文章，希望能够给予一些启发与参考。 需求分析 满足 60 个以内的终端用户(使用场合为办公、教学、多媒体阅览、门柜业务、家庭等)，允许适度的不可用，要求满足若干个员工(如财务人员、老板)的高安全性。我们设计了单机和双机两种方案，大家可以根据自己的实际情况选择。 单机方案结构简单、成本低，建设和运维容易，适合对可用性要求不高的场合，如教学、家庭、小公司办公等;而双机能确保很高的可用性，但是架构稍微复杂，成本增加倒是不多。 系统设计 采用 Windows 的远程桌面服务，每个用户只能看到自己主目录中的资料。对于要求数据高度安全性的用户，给其分配虚拟机或者容器，以达到完全与他人隔离的目的。 1、单机方案 为了确保数据的安全性，我们在物理上采用了四级存储子系统(见图 1)。 　　图 1 单机方案 首先用一块 120GB 的固态盘安装操作系统、应用程序和静态的配置文件，投入运行后开启写保护，这样能最大限度地保护系统，病毒、断电、误删文件等都不会破坏系统，从而确保机器总能正常运行。 其次采用两块 250GB 的固态盘做成 RAID1(通过硬阵列卡或者软阵列来设置)，有效存储容量是 250GB，然后再与 2TB 的机械硬盘做成存储池

NFS概念介绍： NFS是Network File System的缩写，即网络文件共享系统； 主要功能： 通过网络（一般是局域网）让不同主机系统之间可以共享文件或者目录 NFS存储服务的作用 1）实现数据的共享存储 2）编写数据操作管理 3）节省购买服务器磁盘开销 淘宝–上万台 用电开销 NFS服务部署流程 首先需要安装 rpcbind 这个软件。 yum -y install rpcbind 服务端部署： 第一个历程：下载安装软件 # 首先检查是否安装了nfs和rpc服务 rpm -qa | grep -E "nfs|rpc" yum -y install nfs-utils rpcbind 第二个历程：编写nfs服务配置文件 vim /etc/exports # 编写格式 01 02（03） 01：设置数据存储目录，需要在本地创建 02：设置网络的白名单 { 即允许那些主机可以连接到存储服务器进行数据存储 } 03：设置存储目录的权限信息，存储目录的一些功能权限等 第三个历程：创建数据存储目录，修改权限 mkdir /data # 修改权限（安装好了NFS服务之后，就会创建好nfsnobody用户） chown nfsnobody.nfsnobody /data 第四个历程：启动服务 # 注意先启动rpc服务，再启动rpc服务 systemctl start rpcbind

云计算基础知识 OSI七层模型 MAC/物理地址 MAC(Media Access Contro)地址，或称为MAC地址、物理地址，用来表示互联网上每一个站点的标识符，采用十六进制数表示，共六个字节(48位)。其中，前三个学是由IEEE的注册管理机构RA负责给不同厂家分配的代码(高位24位)，也称为编制上唯一的标识符”( Organizationally Unique Identifier)，后三个字节(低位24位)由各厂家自行指派给生产的适配器接口，称为扩展标识符(唯一性)。一个地址块可以生成2^24个不同的地址。MAC地址实际上就是适配器地址或适配器标识符。通常情况下不变的，可以基于mac地址做限速，黑名单等策略。 二层交换 学习 1.交换机学习接收的数据帧的源MAC地址形成MAC地址表 广播 1.如果目标地址在MAC地址表中没有,则向除接收该数据帧的端口外的其他端- 广播该数据帧 转发 1.交换机根据MAC地址表转发数据帧 更新 1.MAC地址表有老化时间 2.如果一个帧的入端口和MAC地址表中记录不一致,则将MAC学习到新端口 二层交换的过程 交换机二层转发特性，符合802.1D网桥协议标准。交换机的二层转发涉及到两个关键的线程：地址学习线程和报文转发线程。 地址学习线程： 交换机接收网段上的所有数据帧,利用接收数据帧中的源MAC地址来建立MAC地址表，表项主要有MAC

一、 简介 设计很独特，它采用pull机制，而不是一般MQ的push模型 ； 大量利用了zookeeper做服务发现和offset存储 ；它来源于kafka（scala），但是有自己的特点： 事务、多种offset存储、高可用方案(HA)等。 MetaQ相对kafka特有功能： 文本协议设计，非常透明，支持类似memcached stats的协议来监控broker 纯Java实现，从通讯到存储，从client到server都是重新实现。 提供事务支持，包括本地事务和XA分布式事务 支持HA复制，包括异步复制和同步复制，保证消息的可靠性 支持异步发送消息 消费消息失败，支持本地恢复 多种offset存储支持，数据库、磁盘、zookeeper，可自定义实现 支持group commit，提升数据可靠性和吞吐量。 支持消息广播模式 一系列配套项目：python客户端、twitter storm的spout、tail4j等。 Meta适合的应用： 日志传输，高吞吐量的日志传输本来就是kafka的强项 消息广播功能，如广播缓存配置失效。 数据的顺序同步功能，如mysql binlog复制 分布式环境下（broker,producer,consumer都为集群）的消息路由，对顺序和可靠性有极高要求的场景。 作为一般MQ来使用的其他功能 二、术语 Message Producer ：生产者；

彻底理解cookie，session，token 发展史 很久很久以前，Web 基本上就是文档的浏览而已， 既然是浏览，作为服务器， 不需要记录谁在某一段时间里都浏览了什么文档，每次请求都是一个新的HTTP协议， 就是请求加响应， 尤其是我不用记住是谁刚刚发了HTTP请求， 每个请求对我来说都是全新的。这段时间很嗨皮 但是随着交互式Web应用的兴起，像在线购物网站，需要登录的网站等等，马上就面临一个问题，那就是要管理会话，必须记住哪些人登录系统， 哪些人往自己的购物车中放商品， 也就是说我必须把每个人区分开，这就是一个不小的挑战，因为HTTP请求是无状态的，所以想出的办法就是给大家发一个会话标识(session id), 说白了就是一个随机的字串，每个人收到的都不一样， 每次大家向我发起HTTP请求的时候，把这个字符串给一并捎过来， 这样我就能区分开谁是谁了 这样大家很嗨皮了，可是服务器就不嗨皮了，每个人只需要保存自己的session id，而服务器要保存所有人的session id ！ 如果访问服务器多了， 就得由成千上万，甚至几十万个。 这对服务器说是一个巨大的开销 ， 严重的限制了服务器扩展能力， 比如说我用两个机器组成了一个集群， 小F通过机器A登录了系统， 那session id会保存在机器A上， 假设小F的下一次请求被转发到机器B怎么办？ 机器B可没有小F的

一、FastDFS是什么？ FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适。 特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。 二、相关术语释义： tracker-server: 跟踪服务器， 主要做调度工作， 起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息，