存储服务器

Apache Kafka是一个分布式流式平台。 流平台有三个关键的能力： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 使用容错耐用的方式存储记录流。 记录产生时处理数据。 Kafka主要是用在两类应用中： 在收数端和实时计算或批处理计算框架之间做数据通道 作为处理流式数据的应用 ####为了解kafka怎么处理这些事情，需要先了解一下概念： Kafka是运行在一台或者多台服务器的集群上的，并且可以扩展到多个数据中心； Kafka集群以叫做topics的类别存储流记录； 每个记录都由key，value，timestamp组成； Kafka有4个核心API: Producer API : 应用程序发布流记录到一个或者多个Kafka topics; Consumer API : 应用程序订阅一个或者多个topics并且处理产生的数据； Streams API : 应用程序扮演着流处理器的角色，从一个或者多个输入流中消费数据并且将产生的数据输出到一个或者多个topic中。 Connector API：构建并且运行将Kafka topic连接到现有应用程序或数据系统的可重用生产者或消费者。 例如，关系数据库的连接器可能捕获对表的每个更改。 在Kafka中，客户端和服务器之间的通信是通过简单，高性能，语言无关的TCP协议完成的。 此协议已版本化并保持与旧版本的向后兼容性。

作者：张帅，来源： 雷锋网 导语：换个角度看，我国云计算产业发展的正反两面。 中国云计算产业发展到什么程度，大概少有人能说得十分清楚，将云计算产业置于全局视角看待的解读更是少之又少。 近日，由国务院发展研究中心国际技术经济研究所出品的《中国云计算产业发展白皮书》正式发布。云计算行业白皮书数量不少，本次的特殊之处在于国务院下属单位直接发布，国务院鼓励企业上云的政策在前，白皮书则全面系统的阐述我国云计算产业发展，并提供前瞻性洞察和预判。 先做背景交代，云计算的快速发展不只是产业和技术的自然演进，白皮书就指出，我国云计算产业面临发展的关键时期。 一方面，我国云计算产业随着全球数字经济发展的大潮快速发展壮大，已成为保障我国经济结构调整，向数字化、智能化转型的重要基础设施； 另一方面，受贸易摩擦影响和传统产业升级以及新兴信息技术迭代需求压力，暴露出我国云计算产业存在核心技术自主研发程度较低，创新、应用生态系统建设滞后的突出问题。 云计算和数字经济的关系 云计算和数字经济相关联的说法已经不甚新鲜，但要具体阐述云计算在数字经济，或者说下一个经济周期里扮演的角色，大家所说的并不完全一致。 本白皮书的阐述是——当前，世界正处于从上世纪 80 年代开始的 ICT 产业发展周期后 30 年，2016-2018 年三年间，数字经济在上述行业中的增速每年都保持在 40% 以上。在此期间，云计算和 AI

目录 Redis简介 Redis优势 下载配置数据库 Redis数据类型 Redis键（key） String（字符串） Hash（哈希） List（列表） set（集合） Zset（有序集合） 总结 Redis命令 发布订阅 事务 持久化 RDB持久化 AOF持久化 复制 连接过程 主从链 哨兵 分片 pycharm操作Redis Redis简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他key-value缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启时可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list、set、zset、hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 Redis优势 性能极高-Redis能读的速度是110000次/s，写的速度是81000次/s。 丰富的数据类型-Redis支持二进制案例的strings、lists、hashes、sets及ordered sets数据类型操作。 原子-Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。 丰富的特性

1 Redis简介 Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key - value 数据库 Redis 与 其他 key - value 缓存产品有以下三个特点： Redis 支持数据持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis 不仅仅支持简单的 key - value 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。 Redis 支持数据的备份，即 master - slave 模式的数据备份 2 Redis优势 性能极高 – Redis 读的速度是 110000 次 /s, 写的速度是 81000 次 /s 。 丰富的数据类型 - Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子性 - Redis 的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC 指令包起来。 其他特性 - Redis 还支持 publish/subscribe 通知，key 过期等特性。 3 Redis数据类型 Redis 支持 5 中数据类型：string（字符串），hash（哈希），list（列表），set（集合），zset

Ceph分布式存储-总 目录： Ceph基本组成及原理 Ceph之块存储 Ceph之文件存储 Ceph之对象存储 Ceph之实际应用 Ceph之总结 一、Ceph基本组成及原理 1、块存储、文件存储、对象存储简介与区别 块存储、文件存储、对象存储区别联系详述 　　块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。 　　首先，我们介绍这两种传统的存储类型。 通常来讲，所有磁盘阵列都是基于Block块的模式，而所有的NAS产品都是文件级存储。 【块级、文件级概念】 1.块级概念： 　　块级是指以扇区为基础，一个或我连续的扇区组成一个块，也叫物理块。它是在文件系统与块设备（例如：磁盘驱动器）之间。 2.文件级概念： 　　文件级是指文件系统，单个文件可能由于一个或多个逻辑块组成，且逻辑块之间是不连续分布。逻辑块大于或等于物理块整数倍， 3.物理块与文件系统之间的关系图： 　　映射关系：扇区→物理块→逻辑块→文件系统 【 块级、文件级备份 】 【文件级备份】 　　文件级备份是指在指定某些文件进行备份时，首先会查找每个文件逻辑块，其次物理块，由于逻辑块是分散在物理块上，而物理块也是分散在不同扇区上。需要一层一

mysql 的逻辑架构分为三层： 最上层的服务大多数基于网络的客户端、服务器的工具或者服务都有类似的架构，比如连接处理，授权认证、安全等 第二层架构：mysql的核心服务功能都在这一层，包括查询解析，分析，优化，缓存以及所有的内置函数，所有跨存储引擎的功能都在这一层实现：存储过程，触发器、视图 第三层：包含存储引擎。负责数据的存储和提取，innoDB是个例外，它会解析外键定义，因为mysql服务器本身没有实现该功能 连接管理与安全性： 当客户端连接到mysql服务器是，服务器需要对其进行认证，认证基于用户名，原始主机信息和密码，一旦客户端连接成功，服务器 会继续验证该客户端是否具有执行某个特定查询的权限 优化与执行： mysql会解析查询，并创建内部数据结构（解析树），然后对其进行各种优化，包括重写查询，决定表的读取顺序，以及选择合适的索引，用户可以通过特殊的关键字提示优化器，影响他的决策过程，也可以请求优化器解释优化过程的各个因素，使yoghurt可以知道服务器是如何进行优化决策的，并提供一个参考基准，便于用户重构查询和修改相关配置，优化查询效率 存储引擎对于优化查询时有影响的 对于select语句，在解析查询之前，服务器会先检查缓存，如果能找到对应的查询，服务器就不会再执行查询解析，优化和执行的整个过程，而是直接返回查询结果 并发控制： 只要有多个查询需要在同一时刻修改数据

MySQL中文件存储形式（InnoDB/MyIsam） 与innodb文件格式相关的参数为 innodb_data_file_path 、 innodb_data_file_path 、 innodb_log_group_home_dir 、 innodb_open_files 1、独占表空间 下面进入MySQL数据存放目录，查看使用innodb时MySQL存储文件格式 [root@www ~]# cd /var/lib/mysql/ [root@www mysql]# ls –lrt 总用量 21352 drwx------. 2 mysql mysql 4096 11月 26 2017 test drwx------. 2 mysql mysql 4096 11月 26 2017 mysql -rw-rw----. 1 mysql mysql 765307 11月 26 2017master-bin.000002 -rw-rw----. 1 mysql mysql 19742 11月 26 2017master-bin.000001 -rw-rw----. 1 mysqlmysql 5242880 11 月 26 2017 ib_logfile1 drwx------. 2 mysql mysql 4096 11月 26 2017 testslave -rw-rw----. 1

前言 随着移动网络的发展与演化，我们手机上现在除了有原生 App，还能跑“WebApp”——它即开即用，用完即走。一个优秀的 WebApp 甚至可以拥有和原生 App 媲美的功能和体验。WebApp 优异的性能表现，有一部分原因要归功于浏览器存储技术的提升。cookie存储数据的功能已经很难满足开发所需，逐渐被WebStorage、IndexedDB所取代，本文将介绍这几种存储方式的差异和优缺点。 一、Cookie 1.Cookie的来源 Cookie 的本职工作并非本地存储，而是“维持状态”。 因为HTTP协议是无状态的，HTTP协议自身不对请求和响应之间的通信状态进行保存，通俗来说，服务器不知道用户上一次做了什么，这严重阻碍了交互式Web应用程序的实现。在典型的网上购物场景中，用户浏览了几个页面，买了一盒饼干和两瓶饮料。最后结帐时，由于HTTP的无状态性，不通过额外的手段，服务器并不知道用户到底买了什么，于是就诞生了Cookie。它就是用来绕开HTTP的无状态性的“额外手段”之一。服务器可以设置或读取Cookies中包含信息，借此维护用户跟服务器会话中的状态。 我们可以把Cookie 理解为一个存储在浏览器里的一个小小的文本文件，它附着在 HTTP 请求上，在浏览器和服务器之间“飞来飞去”。它可以携带用户信息，当服务器检查 Cookie 的时候，便可以获取到客户端的状态。

运维工作应该掌握哪些技能？ 运维中关键技术点解剖：1 大量高并发网站的设计方案 ；2 高可靠、高可伸缩性网络架构设计；3 网站安全问题，如何避免被黑？4 南北互联问题,动态CDN解决方案；5 海量数据存储架构 一、什么是大型网站运维？ 首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器 量级、pv量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，pv每天至少上亿（至少国内排名前10），如sina、baidu、 QQ， http:// 51.com 等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统 、开发工作于一身的“复合性人才”，就如有些公司把一些合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责。所以，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、系统开发、存储，安全,DB等；我在这里所讲的运维工程师就是指专职运维工程师。 我们再来说说一般产品的“出生”流程： 1、首先公司管理层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计。 2、架构师根据产品设计的需求，如pv大小预估、服务器规模

通过博文 部署Oracle 12c企业版数据库 已经可以部署Oracle数据库了，本篇博文主要介绍Oracle的体系结构，包括存储结构、内存结构和进程结构进行初步了解。对进一步学习Oracle数据库有很大的帮助。 博文大纲： 一、Oracle体系结构 1.Oracle体系结构概述 2.Oracle服务器 3.Oracle存储结构 4.Oracle内存结构 5.Oracle进程结构 二、CDB与PDB的基本操作 三、用户管理 四、数据库权限管理 五、导入测试数据 一、Oracle体系结构 数据库的体系结构是指数据库的组成、工作过程、以及数据库中数据的组织与管理机制，要了解Oracle数据库的体系结构，必须理解Oracle系统的主要组件和重要概念。 1.Oracle体系结构概述 Oracle体系结构包含一系列组件，如图： 图中显示了Oracle体系结构中的主要组件，包括实例、用户进程、服务器进程、数据文件及其他文件，如参数文件、口令文件和归档日志文件等。 从图中可以看出，实例和数据库是Oracle数据库体系结构的核心组成部分，也是最重要的两个概念。 作为一个DBA管理者，维护实例和数据库本身的正常运行是最基本的技能。 （1）实例 Oracle实例是后台进程和内存结构的集合，必须启动实例才能访问数据库中的数据。Oracle实例启动时，将分配一个系统全局区（SGA