存储服务器

Hadoop — HDFS的概念、原理及基本操作

旧城冷巷雨未停 提交于 2019-12-06 06:12:05
Hadoop — HDFS的概念、原理及基本操作 https://www.cnblogs.com/swordfall/p/8709025.html 分类: Hadoop undefined 1. HDFS的基本概念和特性 设计思想——分而治之:将大文件、大批量文件分布式存放在大量服务器上, 以便于采取分而治之的方式对海量数据进行运算分析 。在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,....)提供数据存储服务。 1.1 HDFS的概念 首先,它是一个文件系统,用于存储文件,通过统一的命名空间--目录树来定位文件; 其次,它是分布式的,有很多服务器联合起来实现其功能,集群中的服务器有各自的角色; 重点概念:文件切块,副本存放,元数据(目录结构及文件分块信息) 1.2 HDFS的重要特性 (1) HDFS中的文件在物理上是 分块存储(block) ,块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M; (2) HDFS文件系统会给客户端提供一个 统一的抽象目录树 ,客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/file.data; (3) 目录结构及文件分块信息(元数据) 的管理由namenode节点承担

2019企业linux运维最需要的了解的一些硬件基础知识

旧巷老猫 提交于 2019-12-06 04:43:56
第 3 章 服务器 245 3 .1 电脑的种类 245 3 .2 服务器的介绍 246 3 .2.1 服务器的类别 246 3 .2.2 服务器的性能 247 3 .2.3 服务器的尺寸 247 3.3 服务器的组成部分 248 3.3.1 CPU 248 3.3.2 内存条 250 3.3.3 硬盘 251 3.3.4 网卡 253 3.3.5 主板 253 3.3.6 阵列卡 253 3.3.7 远程管理口 254 3 .3.8 电源 254 3 .4 机房中机柜的注意事项 254 3 .5 操作系统 255 3 .5.1 什么是操作系统 255 3 .5.2 操作系统的组成部分 255 3 .5.3 linux 常见的操作系统 256 3 .6 服务器的硬件性能比对 256 3.7 最简单易懂的 raid 257 3.7.1 raid0: 257 3.7.2 raid1 257 3.7.3 raid5 258 3.7.4 raid10 258 3.7.5 raid01 259 3.7.6 raid10 和 raid01 的区别 259 3 . 8 企业面试题 260 3 . 8 .1 企业如何储存数据 260 第 3 章 服务器 3 .1 电脑的种类 (1).台式电脑 (2) 笔记本 服务器 3 .2 服务器的介绍 3 .2.1 服务器的类别 (1).机架式服务器: 企业

分布式Session的解决方案

点点圈 提交于 2019-12-06 00:32:24
前言 今天老顾带着大家了解一下 session会话在微服务架构中采用的技术方案 ,以及 企业应用中需要注意的问题。 session作用 我们知道在web应用中, web服务器和浏览器之间是用http协议进行通信的 ,而 http协议是无状态 的,也就是 每个请求都是独立 的。如:用户看一条A新闻,不管是谁看到的都是一模一样的新闻。也就是 跟用户是谁没有任何关系 。 但业务自身的发展,需要把 不同的内容展示给不同的用户 ,即 信息和用户状态关联 起来。如:历史阅读列表---列出用户之前看的新闻。这个需求就是跟用户相关, 每个用户看到的历史阅读列表都是不一样的。 Session的产生 就是为了解决这个问题,把 服务器和客户端之间进行状态保持 的解决方案。 session原理 浏览器在第一次访问web服务器, 服务器端会响应一个sessionId,并且把这个sessionId传输给浏览器,并以cookie保存sessionId到浏览器本地 。 以后的访问会 把这个cookie的sessionId以请求头的方式传给服务器 ,这样服务器就可以拿着 这个sessionId进行查找,服务器中有没有此sessionId对应的用户 ,这样就能标识出哪个用户,如果有用户相关的业务,就是 利用这个sessionId返回用户相关的业务 。 本质就是 浏览器客户端本地保存了sessionId ,

每个开发人员必须知道PDB文件知识

和自甴很熟 提交于 2019-12-05 23:40:26
大多数开发人员都意识到PDB文件有助于您进行调试,但仅此而已。如果你不知道PDB文件是怎么回事,不要觉得很糟糕,因为虽然有文档在那里,但它分散在周围,而且大部分是为编译器和调试器编写器准备的。虽然编写编译器和调试器非常酷和有趣,但这可能不是你的工作。 我想做的是把每个在微软操作系统上进行开发的人都必须知道的PDB文件放在一个地方。这些信息也适用于本机开发人员和托管开发人员,不过我将提到一个特定于托管开发人员的技巧。我将从讨论PDB文件存储和内容开始。由于调试器使用PDB文件,我将详细讨论调试器如何为二进制文件找到正确的PDB文件。最后,我将讨论调试器在调试时如何查找源文件,并向您展示一个与调试器如何查找源代码相关的常用技巧。 在我们开始之前,我需要定义两个重要的术语。在开发计算机上执行的生成是私有生成。在生成计算机上完成的生成是公共生成。这是一个重要的区别,因为调试在本地生成的二进制文件很容易,总是公共生成导致问题。 所有开发人员需要知道的最重要的事情是:PDB文件和源代码一样重要!很多公司没有人能找到在生产服务器上运行的构建的PDB文件。如果没有匹配的PDB文件,您的调试挑战几乎是不可能的。通过大量的努力,可以在没有正确的PDB文件的情况下找到问题,但是如果您首先拥有正确的PDB文件,它将为您节省大量的资金。 正如Visual Studio的开发经理约翰坎宁安(John

Redis 数据库

旧巷老猫 提交于 2019-12-05 20:07:02
Redis 简介 Redis 是完全开源免费的,遵守 BSD 协议,是一个高性能的 key - value 数据库 Redis 与 其他 key - value 缓存产品有以下三个特点: Redis 支持数据持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis 不仅仅支持简单的 key - value 类型的数据,同时还提供 list,set,zset,hash 等数据结构的存储 Redis 支持数据的备份,即 master - slave 模式的数据备份 Redis 优势 性能极高 – Redis 读的速度是 110000 次 /s, 写的速度是 81000 次 /s 。 丰富的数据类型 - Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子性 - Redis 的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过 MULTI 和 EXEC 指令包起来。 其他特性 - Redis 还支持 publish/subscribe 通知,key 过期等特性。 Redis 数据类型 Redis 支持 5 中数据类型:string(字符串),hash(哈希),list(列表),set(集合),zset

2019-2020-1学期 20192411 《网络空间安全导论》第八周学习总结

主宰稳场 提交于 2019-12-05 18:14:41
第一章 网络空间安全概述 ==1.1. 工作和生活中的网络安全== 1.1.1 生活中常见的网络安全问题 1.账号密码被盗 2.信用卡被盗刷 3.除此之外还有网络诈骗和钓鱼网站等形形色色的网络空间安全事件 1.1.2 工作中常见的网络安全问题 1.网络设备面临的威胁 路由器是常用的网络设备,是企业内部网络与外界通信的出口。一旦黑客攻陷路由器,那么就掌握了控制内部网络访问外部网络的权力,将产生严重的后果。 2.操作系统面临的威胁 目前,我们常用操作系统是Windows和Linux,这两种系统也面临着网络空间安全威胁。一方面,操作系统本身有漏洞,黑客有可能利用这些漏洞入侵操作系统;另一方面,黑客有可能采取非法手段获取操作系统权限,非法操作系统或将其破坏。 3.应用程序面临的威胁 计算机上运行着大量的应用程序,应用程序的安全与企业和用户的正常工作息息相关。 ==1.2 网络空间安全的基本认识== 我们常说的网络空间,是为了刻画人类生存的信息环境或信息空间而创造的词。 国内尚未有公认的、准确的定义,以下为==ISO/IEC 27032:2012、ITU(国际电联)以及荷兰安全与司法部的文件==中关于网络空间安全的定义。 定义1 :ISO/IEC 27032:2012——《Information technology-Security techniques-Guidelines for

[Redis持久化存储与主从复制](https://www.cnblogs.com/zyyhxbs/p/11831037.html)

折月煮酒 提交于 2019-12-05 18:10:19
4. redis持久化 Redis 是一种内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题, Redis 提供了两种持久化的方案,将内存中的数据保存到磁盘中,避免数据的丢失。 4.1 RDB持久化 redis 提供了 RDB持久化 的功能,这个功能可以将 redis 在内存中的的状态保存到硬盘中,它可以 手动执行。 也可以再 redis.conf 中配置, 定期执行 。 RDB持久化产生的RDB文件是一个 经过压缩 的 二进制文件 ,这个文件被保存在硬盘中,redis可以通过这个文件还原数据库当时的状态。 优点: 速度快,适合做备份,主从复制就是基于RDB持久化功能实现 配置参数: touch redis-rdb.conf 加入如下的内容 daemonize yes #后台运行redis port 6379 #指定redis的端口 logfile /data/6379/redis.log #redis日志文件 dir /data/6379/ #定义持久化文件存储位置,需要手动创建文件夹 dbfilename redis-rdb.rdb #rdb持久化文件 bind 0.0.0.0 #redis启动地址 save 10 5 #10秒内,超过5个修改类的操作,就触发持久化 手动触发 127.0.0.1:6379> save OK 4.2 AOF持久化 AOF

【DELL存储】EMC会议 超融合+存储

南楼画角 提交于 2019-12-05 17:30:01
场景:盐城工厂 IT 人数 4 个人 机房 200 台 主要以虚拟化为主 实体机 PG ORACAL MYSQL dell 产品线 提供整体方案 架构 针对整车厂 : 传统 + 超融合 1 、 介绍产品   1.1 超融合   1.2 存储   1.3 备份 终端备份 服务器备份   1.4 服务器 1.1 超融合   30-45 天 业务提出到上线 所需时间 快速上线 提升上线速度 轻量级产品 、提供一站式 打包设备 ,业务需要进行伸缩扩展 【划分虚拟机】 服务器 ----------> 展现给客户 x86 基础 1 、节点 决定 型号不同:容量虚拟化 高性能运算 ( vmware 80% 商业产品 KVM 基于 linux 平台虚拟化) DELL 支持 vmware 子公司 、 HP HP3C 企业级客户 使用 vmware 2 、软件:数据副本方式 横向存放 2-3 个副本 基于 kernal 计算 + 存储 3 、软件定义存储 : 3 个节点起 最多 64 个节点 SAN 纵向扩展磁盘 超融合核心主机 VSAN 存储( server SAN 的一种) --- 基于 VMWARE 内核 问题:百分之 20 扩充磁盘 为了加存储 还需要加服务器 还需要 license 如何解决??计算和存储较平衡适合 超融合内挂存储 将存储挂到应用上 、大数据分析等服务 硬件存储损坏 如何解决

解决方案:百科

佐手、 提交于 2019-12-05 17:16:08
ylbtech-解决方案:百科 解决方案Solution就是针对某些已经体现出的,或者可以预期的问题、不足、缺陷、需求等等,所提出的一个解决整体问题的方案( 建议书 、计划表),同时能够确保加以快速有效的执行。通常指解决问题的方法。 1. 返回顶部 1、 中文名:解决方案 外文名:Solution 要 求:明确的对象 特 性:针对性和 有效性 考 量:问题本身,需要 服务 的对象 目 的:能解决整体问题并能有效实施 目录 1 对象 2 生成 3 执行 4 客观性 5 总结 6 实例 ▪ 简介 ▪ 备份恢复 ▪ 降低成本 ▪ 数据安全 ▪ 解决方案 2、 2. 返回顶部 1、 对象 解决方案 必需有明确的对象,或者施行的范围和领域。(这些要素可能包括但不限于:不同的行业,领域,阶层,类别等等) 在某些领域,解决方案不止是针对问题本身,也必须考量到需要服务的对象,例如面向的客户的具体情况和需求。 生成 对于问题的实际分析,决定了 解决方案 的针对性和 有效性 ,如果解决方案本身有欠缺,那么可能在执行中导致更多的问题,达不到预期的效果。 解决方案的产生过程,大致可分为:确定问题对象和影响范围→ 分析问题→ 提出解决问题的办法和建议→ 成本规划和可行性分析→ 执行→ 后期跟进和交互修正→ 总结 执行 从传统的观点来说,解决方案只包含方案的生成阶段,具体的执行阶段是另外划分的。

2019-11-25随堂笔记

匆匆过客 提交于 2019-12-05 15:12:17
01.课程知识概述部分 1)服务器硬件组成部分 2)服务器存储数据方法 3)服务器硬件工作原理 4)服务器硬件性能对比 5)服务器操作系统介绍 02.课程知识回顾部分 03.服务器硬件组成详述说明 1)CPU 作用 :运算、控制 关注信息: 路数 ---服务器中CPU颗数(单路一颗,双路2颗,四路四颗) 核数 ---服务器并行处理任务能力(软件运行起来产生进程信息) 2)磁盘 作用:存储数据信息(永久) 关注信息: 容量 ----决定存储数据空间 (最小存储数据单位Byte(字节)) -----------单位换算: 系统换算方式: 1KB=1024Byte 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 厂商换算方式:1KB=1000Byte 。。。。。 1TB硬盘:实际硬盘容量多少? 1TBx1000x1000x1000x1000/1024/1024/1024 接口 -----决定数据读取效率(sata(家用),,scsi,,sas(服务器),,) 种类 -----决定数据读取效率 购买价格 机械硬盘 固态硬盘 转速 ----存储数据效率 家用环境:5.4k转 7.2k 企业环境:10k 15k 3)内存 作用:存储数据信息(临时) 缓解磁盘压力 关注信息 : 程序- --开发人员编写的代码信息 进程 ---