存储服务器

爬虫学习 06.Python网络爬虫之requests模块（2） 今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 了解cookie和session - 无状态的http协议 - 如上图所示，HTTP协议 是无状态的协议，用户浏览服务器上的内容，只需要发送页面请求，服务器返回内容。对于服务器来说，并不关心，也并不知道是哪个用户的请求。对于一般浏览性的网页来说，没有任何问题。 　　- 但是，现在很多的网站，是需要用户登录的。以淘宝为例：比如说某个用户想购买一个产品，当点击 “ 购买按钮 ” 时，由于HTTP协议 是无状态的，那对于淘宝来说，就不知道是哪个用户操作的。 　　- 为了实现这种用户标记，服务器就采用了cookie这种机制来识别具体是哪一个用户的访问。 了解Cookie - 如图，为了实现用户标记，在Http无状态请求的基础之上，我们需要在请求中携带一些用户信息（比如用户名之类，这些信息是服务器发送到本地浏览器的，但是服务器并不存储这些信息），这就是cookie机制。 - 需要注意的是：cookie信息是保存在本地浏览器里面的，服务器上并不存储相关的信息。 在发送请求时，cookie的这些内容是放在 Http协议中的header

一、Oracle体系结构 数据库的体系结构是指数据库的组成、工作过程、以及数据库中数据的组织与管理机制，要了解Oracle数据库的体系结构，必须理解Oracle系统的主要组件和重要概念。 1、Oracle体系结构概述 Oracle体系结构包含一系列组件，如下图所示，图中显示了Oracle体系结构中的主要组件，包括实例、用户进程、服务器进程、数据文件及其他文件，如参数文件、口令文件和归档日志文件等。从图中可以看出，实例和数据库是Oracle数据库体系结构的核心组成部分，也是最重要的两个概念；DBA一个很重要的工作就是维护实例和数据库本身的正常工作。 1）实例 Oracle实例是后台进程和内存结构的集合，必须启动实例才能访问数据库中的数据。Oracle实例启动时，将分配一个系统全局区（SGA）并启动一系列Oracle后台进程。Oracle实例有两种类型：单进程实例和多进程实例，单进程Oracle实例使用一个进程执行Oracle的全部操作，在单进程环境下的Oracle实例仅允许一个用户可存取；多进程Oracle实例（又称多用户Oracle）使用多个进程来执行Oracle的不同部分，对于每个连接的用户都有一个进程。 2）数据库 数据库是数据的集合，物理上指存储数据库信息的一组操作系统文件，每个数据库有一个逻辑结构和物理结构。物理结构是指构成数据库的一组操作系统文件，主要由三种类型文件组成

一、学习内容提炼 第17章 使用iSCSI服务部署网络存储 17.1 iSCSI技术介绍 为了进一步提升硬盘存储设备的读写速度和性能，人们一直在努力改进物理硬盘设备的接口协议。当前的硬盘接口类型主要有IDE、SCSI和SATA这3种。 IDE是一种成熟稳定、价格便宜的并行传输接口。 SATA是一种传输速度更快、数据校验更完整的串行传输接口。 SCSI是一种用于计算机和硬盘、光驱等设备之间系统级接口的通用标准，具有系统资源占用率低、转速高、传输速度快等优点。 不论使用什么类型的硬盘接口，硬盘上的数据总是要通过计算机主板上的总线与CPU、内存设备进行数据交换，这种物理环境上的限制给硬盘资源的共享带来了各种不便。后来，IBM公司开始动手研发基于TCP/IP协议和SCSI接口协议的新型存储技术，这也就是我们目前能看到的互联网小型计算机系统接口（iSCSI，Internet Small Computer System Interface）。这是一种将SCSI接口与以太网技术相结合的新型存储技术，可以用来在网络中传输SCSI接口的命令和数据。这样，不仅克服了传统SCSI接口设备的物理局限性，实现了跨区域的存储资源共享，还可以在不停机的状态下扩展存储容量。 下面将讲解一下iSCSI技术在生产环境中的优势和劣势。首先，iSCSI存储技术非常便捷，在访问存储资源的形式上发生了很大变化

课程网址：https://www.coursera.org/learn/internet-history 学习笔记： Week 1: History - Dawn of Early Computing (1940 - 1960) War Time Computing and Conmmunication — High Stakes Research in Computing, and Communication 二战刺激了政府对各种科技的研究投入，由此促进了计算机技术的发展，其中就包括电子计算机的诞生。 为了解密德国的无线电情报，英国布莱切利园（ Bletchley Park ）内以艾伦·图灵（ Alan Turing ）为代表的跨学科（ cross-disciplinary ）团队为电子通信和计算（ electronic communication and computation ）技术打下了基础。 — Alan Turing and Bletchley Park 在二战期间，布莱切利园是英国政府进行密码解读的主要场所，各行各业的上万名人员在此处工作，轴心国的密码与密码文件，都会送到那里进行解码。布莱切利园是最早的跨学科合作部门。 Bombe 是一台英国机械计算机，致敬波兰密码破译机 Bomba ，对破译德国 Enigma 密码机起到了重要作用，一个 Bombe 可以模拟36个

前言 随着Web应用程序出现以来，人们对与能够直接在客户端上存储信息能力的要求始终没有停止过。应用开发人员在找各种方式将数据存储在客户端上。从刚开始的Cookie存储方案，到现在的Web Storage和indexedDB，本文将主要介绍这三种浏览器存储方式优缺点。 Cookie 1、Cookie是什么？ HTTP Cookie ，通常直接叫做 cookie ，起初是在客户端用于存储会话信息的。该标准要求服务器对 任意 HTTP 请求发送 Set-Cookie 而 HTTP 头作为响应的一部分，其中包含会话信息。例如，这种服务器响 应的头可能如下： HTTP/1.1 200 OK Content-type: text/html Set-Cookie: name=value Other-header: other-header-value 这个 HTTP 响应设置以 name 为名称、以 value 为值的一个 cookie ，名称和值在传送时都必须是 URL 编码的。浏览器会存储这样的会话信息，并在这之后，通过为每个请求添加 Cookie , HTTP 头将信 息发送回服务器，如下所示： GET /index.html HTTP/1.1 Cookie: name=value Other-header: other-header-value

Redis Cluster 集群中涉及到了数据分布问题，因为 redis cluster 是多 master 的结构，每个 master 都是可以提供存储服务的，这就会涉及到数据分布的问题，在新的 redis 版本中采用的是虚拟槽分区技术来解决数据分布的问题，关于什么是虚拟槽分区技术我们后面会详细的介绍。在集群中除了虚拟槽分区技术之外，还有几种数据分布的算法，比如哈希算法，一致性哈希算法，这篇文章我们就来一起聊一聊这几种数据分布算法。 因为是集群，所以我们需要一个大前提，在这篇文章中假设 redis cluster 集群中有三台 master，我们需要存储的数据集为： [{id:1,"name":"1"},{id:2,name:"2"},{id:3,name:"3"},{id:4,name:"4"},{id:5:"name":"5"},{id:6,"name":"6"}] ，在这个大前提下，我们来聊一聊集群中的数据分布算法。 哈希算法 哈希算法在分布式架构中应用广泛，不仅仅是数据存储，还有负载均衡等应用上有用的比较多，哈希算法的思想非常简单，也许你知道 HashMap 的哈希函数，哈希算法跟 HashMap 一样，也是通过一个哈希函数得到某一个数字，然后根据数字找到相应的服务器。哈希算法的哈希函数比较简单，一般是根据某个key的值或者key 的哈希值与当前可用的

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸( 这种架构除了性能问题而外，还存在单点故障，一旦这个NFS服务器发生故障，所有靠共享提供数据的应用就不再可用，尽管用rsync方式同步数据到另外一个服务器上做nfs服务的备份，但这对提高整个系统的性能毫无帮助。基于这样一种需求，我们需要对nfs服务器进行优化或采取别的解决方案，然而优化并不能对应对日益增多的客户端的性能要求，因此唯一的选择只能是采取别的解决方案了；通过调研，分布式文件系统是一个比较合适的选择。采用分布式文件系统后，服务器之间的数据访问不再是一对多的关系（1个NFS服务器，多个NFS客户端），而是多对多的关系，这样一来，性能大幅提升毫无问题。 到目前为止，有数十种以上的分布式文件系统解决方案可供选择，如lustre,hadoop,Pnfs等等。我尝试了PVFS,hadoop,moosefs这三种应用，参看了lustre、KFS等诸多技术实施方法，最后我选择了moosefs（以下简称MFS）这种分布式文件系统来作为我的共享存储服务器。为什么要选它呢？我来说说我的一些看法： 1、 实施起来简单。MFS的安装、部署、配置相对于其他几种工具来说，要简单和容易得多。看看lustre 700多页的pdf文档，让人头昏吧。 2、

目录 序 第一章：Cookie 1.1-Cookie概述 1.2-Java操作Cookie 1.3-Cookie的原理 1.4-Cookie的特点 1.5-Cookie的应用场景 1.6-Cookie的缺点 1.7-案例 第二章：Session 2.1-Session概述 2.2-Java操作Session 2.3-Session原理 2.4-Session何时销毁 2.5-Session的特点 2.6-Session和Cookie的区别 2.7-Session的应用场景 2.8-Session的缺点 2.9-案例 序 ​ 众所周知，Http协议是无状态的，也就意味着，针对浏览器与服务器之间的请求和响应（也叫会话），当两者之间的会话结束时，服务器端并不会记忆客户端（浏览器）曾经访问过。 ​ 但是，在实际应用程序开发中，有些业务需要浏览器和服务器之间能够保持会话。比如常见的登录业务，在同一个浏览器下，当用户第一次登录成功并进入首页时，下次再使用同一个浏览器访问首页时，则不需要再登录。而要实现下次访问不再登录时，需要让服务端能够识别曾经访问过它的浏览器，这就需要会话跟踪技术来实现。分别是 cookie 和 session 。 第一章：Cookie 1.1-Cookie概述 Cookie，有时也用其复数形式 Cookies 。类型为“ 小型文本文件 ”，是某些网站为了辨别用户身份，进行

数据库存储引擎 数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据 。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。 因为在关系数据库中数据的存储是以表的形式存储的，所以 存储引擎也可以称为表类型(Table Type，即存储和操作此表的类型)。 如创建一个InnoDB类型的表： CREATE TABLE `brand` ( `id` int(11) NOT NULL AUTO_INCREMENT, `brand_name` varchar(64) NOT NULL, `brand_logo` varchar(255) NOT NULL, `description` varchar(255) NOT NULL, `parent_id` int(11) NOT NULL, `layer` int(11) NOT NULL DEFAULT '0', `enabled` int(11) NOT NULL DEFAULT '0', `path` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `brand_name` (`brand_name`) )

FasterDFS基础配置安装 基本概述 ​ FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 ​ FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 基本结构图 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。 基本实验部署 1、实验准备 名称 角色 IP地址 centos7-1 tracker 192.168.45.135 centos7-2 storage+nginx 192.168.45.132 实验软件包提取码 链接： https://pan.baidu.com/s/1