散列算法

hash 译：散列、杂凑，作用：把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值，这种转换是压缩映射。 hash特性 1、不可逆。不能通过结果推算出输入，所以又被称为不可逆的算法，也可以作为加密算法存在 2、计算极快。 hash的用途 1、 来源： https://www.cnblogs.com/nanjo4373977/p/11929366.html

哈希表结构讲解： 哈希表（Hash table，也叫散列表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。 记录的存储位置 = function(关键字) 这里的对应关系function称为散列函数，又称为哈希（Hash函数），采用散列技术将记录存储在一块连续的存储空间中，这块连续存储空间称为散列表或哈希表（Hash table）。 哈希表hashtable(key，value) 就是把Key通过一个固定的算法函数function既所谓的哈希函数转换成一个整型数字，然后就将该数字对数组长度进行 取余 ，取余结果就当作数组的 下标 ，将value存储在以该数字为下标的数组空间里。（或者：把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出 ，而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。） 而当使用哈希表进行 查询的时候，就是再次使用哈希函数将key转换为对应的数组下标【仍通过映射哈希函数function】

热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读，写或者其他操作）。大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求，造成资源浪费。设计良好的数据访问模式以使集群被充分，均衡的利用。  数据倾斜：Hbase可以被划分为多个Region，但是默认创建时只有一个Region分布在集群的一个节点上，数据一开始时都集中在这个Region，也就是集中在这一个节点上，就算region存储达到临界值时被划分，数据也是存储在少数节点上。这就是数据倾斜 随机散列与预分区二者结合起来，是比较完美的 。预分区一开始就预建好了一部分region，这些region都维护着自己的start-end keys，在配合上随机散列，写数据能均衡的命中这些预建的region，就能解决上面的那些缺点，大大提供性能。 1. 预分区 1.1 HBase的预分区概述 默认分区： HBase表被创建时，只有1个Region，当一个Region过大达到默认的阀值时（默认10GB大小），HBase中该Region将会进行split，分裂为2个Region，以此类推。 缺点： 表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的性能有巨大的影响

项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11867214.html 作业学习目标 (1) 掌握Vetor、Stack、Hashtable三个类的用途及常用API； (2) 掌握ArrayList、LinkList两个类的用途及常用API； (3) 了解java集合框架体系组成； (4) 掌握Java GUI中框架创建及属性设置中常用类的API； (5) 了解Java GUI中2D图形绘制常用类的API； 随笔博文正文内容包括： 第一部分：总结第九章、第十章理论知识（40分） 第九章 集合 9.1.1将集合的接口与实现分离 1.集合框架实现了对基本数据结构的封装。集合是一种包含多个元素，并提供对所包含元素，操作方法的类，其包含的元素可以由同一类型的，对象组成，也可以由不同类型的对象组成。 2.集合类的使用： Java的集合类包含在java.util包中。import java.util.*; 3.队列(queue)接口：“先进先出”。 4.队列通常有两种实现方式: 使用循环数组；循环数组比链表更高效。循环数组是一个有界集合，即容量有限。如果程序 中要收集的对象数量没有上限，就最好使用链表来实现。 使用链表 9.1.2

一、HashMap分析 　　在JDK1.8之前，hashMap由数组+链表组成，1.8之后，对hashMap进行了一些修改，最大的不同就是利用了红黑树，所以其由数组+链表+红黑树组成。查找时，根据hash值我们能够快速定位到数组的具体下标，但是之后的话，需要顺着链表一个个比较下去才能找到我们需要的，时间复杂度取决于链表的长度为O(n)，为了降低这部分的开销，在Java8中，当链表中的元素达到了8个时，会将链表转换为红黑树，在这些位置进行查找时可以降低时间复杂度为O(logn)。 1.put过程：（JDK1.8） 　　　第一次put值时，会触发resize()，类似Java7的第一次put也是要初始化数组长度的。 　　　第一次resize和后续的扩容有些不一样，因为这次是数组从null初始化到默认的16或自定义的初始容量，找到具体的数据下标，如果此位置没有值，那么直接初始化一下Node并放置在这个位置就可以了。如果数组改为只有数据：首先，判断该位置的第一个数据和我们要插入的数据，key是不是“相等”，如果是，取出这个节点，如果该节点是代表红黑树的节点，调用红黑树的插值方法，插入到链表的最后面（Java7是插入到链表的最前面），当treeify_threshold为8时，如果新插入的值是链表中的第8个，会触发下面的treeifyBin，也就是将链表转换为红黑树；如果在该链表中找到了

此文从以下几个方面来整理关于分区表的概念及操作: 1.表空间及分区表的概念 2.表分区的具体作用 3.表分区的优缺点 4.表分区的几种类型及操作方法 5.对表分区的维护性操作. (1.) 表空间及分区表的概念 表空间： 是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。 分区表： 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 ( 2).表分区的具体作用 Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML

转载自 一、分区表基础知识 (1) 表空间及分区表的概念 表空间： 　　是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 (2)表分区的具体作用 Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML 命令访问分区后的表时，无需任何修改。 什么时候使用分区表： 1、表的大小超过2GB。 2、表中包含历史数据，新的数据被增加都新的分区中。 1、改善查询性能

哈希函数很强大，最近算法课老师讲了哈希函数的一系列应用。这里总结一下。 一、哈希表 哈希表(Hash Table)也叫散列表，是根据关键码值（Key Value）而直接进行访问的数据结构。它通过把关键码值映射到哈希表中的一个位置来访问记录，以加快查找的速度。这个映射函数就做散列函数，存放记录的数组叫做散列表。 以数据中每个元素的关键字K为自变量，通过散列函数H（k）计算出函数值，以该函数值作为一块连续存储空间的的单元地址，将该元素存储到函数值对应的单元中。 哈希表存储的是键值对，其查找的时间复杂度与元素数量多少无关，哈希表在查找元素时是通过计算哈希码值来定位元素的位置从而直接访问元素的，因此，哈希表查找的时间复杂度为O（1）， 最坏的情况下查找一个元素的时间与在链表中查找一个元素的时间相同。最坏的情况下都是O(N)。有一个常用的概念定义为load factor(装载因子)算法导论中给的定义为：给定一个能存放n个元素的，具有m个槽位的散列表T。定义T的装载装载因子a为n/m，即一个链中平均存储的元素。 一个好的散列函数应满足简单一致散列的假设。每个关键字都等可能的散列到m个槽位的任何一个之中去，并与其它的关键字已被散列到哪一个槽位中无关。 二、散列函数 1.除法散列法 在用来设计散列函数的除法散列法之中，通过取k除以m的余数，来将关键字k映射到m个槽中去，定义散列函数为 h(k)=k

2.2.1 shiro-first.ini 3.3.1 shiro-permission.ini 3.4.2 shiro-realm.ini shiro是apache的一个开源框架，是一个权限管理的框架，实现用户认证、用户授权。 spring中有spring security ,是一个权限框架，它和spring依赖过于紧密，没有shiro使用简单。 shiro不依赖于spring,shiro不仅可以实现web应用的权限管理，还可以实现c/s系统，分布式系统权限管理，shiro属于轻量框架，越来越多企业项目开始使用shiro. 使用shiro实现系统的权限管理，有效提高开发效率，从而降低开发成本。 - subject:主体，可以是用户也可以是程序，主体要访问系统，系统需要对主体进行认证、授权。 - securityManager: 安全管理器，主体进行认证和授权都是通过securityManager进行。 - authenticator: 认证器，主体进行认证最终通过authenticator进行的。 - authorizer: 授权器，主体进行授权最终通过authenticator进行的。 - sessionManager: web应用中一般是用web容器对session进行管理，shiro也提供一套session管理的方式。 - sessionDao:

1.原理简介 哈希查找是通过计算数据元素的存储地址进行查找的一种方法。⑴用给定的哈希函数构造哈希表；⑵根据选择的冲突处理方法解决地址冲突；⑶在哈希表的基础上执行哈希查找。构造哈希函数：直接定址法、数字分析法、平方取中法、折叠法、除留余数法、随机数法。冲突解决：开放定址法、链地址法。 2.代码实现 #define MaxSize 100 //定义最大哈希表长度 #define NULLKEY -1 //定义空关键字值 #define DELKEY -2 //定义被删关键字值 typedef int KeyType; //关键字类型 typedef char InfoType; //其他数据类型 typedef struct { KeyType key; //关键字域 InfoType data; //其他数据域 int count; //探查次数域 }HashTable[MaxSize]; //哈希表类型 void InsertHT(HashTable ha, int &n, KeyType k, int p) //将关键字k插入到哈希表中 { int i, adr; adr = k%p; if (ha[adr].key == NULLKEY || ha[adr].key == DELKEY) { //x[j]可以直接放在哈希表中 ha[adr].key = k; ha[adr]