Apache JDO

下载与安装 hive必须依赖hadoop，所以先安装hadoop，可以参考 hadoop安装 注意hive一般2.x.x就对应hadoop的2.y.y版本，3.x.x就需要hadoop的3.y.y版本。 hive下载 hive download Hive下载 hive wiki 高版本的hive中没有在windows下的运行的脚本，可以在 hive windows运行脚本 下载，覆盖对应的bin目录就可以了。 解压： HIVE_HOME目录 hive配置文件目录 Hive依赖Hadoop，记得配置HADOOP_HOME，因为启动基本中会使用到，也可以直接配置到hive-env.sh文件中，但是windows下不会使用这个配置文件，具体的可以看一下运行时候脚本。 特别注意，如果遇到类似下面的错误： java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.<init>(Lcom/lmax/disruptor/EventFactory;ILjava/util/concurrent/ThreadFactory;Lcom/lmax/disruptor/dsl/ProducerType;Lcom/lmax/disruptor/WaitStrategy;)V 把%HADOOP_HOME%\share\hadoop\yarn

上一篇文章介绍了hive的原理以及实现机。本篇博客开始，博主将分享数据仓库hive工具搭建全过程。 一、安装Hive (1)、下载Hive和环境准备： Hive官网地址： http://hive.apache.org/index.html Hive下载地址： http://www.apache.org/dyn/closer.cgi/hive/ 注意： 在安装Hive之前，需要保证你的Hadoop集群已经正常启动，Hive只需在Hadoop集群的NameNode节点上安装即可，无需在DataNode节点上安装。 本文安装的是 apache-hive-2.3.4-bin.tar.gz 其下载地址为： http://mirrors.shu.edu.cn/apache/hive/hive-2.3.4/ (2)、执行安装 #上传 Alt+p; cd ~ put apache-hive-2.3.4-bin.tar.gz # 将下载好的hive压缩包解压到用户根目录 tar zxvf apache-hive-2.3.4-bin.tar.gz (3)、配置hive #a.配置环境变量，编辑/etc/profile #set hive env export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.4-bin export PATH=${HIVE

什么是JPA JPA(Java Persistence API) 是Sun官方提出的Java持久化规范。 它为Java开发人员提供了一种对象/关联映射工具来管理Java应用中的关系数据。他的出现主要是为了简化现有的持久化开发工作和整合ORM技术，结束现在Hibernate，TopLink，JDO等ORM框架各自为营的局面。值得注意的是，JPA是在充分吸收了现有Hibernate，TopLink，JDO等ORM框架的基础上发展而来的，具有易于使用，伸缩性强等优点。从目前的开发社区的反应上看，JPA受到了极大的支持和赞扬，其中就包括了Spring与EJB3.0的开发团队。着眼未来几年的技术走向，JPA作为ORM领域标准化整合者的目标应该不难实现。 JPA的总体思想和现有Hibernate,TopLink,JDO等ORM框架大体一致。总的来说， JPA 包括以下3方面的技术： • ORM 映射元数据 JPA支持XML和JDK5.0注释(也可译作注解)两种元数据的形式，元数据描述对象和表之间的映射关系，框架据此将实体对象持久化到数据库表中。 • Java 持久化API 用来操作实体对象，执行CRUD操作，框架在后台替我们完成所有的事情，开发者可以从繁琐的JDBC和SQL代码中解脱出来。 • 查询语言（JPQL） 这是持久化操作中很重要的一个方面，通过面向对象而非面向数据库的查询语言查询数据

一、简介 Hive是一个SQL解析引擎，他可以将sql转化为 TEZ、mapreduce、spark 等计算框架并且提交到yarn等资源调度平台上进行计算。它借助于MySQL数据库对hdfs上的文件进行表的映射，从而知道表的文件格式、分区字段、字段类型等等信息。 切换引擎的方式 set hive.execution.engine=tez set hive.execution.engine=mr 二、主要用途 用来做离线数据分析，比直接用mapreduce开发效率更高，因为只需要写SQL语句，自定翻译成MapReduce。 三、原理 1、Hive中有一个引擎，用于解析SQL语句并且翻译成MapReduce程序。而sql语句可以来源于：web、cli、jdbc/odbc等。hive的元数据存储在一个数据库中（mysql、oracle等）其实就是一些映射关系，比如需要分析的数据在hdfs的哪里，按什么分段，有哪些字段等等。真正的分析数据在HDFS上。 2、使用的必要条件：用户必须指定：读取文件的方式（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）、行分隔符、列分隔符。 四、安装 HIVE是一个hdfs的数据仓库工具，不是分布式的，直接解压就能够使用。 1、解压hive 2、解决一下版本不兼容问题：替换 /root/apps/hadoop