rmdb

简介 DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心。DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式的水渠，通过它Spark能取悦大数据生态链上的所有玩家，无论是善用R的数据科学家，惯用SQL的商业分析师，还是在意效率和实时性的统计工程师。 例子说明 提供了将结构化数据为DataFrame并注册为表，使用SQL查询的例子 提供了从RMDB中读取数据为DataFrame的例子 提供了将数据写入到RMDB中的例子 代码样例 import scala.collection.mutable.ArrayBuffer import scala.io.Source import java.io.PrintWriter import util.control.Breaks._ import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext import java.sql.DriverManager import java.sql.PreparedStatement import java.sql.Connection import org

一、MySQL的Hadoop Applier 实现原理是： 把hadoop作为MYSQL 的slave，实时把数据同步到hadoop,支持apache hadoop 通过分析MYSQL的binlog日志,在hdfs产生一个目录（同表名），所有的表记录都存储在一个文件中，用户的操作如插入，更新，删除都会产生一笔记录追加到文件末尾. 但如何利用hdfs上的这个数据，需要用户自己定义逻辑，把表中的数据插入到hbase表 详见： http://dev.mysql.com/tech-resources/articles/mysql-hadoop-applier.html 二、GoldenGate的HDFS Adapter Oracle GoldGate's 也有类似的工具，通过分析Trails File把数据实时同步到hadoop ORACLE官方网站提供了Hdfs Adapter，但不提供服务支持 详见： https://blogs.oracle.com/dataintegration/entry/streaming_relational_transactions_to_hadoop 来源： oschina 链接： https://my.oschina.net/u/1410765/blog/210315