不使用Sqoop流程，利用CacheManager直接完成SparkSQL数据流直接回写Oracle
以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库：sqoop抽取语句： sqoop export --connect "jdbc:oracle:thin:@ip:port:sid" --username 用户名 --password 密码 --table sid.表名 --export-dir hdfs://nameservice1/user/XXX(hdfs地址) --fields-terminated-by "\001" --null-non-string '' --null-string '' -m 10; 由于项目需求我们现在要完成在代码中省城所需字段之后，直接回写到oracle中，因为数据量每天都很大，用实例或者List存有很大的局限性，可能会出现内存异常等不可预料的东西，所以我通过缓存器机制来存储数据，然后进行生成结果的临时表直接回写（后面做的hbase接口封装批量提交也比较类似） 废话不多说直接上代码： 1、建立缓存实体 package usi.java.oracle; /** @author HK @date 2011-2-15 下午06:45:57 */ public class Cache { private String key; private Object value; private long timeOut;