数据导入

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> GIScript2016-数据导入教程 ** GIScript2016是支持Python3的地理空间数据处理和分析工具包，支持Jupyter和Spark。** GIScript2016支持Spark，可以运行在单机以及大规模集群之上。这里基于Docker的Jupyter Notebook进行空间数据导入，稍加修改后即可直接用于大量空间数据的批量处理。内容包括： 创建UDB数据源。 导入Shape矢量格式。 导入Tif影像格式。 导入CSV和JSON格式。 引用GIScript的支持库 # coding: utf-8 import sys from GIScript import GISCore, Data, Conversion # help(GISCore) ''' ! \brief 文件路径定义 ''' strTiffPath = "Raster/astronaut(CMYK)_32.tif" strShapePath = "Vector/countries.shp" strCSVPath = "Vector/Hospital.csv" strGJBPath = "Vector/KN0839" strJsonPath = "Vector/Polygon.json" strUDB = "DB

1. 编写配置文件 1）编写 data-config-comment.xml，此文件用于描述如何查询MySQL数据，如何将数据变换导入索引。 假设有一个数据库叫mooc，其中有个表叫comment，代表学生的评论 其中： entity对应MySQL数据库表中的一行 query对应全库导入的SQL查询 queryImportQuery 对应增量导入的SQL查询 deltaQuery对应增量导入获取最新修改的行ID，这些ID用于 queryImportQuery，SQL的含义中 DATE(updatetime) >= '${dih.last_index_time}' OR DATE(writetime) >= '${dih.last_index_time} 表示comment的更新时间updatetime，或者comment的写入时间writetime比上一次的导入时间$(dih.last_index_time)还大。 <dataConfig> <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/mooc" user="root" password="root"/> <document> <entity name="comment" query=