GeoTrellis

一、概述

GeoTrellis是一个高性能程序的地理数据处理引擎。

GeoTrellis是一个用Spark处理栅格数据的Scala库和框架。

GeoTrellis 能够非常快的读/写/操作栅格数据，他实现了很多的地图几何操作。支持渲染栅格数据为PNG格式，并且支持把栅格文件元信息保存为JSON格式，他致力于依赖网速实现栅格处理和提供大规模栅格的并行处理的REST服务接口。

二、模块及概念

三、数据输入

本地系统：GeoTiff，JPG，PNG，GeoJson(矢量)，WKT/WKB(矢量)，ShapeFile(矢量)

数据库：PostGIS(矢量)

分布式文件系统： HDFS

其他：S3

四、数据存储/输出

NoSQL数据库 : HBase / Accumulo/ Cassandra

文件系统 : GeoTiff ，PNG/JPG ，GeoJson(矢量)

分布式文件 : HDFS

其他 : GeoMesa(矢量)，GeoWave(矢量)，S3

五、数据处理

5.1 三个分类

I/O : GeoTrellis 允许像在本地硬盘上读写数据那样用GeoTrellis处理数据。

处理：GeoTrellis 支持对栅格数据的多种操作，包括切割，采样，地图几何操作，渲染，矢栅转换，核密度等。

WEB服务：GeoTrellis提供了工具集帮助创建有用的，高效的WEB服务来加载和处理栅格数据。

5.2 核心模块

1. Spark处理空间数据

RDDs表示图层，Key表示空间网格中的一个坐标
RDD栅格瓦片表示空间或者时空栅格数据
通过Spark IO API ,应用空间填充曲线索引优化存储检索(支持希尔伯特曲线，Z阶曲线)，加载/保存图层RDD数据和元数据从后端/到后端, 支持的存储包含文件系统，S3，Cassandra，Accumulo.
查询支持对图层数据的空间数据/时空数据的简单查询
栅格图层数据的Map Algebra 操作包含 geotrellis-raster 要素列表中的所有Map Algebra操作。
支持通过对邻接栅格信息对当前栅格进行重投影，避免不合理的Nodata网格。
支持通过缩放等级，应用多种重采样方法对图层数据进行金字塔构建。
支持通过多种坐标系和样式渲染栅格瓦片图层。
支持对栅格RDD图层操作：切割，过滤，连接，遮罩，合并，分区，金字塔，渲染，重采样，切割

2. 栅格数据处理

支持单波段/多波段多种栅格数据，数据类型支持Bit，Byte，Short，Int，Float，Double类型，支持常量Nodata和用户自定义Nodata。
对栅格集合支持通过Map 或者 Foreach 来访问对应的方法
合并栅格数据
支持通过颜色渐变/颜色映射渲染栅格数据为PNG/JPG 格式。
支持读取 DEFLATE，LAW，Packbites 压缩格式的栅格数据，并且提供对 LZW/DEFLATE 格式数据的水平和浮点预测。

3. 矢量数据处理

支持通过scala 对JTS 类型的支持：Point，Line，Polygon，MultiPoint，MultiLine，MultiPolygon，GeometryCollecion
支持JTS中对几何模型的支持，结果返回类型安全几何模型。
支持要素类型为复合几何和常用数据类型
支持通过GeoJSON读写几何模型和要素
支持通过WKT/WKB读写几何模型

六、ETL数据处理

1. JSON

俩种形式：Local ETL 和 GeoDocker ETL

定义文件

包含三个配置文件，input.json，output.json,backend-profile.json

input.json 描述输入数据，output.json描述输出数据，backend-profile.json 描述后端存储信息

执行

SPARK_HOME/bin/spark-submit \
   --class geotrellis.spark.etl.MultibandIngest \
   --master 'local[*]' \
   --driver-memory 16G \
   /tmp/geotrellis-spark-etl-assembly-1.0.0.jar \
   --input "file:///tmp/json/input.json" \
   --output "file:///tmp/json/output.json" \
   --backend-profiles "file:///tmp/json/backend-profiles.json"

2. PIPELINE

附录

1. GeoPySpark

GeoTrellis 可以通过Python封装为 GeoPySpark，可以集成其他Python包，如NumPy，scikit-lean,JupyterNodeboos。GeoPySpark 构建了 GeoNotebook的可视化能力。

2. GeoNoteBook

3. GeoDocker

4. 工程模板

geotrellis-sbt-template

5. GeoTrellis子模块

geotrellis-proj4: Coordinate Reference systems and reproject (Scala wrapper around Proj4j)
geotrellis-vector: Vector data types and operations (Scala wrapper around JTS)
geotrellis-raster: Raster data types and operations
geotrellis-spark: Geospatially enables Spark; save to and from HDFS
geotrellis-s3: S3 backend for geotrellis-spark
geotrellis-accumulo: Accumulo backend for geotrellis-spark
geotrellis-cassandra: Cassandra backend for geotrellis-spark
geotrellis-hbase: HBase backend for geotrellis-spark
geotrellis-spark-etl: Utilities for writing ETL (Extract-Transform-Load), or “ingest” applications for geotrellis-spark
geotrellis-geotools: Conversions to and from GeoTools Vector and Raster data
geotrellis-geomesa: Experimental GeoMesa integration
geotrellis-geowave: Experimental GeoWave integration
geotrellis-shapefile: Read shapefiles into GeoTrellis data types via GeoTools
geotrellis-slick: Read vector data out of PostGIS via LightBend Slick
geotrellis-vectortile: Experimental vector tile support, including reading and writing
geotrellis-raster-testkit: Testkit for testing geotrellis-raster types
geotrellis-vector-testkit: Testkit for testing geotrellis-vector types
geotrellis-spark-testkit: Testkit for testing geotrellis-spark code

geotrellis-proj4

基于椭球，基准面定义坐标点参照系统
通过porj4 进行坐标转换
通过EPSG 进行CRS的查询
转换(X，Y)从一个坐标系到其他

geotrellis-vector

支持对JTS 类型的支持，见 矢量数据处理 节点
支持对JTS类型数据的几何操作，见 矢量数据处理 节点
支持要素类型为组合几何模型和常用几何类型，见 矢量数据处理 节点
支持从GeoJSON读写几何模型和要素
支持从WKT/WKB读取几何模型
支持几何模型间不同坐标系转换
支持几何操作：凸包，密度，简化
支持对点数据的克吕格查询运算
支持几何模型的仿射转换

geotrellis-raster

支持单波段/复合波段栅格的读取，见 栅格数据处理 节点
支持对待瓦片想数据集一样，见 栅格数据处理 节点
支持合并栅格数据，见 栅格数据处理 节点
支持根据颜色波段或颜色表绘制PNG/JPG图片，见 栅格数据处理 节点
支持读取GeoTiff 压缩格式数据的，见 栅格数据处理 节点
支持写入 DEFLATE或者无压缩GeoTiff
支持栅格数据进行CRS重投影
支持栅格数据重采样
支持遮罩/切割栅格
支持切割栅格为小的瓦片，合并小的瓦片为大的栅格
支持获取栅格直方图，表示值的分布和创建中数中断
局部地图代数：Abs, Acos, Add, And, Asin, Atan, Atan2, Ceil, Cos, Cosh, Defined, Divide, Equal, Floor, Greater, GreaterOrEqual, InverseMask, Less, LessOrEqual, Log, Majority, Mask, Max, MaxN, Mean, Min, MinN, Minority, Multiply, Negate, Not, Or, Pow, Round, Sin, Sinh, Sqrt, Subtract, Tan, Tanh, Undefined, Unequal, Variance, Variety, Xor, If
焦点地图代数：Hillshade, Aspect, Slope, Convolve, Conway’s Game of Life, Max, Mean, Median, Mode, Min, MoransI, StandardDeviation, Sum
区域地图代数：ZonalHistogram(区域直方图), ZonalPercentage (区域百分比)
与面相交的栅格整体信息:Min, Mean, Max, Sum.
根据摩擦栅格数据和起始点集合计算路径花费
水文(Hydrology)操作: 堆积，填充，流向
几何的栅格化及单元值的迭代
栅格矢量化
计算点集的高斯克吕格插值，输出为栅格
视域处理
区域操作

geotrellis-spark

RDDs表示图层，Key表示空间网格中的一个坐标，见 Spark平台处理地理空间数据 节点
RDD栅格瓦片表示空间或者时空栅格数据，见 Spark平台处理地理空间数据 节点
通过Spark IO API ,应用空间填充曲线索引优化存储检索(支持希尔伯特曲线，Z阶曲线)，加载/保存图层RDD数据和元数据从后端/到后端, 支持的存储包含文件系统，S3，Cassandra，Accumulo.，见 Spark平台处理地理空间数据 节点
查询支持对图层数据的空间数据/时空数据的简单查询，见 Spark平台处理地理空间数据 节点
栅格图层数据的Map Algebra 操作包含 geotrellis-raster 要素列表中的所有Map Algebra操作，见 Spark平台处理地理空间数据 节点
支持通过对邻接栅格信息对当前栅格进行重投影，避免不合理的Nodata网格，见 Spark平台处理地理空间数据 节点
支持通过缩放等级，应用多种重采样方法对图层数据进行金字塔构建，见 Spark平台处理地理空间数据 节点
支持通过多种坐标系和样式渲染栅格瓦片图层，见 Spark平台处理地理空间数据 节点
支持对栅格RDD图层操作：切割，过滤，连接，遮罩，合并，分区，金字塔，渲染，重采样，切割，见 Spark平台处理地理空间数据 节点
与面相交的栅格整体信息:Min, Mean, Max, Sum，见 geotrellis-raster 节点
用特殊的Key保存RDD到HDFS或本地文件系统中的 z/x/y文件，用作Web地图中的地图图层或通过z / x / y瓦片坐标访问GeoTiff。
公共模块用于创建spark content上下文，处理GeoTrellis

geotrellis-accumulo

保存/加载图层从/到accumulo

geotrellis-cassandra

保存/加载图层从/到acassandra

geotrellis-hbase

保存/加载图层从/到hbase

geotrellis-s3

用Spark IO接口保存/加载栅格图层从/到本地文件系统或HDFS
用特殊的Key保存RDD到S3的 z/x/y 文件, 保存为PNG格式,方便在Web地图中访问地图图层

geotrellis-etl

为ETL的输入/输出解析命令行选项(提取，转换，加载)。
为ETL提供了公共的方法方便用户使用
输入栅格可为本地文件系统，HDFS，S3
对输入栅格的每个瓦片，考虑相邻的瓦片进行瓦片重投影或者无缝重投影
根据ZXY图层样式，转换输入栅格为图层
保存图层到Accumulo，S3，HDFS或本地文件系统

geotrellis-shapefile

通过GeoTools从Shape文件读取几何模型和要素到GeoTrellis

geotrellis-slick

用slick 模块保存/导入几何模型和要素到/从PostGIS
可通过scala在 PostGIS 中执行PostGIS的 ST_操作加粗样式

来源：CSDN

作者：Freedom3568

链接：https://blog.csdn.net/zhanggqianglovec/article/details/103761760

标签

栅格数据

栅格系统

矢量

GeoTrellis 详细介绍