loadcsv

干货丨时序数据库DolphinDB数据导入教程

霸气de小男生 提交于 2020-12-11 08:30:18
企业在使用大数据分析平台时,首先需要把海量数据从多个数据源迁移到大数据平台中。 在导入数据前,我们需要理解 DolphinDB database 的基本概念和特点。 DolphinDB数据表按存储介质分为3种类型: 内存表:数据只保存在本节点内存,存取速度最快,但是节点关闭后,数据将会丢失。 本地磁盘表:数据保存在本地磁盘上,即使节点重启,也可以方便地通过脚本把数据加载到内存中。 分布式表:数据在物理上分布在不同的节点,通过DolphinDB的分布式计算引擎,逻辑上仍然可以像本地表一样做统一查询。 DolphinDB数据表按是否分区分为2种类型: 普通表 分区表 在传统的数据库中,分区是针对数据表的,即同一个数据库中的每个数据表可以有不同的分区方案;而DolphinDB的分区是针对数据库的,即一个数据库只能使用一种分区方案。如果两个表的分区方案不同,它们不能放在同一个数据库中。 DolphinDB提供了3种灵活的数据导入方法: 通过CSV文本文件导入 通过HDF5文件导入 通过ODBC导入 1.通过CSV文本文件导入 通过CSV文件进行数据中转是比较通用的数据迁移方式。DolphinDB提供了 loadText 、 ploadText 和 loadTextEx 三个函数来导入CSV文件。下面我们通过一个示例CSV文件 candle_201801.csv 来说明这3个函数的用法。 1