Redash

干货丨如何用Redash连接DolphinDB数据源

梦想与她 提交于 2021-01-21 10:03:58
Redash是一款开源的BI工具,提供了基于Web的数据库查询和可视化功能。DolphinDB支持通过https协议的POST和GET接口获取数据,可以使用Redash中的JSON和URL两种数据源来连接DolphinDB database。 1. 使用JSON数据源连接DolphinDB Redash目前只有在线版本(SAAS)中支持JSON,因此使用在线版本的用户可以选择这种连接方式。这种方式需要DolphinDB能够外网访问。要使用Redash版本,需要在 Redash官网 注册并登录。 登录后,在首页创建数据源,按照下面步骤进行配置: (1)建立新的数据源 (2)选择JSON数据源 (3)在Name中配置数据源名称,并保存 (4)点击Create按钮,创建一个Query JSON数据源需要使用yaml格式编辑。 query中需要包含三种基本的元素:url, method和json。 url:接受数据的地址,即DolphinDB数据节点,如 http:// host :port method:http提交方式,JSON接口必须使用POST方式 json:提交的JSON数据,DolphinDB接口需要提供固定的key值client和queries,如:{client:"redash","queries":"[sql query]"},用户可以使用任意的sql语句来替换[sql

玩物得志:效率为王!如何构建大数据平台?

空扰寡人 提交于 2020-12-03 11:34:30
2018 年底,玩物得志从 0 开始,搭建技术团队,技术架构快速经历了服务化、平台化等转变。 为了支撑业务的快速发展,玩物得志极少自己造轮子,会大量采用云平台提供的 SaaS、PaaS 服务。比如大数据体系是在阿里云 DataWorks + MaxCompute 框架体系上建设起来。使用了其核心存储、计算等组件,上层的可视化以及业务查询部分,在使用过程中也会有大量的定制化需求,玩物得志在开源方案的基础上进行了一些二次开发。 之所以直接选择云产品搭建研发系统 ,张淼认为对于快速迭代的初创型企业来说,一切效率为王。 如果选择自己去搭建整个链路和基础设施,很难有现在这么快的发展速度。 早期,玩物的数据量比较小,所有业务数据都放在一个大的数据DB 的实例里,所以当时读库或者用订阅binlog方式打造一个分析库,就可以完成日常报表输出工作。跑SQL就足够了,这是数据体量小的时候通用的一个方案。当时没有大数据的概念,都是在Mysql上跑sql脚本,出数据报表,定期给到运营,这就是玩物得志早期的基本的架构。 从玩物得志APP 正式运转起来大概四五个月的时间,电商业务发展很快。2019年,每个月都是指数性增长,然后就发现Mysql查数据查不动了。我们就开始探索新的解决方案来帮助我们实现大数据平台的建设。之前我们更多是业务数据,比较简单,放在DB 里。在我们接入了埋点后,就要去拿日志

深入浅出FE(十一)报表系统调研2020.6.7

故事扮演 提交于 2020-08-08 05:22:28
报表系统开发初探 2020.6.7 总体思路 1、自研 使用web端可拖拽特性直接生成线上报表,优点是自定义样式,缺点是维护和开发工作量较大。 2、开源系统二次开发 (1)基于BIRT报表或者iReport + JasperReports组合开发。优点是开发和操作较简单,缺点是不支持复杂报表和权限控制,维护性较差。 (2)基于Airbnb 的 Superset,Redash,Metabase等框架做二次开发。优点是界面设计友好,缺点是扩展性较差。 3、付费 如帆软和思迈特报表系统,优点是支持丰富的业务场景复杂报表,维护和开发成本较低。 一、自研 二、开源系统二次开发 (一)java报表工具 1、 BIRT报表 BIRT是一个Eclipse-based开源报表系统。 优点: (1)开发和操作简单。 (2)能够很方便的将很多数据混合在一个表格中。 缺点: (1)BIRT没有权限方面的辅助功能,需要自己写实现语句实现权限控制。 (2)BIRT的报表设计界面是传统的条带式界面,在设计报表样式,需要的行和列需要画出;对表头比较复杂的中国式报表来说,各种行列对齐也比较复杂; (3)不支持excel的行列无限扩展,表现之一是不支持XLS,这对习惯了excel的用户不友好。 (4)没有表单功能,不能对数据做筛选。 (5)没有移动端平台支持。 2、 iReport +

Spark 背后的商业公司收购的 Redash 是个啥?

人走茶凉 提交于 2020-07-28 12:29:03
在2020年6月24日的 Spark AI summit Keynote 上,数砖的首席执行官 Ali Ghodsi 宣布其收购了 Redash 开源产品 的背后公司 Redash! 如果想及时了解 Spark 、Hadoop或者HBase相关的文章,欢迎关注微信公众号: iteblog_hadoop 通过这次收购,Redash 加入了 Apache Spark、Delta Lake 和 MLflow,创建了一个更大、更繁荣的开源系统,为数据团队提供了同类中最好的工具。为什么数砖会收购 Redash 公司? Redash 是什么? Redash 是一个可以协作的可视化和仪表盘平台,旨在让任何人,无论其技术水平如何,都可以在团队内部或跨团队共享见解。 一直使用 SQL 的用户可以利用Redash 来探索、查询、可视化和共享来自任何数据源的数据。世界各地每天有数千个组织的数百万用户使用 Redash 来做出数据驱动的决策。 Redash 主要包含以下特点: Query editor: 使用模式浏览器和代码提示来快速编写 SQL 和 NoSQL 查询。 可视化和仪表盘: 使用拖放创建漂亮的可视化界面,并将它们合并到单个仪表板中。 分享: 通过共享可视化仪表盘及其关联的查询,可以轻松实现协作,并支持对报告和查询的同行审查。 进度刷新: 在用户定义的间隔内自动更新图表和仪表板。 报警:

expand a JSON data into new columns in a generic fashion in Redshift

纵饮孤独 提交于 2019-12-25 05:20:26
问题 I have a DB table like SomeSchema ID Params 1234 {'normalized_CR': 1.111434628975265, 'Rating': 0.0, Rank': 1410} 1235 {'normalized_CR': 1.123142131, 'Rating': 1.0, Rank': 210} How can I expand this data into individual columns by same name in Redshift? I am googling online, but get results mostly for json_extract_path which can get only one key. 回答1: After much googling, turns out that there is no simple way to do this as of now, and the brute force way is the way ahead. Also, the data above