superset

Ambari 2.7.3.0安装新组件和之前版本略有不同，本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加，就需要安装新的组件。 首先我们登录到Ambari中。 然后选择左下角 Stack and Versions 在这个页面可以看到我们安装过的服务，我们选择superset Add Service添加服务 这里会显示之前安装的服务，之前安装的是修改不了的，我们选择next进行下一步 这里选择安装在哪台机器，可以根据机器的具体情况进行分配 这一步也是不用修改的： 设置一些属性，主要是密码，密码是必须设置的，设置完才能通过，其他的一些设置可以稍后修改 选择部署，开始进行安装部署 耐心等待安装： 可以点进去查看日志，分为正常的log和错误log，如果报错注意查看错误原因 等待安装成功，如果失败查看log进行解决 完成，提示重启组件 可以看到已经安装并启动成功了，可以进入查看 更多实时计算,Flink,Kafka等相关技术博文，欢迎关注实时流式计算 本文分享自微信公众号 - 实时流式计算（RealtimeBigdata）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina

Superset 0.37，增加可视化插件，行级权限控制 使用Superset已经有一段时间，其良好的体验与丰富的图表功能节省了大量的时间。但是对于权限，自定义图表，图表下载，报警邮件一直没有很好的支持，大部分公司对于这些功能的实现还是需要大量的二次开发，费时费力。 近日Superset 0.37 正式发布，令人惊喜的是，新功能几乎都是大家期待已久的，而对于Superset的未来也更加的期待了。 下面简单介绍本次的一些主要的更新~ 距离Superset 0.36 的发布已经过了四个多月的时间，但superset的活跃程度一点没有减弱，GitHub的Star已经突破了30k，Superset已经成为数据可视化平台的不二选择。 可视化插件 0.37对Superset可视化代码进行了重构，开发人员现在可以引用图表API来构建自己的可视化插件，无需再去二次开发代码。 除了对现有图表类型（如数据透视表，饼图和过滤器框）进行的其他小改进和错误修复之外，此新体系结构还 使用户能够对数据进行更多处理 。 现在，可以使用任何可用的基于JavaScript的数据可视化库在Superset上创建自定义可视化插件，例如ECharts，AntV，HighCharts，VX，D3。 行级权限控制 构建新的可视化插件显然是很酷，但是对于要成为企业级的任何数据可视化应用程序，它在安全性上都必须坚如磐石。此次的0

在centos7下安装superset 主要参考资料：https://www.jianshu.com/p/fc24955e295d 感谢博主。 在安装过程中出现以下问题： 1.在创建用户时提示出错，缺少contextlib插件。直接安装通过 2.在superset db update时出错，提示 importerror: cannot import name encryptedtype 从网页https://github.com/apache/incubator-superset/issues/4953 查询资料发现要求 SQLAlchemy-Utils <0.33，使用pip show SQLAlchemy-Utils发现版本为0.33.2 使用pip install SQLAlchemy-Utils == 0.32.0 安装后，通过。 3.在安装完成后，mapbox报错：An error occurred while rendering the visualization: Error: An API access token is required to use Mapbox GL.。查询发现需在superset的config.py中添加mapbox_api_Key。默认脚本中此值为空。进行 www.mapbox.com 注册新账号。在 https://www.mapbox

导语 | OLAP（On-Line Analytical Processing），是数据仓库系统的主要应用形式，帮助分析人员多角度分析数据，挖掘数据价值。本文基于QQ音乐海量大数据实时分析场景，通过QQ音乐与腾讯云EMR产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。 一、背景介绍 QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品，平台打造了“听、看、玩”的立体泛音乐娱乐生态圈，为累计注册数在8亿以上的用户提供多元化音乐生活体验，畅享平台上超过3000万首歌曲的海量曲库。优质 服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。 海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。 如何通过用户行为以及音乐内容标签数据，深入洞察用户需求，来优化泛音乐内容创作分享生态，为亿万用户带来更优质的音乐体验？是对QQ音乐大数据团队的巨大挑战以及机遇。 腾讯云弹性 MapReduce（EMR），结合云技术和社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端泛Hadoop服务。EMR助力构建企业的大数据平台架构，适用于HBase在线业务，数据仓库，实时流式计算等大数据场景。 QQ音乐大数据团队基于业务需求，搭建和优化基于ClickHouse的OLAP实时大数据分析平台

2018 年底，玩物得志从 0 开始，搭建技术团队，技术架构快速经历了服务化、平台化等转变。 为了支撑业务的快速发展，玩物得志极少自己造轮子，会大量采用云平台提供的 SaaS、PaaS 服务。比如大数据体系是在阿里云 DataWorks + MaxCompute 框架体系上建设起来。使用了其核心存储、计算等组件，上层的可视化以及业务查询部分，在使用过程中也会有大量的定制化需求，玩物得志在开源方案的基础上进行了一些二次开发。 之所以直接选择云产品搭建研发系统 ，张淼认为对于快速迭代的初创型企业来说，一切效率为王。 如果选择自己去搭建整个链路和基础设施，很难有现在这么快的发展速度。 早期，玩物的数据量比较小，所有业务数据都放在一个大的数据DB 的实例里，所以当时读库或者用订阅binlog方式打造一个分析库，就可以完成日常报表输出工作。跑SQL就足够了，这是数据体量小的时候通用的一个方案。当时没有大数据的概念，都是在Mysql上跑sql脚本，出数据报表，定期给到运营，这就是玩物得志早期的基本的架构。 从玩物得志APP 正式运转起来大概四五个月的时间，电商业务发展很快。2019年，每个月都是指数性增长，然后就发现Mysql查数据查不动了。我们就开始探索新的解决方案来帮助我们实现大数据平台的建设。之前我们更多是业务数据，比较简单，放在DB 里。在我们接入了埋点后，就要去拿日志