大数据

Superset 0.37，增加可视化插件，行级权限控制 使用Superset已经有一段时间，其良好的体验与丰富的图表功能节省了大量的时间。但是对于权限，自定义图表，图表下载，报警邮件一直没有很好的支持，大部分公司对于这些功能的实现还是需要大量的二次开发，费时费力。 近日Superset 0.37 正式发布，令人惊喜的是，新功能几乎都是大家期待已久的，而对于Superset的未来也更加的期待了。 下面简单介绍本次的一些主要的更新~ 距离Superset 0.36 的发布已经过了四个多月的时间，但superset的活跃程度一点没有减弱，GitHub的Star已经突破了30k，Superset已经成为数据可视化平台的不二选择。 可视化插件 0.37对Superset可视化代码进行了重构，开发人员现在可以引用图表API来构建自己的可视化插件，无需再去二次开发代码。 除了对现有图表类型（如数据透视表，饼图和过滤器框）进行的其他小改进和错误修复之外，此新体系结构还 使用户能够对数据进行更多处理 。 现在，可以使用任何可用的基于JavaScript的数据可视化库在Superset上创建自定义可视化插件，例如ECharts，AntV，HighCharts，VX，D3。 行级权限控制 构建新的可视化插件显然是很酷，但是对于要成为企业级的任何数据可视化应用程序，它在安全性上都必须坚如磐石。此次的0

之前 有不少刚入坑 Java 的粉丝留言，想系统的学习一下分库分表相关技术，可我一直没下定决心搞，眼下赶上公司项目在使用 sharing-jdbc 对现有 MySQL 架构做分库分表的改造，所以借此机会出一系分库分表落地实践的文章，也算是自己对架构学习的一个总结。 我在网上陆陆续续的也看了一些有关于分库分表的文章，可发现网上同质化的资料有点多，而且知识点又都比较零碎，还没有详细的实战案例。为了更深入的学习下，我在某些平台买了点付费课程，看了几节课发现有点经验的人看还可以，但对于新手入门来说，其实学习难度还是蛮大的。 为了让新手也能看得懂，有些知识点我可能会用更多的篇幅加以描述，希望大家不要嫌我啰嗦，等这分库分表系列文章完结后，我会把它做成 PDF 文档开源出去，能帮一个算一个吧！如果发现文中有哪些错误或不严谨之处，欢迎大家交流指正。 具体实践分库分表之前在啰嗦几句，回头复习下分库分表的基础概念。 什么是分库分表 其实 分库 和 分表 是两个概念，只不过通常分库与分表的操作会同时进行，以至于我们习惯性的将它们合在一起叫做分库分表。 分库分表是为了解决由于库、表数据量过大，而导致数据库性能持续下降的问题。按照一定的规则，将原本数据量大的数据库拆分成多个单独的数据库，将原本数据量大的表拆分成若干个数据表，使得单一的库、表性能达到最优的效果（响应速度快），以此提升整体数据库性能。

“数据私房菜”已开通微信群，汇聚 3000+ 位小伙伴一同成长学习，加Andy为微信好友（微信号： AndyFeo ）申请入群，让我们共建一个 成长型 数据社 区，《数据私房菜》致力于为您提供大数据行业知识干货、就业职位、专业讲座等对每一位 有价值 的信息。 没有稳定的工作，只有稳定的能力 最近看到一个消息，事业单位分类改革将在2020年底前全部实现。其实从去年开始，就有很多关于事业单位改革的消息。 有报道指出，从2019年初到现在，事业单位改革的任务已经完成了将近一半。如今，多方消息都表明取消事业编制已成定局。 事业单位改革最大的变化就是，从事生产经营活动的事业单位，全部转企改制。 原本捧着“铁饭碗”的编制职员将转成合同工，工资情况按照收支情况进行发放，工资和公司效益挂钩。 还有很多人眼中“铁饭碗”单位—— 银行，也在不断裁员。 在国内，单单2019年上半年，国有六大行便减员3.4万人，大幅超过2018年全年的2.8万人。其中作为最大行的工商银行，更是半年就减员超过了1万人。 更为可怕的是，随着人工智能时代的到来，很多人的岗位，都将被机器人取代。 武汉大学质量发展战略研究院的最新调查结果：未来5年，机械和机器人将取代中国近5%的工人。而在近两年，机器人已经取代了9.4%的初中及以下学历工人。 无数事实都在揭开一个真相：这个世界的工作，早已没有绝对稳定可言。 那么新经济时代下

Flink容错数 据流概念 有状态的函数和操作需要存储计算相关的数据，这使得状态成为复杂计算的关键。在 Flink 中的每一种函数和操作都可以成为有状态的。为了达到很好的容错，Flink 的容错机制持续的记录分布式的数据流的快照。这些快照是非常轻量化的，因此高频的记录快照并不会影响性能。当进程由于机器，网络甚至是软件异常而失败的时候，Flink 会停止数据流。系统重启操作同时将他们恢复到最近的快照点。输入流也会被设置到记录快照点那个时间点，通俗点说就是一条记录不会存在于快照中同时还在数据流中等待被处理。 问题1:哪些函数是有状态的？ 问题2:为什快照是非常轻量化的？ 问题3:快照如何设置异步的？ 问题4:如何在配置中设置多个快照 问题5:快照支持哪几种方式，如何配置 问题6:Checkpoint和Snapshots如何使用 Checkpointing Flink 容错机制的核心就是，记录分布式的数据流和状态的一致性快照。通过这些快照，系统可以从失败中恢复回来 屏障Barriers Flink分布式快照的一个核心元素是流屏障。这些屏障被注入到数据流中，并将记录作为数据流的一部分。障碍永远不会超过记录，它们严格按照顺序流动。一个屏障将数据流中的记录分隔为进入当前快照的记录集和进入下一个快照的记录集。每个屏障都携带快照的ID，快照将快照的记录推到它前面。屏障不会中断流，因此非常轻

深度学习与遥感论文推荐 期刊论文推荐 1. Yuan, Q., Shen, H., Li, T., Li, Z., Li, S., Jiang, Y., … Zhang, L. ( 2020 ). Deep learning in environmental remote sensing: Achievements and challenges. Remote Sensing of Environment , 241, 111716. 2. Cunha, R. L. F. and Silva, B.: ESTIMATING CROP YIELDS WITH REMOTE SENSING AND DEEP LEARNING, ( 2020 ), ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci ., IV-3/W2-2020, 59–64. 3. Mohan, A., Singh, A. K., Kumar, B., & Dwivedi, R. ( 2020 ). Review on remote sensing methods for landslide detection using machine and deep learning. Transactions on Emerging Telecommunications

本文出自我的公众号：程序员江湖。 江湖路险，你我同行。 Java开发工程师一般负责后端开发，当然也有专门做Java Web的工程师，但是随着前后端的分离，越来越多的Java工程师需要往大后端方向发展。 今天我们就来介绍一下Java后端开发者的书单。 首先要感谢一下江南白衣大大的后端书架，让我在初学阶段读到了很多好书，直到现在都印象深刻。 我在两年的学习历程中看了很多的书，其中不乏XXX入门到精通，XXX王者归来，XXX指南什么的。 虽然这类书确实毛病很多，但是作为非科班的我来说，当时还是看的津津有味。直到后来我看到一些优秀的书籍，以及白衣哥的书架，我才逐渐认识到看一些精品书籍的好处。 所以我们今天就从这些精品书籍中挑选一些优秀书籍来推荐给大家，当然其中有一些书我自己也没有时间看完。 接下来我们按照后端技术栈各个部分的内容来推荐书籍。 网络 1 TCP/IP卷一 这本其实我刚开始没看太懂，可能是当时太水的原因，但是一般是大牛力荐的书。 2 计算机网络：自顶向下 这本从应用层讲到物理层，感觉这种方式学起来更轻松，我比较推荐小白看这本。 3 图解HTTP和图解TCP/IP 相较于前两本大厚书，这两本书更加亲民，小白可以买来看看，还是很适合入门的。 4 计算机网络 没错，就是这本教材，作为非科班选手自己看这本书，那叫一个欲仙欲死啊，看完就忘记了。 操作系统 1 深入理解计算机系统

2020年MongoDB中文社区年终大会 一起重新认识MongoDB！ （2021-1-8 上海线下） DB-Engines是对数据库管理系统的受欢迎程度进行排名的网站，近年来，MongoDB在DB-Engines 数据库流行度排行榜稳居榜单前五，在DB-Engines Ranking上Relational环抱中赫然出现一个Document。 对于MongoDB，不少朋友可能还带着疑惑： MongoDB究竟是一个怎样的存在？ 为什么MongoDB可以突破关系型的重围出现在大家的视野之中，并连续几年位居前五？ MongoDB仅仅是一个文档型数据库吗？ 跟其它数据库相比，MongoDB具有怎样的特性？ MongoDB有什么应用场景和解决方案？ 2020 跨时代的一年，MongoDB中文社区带大家重新认识 MongoDB。 01 大会速递 MongoDB,More than Document Database. 时间：2021年1月8日（星期五）9:00-17:30 地点：上海市静安区市北高新园区江场三路258号上海市大数据产业基地商务中心三楼宴会厅中厅 大会名额：200名 报名链接： http://hdxu.cn/RInMN *大会优享票：9.9元优享票，联系小芒果领取（微信ID：mongoingcom) 长按识别二维码 添加小芒果微信 并根据提示进行回复获取优惠票 添加后请备注

现阶段很多人被表象迷惑，感觉Java的开发人员并不好找工作。一部分人就误以为市场饱和了，却没考虑到是自身能力不足，而且他们在学习的过程中往往是这样的： 对知识点不会筛选，盲目买书看视频，资料堆积如山,什么都不管先学了再说; 指望把一本书啃透、一套视频看完,多敲敲写一些就能搞定; 什么都学,感觉什么都会,但是在做项目的时候一头雾水; 听别人说哪个好就学哪个,盲目跟风; 各种乱七八糟的东西都用,只要实现效果其他的都可以忽略,停留在"搬运"阶段; 从来没有意识到做项目的规范和标准以及注意事项; 可想而知，这样学习下来的技能达不到企业要求水平，自然而然找不到工作。 而最近，字节跳动宣布花50亿买的办公楼已经入驻千人，并且要在年底再快速扩招1万人，而最紧缺的却是Java工程师。 因此，给大家推荐一个「咕泡学院」的Java架构师课程，我相信有一部分程序员是了解过这个课程的。 Java架构班 重磅招生 全新改版，课程对标阿里P6+ 多名一线架构师倾力打造（前惠普、陆金所、阿里） 一 、课程简介 本课程主要针对具有 1-5年及以上Java开发经验 的在职人群，精准定制学习计划;帮助系统化梳理碎片化知识;形成独特的自我认知。以培养学习方法、思维方式、项目实战、源码分析能力、架构设计能力、预测判断能力为目的，真正让每一位学员次投资，终身受益。由10年以上从业经验的一线互联网公司架构师、技术总监授课

用TensorFlow还是PyTorch？从TensorFlow开始学起还是PyTorch？在一年前，这个问题毫无争议，当然是TensorFlow. 但时过境迁，现在的情况大不一样了，下面就来分析对比一下这两个主流框架。 首先看一下最近的统计数据，下图的数据是从arxiv论文中统计得到的。上面的黄线是TensorFlow的使用比例，下面的红线是PyTorch的使用比例，可以看出，最近的数据两者已经不差上下，甚至红线PyTorch在2019.6要略胜一筹。 右边的条形图是从1月到6月的累计数据，TensorFlow占比还是要略高一点，但是23%的增长率明显要低于PyTorch的194%.也就是说，现在TensorFlow和PyTorch在学术界的 使用率上来说已经不差上下了 。 来源：https://www.oreilly.com/ideas/one-simple-graphic-researchers-love-pytorch-and-tensorflow 决定一个框架的使用率有哪些因素呢？我总结有以下四个方面： 易用性 速度 算子数量 开源模型 第一是 易用性 。PyTorch自从2018年12月PyTorch 1.0 stable版本正式发布以来，只有半年多的时间，能迅速增长易用性功不可没。PyTorch的易用性一方面是debug简单，可以直接设置断点查看各个tensor的值

啄木鸟软件测试培训网：www.3testing.com 第一问：【是否可以正常玩？】 　　就是按照策划文档中规定的流程顺利的跑了一遍，修复 测试 过程中发现的BUG，比如宕服，程序报错，文字描述错误，NPC或者怪物摆放错误、奖励配置错误等明显的错误。也要思考一些隐藏的游戏设计漏洞，比如刷金、通过N多小号获取超额利益、切换场景或者地图和上下线操作引起数据丢失、奖励是否合理等等。需要更多的思考和大胆的假设，宁愿保守一些，也不要放出去后出现太大的问题。 　 　第二问：【是否玩得顺畅？】 　　操作是否方便快捷？提示是否清晰明了？玩家是否根据游戏内指引可以顺利游戏？NPC怪物链接是否有错？地图打点是否有误？游戏路线是否合理清晰？寻路是否正确？耗时与收益是否平衡？等等 　　如果是活动，会不会由于人多而影响体验？怪物数量是否满足需求？活动的空间是否足够容纳玩家？信息量会不会过载导致服务器卡？整体时间是否持续过长？是否会由于时间过长导致单调。 　　有些情况不好直接测试，需要直观感受和经验之谈，有问题则需要找策划当面讨论：例如放了多少怪，为什么放这么多，是怎么考虑的？是否合理？由于一些用户习惯的不同，有些方面尽量征求更多人的意见。比如可以多拉几个人集体讨论或者参与活动得出比较接近的实际结论。 　　 第三问：【数值是否平衡？】 　　好了，能玩了，而且玩的顺畅！接下来就要问自己数值是否平衡？