贝壳

实时计算在贝壳的实践

南楼画角 提交于 2020-01-14 15:38:46
本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 **摘要:**Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 业务规模及演进 下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务:二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘字典、交易数据、用户行为日志与后端服务日志。图示最下部分代表公司实时数据采集、实时数据计算的业务模块,本文中的案例将重点介绍数据实时计算部分的设计、实现及应用内容。 发展历程 在2018年初,随着公司埋点治理规范的推进,我们建设了DP实时数据总线,统一承接各种埋点数据流的标准化处理,并对外提供清洗后的实时数据。随着维护的实时任务增加,面临着实时数据流稳定性以及任务管理方面的挑战,于是贝壳大数据部着手研发了Hermes实时计算平台,提供统一的实时任务管理平台。 在2018年10月,我们推出了SQL V1编辑器来方便用户开发实时计算任务

关于贝壳采集器的使用的问题,看这个就够了

霸气de小男生 提交于 2020-01-07 00:43:32
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 可能有朋友不知道贝壳采集器,我再介绍一下:贝壳采集器 一款谷歌插件,可以方便的抓取网页上的内容:文字、链接、图片、表格等,而无需写一行代码。 贝壳采集器有如下优点—— 免费 不受操作系统限制,只要安装Chrome浏览器或者Chrome内核浏览器即可运行,比如360浏览器、QQ浏览器 操作简单,易上手。(很多没有技术背景的同学,都可以快速学会) 功能强大:不仅可以抓静态网页,对于js动态加载的数据,也很容易抓取 自动识别:绝大部分网站页面主体内容都能自动识别出来 根据已经测试的经历,下列类型网站均可抓取—— 贝壳、京东、美团、链家、赶集等 微信公众号、简书、国美、知乎、博客等 淘宝、阿里巴巴、苏宁易购、网易严选等 可以在浏览器查看到的数据,基本都可抓取。 一、常见问题 1、下载了贝壳采集器插件安装包,但是不会安装怎么办? 如果你对插件的使用及安装没有接触过,一头雾水,没关系,可以从链接: http://www.728data.com/zh-cn/advanced/framework.html?id=title-Introi 下的插件安装教程查看各种浏览器的安装方法。 比如谷歌下载好以后,将此插件安装包,拖到chrome://extensions/页面,按照提示安装即可。 2、贝壳采集器安装好后,如何使用呢?

空气质量历史数据分析

*爱你&永不变心* 提交于 2019-12-18 17:42:53
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 近些来年环境问题已经成为人们越来越关注的话题,为了要统计某个城市近些年来空气质量问题,需要对这个城市近些年来空气质量数据下载,从而分析其空气质量变化情况及原因。那么如何得到这些数据呢,当然是越简单实惠越好,贝壳采集器无疑是最好的选择。下面是如何利用贝壳采集器,实现对城市空气指量历史数据采集的。 一.插件安装 1. 首先去贝壳采集器官网( http://www.728data.com/zh-cn/advanced/framework.html?id=title-Introi )下载贝壳采集器的谷歌插件。 2.点击浏览器工具栏右侧按钮->更多工具->扩展程序。 3. 把下载好的插件拖入浏览器中“扩展程序”的页面,点击“添加扩展程序”,“贝壳”标志出现在右侧插件栏,这样插件就安装完成,可以开始采集数据啦。 二.数据采集 1. 单击右侧插件图标,点击注册登录,进入贝壳采集器登录页,注册贝壳采集器账号并登录。 2. 登录进入贝壳采集器首页,现在我们就可以采集数据了,如果我想要获得近些年来全国各个城市的空气质量的历史数据,我们就可以输入其官网的网址( https://www.aqistudy.cn/historydata/ ),点击贝壳采集,系统会自动为您默认配置好相关的采集信息,如下图。 3.现在我们获得了所有城市

usdt跑分系统

瘦欲@ 提交于 2019-12-05 10:17:17
usdt跑分系统丨系丨统丨开丨发 欢迎咨询厄加特Urgot(189微2212电1525) usdt跑分系统丨系丨统丨开丨发丨案丨例丨源丨码丨制丨度丨方丨案丨,我司位于广州天河区,是一家大型专业商业服务互联网技术一体化公司,百人技术团队,市面上有的你叫得出名字的类似系统我们都能做,模式多样,紧跟时代,能做出最符合你、最接近时代轨道的项目方案。 “什么发现呢?, “就是这个贝壳。”我手指着我的战利品说。 “但这不过是一个普通的斑红橄榄贝,橄榄贝属,节鳃图,腹足纲,软体类门……” “对,康塞尔,但这个橄榄贝纹跟普通的不一样,不是从右往左卷过来,而是从左往右转过去。” “可能吗?”康塞尔喊道。 “一点不错,老实人,这是一个左卷贝!” “一个左卷贝!”康塞尔重复说,他心跳动着。 “你看一看这贝壳的螺旋纹便明白了。” “啊!先生可以相信我,”康塞尔说,用发抖的手拿着这珍贵的贝壳,“我从没有感到像现在这样的一种情绪呢!” 这实在是可以使人情绪激动的!正是,像生物学家所观察到的一样,由右向左是自然的法则。天体的行星和它们的卫星公转和自转的运动,都是从右向左转。人类使用右手的机会比使用左手为多,因此,人类的工具和器械、楼梯、锁钥、钟表的法条等,都配合成由右向左来使用的。大自然对于贝类的卷旋螺纹,通常也是按照这个法则。贝类纹基本是右转的,很少有例外,偶然有贝纹是左转的。,爱好的人便以黄金的重阶来收买了

ESP8266MOD、刷可以使用AT指令的固件、作为客户端向贝壳云端发送固定数据

匿名 (未验证) 提交于 2019-12-03 00:13:02
硬件部分 1. ESP8266MOD 2. Micro USB数据线一根 实物图:(小灯不必) 为ESP8266刷AT的固件 参考安信可相关网址: http://wiki.ai-thinker.com/esp_download 1、下载烧录工具: 2、下载固件 相关固件在这里, http://wiki.ai-thinker.com/esp8266/sdk 3、开刷 接下来开始刷固件,参考网址: http://wiki.ai-thinker.com/esp_download ,下边简要说一下大概过程。 首先打开软件,然后点击第一个ESP8266, 然后弹出如下界面: 4、测试 结束之后,需要给ESP8266重新断电,上电,然后打开 串口助手 , 修改对应信息如下: 发送AT指令,会显示OK 发送之后,可以看到模块返回如下结果,如果没有出现对应结果,尝试按下复位键: 贝壳 云端。 最后有个问题,为啥要刷机啊??12e出场自带了最新的安信可AT固件。可能是因为刚拿到板子也不知道干什么。 单向发送到贝壳云端 参考贝壳官网文档: 贝壳物联平台通讯协议 , 贝壳所有文档 ! 这个是自己测试写的一些文件记录,下边大概也是按照这个过程来写的! 1. 查看设备是否就绪 AT 不知道为什么?再次试就不行了。于是,我又再刷了一次机。。。 发送AT指令,发送之后,可以看到模块返回如下结果

ESP8266MOD、刷可以使用AT指令的固件、作为客户端向贝壳云端发送固定数据

谁都会走 提交于 2019-11-30 19:49:33
硬件部分 1. ESP8266MOD 2. Micro USB数据线一根 实物图:(小灯不必) 硬件准备好之后,直接用数据线连接到电脑即可,然后找到所对应的COM口,记下来备用! 为ESP8266刷AT的固件 参考安信可相关网址: http://wiki.ai-thinker.com/esp_download 1、下载烧录工具: 解压后,选择其中的exe文件直接打开就好。 2、下载固件 相关固件在这里, http://wiki.ai-thinker.com/esp8266/sdk ,其实也就是对应的 .bin 文件,我自己用的是下边所示固件: 如下图所示: 我们要刷进去安信可32位的固件,记住对应文件夹及路径! 3、开刷 接下来开始刷固件,参考网址: http://wiki.ai-thinker.com/esp_download ,下边简要说一下大概过程。 首先打开软件,然后点击第一个ESP8266, 填写配置信息 然后弹出如下界面: 修改对应位置如下图所示,由于我已经刷过固件,所以两个图片一样: 修改完成后,直接点击下方的 START 开始,等待结束即可! 4、测试 结束之后,需要给ESP8266重新断电,上电,然后打开 串口助手 , 修改对应信息如下: 发送AT指令,会显示OK 发送之后,可以看到模块返回如下结果,如果没有出现对应结果,尝试按下复位键: 到这里

bzoj 1878 HH的项链

限于喜欢 提交于 2019-11-26 11:08:36
1878: [SDOI2009]HH的项链 Time Limit: 4 Sec Memory Limit: 64 MB Submit: 8273 Solved: 4004 Description HH有一串由各种漂亮的贝壳组成的项链。HH相信不同的贝壳会带来好运,所以每次散步 完后,他都会随意取出一 段贝壳,思考它们所表达的含义。HH不断地收集新的贝壳,因此他的项链变得越来越长。有一天,他突然提出了一 个问题:某一段贝壳中,包含了多少种不同的贝壳?这个问题很难回答。。。因为项链实在是太长了。于是,他只 好求助睿智的你,来解决这个问题。 Input 第一行:一个整数N,表示项链的长度。 第二行:N个整数,表示依次表示项链中贝壳的编号(编号为0到1000000之间的整数)。 第三行:一个整数M,表示HH询问的个数。 接下来M行:每行两个整数,L和R(1 ≤ L ≤ R ≤ N),表示询问的区间。 N ≤ 50000,M ≤ 200000。 Output M行,每行一个整数,依次表示询问对应的答案。 Sample Input 6 1 2 3 4 3 5 3 1 2 3 5 2 6 Sample Output 2 2 4 题解: 基础 莫队。想通过莫队过掉这题的话,去bzoj上提交可以AC。洛谷的加强了数据,最后两个测试点会TLE。 代码: #include<bits/stdc++.h>

bzoj 1878 HH的项链

删除回忆录丶 提交于 2019-11-26 11:06:47
1878: [SDOI2009]HH的项链 Time Limit: 4 Sec Memory Limit: 64 MB Submit: 8273 Solved: 4004 Description HH有一串由各种漂亮的贝壳组成的项链。HH相信不同的贝壳会带来好运,所以每次散步 完后,他都会随意取出一 段贝壳,思考它们所表达的含义。HH不断地收集新的贝壳,因此他的项链变得越来越长。有一天,他突然提出了一 个问题:某一段贝壳中,包含了多少种不同的贝壳?这个问题很难回答。。。因为项链实在是太长了。于是,他只 好求助睿智的你,来解决这个问题。 Input 第一行:一个整数N,表示项链的长度。 第二行:N个整数,表示依次表示项链中贝壳的编号(编号为0到1000000之间的整数)。 第三行:一个整数M,表示HH询问的个数。 接下来M行:每行两个整数,L和R(1 ≤ L ≤ R ≤ N),表示询问的区间。 N ≤ 50000,M ≤ 200000。 Output M行,每行一个整数,依次表示询问对应的答案。 Sample Input 6 1 2 3 4 3 5 3 1 2 3 5 2 6 Sample Output 2 2 4 题解: 基础 莫队。想通过莫队过掉这题的话,去bzoj上提交可以AC。洛谷的加强了数据,最后两个测试点会TLE。 代码: #include<bits/stdc++.h>