这份nodejs实现的定时爬取微博热搜程序,请查收!
The summer is coming ” 我知道,那些夏天,就像青春一样回不来。 - 宋冬野 青春是回不来了,倒是要准备渡过在西安的第三个夏天了。 废话 我发现,自己对 coding 这件事的称呼,从 敲代码 改为 写代码 了。 emmm....敲代码,自我感觉,就像是,习惯了用 const 定义常量的我看到别人用 var 定义的常量。 对,优雅! 写代码 这三个字,显得更为优雅一些,更像是在创作,打磨一件精致的作品。 改编自 掘金站长 的一句话: ” 子非猿,安之 coding 之乐也。 看完本文的收获 ctrl + c ctrl + v nodejs 入门级爬虫 为何写爬虫相关的文章 最近访问 艾特网 的时候发现请求有点慢。 后来经过一番检查,发现首页中搜索热点需要每次去爬取百度热搜的数据并当做接口返回给前端,由于是服务端渲染,接口堵塞就容易出现访问较慢的情况。 就想着对这个接口进行一次重构。 解决方案 设置定时任务,每隔 1分钟/3分钟/5分钟 爬取新浪微博实时热搜(新浪微博热搜点击率更高一些) 爬取到数据后不直接返回给前端,先写入一个 .json 格式的文件。 服务端渲染的后台接口请求并返回给前端 json 文件的内容 需求捋清楚以后就可以开干了。 创建工程 初始化 首先得找到目标站点,如下:(微博实时热搜) s.weibo.com/top/summary… 创建文件夹