Crawlab

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 Crawlab 是由 Crawlab 开发组 开发和维护的分布式爬虫管理平台。由于是基于 Golang，具有很强的灵活性和高性能，可以适用于大量的爬虫管理和任务监控等爬虫部署执行场景。 Crawlab 非常灵活，可以自由执行各种语言和框架的爬虫，例如 Python、Node.js、Golang、Java、Scrapy、Selenium、Puppeteer 等等。 Crawlab 目前支持的功能包括：节点注册发现、爬虫上传、任务调度、任务监控、日志管理、数据分析、定时任务等。从今年 3 月份上线以来，已经收获不少爬虫工程师以及开发者的好评，很多用户已经在企业中部署使用 Crawlab 。现在 Crawlab 在 Github 上已经有近 4k stars，Dockerhub 上有近 8k pulls。另外， Crawlab 还收到了不少实际用户反馈的建议，在 Github 上已经解决了 147 个 issues，open 的还有 48 个。 在一次用户调研中，用户反馈认为 Crawlab 提供主要价值是让爬虫变得更简单，所谓的 "Easy crawling"。因此，为了简化爬虫部署流程，我们在最近的一次更新 v0.4.2 版本中，我们上线了 文件管理 功能，让用户可以自由编辑、保存、添加、重命名爬虫文件

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。 相信已经对 Crawlab 有所了解的同学应该大概了解 Crawlab 是一个爬虫管理平台。如果不理解什么是爬虫管理平台，建议读者先阅读 《如何快速搭建实用的爬虫管理平台》 。简单来说，爬虫管理平台是一种能够管理爬虫和执行、监控爬虫任务的平台，可以将爬虫操作可视化出来。而 Crawlab 作为一个灵活且强大的爬虫管理平台，从今年 3 月份上线以来，已经收获不少爬虫工程师以及开发者的好评，很多用户已经在企业中部署使用 Crawlab。现在 Crawlab 在 Github 上已经有 3.1k stars，Dockerhub 上有 7.1k pulls。另外，Crawlab 还收到了不少实际用户反馈的建议，在 Github 上已经解决了 122 个 issues，open 的还有 48 个。除了 bug 以外，其中有非常多的建设性意见，包括采用配置文件来配置怕环境、爬虫任务数据导出、更好的文件管理等等。 Crawlab 为什么能受到用户的好评？我们总结下来，主要是 Crawlab 解决了爬虫工程师要管理很多爬虫的痛点。一般爬虫工程师需要查看爬虫任务运行情况，例如错误日志