前言
本次更新主要集中在日志管理、任务触发、爬虫展示等优化,以及加入 Node.js SDK。
更新日志
功能 / 优化
- Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中.
- 日志管理优化. 日志搜索,错误高亮,自动滚动.
- 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页.
- 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295
- 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505
- 页面加载占位器.
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 爬虫
- 支持 Git 仓库同步
- 更好的 Scrapy 支持
- 更好的长任务支持
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 可配置爬虫支持转化为自定义爬虫
- 任务
- 任务重试机制
- 定时任务
- 日历展示
- 全局
- 支持版本更新检测
- 支持版本更新日志展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 支持 Golang、Java
- 插件系统
参考
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。
来源:oschina
链接:https://my.oschina.net/u/2879132/blog/3165996