Java爬取51job保存到MySQL并进行分析
大二下实训课结业作业,想着就爬个工作信息,原本是要用python的,后面想想就用java试试看, java就自学了一个月左右,想要锻炼一下自己面向对象的思想等等的, 然后网上转了一圈,拉钩什么的是动态生成的网页,51job是静态网页,比较方便,就决定爬51job了。 参考https://blog.csdn.net/qq_42982169/article/details/83155040,改了许多地方,方便模块化,加了保存的功能 前提: 创建Maven Project 方便包管理 使用httpclient 3.1 以及 jsoup1.8.3 作为爬取网页和筛选信息的包, 这两个版本用的人多。 mysql-connect-java 8.0.13 用来将数据导入数据库,支持 mysql8.0+ 分析使用,tablesaw(可选,会用的就行) “大数据+上海”以此URL为例子,只要是类似的URL都可行 https://search.51job.com/list/020000,000000,0000,00,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%258D%25AE,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99