weibo

更换终端 shell 安装 oh-my-zsh 主题，默认shell为 zsh 而不是 bash sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" 重新打开终端，默认为 zsh 安装Composer 进入官网下载：https://getcomposer.org ，下载最新版本 下载后得到可执行文件 composer.phar 授权所有用户可执行 移动到环境目录，并改名为：composer ➜ ~ sudo mv composer.phar /usr/bin/composer Password: ➜ ~ composer -V Composer version 1.9-dev (1.9-dev+bfba228b5a232bcb9e4bb7941f0a0aaa37bab117) 2019-08-13 15:28:15 ➜ ~ 配置阿里云镜像地址 ➜ ~ composer config -g repo.packagist composer https://mirrors.aliyun.com/composer/ ➜ ~ composer clear-cache Cache directory does not exist (cache-vcs-dir):

分类目录： 《Python爬虫从入门到精通》总目录 本文为实战篇，需提前学习 Python爬虫从入门到精通 中 《基本库requests的使用》 和 《Ajax数据爬取（一）：基本原理》 、 《Ajax数据爬取（二）：分析方法》 和 《Ajax数据爬取（三）：结果提取》 的内容。 这里我们用程序模拟这些Ajax请求，将我的前10页微博全部爬取下来。 首先，定义一个方法来获取每次请求的结果。在请求时，page是一个可变参数，所以我们将它作为方法的参数传递进来， from urllib.parse import urlencode import requests base_url = 'https://m.weibo.cn/api/container/getIndex?' headers = { 'Host': 'm.weibo.cn', 'Referer': 'https://m.weibo.cn/u/2145291155', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'X-Requested-With': 'XMLHttpRequest', }