练习抓取淘宝商品信息

##准备查看淘宝的页面是不是静态页面，结果是静态页面。想要抓取的是淘宝搜索某个商品的信息，所以要找到淘宝的搜索接口，经过观察可以看到接口可以这样解决：

word = '书包'
url = 'https://s.taobao.com/search?q=' + word

其实抓取淘宝主要是想加强自己对正则表达式的理解与运用的，于是决定用requests+re来完成此次练习。 ##调试 ####抓取网页调试的第一步获取网页的源代码就遇到了问题，真是不幸。于是开始痛苦的调试过程：

在头部信息中添加浏览器信息结果：失败
在头部信息中添加referer 结果：失败
在头部信息中添加cookie 结果：返回结果有了变化，于是很高兴的去把requests发起的请求改成session会话发起的请求，结果最后发现虽然和以前返回的内容变了，但源代码还是错误的，简直崩溃，不知道用了什么反爬虫技术。
终极武器----selenium 用这个直接调用真实的浏览器对其访问，终于不会出错了（这还是要出错，真的是无fuck可说了），但这个要启动浏览器，速度可能会很慢，所以我把源代码保存到了本地，避免重复访问浪费时间。

保存网页

保存的话用二进制的形式保存，不会出现一些乱七八糟的编码错误，而且用浏览器打开的时候可以显示中文，但用Python读取的时候，显示不出来中文，需要解码才能显示中文，可能原因是浏览器打开文件的时候自动解码的。 ####正则表达式查找把网页保存到本地后，可以将其读取保存到一个变量中，然后就可以对其进行操作了。个人感觉对于爬虫的话，正则表达式最常用的方法应该是findall方法了吧，为了节省时间，可以先把正则表达式编译，然后再对具体的文本查找。示例：

rst = re.search(r'[1-9]\d{5}', 'bit 100081')  #函数式用法：一次性操作

pat = re.compile(r'[1-9]\d{5}')  #面向对象用法：编译后多次操作
rst = pat.search('bit 100081')

正式开始查找的时候，想把价格先找出来，用的是这行代码：

pat = re.compile(r'.*?<strong.*?>(.*?)</strong>.*?')

可以实现想要的功能。在这过程中遇到两个问题，一个是\d只能匹配到整数，并不能匹配到有小数点的数，所以换成了.*？；还有一个是正则表达式速度太慢了，虽然只是一个网页，但是大小有八百多k，也算是几十万的内容了，一次匹配竟然要八分钟，受不了，可能我的正则写的也不好，但是也掩饰不了它慢的本质了。于是我决定放弃用正则表达式来提取这个网页的内容。 ##战略改变技术不行，虽然是静态网页，但是自己并不能用requests获取到正确的网页，只能改用selenium；正则表达式查找太慢，还是用beautifulsoup好。于是从requests+re变成了selenium+beautifulsoup来对网页进行爬取。 ##selenium库调用浏览器访问网页比较简单，几行代码搞定对网页的访问。需要注意的是，要等待上那么一段时间让浏览器把页面给加载完成。

try:
		browser.get(url)
		time.sleep(3)
		page = browser.page_source
		return page.encode('utf-8').decode('utf-8')
	except:
		return ''

##用bs库提取信息对价格信息的提取比较简单，有唯一的类属性，可以准确定位到；而对于名称的定位，类属性较多，不过也没啥大碍，全部写进去就行了。唯一麻烦的是它的名称是分开的，不过其实其他的东西是假的，其实就在一个标签的string属性，至于内容不在一起，其实都是空格，用字符串的strip方法轻松搞定。下面的代码是定位到所需标签的父标签：

price_div = soup.find_all('div', class_='g_price-highlight') #div[0].strong.text
name_div = soup.find_all('div', class_='row row-2 title')	#div[0].span.text.strip()

##总结因为对beautifulsoup的使用算是比较熟练的了，所以后面的工作非常顺利的完成了。造成最大麻烦就是找不到淘宝的反爬虫技术到底是什么，技术不够，有点不爽。附上源代码：

from selenium import webdriver
import time
from bs4 import BeautifulSoup

def get_page(url, browser):
	try:
		browser.get(url)
		time.sleep(10)
		page = browser.page_source
		return page.encode('utf-8').decode('utf-8')
	except:
		return ''

def parse_page(html):
	soup = BeautifulSoup(html, 'html.parser')
	return soup 

def get_message(soup, glist):
	price_div = soup.find_all('div', class_='g_price-highlight') #div[0].strong.text
	name_div = soup.find_all('div', class_='row row-2 title')	#div[0].span.text.strip()
	for i in range(len(price_div)):
		glist.append([name_div[i].a.text.strip(), price_div[i].strong.text])

def main():
	word = '书包'
	url = 'https://s.taobao.com/search?q=' + word	#https://s.taobao.com/search?q=%E4%B9%A6%E5%8C%85&s=88
	br = webdriver.Chrome()

	html = get_page(url, br)
	soup = parse_page(html)
	glist = []	
	get_message(soup, glist)
	print(glist)
	br.close()
	
main()

来源：oschina

链接：https://my.oschina.net/u/4402535/blog/4191228

标签

selenium

beautifulsoup