用Beautiful Soup抓取数据的小例子

【推荐阅读】微服务还能火多久？>>>

        这是之前的一个小例子，现在记下。越来越觉得学习编程开发，不写笔记不写博客简直就是白学，所以现在把这些记下来。这个抓取的网站无需登录。主要是想记住几个bs函数的用法。

        代码如下：

        

import urllib2
import re
from BeautifulSoup import BeautifulSoup

url="http://www.realestate.com.au/neighbourhoods/brendale-4500-qld"
response=urllib2.urlopen(url)               #获取网站源码
data=response.read()
soup=BeautifulSoup(''.join(data))           #bs的用法，解析网站结构
a=soup.findAll('div',{'class':'slide-section median-price-subsections trend'},text=None)   #find及findAll 在bs中特别有用。可以根据标签和属性找到相应目录
b=a[0].get('data-trend')                    #解析到的结果是一个数组，用get方法可以得到每一个条目的具体属性值
print b

来源：oschina

链接：https://my.oschina.net/u/1475074/blog/225470