链家

顺便谈谈中介： 我接触过（Q房，太平洋，链家，我爱我家还有其他一些小中介），别听中介忽悠，房地产市场，没有人能完全看懂。他对着买家就2020年各种利好，8000亿大水来了！再不买明年暴涨扛不住。对着卖家就是二手房不好卖，现在不跑跑不掉了...中介的目的就是成单，多卖10万还是少卖10万不重要，要让你的中介疯狂帮你砍价（因为买卖双方的中介费都TM是你一个人掏，你才是他客户，卖家不是）。 这里提一嘴，链家的中介是不砍价的，我第一个带看中介就是链家，我表达对房子感兴趣想问问价格，链家秒回我就是房东价格不好谈，最多一两万空间，后来每套房子链家基本上就是向房东问一嘴，房东说多少就是多少...而且不是个例，我不同区域换过很多链家中介都是这样。新房链家最多也就是2个点折扣，不找链家说不定还能砍下来3个点优惠... 其他小一些的中介砍价就会拼命砍，链家的KPI比较松，不那么急迫，因为新房业务比较红火。小中介生存空间被贝壳挤压的厉害，中介成单的诉求会更强一些（而且链家的中介费不好砍，卖1买2）。 再说说看房APP： 我基本上是贝壳看房源，去兔博士找一些参考数据，如果有特别合适但是价格谈不下来的房子，可以委托别的中介找找 作者：匿名用户 链接：https://www.zhihu.com/question/349567871/answer/973652458 来源：知乎 著作权归作者所有

老猫我在南五环租了一个80平两居室，租房合同马上到期，房东打电话问续租的事，想要加房租；我想现在国家正在在抑制房价，房子价格没怎么涨，房租应该也不会涨，于是霸气拒绝了，以下是聊天记录： 确认不续租之后，两三年没找过房的我上网搜索租房，没想到出来一坨自如，蛋壳，贝壳等中介网站；进去看看，各种房照非常漂亮，但是一看房租，想送给自己一首《凉凉》；附近房租居然比我当前房租高1000多RMB；自我安慰下，这些网站房源价格不是真实的，于是切换到我爱我家，链家等大中介平台，结果发现房租价格都差不多；心想这才几年，如果两年前对自己狠点买了房，房租都够还房贷了。为了生存，不甘心的我，决定把这些大网站的房源信息抓取下来进行分析，帝都这么大总有一套适合自己。 说干就干，先找到市场上主要的中介平台，我主要关注我爱我家、链家、贝壳，还有其他类的长租公寓例如自如，蛋壳等；经过查资料还发现一个问题，好像链家、贝壳、自如是一个大老板，链家房源和自如的都是混到一起的，整的我一个头大；而贝壳类似于京东，不仅自己自营，还允许其他中介商来入住这个平台，这老板脑瓜子真是好使，折腾半天把数据都掌握在自己手里，总感觉这些年房价与房租上涨和这个货有种说不清的关系。 最后决定使用Python抓取链家，我爱我家，与贝壳网租房信息。 老猫租住小区门口就有一链家，每天西装革履的经纪人在小区里晃悠；先从链家下手，抓取与分析过程如下： 1

爬取链家房价信息（未完待续） items.py # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class LianjiaItem(scrapy.Item): info1 = scrapy.Field()#小区名字 info1_url = scrapy.Field()#小区主页地址 info2 = scrapy.Field()#小区地址 info2_dizhi = scrapy.Field()#小区地址 info3 = scrapy.Field()#小区地址 info4 = scrapy.Field()#小区地址 settings.py 这里仅仅需要注意一个点： # Obey robots.txt rules ROBOTSTXT_OBEY = False 这里需要设置为 false 因为有的网站禁止爬虫 # -*- coding: utf-8 -*- # Scrapy settings for lianjia project # # For simplicity, this file contains

整体流程： 1.数据抓取； 2.数据清洗； 3.建模及优化； 4.业务意义； 5.反思。 一、数据抓取 环境：python3.7 from parsel import Selector import requests import time lines=[ ] for i in range (1,3): #先测试，再抓取总数 base_url='https://tj.lianjia.com/ershoufang/pg%s/' url=base_url % i content=requests.get(url) time.sleep(2) #休眠2秒，防止操作太频繁 sel=Selector(text=content.text) for x in sel.css('.info.clear'): #Chrome开发者工具，查询路径 title=x.css('a::text').extract_first() community=x.css('.houseInfo>a::text').extract_first() address=x.css('.address>::text').getall() flood=x.css('.flood>::text').getall() totalPrice=x.css('.totalPrice>span::text').extract() lines

学习python已经很久了，从各个大牛的技术博客中获益良多。现在也想把自己的小小收获公开一下，以方便大家学习python，让python更加普及的应用。下面我准备写一个爬虫实例：从链家网爬取福田区二手房的数据。 环境： win10专业版 python3.6（需要使用模块BeatifulSoup；pandas；Selector；time；re） Office2013 背景知识： Xpath的使用 pandas的使用 request的使用 python爬虫能力大致分为三个层次：第一个层次就是静态网页的爬取；第二个层次就是异步加载的网页数据的爬取；第三个层次使用加密请求数据的网站数据爬取（使用selenium）。 今天我们的任务是非常简单的爬取静态网站数据。要爬取的是2017年10月24日的链家网福田区二手房挂牌房源数据（图片截取是为了让大家看清网页机构并不是当天截取）。链家网的数据爬取非常简单，步骤如下： 一、观察网站地址和不同页码的网址变化，得到目标网页100页的网址列表；编写request请求的头部信息（让对方知道你是一个浏览器）；最好加入代理ip地址； 我们打开第二页的目标网址是：https://sz.lianjia.com/ershoufang/futianqu/pg2/ 所以我们可以判断pg后面就是页码的数字。 二、制作一个空表格； 三

“ Python实现的 链家网站的爬虫第一部分。 ” 在之前的文章，以链家成都站为例，分析过链家网站数据的爬取，文章如下： 干货！链家二手房数据抓取及内容解析要点 但是，当时没有根据分析，将爬取实现。 本系列文将以链家南京站为例，使用Python实现链家二手房源信息的爬虫，将数据爬取，并存入数据库中，以便使用。 本文是第一部分，是整个爬取的基础，包括爬取逻辑、伪装正常访问、数据库设计及封装、区域URL爬取四个部分。 01 — 爬取逻辑 本文爬取的地区站虽与之前分析的地区站不同，但二者的结构是一样的，之前分析的成果可以直接套用。 根据之前的分析成果，得到爬取流程如下： 第一步，找到爬取站点的地址，这里爬取的是南京站，为https://nj.lianjia.com/。 第二步，从二手房查询页面获取大区信息，以便后续的查询。 这样的好处是可以分区查询，避免单次数据太多，链家服务器无法返回全部内容，最终导致数据不全。 第二步，根据分区信息，获取小区信息，存数据库，后续爬取操作，均以小区信息为起点。 第三步，根据各个小区信息，获取该小区的所有在售房源信息，存数据库。 第四步，根据 各个小区信息， 获取该小区的所有成交房源信息，存数据库。 确定了爬取流程，也就确定了程序的基本框架，接下来我们还需要准备相关Python库，数据库——sqlite3，以及分析网页库——BeautifulSoup

链家二手房、租房、居民区数据爬取及分析 分析结果示例及源码见github： https://github.com/anniekorea/LianJiaCrawlAnalyze 准备工作： 1、安装anaconda，并安装以下库：requests、numpy、pandas、time、random、lxml、os、datetime、json、pymongo、re、csv 参考教程： https://www.jianshu.com/p/eaee1fadc1e9 2、安装数据库mongodb 参考教程： http://www.runoob.com/mongodb/mongodb-window-install.html 3、安装MongoDB可视化工具 Robo 3T 参考教程： https://blog.csdn.net/qq_36070288/article/details/73822101 4、申请高德api的key(WEB服务，最多可申请10个) 参考教程： https://blog.csdn.net/qq_32444825/article/details/79441900 流程图： 1、链家二手房数据爬取及分析 2、链家租房数据爬取及分析 3、链家居民区数据爬取及分析 来源： CSDN 作者： anniekorea 链接： https://blog.csdn.net

前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 29 万！平均 1.1万/平： 查看请求信息 本次用的是火狐浏览器32.0配合 firebug 和 httpfox 使用，基于 python3 环境，前期步骤： 首先打开 firefox 浏览器，清除网页所有的历史纪录，这是为了防止以前的 Cookie 影响服务器返回的数据。 F12 打开 firebug ，进入链家手机端首页 https://m.lianjia.com ，点击 网络 -> 头信息 ，查看请求的头部信息。 发现请求头信息如下，这个是后面要模拟的： Host: m.lianjia.com User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; rv:32.0) Gecko/20100101 Firefox/32.0Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3Accept-Encoding: gzip, deflateConnection: keep-alive 查看导航链接 点击 firebug 的查看元素箭头

int num = 1; String path = "D:\\房源信息.txt"; BufferedWriter bf = new BufferedWriter(new FileWriter(path)); while(num<=100){ String link = "https://bj.lianjia.com/ershoufang/pg"+num; Document document = Jsoup.connect(link).get(); Elements byClass = document.getElementsByClass("sellListContent"); Elements li = byClass.select("li"); for(int i = 0;i<li.size();i++){ String attr = li.get(i).select("a").attr("href"); String attrContent = "房源详情："+attr; bf.write(attrContent); bf.newLine(); Element info = li.select("div.info.clear").get(i); String title = info.select("div.title").text(); String

获取经纬度 import json from urllib.request import urlopen, quote import pandas as pd import csv xlsx_1 = pd.ExcelFile('bbhu.xlsx') data1 = xlsx_1.parse('Sheet2') url = 'http://api.map.baidu.com/geocoder/v2/' output = 'json' ak = 'raSWR0VKik7******shHzFH' s = data1['小区'] jkdu = [] wwdu = [] # 创建一个worksheet for i in s: try: add = quote(i) uri = url + '?' + 'address=' + add + '&output=' + output + '&ak=' + ak #百度地理编码API req = urlopen(uri) res = req.read().decode() temp = json.loads(res) jkdu.append(temp['result']['location']['lng']) wwdu.append(temp['result']['location']['lat'])#打印出经纬度 except OSError: