图片色老大导航

寰球好，我是欧K~

本期给寰球共享一下怎样用python爬取某平台杭州二手房数据，包含行政区、标题、房屋信息（户型、楼层、朝向、年份）、地址、地铁、房价（总价、单价）等几部分信息，但愿对寰球有所匡助，如有疑问简略需要纠正的地点不错计划小编。可视化部分见：【Pandas+Pyecharts | 杭州市二手房数据分析可视化】

悉数施行仅供参考，不作念他用。

1. 网页分析主见网址(房宇宙：https://hz.esf.fang.com)，分析区域信息和二手房房屋信息：文爱xxx

图片

图片

若是不分区域的话一共是100页数据。

接下来，按 F12 简略右键收受审查元素，搜索行政区：拱墅

图片

这里咱们不错看到悉数行政区列表数据。

接下来搜索第一条信息望江 · 波涛御品公寓：

图片

相同这里不错看到房屋信息的各项数据。

那么咱们不错左证行政区来爬取悉数这个词杭州市的数据了，左证行政区爬取数据会相对多一些。

2. 爬取数据2.1 导入模块import timeimport requestsimport pandas as pd

2.2 申请网页数据

图片

def get_data(cookies，headers，filepath):    screen_dict = get_region()    adrs = list(screen_dict.keys())    print(adrs)    for adr in adrs:        print(f'现时爬取行政区：{adr} 第 1 页 ')        url_1 = f'https://hz.esf.fang.com{screen_dict[adr]}i31/'        print(url_1)        onepageinfo，pages = get_first_page(url_1，twitter 反差cookies，headers，adr)        if onepageinfo:            insert2excel(filepath，onepageinfo)

2.3 解析数据

def get_onepage(url_one，cookies，headers，adr):        response = requests.get(url_one， cookies=cookies， headers=headers)    soup = BeautifulSoup(response.text，'html.parser')    house_list = shop_list.find_all('dl')    onepageinfo = []    for shop in house_list:        tit_shop = shop.find_all(attrs={'class':'tit_shop'})[0].text        tel_shop = shop.find_all(attrs={'class':'tel_shop'})[0].text        add_shop = shop.find_all(attrs={'class':'add_shop'})[0].text        label = shop.find_all(attrs={'class':'label'})[0].text        price_right = shop.find_all(attrs={'class':'price_right'})[0].text

2.4 得到总页数

这里需要注意，每个行政区数据量不一样，也便是页数不一样，是以需要先解析出来现时行政区有些许页数据：

soup = BeautifulSoup(response.text，'html.parser')pages = int(re.findall('共(\d+)页'，soup.find_all(attrs={'class':'page_al'})[0].text)[0])

2.5 保存文献

def insert2excel(filepath，allinfo):    if not os.path.exists(filepath):        tableTitle = ['行政区'，'标题'，'房屋信息'，'地址'，'地铁'，'房价']        wb = Workbook()        ws = wb.active        ws.title = 'sheet1'        ws.append(tableTitle)        wb.save(filepath)        time.sleep(3)    wb = load_workbook(filepath)    ws = wb.active    ws.title = 'sheet1'    for info in allinfo:        ws.append(info)    wb.save(filepath)

2.6 遵循

图片

3. 源码+数据源码下载 | Python可视化系列著作资源(源码+数据)

👉 公众号后台讨教【可视化方法源码】得到沿路代码+数据

图片

END

以上便是本期为寰球整理的沿路施行了，可爱的一又友不错

图片

点赞、点在看

图片

也不错共享让更多东说念主知说念。

本站仅提供存储工作，悉数施行均由用户发布，如发现存害或侵权施行，请点击举报。