网上那么多的穷游攻略该看那个？当然是全都要了，Python帮你爬取

佚名 4年前 (2020-06-08) Python 558人围观抢沙发百度已收录

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

作者：IT共享者

喜欢的朋友欢迎关注小编，除了分享技术文章之外还有很多福利

加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等

项目背景

穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方案，同时提供签证、保险、机票、酒店预订、租车等在线增值服务。穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。

今天教大家获取穷游网的城市信息，使用Python将数据写入csv文档。

网上那么多的穷游攻略该看那个？当然是全都要了，Python帮你爬取 Python 第1张

项目目标

实现将获取对应的城市、图片链接、热点、批量下载保存csv文档。

涉及的库和网站

1、网址如下：

https://place.qyer.com/south-korea/citylist-0-0-{}

2、涉及的库：requests、lxml、fake_useragent、time、csv

项目分析

首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮，观察到网站的变化分别如下所示：

- https://place.qyer.com/south-korea/citylist-0-0-1

- https://place.qyer.com/south-korea/citylist-0-0-2

- https://place.qyer.com/south-korea/citylist-0-0-3

观察到只有citylist-0-0-{}/变化，变化的部分用{}代替，再用for循环遍历这网址，实现多个网址请求。

项目实施

1、我们定义一个class类继承object，然后定义init方法继承self，再定义一个主函数main继承self。准备url地址。

import requests，os
from lxml import etree
import random
import time
from fake_useragent import UserAgent


class Travel(object):
    def __init__(self):
        self.url = "https://place.qyer.com/south-korea/citylist-0-0-{}/"
    def main(self):
        pass
if __name__ == '__main__':
    spider= Travel()
    spider.main()

2、随机产生UserAgent。

        self.film_list = []
        ua = UserAgent(verify_ssl=False)
        for i in range(1, 50):
            self.film_list.append(ua.chrome)
            self.Hostreferer = {
            'User-Agent': random.choice(self.film_list)
        }

3、多页请求。

        startPage = int(input("起始页:"))
        endPage = int(input("终止页:"))
        for page in range(startPage, endPage + 1):
            url = self.url.format(page)

4、定义get_page方法，进行数据请求。

   '''数据请求'''
    def get_page(self, url):
        html = requests.get(url=url, headers=self.Hostreferer).content.decode("utf-8")
        self.page_page(html)
        # print(html)//网页
        # print(self.headers)//构造头

5、定义page_page，xpath解析数据, for循环遍历数组。

在谷歌浏览器上，右键选择开发者工具或者按F12。右键检查，xpath找到对应信息的字段。如下图所示。

网上那么多的穷游攻略该看那个？当然是全都要了，Python帮你爬取 Python 第2张

    parse_html = etree.HTML(html)
    image_src_list = parse_html.xpath('//ul[@class="plcCitylist"]/li') 
    for i in image_src_list:
            b = i.xpath('.//h3//a/text()')[0].strip()
            c = i.xpath('.//p[@class="beento"]//text()')[0].strip()
            d = i.xpath('.//p[@class="pics"]//img//@src')[0].strip()

6、定义csv文件保存数据，写入文档。

        # 创建csv文件进行写入
        csv_file = open('scrape.csv', 'a', encoding='gbk')
        csv_writer = csv.writer(csv_file)
        csv_writer.writerow([b, c, d])
        csv_file.close(

7、在main方法调用。

    def main(self):
        for i1 in range(1, 25):
            url = self.url.format(i1)
            # print(url)
            html = self.get_page(url)

            time.sleep(2)
            print("第%d页" % i1)