爬虫-windows下安装Scrapy及scrapy模块介绍
一:安装wheel
SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。二:安装twisted
twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用。Twisted介绍
三:创建scrapy文件
使用命令窗口进入目标目录后 使用命令
scrapy startproject project_name
工程目录结构如图
四:启动爬虫程序
scrapy crawl first --nolog #启动时,不输出日志文件
scrapy crawl first #带有日志的输出
更多精彩