这篇文章主要介绍了python爬虫框架Scrapy怎么安装使用的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇python爬虫框架Scrapy怎么安装使用文章都会有所收获，下面我们一起来看看吧。
1.Scrapy框架结构示意图
官方示意图：
自制示意图：
2.安装 Scrapy 框架
直接在命令行pip即可，此外还需要安装一个依赖库pypiwin32，也是直接pip即可
pip install scrapy pip install pypiwin32
3.创建项目和爬虫
-
创建项目：
scrapy startproject [爬虫项目名称]
-
创建爬虫
注意：要先进入到项目所在的路径，再执行命令
scrapy genspider [爬虫名称] "[爬取的域名]"
4.操作示意图：
打开pycharm以后即可看到：
5.项目目录结构
| 目录名称 | 作用 |
|---|---|
| items.py | 用来存放爬虫爬取下来数据的模型 |
| middlewares.py | 用来存放各种中间件的文件 |
| pipelines.py | 用来将items的模型存储到本地磁盘 |
| settings.py | 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等） |
| scrapy.cfg | 项目的配置文件 |
| spiders包 | 以后所有的爬虫都存放在这个里面 |
关于“python爬虫框架Scrapy怎么安装使用”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“python爬虫框架Scrapy怎么安装使用”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注云搜网行业资讯频道。
