说实话,手动安装scrapy简直让人抓狂,特别是window端。很多教程都有说明安装步骤,但实际上我们安装并不顺利,昨天那个手动教程,我反复安装了好几遍,十之八九是不成功的。

1. Docker版scrapy的使用方法
特点:
- 已完成编译环境,开箱即用,无需再次等待繁琐又耗时的初始化安装步骤
- 跨设备使用,基于官方
python:3.7-alpine
,镜像仅为144M,安装非常快速。
运行:
通用格式:
docker run -it -v 宿主机挂载目录:/root/scrapy baiyuetribe/scrapy
示例:
- Windows宿主机挂载目录录改为:
c:\\demo\\spider
- Linux宿主机挂载目录改为:
/root/spider
- MAC 原理同上
使用演示:
初次运行会进入到sh命令交互端,可以正常使用linux下的操作,比如:
scrapy shell baiyue.one
....
....
>>>response.css('title')
[<Selector xpath='descendant-or-self::title' data='<title>佰阅部落|让优质web应用脱颖而出</title>'>]
其余命令都可以正常运行。
2.其它Docker版的python开发环境举例:
a.最小的python3.7
镜像,仅为31M:
docker run -it python:3.7-alpine
b.适用与vs remote
可扩展的镜像,相当于一台独立的linux主机环境加上vs code
工具
docker run -it python:3.7 #大小为356M
c.基于python3.7的scrapy
镜像,仅为141M:
docker run -it baiyuetribe/scrapy
3.Docker是什么?
请参阅本站往期文章,一句话描述,就是一个打包好环境的linux系统,无视依赖环境,开箱即用。