• 欢迎访问佰阅部落
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Docker版scrapy爬虫框架,释放你的创作热情

开发工具 佰阅 4年前 (2019-06-01) 3927次浏览 0个评论

说实话,手动安装scrapy简直让人抓狂,特别是window端。很多教程都有说明安装步骤,但实际上我们安装并不顺利,昨天那个手动教程,我反复安装了好几遍,十之八九是不成功的。

Docker版scrapy爬虫框架,释放你的创作热情

1. Docker版scrapy的使用方法

特点:

  • 已完成编译环境,开箱即用,无需再次等待繁琐又耗时的初始化安装步骤
  • 跨设备使用,基于官方python:3.7-alpine ,镜像仅为144M,安装非常快速。

运行:

通用格式:

docker run -it -v 宿主机挂载目录:/root/scrapy baiyuetribe/scrapy

示例:

  • Windows宿主机挂载目录录改为:c:\\demo\\spider
  • Linux宿主机挂载目录改为:/root/spider
  • MAC 原理同上

使用演示:

初次运行会进入到sh命令交互端,可以正常使用linux下的操作,比如:

scrapy shell baiyue.one
....
....
>>>response.css('title')
[<Selector xpath='descendant-or-self::title' data='<title>佰阅部落|让优质web应用脱颖而出</title>'>]

其余命令都可以正常运行。

2.其它Docker版的python开发环境举例:

a.最小的python3.7镜像,仅为31M:

docker run -it python:3.7-alpine  

b.适用与vs remote可扩展的镜像,相当于一台独立的linux主机环境加上vs code工具

docker run -it python:3.7  #大小为356M

c.基于python3.7的scrapy镜像,仅为141M:

docker run -it baiyuetribe/scrapy

3.Docker是什么?

请参阅本站往期文章,一句话描述,就是一个打包好环境的linux系统,无视依赖环境,开箱即用。


佰阅部落 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Docker版scrapy爬虫框架,释放你的创作热情
喜欢 (0)

您必须 登录 才能发表评论!