爬虫工作量由小到大的思维转变---＜第三十五章 Scrapy 的scrapyd+Gerapy 部署爬虫项目＞

前言:

项目框架没有问题大家布好了的话,接着我们就开始部署scrapy项目(没搭好架子的话,看我上文爬虫工作量由小到大的思维转变---＜第三十四章 Scrapy 的部署scrapyd+Gerapy＞-CSDN博客)

正文:

1.创建主机:

首先gerapy的架子,就相当于部署服务器上的;所以,我们先要连接主机(用户名/密码随你填不填)

----ps:我建议你填一下子,养成习惯;别到时候布到云服务上去了,被人给扫了,那不好玩的!

这里ip就填 127.0.0.1 ,端口6800 --->就是你scrapyd的端口!

创建完成,应该会是这样的:

此时他说你的主机没连接上,为啥?

-----因为这是个基于scrapyd的可视化网页架子,你不开scrapyd服务,他基于啥给你可视化?

所以...

2.开启scrapyd服务

(本地127.0.0.1的不用调设置哈,直接开! 布云端服务器以后会另外说的)

ps:(我这里是拿个项目过来改的,以上一篇爬虫工作量由小到大的思维转变---＜第三十四章 Scrapy 的部署scrapyd+Gerapy＞-CSDN博客)里面的文件为准; 你哪里装的gerapy和scrapyd,就去那个文件夹;

成功之后,如图:

---你的状态指标,刷新一下:正常!? ?就是成功了~

3.创建项目文件夹(你也可以自己cmd完成,都随意! 看我原理就成):

特别注意:

1. log是日志文件夹,你每开启一次gerapy,他就会在里面生成一个日志文件;报错的话,你就去找对应的ERROR看去~?

2. gerapy文件夹里也有一个projects文件夹;? ?他是你装gerapy文件就生成了的; 我目前的版本是gerapy= 0.9.13 ;? 这个版本,是在log同级文件里,创建projects(手动创建 mkdir projects)

3. 如果你的projects创建的层级错了,他会报:

----认真看我说的1 2 3条,还有图! 标红的是极为关键的地方(也就是你丢爬虫工程的地方),搞错了你就丢不上去爬虫工程了~

4.丢爬虫工程:

? ? ? ? 1.怎么丢爬虫工程:

? ? ? ? ? ? ? ? -丢你scrapy的根文件,也就是那个含着"scrapy.cfg"文件的包,全部拷贝!

????????????????

? ? ? ? 2.从github上/其他地方拷(后面会讲,这里只谈本地的先带着走一遍)

5.部署到XX服务器(这里是部署本机链接服务):

????????步骤1. 你爬虫项目丢的没问题,这个图就没问题!

????????步骤2: 打包如果有问题,去看log! 很有可能是坏在setting上---按我步骤,一般不会报错;你就反复去看 '4.丢爬虫工程'那个环节!

????????

6.部署成功!?

7.随便玩了

敞开了玩~~ 鼠标点点点,各种乱造...every body 造坏了再来一遍!!吼吼!!!

-----------恭喜大家,部署了自己第一个爬虫项目!? 是不是瞬间感觉其他都不香了....

所以我就说嘛.爬虫没意思. 趁早散伙....