在Cron工作中Scrapy


问题内容

想从cron工作中执行我的爬虫。

我创建bash文件getdata.sh,其中scrapy项目位于它的Spiders中

#!/bin/bash
cd /myfolder/crawlers/
scrapy crawl my_spider_name

我的crontab看起来像这样,我想每5分钟执行一次

 */5 * * * * sh /myfolder/crawlers/getdata.sh 

但这没用,怎么了,我的错误在哪里?

当我从终端sh /myfolder/crawlers/getdata.sh执行我的bash文件时,它工作正常


问题答案:

我解决了这个问题,包括进入bash文件的PATH

#!/bin/bash

cd /myfolder/crawlers/
PATH=$PATH:/usr/local/bin
export PATH
scrapy crawl my_spider_name