cronジョブとしてscrapyを設定中にエラーが発生しました:「scrapy:notfound」

1
Hooman Bahreini 2020-07-13 18:49.

cronジョブを設定して、scrapy(pythonスクリプト)を実行したい

これが私がスクリプトを実行する方法であり、それはうまく実行されます:

[email protected]:cd /home/ubuntu/scrapers/my_scraper/
[email protected]:~/scrapers/my_scraper$ scrapy crawl my_spider

ここで、上記のコマンドをcronジョブとして実行しようとします。

sudo crontab -e

次の行を追加しました。

PATH=/home/ubuntu/.local/bin/
35 14 * * * cd /home/ubuntu/scrapers/my_scraper && scrapy crawl my_spider

これは成功しません...私も問題を診断することができません...私が実行した場合:

grep CRON /var/log/syslog

次の出力が得られます。

Jul 12 06:47:01 ip-1-2-3-4 CRON[1451]: (root) CMD (test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly ))
Jul 12 07:17:01 ip-1-2-3-4 CRON[1825]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 08:17:01 ip-1-2-3-4 CRON[1836]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 09:17:01 ip-1-2-3-4 CRON[1849]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 10:17:01 ip-1-2-3-4 CRON[1861]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 11:17:01 ip-1-2-3-4 CRON[1869]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 12:17:01 ip-1-2-3-4 CRON[1878]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 13:17:01 ip-1-2-3-4 CRON[1887]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 14:17:01 ip-1-2-3-4 CRON[1962]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 15:17:01 ip-1-2-3-4 CRON[1970]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 16:17:01 ip-1-2-3-4 CRON[1982]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 17:17:01 ip-1-2-3-4 CRON[1991]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 18:17:01 ip-1-2-3-4 CRON[2002]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 19:17:01 ip-1-2-3-4 CRON[2010]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 20:05:01 ip-1-2-3-4 CRON[2018]: (root) CMD (   test -x /etc/cron.daily/popularity-contest && /etc/cron.daily/popularity-contest --crond)
Jul 12 20:17:01 ip-1-2-3-4 CRON[2022]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 21:17:01 ip-1-2-3-4 CRON[2031]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 22:17:01 ip-1-2-3-4 CRON[2039]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 12 23:17:01 ip-1-2-3-4 CRON[2047]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 13 00:17:01 ip-1-2-3-4 CRON[2156]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 13 01:17:01 ip-1-2-3-4 CRON[2465]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 13 02:17:01 ip-1-2-3-4 CRON[2549]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 13 03:17:01 ip-1-2-3-4 CRON[2980]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jul 13 04:17:01 ip-1-2-3-4 CRON[3033]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)

最新の回線は今朝の午前4時(現地時間は午後2時)からであるため、これは奇妙です。エラーがログに記録されない理由がわかりませんか?

注:/home/ubuntu/.local/bin/ここがスクレイプの場所です(コマンドを使用して見つけましたwhich scrapy

更新(タイムゾーンの問題)

エラーが発生しなかった理由は、タイムゾーンが間違っていたためです。タイムゾーンを修正した後、次のエラーが発生します。

スクレイピー:見つかりません

また、run-my-scraper.shを使用してみました。

#!/bin/bash

cd /home/ubuntu/scrapers/my_scraper
PATH=$PATH:/usr/bin/python3
export PATH
/home/ubuntu/.local/bin/scrapy crawl my_spider

上記のシェルスクリプトをコンソールから実行してテストしたところ、動作し、cronジョブとして追加しましたが、結果は同じです。

sudo crontab -e

以下を追加しました:

39 16 * * * ./home/ubuntu/scrapers/shell-scripts/run-my-scraper.sh

しかし、まだスクレイプになっています:エラーが見つかりません

3 answers

1
FreddyDs 2020-07-13 19:05.

35 14 * * * cd / home / ubuntu / scrapers / my_scraper &&スクレイプクロールmy_spider

多分cdコマンドを取り除こうとします。

1
WU-TANG 2020-07-13 20:23.

newscript.shで
#!/ bin / bash
su --ubuntuまたは、必要に応じてPATH =を設定します...
cronjobをsudocd / home / ubuntu / scrapers / my_scraper /
スクレイプクロールmy_spiderとして作成したため

あなたが言った部分はすでに機能しました^

crontab
35 14 * * * / home / blahblah / newscript.shで

...要点、動作するスクリプトを作成し、cronジョブでスクリプトを呼び出します...実行可能であることを確認してください。

0
Hooman Bahreini 2020-07-13 23:03.

タイムゾーンに問題がありました...サーバーがUTCに設定されていて、オーストラリアの時間でcronジョブを設定していたため、エラーメッセージが表示されませんでした。

タイムゾーンを修正した後、次のことがうまくいきました(@Stephen Bostonからのコメントに感謝します。彼は、スクレイプにはフルパスを使用する必要があると指摘しました)。

crontab -e

PATH=/usr/local/bin
56 18 * * * cd /home/ubuntu/scrapers/my_scraper && /home/ubuntu/.local/bin/scrapy crawl my_spider 

Related questions

MORE COOL STUFF

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは、夫に会ったとき、典型的な交際のアドバイスに逆らいました。

マイケルシーンが非営利の俳優である理由

マイケルシーンが非営利の俳優である理由

マイケルシーンは非営利の俳優ですが、それは正確にはどういう意味ですか?

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

特徴的なスターのコリン・エッグレスフィールドは、RomaDrama Liveでのスリル満点のファンとの出会いについて料理しました!加えて、大会での彼のINSPIREプログラム。

「たどりつけば」をオンラインでストリーミングできない理由

「たどりつけば」をオンラインでストリーミングできない理由

ノーザンエクスポージャーが90年代の最も人気のある番組の1つになった理由を確認するには、Blu-rayまたはDVDプレーヤーをほこりで払う必要があります。

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖は、世界で2番目に大きいボイリング湖です。そこにたどり着くまでのトレッキングは大変で長いですが、努力する価値は十分にあります。

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

サロンからのヘアトリミングや個人的な寄付は、油流出を吸収して環境を保護するのに役立つマットとして再利用できます。

ポルシェは今週、ルマンプロトタイププログラムをシャットダウンします:レポート

ポルシェは今週、ルマンプロトタイププログラムをシャットダウンします:レポート

写真提供者:Sportscar365が引用した複数の出版物や業界筋によると、ポルシェポルシェは、トップクラスの919ハイブリッドルマンプロトタイププログラムの終了を24時間以内に発表します。これにより、世界耐久選手権のトップLMP1クラスは、チームが1つだけになり、将来は不透明になります。

「実際の何と同じように」:InstaStoryはThunderboltをCupcakesとCashmereコミュニティの中心に撃ち込みます

「実際の何と同じように」:InstaStoryはThunderboltをCupcakesとCashmereコミュニティの中心に撃ち込みます

@thehyperbalistによるスクリーンショット。人気のライフスタイルブログCupcakesandCashmereの元従業員であるAlinaGonzalezが、彼女の解雇の状況を公にハッシュするために私が個人的に見た中で最も長いInstagramストーリーの1つをリリースしました。

ニース:木星には69の衛星があります

ニース:木星には69の衛星があります

AP経由の画像。あなたは新しいものを発見するのに年を取りすぎていることは決してありません。そして私たちは皆、木星が衛星で69歳になっているという発見に喜びを感じています。

今日のベストライフスタイルのお得な情報:ミッションアクティブウェア、エバーレーン、BHコスメティックスなど

今日のベストライフスタイルのお得な情報:ミッションアクティブウェア、エバーレーン、BHコスメティックスなど

割引されたASOSサマースタイル、AmazonのMission Activewear、Everlaneからの2日間の無料配送など、月曜日の最高のライフスタイルのお得な情報をお届けします。Kinjaのお得な情報をブックマークして、Twitterでフォローしてお得な情報を見逃さないでください。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Forced to Borrow Paris' 'I Love Paris' Sweatshirt After 'Airline Loses All [My] Luggage'

Nicky Hilton Rothschild's luggage got lost, but luckily she has an incredible closet to shop: Sister Paris Hilton's!

ケイト・ミドルトンはロンドンの水辺で一日を過ごし、さらにジェニファー・ロペス、ジュリアン・ハフなど

ケイト・ミドルトンはロンドンの水辺で一日を過ごし、さらにジェニファー・ロペス、ジュリアン・ハフなど

ケイト・ミドルトンはロンドンの水辺で 1 日を過ごし、ジェニファー・ロペス、ジュリアン・ハフなども。ハリウッドからニューヨークまで、そしてその間のあらゆる場所で、お気に入りのスターの活躍をご覧ください!

ウィスコンシン川でのナイフ攻撃で 17 歳の少年が刺されて死亡、他の 4 人が負傷したままになっている

ウィスコンシン川でのナイフ攻撃で 17 歳の少年が刺されて死亡、他の 4 人が負傷したままになっている

捜査官は、グループと容疑者が攻撃の前にお互いを知っていたかどうかを調べています

書き方

書き方

私にとって、すべてはその最初の行とそれがあなたをどこに連れて行くかについてです. プロットやチェスの駒の繊細な配置に突き動かされる作家もいれば、登場人物や新しい架空の友人との旅に出る能力に引き込まれる作家もいます。

滑走路着陸

滑走路着陸

晩夏と秋はノスタルジックな季節。街灯は雨で濡れた通りに光を放ち、足元の葉 - 夕暮れの影の中で落ち着いた赤オレンジ - は過ぎ去った日々を思い出させます。

実際に変換するコンテンツ戦略を作成することを想像してみてください。それが可能だ。

実際に変換するコンテンツ戦略を作成することを想像してみてください。それが可能だ。

2021 年には、サービスを提供する顧客と顧客に伝えるストーリーについて知っていることをすべて再考することをお勧めします。あとずさりする。

マンモスロスは私の心を愛に開いた

マンモスロスは私の心を愛に開いた

フェリックス ザ キャットの 9 歳の誕生日の日に、大人になってからの最大の損失の 1 つである 2013 年のソフィーを思い出します。私はこのエッセイを書き、2013 年にこのプラットフォームで簡単に共有しました。

Language