文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：150日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。
相關文章：
1. node.js - 在vuejs-templates/webpack中dev-server.js里為什么要exports readyPromise?2. mysql優化 - 關于mysql分區3. html5 - 如何實現帶陰影的不規則容器？4. javascript - 循環嵌套多個promise應該如何實現？5. python - 管道符和ssh傳文件6. 請教各位大佬，瀏覽器點 提交實例為什么沒有反應7. objective-c - iOS開發支付寶和微信支付完成為什么跳轉到了之前開發的一個app?8. javascript - 為什么這個點擊事件需要點擊兩次才有效果9. javascript - ionic2 input autofocus 電腦成功，iOS手機鍵盤不彈出10. vue.js - vue 打包后 nginx 服務端API請求跨域問題無法解決。
排行榜
網公網安備