問題描述

我爬取的是中國裁判文書網(wǎng),之前還是好好的,我發(fā)送請求,服務(wù)器返回200,然后我處理body中的數(shù)據(jù)

但是一個星期之前,突然所有的請求都返回202,然后response body里也是空的,完全拿不到數(shù)據(jù),我在回調(diào)函數(shù)中阻塞等待while(response.status == 202)就sleep也沒用,status并不會變化

該怎么辦呢?

我使用了crwalera的ip代理服務(wù),之前有段時間也是202,但是過了一天就好了,但這次已經(jīng)持續(xù)了一個星期了,很奇怪

我覺得就是目標(biāo)網(wǎng)站負載太大,所以采用異步的方式發(fā)送數(shù)據(jù),但是我在scrapy里有怎么正確地收到他的數(shù)據(jù)呢?

問題解答

這種情況通常是違規(guī)抓取，服務(wù)端進行了防抓取限制。如果是合法抓取的話，可以和內(nèi)容方面溝通，看看是不是有誤傷，如果是非法抓取，還建議不要這樣做了，嚴重的話可能有被起訴的風(fēng)險

被防采集了，可以試試換ip或?qū)ふ曳啦傻南拗坡┒?/p>