問題描述

如題描述因為一些需求想對一份url列表進行get請求掃描,看看這些頁面是否存在平時用的requests模塊的get和多進程來實現,感覺還是不夠快.于是產生了如題描述的這種想法.順便問下,為什么vps提供商會封我...好郁悶.

問題解答

heads=requests.head(url)

平時用的requests模塊的get和多進程來實現,感覺還是不夠快.于是產生了如題描述的這種想法.

取決于多種原因，你丟棄 GET 的響應體并不一定會更快。

如果 HEAD 滿足你的要求，你就用 HEAD 吧。

記得使用 requests.Session，這樣對同一服務器的訪問可以加速一倍以上。

PS: 建議好好學習一下 HTTP，這樣遇到問題你就不需要來問然后等著，最后拿到一個自己都不明白的解決方案。