python爬蟲快速響應服務器的做法
不論是打開網(wǎng)頁或者爬取一些資料的時候,我們想要的是計算機能在最短的時間內(nèi)運行出結(jié)果,不然等待的時間過長會影響下一步工作的計劃。這時候我們可以給計算機一個指令,限制最久能等待的時間,在我們能接受的時間內(nèi)運行出結(jié)果。那么這個指令方法是什么呢?接下來我們一起看看吧。
requests之所以稱為“HTTP for human”,因為其封裝層次很高,其中一處體現(xiàn)就在:requests會自動處理服務器響應的重定向。我在做搜狗微信公眾號抓取的時候,搜狗搜索列表頁面的公眾號文章地址,其實不是微信的地址而需要請求到搜狗到服務器做重定向,而requests的默認處理則是將整個過程全部搞定,對此可以這樣:
In [1]: r = requests.get(’http://xlzd.me’, allow_redirects=False)
allow_redirects參數(shù)為False則表示不會主動重定向。
另外,有時候?qū)Ψ骄W(wǎng)站的響應時間太長了,我們希望在指定時間內(nèi)完事,或者直接停止這個請求,這時候的做法是:
In [1]: r = requests.get(’http://xlzd.me’, timeout=3)
timeout表示這次請求最長我最長只等待多少秒
拓展:
為requests套上一層代理的做法也非常簡單:
import requestsproxies = { 'http': 'http://192.168.31.1:3128', 'https': 'http://10.10.1.10:1080',}requests.get('http://xlzd.me', proxies=proxies)
到此這篇關(guān)于python爬蟲快速響應服務器的做法的文章就介紹到這了,更多相關(guān)python爬蟲中如何快速響應服務器內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. XML入門的常見問題(三)2. XML基本概念XPath、XSLT與XQuery函數(shù)介紹3. WML的簡單例子及編輯、測試方法第1/2頁4. el-input無法輸入的問題和表單驗證失敗問題解決5. 關(guān)于html嵌入xml數(shù)據(jù)島如何穿過樹形結(jié)構(gòu)關(guān)系的問題6. CSS3實例分享之多重背景的實現(xiàn)(Multiple backgrounds)7. 不要在HTML中濫用div8. vue實現(xiàn)復制文字復制圖片實例詳解9. XML入門的常見問題(四)10. 前端html+css實現(xiàn)動態(tài)生日快樂代碼
