網(wǎng)頁(yè)爬蟲(chóng) - Python爬蟲(chóng)入門(mén)知識(shí)
問(wèn)題描述
本人快大二了,自習(xí)了Python,語(yǔ)法基本會(huì)。想學(xué)下爬蟲(chóng),但是感覺(jué)這涉及到好多知識(shí)啊,有沒(méi)有過(guò)來(lái)人總結(jié)下都有什么知識(shí),或者Python爬蟲(chóng)該怎么學(xué)?
問(wèn)題解答
回答1:爬蟲(chóng)學(xué)習(xí)要從需求學(xué)習(xí),你看網(wǎng)上那么多初級(jí)爬蟲(chóng)都是爬些什么段子,美女圖什么的,三天就能搞定這些簡(jiǎn)單的爬蟲(chóng)。
但是深入的話(huà)就是很難的,涉及到的方面也很多。
入門(mén)不是什么難事,可以看下這個(gè)--如何學(xué)習(xí)Python爬蟲(chóng)[入門(mén)篇] https://zhuanlan.zhihu.com/p/...
回答2:原理上就是http請(qǐng)求,再多一點(diǎn)就是session和cookie,再多就是驗(yàn)證碼識(shí)別。工具上就是請(qǐng)求工具可以用urllib2,更好是request庫(kù),請(qǐng)求過(guò)來(lái)需要解析,那就是beautifulsoup。
Python 基礎(chǔ)教程 | 菜鳥(niǎo)教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文檔 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬蟲(chóng)性能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN來(lái)進(jìn)行驗(yàn)證碼識(shí)別 - QueenKing - SegmentFault /a/11...
回答3:可以參考 Python-Scrapy 爬蟲(chóng)框架,這有中文手冊(cè)。
相關(guān)文章:
1. node.js - mysql如何通過(guò)knex查詢(xún)今天和七天內(nèi)的匯總數(shù)據(jù)2. mysql 插入數(shù)值到特定的列一直失敗3. 360瀏覽器與IE瀏覽器有何區(qū)別???4. mysql - 百萬(wàn)行的表中是否盡量避免使用update等sql語(yǔ)句?5. python - 在使用Pycharm時(shí)經(jīng)??吹饺缦碌臉邮?,小括號(hào)里紅色的部分是什么意思呢?6. Python從URL中提取域名7. javascript - 新浪微博網(wǎng)頁(yè)版的字?jǐn)?shù)限制是怎么做的8. 怎么在網(wǎng)頁(yè)中設(shè)置圖片進(jìn)行左右滑動(dòng)9. javascript - 豆瓣的這個(gè)自適應(yīng)是怎么做的?10. javascript - 用jsonp抓取qq音樂(lè)總是說(shuō)回調(diào)函數(shù)沒(méi)有定義
