問題描述

代碼不長(zhǎng)，如下,爬取的是 雪中悍刀行的所有章節(jié)內(nèi)容

var http = require(’http’);var $ = require(’cheerio’);var async = require(’async’);var iconv = require(’iconv-lite’);var fs = require(’fs’);var chapterNo = 1;var url = ’http://www.biquku.com/0/761/’, hrefList = {};var curCount = 0;var getChapter = function(url, cb) { ++ curCount; console.log(’讀取:’ + url + ’中, 同時(shí)有’ + curCount + ’并發(fā)中’); var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; if (res.statusCode == 200) { res.on(’data’, function(chunk) {buffer_arr.push(chunk);buffer_len += chunk.length; }); res.on(’end’, function() {var $content = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)).find(’#content’).text();-- curCount;cb(null , $content); }) } else { console.log('status: ' + res.statusCode); getChapter(url, cb); } }); req.on(’error’, function(err) { console.log(’request-err’); console.error(err); }) req.end();}var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; res.on(’data’, function(chunk) { buffer_arr.push(chunk); buffer_len += chunk.length; }); res.on(’end’, function() { var $html = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)); var $urls = $html.find(’#list>dl>dd>a’); var $a = ’’; for (var i = 0; i < $urls.length; i++) { $a = $($urls[i]); hrefList[$a.text()] = (function(url) {return function(cb) { setTimeout(function() { getChapter(url, cb); }, 0)} })(url.concat($a.attr(’href’))); } console.time(’novel’); async.parallelLimit(hrefList, 20, function(err, res) { if (err) {console.log('parallel-err:');console.error(err); } else {for (var key of Object.keys(res)) { var fileName = ’./’ + key + ’.txt’; (function(key){ fs.writeFile(fileName, res[key], function(err) { if (err) {console.log(’writefile-err:’);console.error(err); } else {console.log(key + ’: success’); } }) })(key)}console.timeEnd(’novel’); } }) })})req.on(’error’, function(e) { console.error(e);})req.end();

然后下面是請(qǐng)求報(bào)錯(cuò)的地方

希望大家能告訴我下，怎么解決呢？還有我這個(gè)算并發(fā)請(qǐng)求嗎，因?yàn)槲沂峭ㄟ^setTimeout(func,0)這樣來發(fā)起發(fā)起http請(qǐng)求的？經(jīng)過后來測(cè)試發(fā)現(xiàn)，200多張能成功讀取，到了300就會(huì)發(fā)生錯(cuò)誤了。。

問題解答

你這個(gè)確實(shí)是并發(fā)請(qǐng)求，20個(gè)會(huì)不會(huì)有點(diǎn)多，可能這個(gè)服務(wù)器扛不住了吧。 調(diào)小一點(diǎn)比如10個(gè)或5個(gè)并發(fā)試試呢

更新：剛才在我電腦上跑了下你的這段代碼，沒有出現(xiàn)問題描述中的錯(cuò)誤。大概也許還有個(gè)原因是你的網(wǎng)不行吧。