核心提示：当我们在做一些爬虫小程序的时候，如果我们一次性爬的数据条较多，那么相关软件也许会有限制或者是认为我们是非法的。那么我们就需要一些机制去限制获取数据的条数。而且node为我们提供的并发获取数据都是异步的...
当我们在做一些爬虫小程序的时候，如果我们一次性爬的数据条较多，那么相关软件也许会有限制或者是认为我们是非法的。那么我们就需要一些机制去限制获取数据的条数。而且node为我们提供的并发获取数据都是异步的。
eventproxy控制并发
思路：
在适当的时候ep.emit(‘event_name’, eventData)；
ep.all('data1_event', 'data2_event', 'data3_event', function(data1, data2, data3){
//监听三个事件，每当一个源数据抓取完成时，就通过emit来告诉ep自己
var html = fuck(data1, data2, data3);
render(html);
});
$.get('https://data1_source', function(data){
ep.emit('data1_event', data);
});
$.get('https://data2_source', function(data){
ep.emit('data2_event', data);
});
$.get('https://data3_source', function(data){
ep.emit('data3_event', data);
});
async控制并发
主要是使用到了async模块的mapUrl(arr, limit, iterator, callback)接口；
async.mapLimit(urls, 5, function(url, callback){
//
}, function(err, result){
//
});
