文章概要
使用nodejs + cheerio + Promise(bluebird庫實現)的nodejs課程資料進行爬取。統計scott老師的所有課程的情況：每個課程的課程名、課程介紹、連結地址、課程難度等級。
關於cheerio的使用
- 請參考我的另外一篇文章 《cheerio 使用初步》
也可以參考我的另外一篇爬蟲實踐文章
準備
- 對應的DOM結構如下
-
我希望的到的是如下
課程名稱: Node.js 非同步優化 課程介紹：本課程作為 Node.js 進階提升系列的第一課，主要講解 Node.js 的非同步程式碼程式設計習慣以及非同步程式碼程式設計會帶來的潛在問題。通過本課程的學習，學員將學會如何將 Node.js 的非同步程式碼進行改良優化。 課程連結：4510人學習 學習人數：http://www.jikexueyuan.com/course/2052.html 複製程式碼
## 程式碼 crawler.js
var http = require('http');
var cheerio = require('cheerio');
var Promise = require('bluebird');
// baseUrl + videoIds 是一個課程的
var baseUrl = 'http://www.imooc.com/learn/';
var videoIds = [348, 259, 197, 134, 75];
function filterHtml(html){
var $ = cheerio.load(html);// 使用 cheerio模組裝載課程頁面，使用類似jquery方式處理
var course_infos = $('.course-infos');//課程資訊
var title = course_infos.find('.hd').find('.l').text().trim();//課程標題
var number = $($('.static-item.l')[1]).find('span').last().text().trim();//課程難度等級
var chapters = $('.chapter');//章節（每個章節包含若干小節）
//期望返回的資料結構，將每個html頁面處理成這個字面量物件
/*var courseData = {
title: title,//課程名稱
number: number,//課程學習人數
//課程的每個章節：章節名稱，小章節陣列。小章節：小章節名稱，小章節連結
videos:[{
chapterTitle: '',
videos: [
title:'',
id:''
]
}]
}*/
var courseData = {
videos: [],
number: number,
title: title
}
//遍歷每個章節
chapters.each(function(item) {
var chapter = $(this);
var chapterTitle = chapter.find('strong').text().trim();//每個章節的標題
var videos = chapter.find('.video').children('li');//每個小章節DOM（陣列）
var chapterData = {
chapterTitle : chapterTitle,
videos: []
}
videos.each(function(item) {
var video = $(this).find('.J-media-item');//每個小節的a標籤
var videoTitle = video.text().trim();
var id = video.attr('href').split('video/')[1].trim();
chapterData.videos.push({
title: videoTitle,
id:id
})
})
courseData.videos.push(chapterData)
})
return courseData;
}
function printInfo(info) {
info.forEach(function(item){
console.log(item.number + ' 人學過 ' + item.title + '\r\n');
});
info.forEach(function(courseData) {
console.log('###' + courseData.title + '\n')
courseData.videos.forEach(function(item) {
var chapterTitle = item.chapterTitle;
console.log(chapterTitle + '\r\n');
item.videos.forEach(function(video) {
var subtext = '【' + video.id +'】' + video.title
console.log(subtext)
})
})
})
}
var fetchCourseArray = [];
videoIds.forEach(function(id) {
fetchCourseArray.push(getPageAsync(baseUrl + id));
})
function getPageAsync(url) {
return new Promise(function(resolve, reject){
console.log('正在爬取....');
http.get(url, function(res){
var html = '';
res.on('data', function(data) {
html += data;
})
res.on('end', function(){
resolve(html);
})
}).on('error', function(e) {
reject(e)
console.log('出錯了')
})
})
}
Promise
.all(fetchCourseArray)
.then(function(pages) {
var coursesData = [];//很多課程的陣列（之前是一個課程裡許多個章節的陣列）
pages.forEach(function(html){
var courses = filterHtml(html);
coursesData.push(courses);
})
coursesData.sort(function(a, b){
return a.number < b.number;//從大到小
})
printInfo(coursesData)
})
複製程式碼拉出啦溜溜
執行
npm install --save cheerio bluebird
node crawler.js
複製程式碼問題
我最開始想爬取慕課網某個課程的學習人數
DOM結構如下
“上次學到”、“學習人數”等四塊內容，分別儲存在四個className為static-item的DIV中。但是通過資料抓取，我發現，抓出的資料“上次學到”等標題是亂碼，然後具體的內容如“1-1課程簡介”等是空
var number = $('.statics ').find('.static-item').html();
複製程式碼
也許是我的這次行為被慕課網發現了，觸發了自動“反扒”機制，這個機制和怎麼規避，目前，我還不瞭解，後面的文章，我會繼續填坑~