一提到爬蟲，大多數(shù)同學(xué)都想到的是Python，今天小千就給大家上一下不同的菜，利用js制作一個(gè)爬蟲，Python用膩了來試試js吧。

      一、引言

      最近娛樂圈比較的火的算是鄭爽事件了，作為一名程序猿如何能或者最新的娛樂熱點(diǎn)新聞呢？ 今天咱們就用js做一個(gè)網(wǎng)絡(luò)爬蟲，來爬取一個(gè)網(wǎng)站的新聞數(shù)據(jù)。

      二、什么是爬蟲？

      網(wǎng)絡(luò)爬蟲，又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，意思是我們通過程序去搜集網(wǎng)絡(luò)上某些網(wǎng)站的數(shù)據(jù)。典型的通過爬蟲獲取數(shù)據(jù)的網(wǎng)站，比如百度、谷歌等搜索引擎。還有一些新聞聚合類網(wǎng)站，比如今日頭條等網(wǎng)站。之前淘寶的一淘，返利網(wǎng)等網(wǎng)站都是利用了爬蟲技術(shù)去獲取別人網(wǎng)站的一些信息。 爬蟲也不能亂用，無限制的去爬取一個(gè)網(wǎng)站的信息，那樣會(huì)導(dǎo)致人家公司服務(wù)器壓力比較大。之前有句爬蟲界比較流行的話：爬蟲玩的好,監(jiān)獄進(jìn)的早;數(shù)據(jù)玩的溜,牢飯吃個(gè)夠！做技術(shù)的要有自己的底線，之前有程序員用爬蟲為公司做了一些工作，結(jié)果公司被訴訟，程序猿被帶走！

      三、開始之前

      為了防止出一些意外，首先我們可以訪問你要爬取的目標(biāo)網(wǎng)站的robots協(xié)議。 robots協(xié)議也叫robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)爬蟲：此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被爬蟲獲取的，哪些是可以被爬蟲獲取的。參考robots.txt去爬取數(shù)據(jù)，再設(shè)置一下間歇時(shí)間，不會(huì)有人在意的。

      紅色部分是關(guān)鍵，所有的網(wǎng)頁都不能被爬取??！有句話不知當(dāng)講不當(dāng)講！

      冷靜下來，文章還沒寫就要結(jié)束了嗎？我的kpi咋辦！??！

      看看我們的今天要爬取的網(wǎng)頁地址，我們今天要爬取的網(wǎng)頁后綴名不是html！?。?/p>

      不知道是不是網(wǎng)站的技術(shù)人員忽略了這樣的地址，哈哈哈。

      四、正式開始

      我們使用nodejs做爬蟲，要使用到兩個(gè)npm包，cheerio 和 axios

      首先按照nodej，然后安裝axios和cheerio 。

      五、安裝axios

      axios是一個(gè)可以發(fā)起請(qǐng)求從而獲取網(wǎng)頁內(nèi)的包。

      鍵盤上按win+r，輸入CMD，在里面輸入   npm i aixos

      就可以安裝axios

      六、安裝cheerio

      安裝cheerio cheerio 是一的用法跟jQuery的用法差不多。 就是先將頁面的數(shù)據(jù)load進(jìn)來形成一個(gè)特定的數(shù)據(jù)格式，然后通過類似jq的語法，對(duì)數(shù)據(jù)進(jìn)行解析處理。 終端中輸入

      npm i cheerio

      七、爬取數(shù)據(jù)

      新建sp.js文件，寫入如下代碼

      執(zhí)行node sp.js 命令

      網(wǎng)頁的數(shù)據(jù)已經(jīng)獲取到了，然后我們就可以使用jquery的語法獲取頁面中的數(shù)據(jù)了。 下面我們分析一下頁面的結(jié)構(gòu)

      可以看到頁面中所有的新聞標(biāo)題都在a標(biāo)簽中，類名是truetit。然后我們就可以使用jq的選擇器獲取頁面中所有類名為truetit的元素。

      終端中結(jié)果

      這樣每次執(zhí)行就可以獲取最新的娛樂新聞，不需要打開網(wǎng)頁就可以獲取到，當(dāng)然我們只是獲取了第一頁的數(shù)據(jù)，你也可以獲取第二頁、第三頁等其他頁面的數(shù)據(jù)。 我們現(xiàn)在相當(dāng)于只獲取了一個(gè)網(wǎng)站的娛樂數(shù)據(jù)，如果你再分析一些其他的網(wǎng)站，獲取一些其他的網(wǎng)站的數(shù)據(jù)，然后把數(shù)據(jù)都存儲(chǔ)起來，自己就可以做一個(gè)只顯示娛樂新聞的網(wǎng)站了！

      學(xué)習(xí)web前端，可以參考千鋒web前端培訓(xùn)班提供的web前端學(xué)習(xí)路線，該學(xué)習(xí)路線對(duì)從零基礎(chǔ)小白到web前端初級(jí)開發(fā)工程師，web前端高級(jí)開發(fā)工程師，后面的web前端大神級(jí)開發(fā)工程師都有一個(gè)明確清晰的指導(dǎo)，根據(jù)千鋒web前端培訓(xùn)機(jī)構(gòu)提供的web前端學(xué)習(xí)路線圖可以讓你對(duì)學(xué)習(xí)web前端開發(fā)需要掌握的知識(shí)有個(gè)清晰的了解，并快速入門web前端開發(fā)。想要獲取前端完整學(xué)習(xí)路線和免費(fèi)的學(xué)習(xí)資料可以添加我們的web前端技術(shù)分享交流qq群：857920838  加群找群管理領(lǐng)取即可，等你來哦~~