久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

    1. <style id="76ofp"></style>

      <style id="76ofp"></style>
      <rt id="76ofp"></rt>
      <form id="76ofp"><optgroup id="76ofp"></optgroup></form>
      1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

        手機(jī)站
        千鋒教育

        千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)

        千鋒教育

        掃一掃進(jìn)入千鋒手機(jī)站

        領(lǐng)取全套視頻
        千鋒教育

        關(guān)注千鋒學(xué)習(xí)站小程序
        隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

        當(dāng)前位置:首頁  >  技術(shù)干貨  > xpath與美食結(jié)合據(jù)說更香哦

        xpath與美食結(jié)合據(jù)說更香哦

        來源:千鋒教育
        發(fā)布人:qyf
        時(shí)間: 2022-09-08 17:47:29 1662630449

          我們今天寫的爬蟲內(nèi)容是xpath,我們通過美食頁面的分析帶領(lǐng)大家學(xué)習(xí)xpath。

          先來介紹一下xpath。 XPath即為XML路徑語言,它是一種用來確定XML(標(biāo)準(zhǔn)通用標(biāo)記語言的子集)文檔中某部分位置的語言。XPath基于XML的樹狀結(jié)構(gòu),有不同類型的節(jié)點(diǎn),包括元素節(jié)點(diǎn),屬性節(jié)點(diǎn)和文本節(jié)點(diǎn),提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力。 跟BeautifulSoup4一樣都是用來解析頁面內(nèi)容的工具,只不過使用方式有所不同而已。

          要想使用xpath,需要安裝lxml: pip install lxml

          案例分析

          下面我們通過豆果網(wǎng)精選美食https://www.douguo.com/jingxuan/0來帶領(lǐng)大家學(xué)習(xí)使用xpath。

        Picture

        Picture

         

          我們要獲取菜譜的名稱、作者、瀏覽量、收藏量、圖片等信息,每頁中有24個(gè)菜譜推薦。

          看一下文章的節(jié)點(diǎn)情況:

        Picture(1)

          可以發(fā)現(xiàn)有多個(gè)li【類選擇器是item的】標(biāo)簽,每個(gè)li里面包含兩部分內(nèi)容過:【a標(biāo)簽和div標(biāo)簽】

          a標(biāo)簽中包含的是圖片和視頻內(nèi)容過,

          div標(biāo)簽中包含的信息是:菜譜的名稱、作者、瀏覽量、收藏量

          因此我們通過節(jié)點(diǎn)找到id=jxlist的ul標(biāo)簽,就可以獲取里面的多個(gè)li標(biāo)簽。

          xpath節(jié)點(diǎn)選取語法

          在介紹bs4的時(shí)候,我們已經(jīng)給大家介紹了節(jié)點(diǎn)的概念,比如父節(jié)點(diǎn)、子節(jié)點(diǎn)、同胞節(jié)點(diǎn)、先輩節(jié)點(diǎn)和后代節(jié)點(diǎn)等。

          XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過沿著路徑或者 step 來選取的。

          常用的路徑表達(dá)式有:

        Picture(2)

          但是往往在查找的時(shí)候,我們需要獲取某個(gè)特定的節(jié)點(diǎn),則需要配合下面的方式即:被嵌在方括號(hào)內(nèi),用來查找某個(gè)特定的節(jié)點(diǎn)或包含某個(gè)制定的值的節(jié)點(diǎn)。

        Picture(3)

          另外還可以在使用xpath的時(shí)候使用通配符和功能函數(shù)

        Picture(4)

        Picture(5)

          案例使用

          使用requests獲取網(wǎng)頁信息

          import requests

          headers = {

          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36'}

          response = requests.get('https://www.douguo.com/jingxuan/0', headers=headers)

          # 為了寫xpath內(nèi)容,我們先將內(nèi)容保存到本地,然后爬取多頁內(nèi)容

          with open('jingxuan.html', 'wb') as stream:

          stream.write(response.content)

          我們分析頁面內(nèi)容并使用xpath,

          獲取美食的詳情頁鏈接

        Picture(6)

          可以發(fā)現(xiàn)詳情頁的鏈接在a標(biāo)簽的href屬性中,通過xpath獲取可以使用:

          //ul[@id="jxlist"]/li/a/@href

          表示獲取id叫jxlist的ul標(biāo)簽,注意此處使用了//,每一層的/表示一層關(guān)系

          完整代碼:

          from lxml import etree

          # 讀取保存在本地的網(wǎng)頁,進(jìn)行xpath解析

          with open('jingxuan.html', 'r') as stream:

          all = stream.read()

          html = etree.HTML(all)

          links = html.xpath('//ul[@id="jxlist"]/li/a/@href')

          print(links)

          結(jié)果提取出了所有l(wèi)i中的詳情頁鏈接,當(dāng)前如果訪問要添加前綴(https://www.douguo.com)進(jìn)行拼接:

          ['/cookbook/3102422.html', '/cookbook/3102421.html', '/cookbook/3102419.html', ..... ]

          美食圖片的獲取,美食圖片的鏈接在a標(biāo)簽的img標(biāo)簽中,所以代碼要改成:

          images = html.xpath('//ul[@id="jxlist"]/li/a/img/@src')

          print(images)

          獲取了每個(gè)美食的圖片鏈接,結(jié)果如下:

          ['https://cp1.douguo.com/upload/caiku/a/6/a/400x266_a6502b09c35f4331a5c4b812f5e77bba.jpeg', 'https://cp1.douguo.com/upload/caiku/7/6/a/400x266_7639e7ea6394437042e9b2f77414f84a.jpg',

          ......

          ]

          菜名的獲取,有兩種方式:

          在a標(biāo)簽的alt屬性中獲取

          //ul[@id="jxlist"]/li/a/@alt

          在div的第一個(gè)a標(biāo)簽中獲取

          //ul[@id="jxlist"]/li/div/a[1]/text()

        Picture(7)

          本次使用的是第二種方式,其中a[1]表示div中的第一個(gè)div標(biāo)簽。

          names = html.xpath('//ul[@id="jxlist"]/li/div/a[1]/text()')

          print(names)

          結(jié)果:

          ['麻辣小龍蝦', '#仙女們的私藏鮮法大PK#家庭版健康雙牛漢堡', '#舌尖上的端午#藍(lán)莓醬', '蒜蓉蝦', '奶香小面包',......]

          發(fā)表用戶的獲取

          用戶名在div的第二個(gè)a標(biāo)簽中,但是發(fā)現(xiàn)a標(biāo)簽不僅有文本還有img標(biāo)簽。按照上面的方式獲取(注意文本的獲取使用text())

          //ul[@id="jxlist"]/li/div/a[2]/text()

          發(fā)現(xiàn)結(jié)果,將文本的換行和空格內(nèi)容都包含在里面了,而且每個(gè)文本的前面都有一個(gè)空內(nèi)容:

        Picture(8)

          于是我們需要進(jìn)行正則的替換和獲取有用信息。

          import re

          users = html.xpath('//ul[@id="jxlist"]/li/div/a[2]/text()')

          pattern = re.compile(r"\n+|\s+", re.S) # 查找\n和\s進(jìn)行替換

          users = [pattern.sub('', users[u]) for u in range(1,len(users),2)] # 刪除第一個(gè)空內(nèi)容

          print(users)

          結(jié)果:

          ['好吃的豆苗', '馬賽克姑涼', '淺夏°淡雅', '清雅wuda', '肉乎乎的小瘦子', 'dreamer...', '拒絕添加劑',......]

          瀏覽量和收藏量的獲取方式是一樣的,分別在兩個(gè)span標(biāo)簽中

        Picture(9)

          //ul[@id="jxlist"]/li/div/div/span[1]/text() 獲取瀏覽量

          //ul[@id="jxlist"]/li/div/div/span[2]/text() 獲取收藏量

          代碼如下:

          views = html.xpath('//ul[@id="jxlist"]/li/div/div/span[1]/text()')

          print(views)

          collects = html.xpath('//ul[@id="jxlist"]/li/div/div/span[2]/text()')

          print(collects)

          運(yùn)行結(jié)果:

          ['3656', '1.5萬', '1.5萬', '3158', '2729', '1.2萬', '2.0萬', ...... ]

          ['78', '431', '504', '83', '32', '245', '484',......]

          完整代碼

          以下代碼添加了分頁的內(nèi)容,分頁的特點(diǎn)是:

          https://www.douguo.com/jingxuan/0 第一頁

          https://www.douguo.com/jingxuan/24 第二頁

          https://www.douguo.com/jingxuan/48 第二頁

          .....

          import requests

          import re

          import csv

          from lxml import etree

          def get_html(page):

          headers = {

          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36'}

          response = requests.get('https://www.douguo.com/jingxuan/' + str(page), headers=headers)

          return response.text

          def parse_html(content):

          html = etree.HTML(content)

          links = html.xpath('//ul[@id="jxlist"]/li/a/@href')

          images = html.xpath('//ul[@id="jxlist"]/li/a/img/@src')

          names = html.xpath('//ul[@id="jxlist"]/li/div/a[1]/text()')

          users = html.xpath('//ul[@id="jxlist"]/li/div/a[2]/text()')

          pattern = re.compile(r"\n+|\s+", re.S)

          users = [pattern.sub('', users[u]) for u in range(1, len(users), 2)]

          views = html.xpath('//ul[@id="jxlist"]/li/div/div/span[1]/text()')

          collects = html.xpath('//ul[@id="jxlist"]/li/div/div/span[2]/text()')

          return zip(names, links, users, views, collects, images)

          def save_data(foods):

          with open('foods.csv', 'a') as stream:

          writer = csv.writer(stream)

          writer.writerows(foods)

          if __name__ == '__main__':

          for i in range(6):

          page = i*24

          content = get_html(page)

          foods = parse_html(content)

          save_data(foods)

          print(f"第{i+1}頁保存成功!")

        tags:
        聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
        10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
        請(qǐng)您保持通訊暢通,專屬學(xué)習(xí)老師24小時(shí)內(nèi)將與您1V1溝通
        免費(fèi)領(lǐng)取
        今日已有369人領(lǐng)取成功
        劉同學(xué) 138****2860 剛剛成功領(lǐng)取
        王同學(xué) 131****2015 剛剛成功領(lǐng)取
        張同學(xué) 133****4652 剛剛成功領(lǐng)取
        李同學(xué) 135****8607 剛剛成功領(lǐng)取
        楊同學(xué) 132****5667 剛剛成功領(lǐng)取
        岳同學(xué) 134****6652 剛剛成功領(lǐng)取
        梁同學(xué) 157****2950 剛剛成功領(lǐng)取
        劉同學(xué) 189****1015 剛剛成功領(lǐng)取
        張同學(xué) 155****4678 剛剛成功領(lǐng)取
        鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
        董同學(xué) 138****2867 剛剛成功領(lǐng)取
        周同學(xué) 136****3602 剛剛成功領(lǐng)取
        相關(guān)推薦HOT
        軟件定制開發(fā)中的敏捷開發(fā)是什么?

        軟件定制開發(fā)中的敏捷開發(fā)是什么軟件定制開發(fā)中的敏捷開發(fā),從宏觀上看,是一個(gè)高度關(guān)注人員交互,持續(xù)開發(fā)與交付,接受需求變更并適應(yīng)環(huán)境變化...詳情>>

        2023-10-14 13:24:57
        什么是PlatformIo?

        PlatformIO是什么PlatformIO是一個(gè)全面的物聯(lián)網(wǎng)開發(fā)平臺(tái),它為眾多硬件平臺(tái)和開發(fā)環(huán)境提供了統(tǒng)一的工作流程,有效簡(jiǎn)化了開發(fā)過程,并能兼容各種...詳情>>

        2023-10-14 12:55:06
        云快照與自動(dòng)備份有什么區(qū)別?

        1、定義和目標(biāo)不同云快照的主要目標(biāo)是提供一種快速恢復(fù)數(shù)據(jù)的方法,它只記錄在快照時(shí)間點(diǎn)后的數(shù)據(jù)變化,而不是所有的數(shù)據(jù)。自動(dòng)備份的主要目標(biāo)...詳情>>

        2023-10-14 12:48:59
        服務(wù)器為什么要用Linux?

        服務(wù)器為什么要用Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,Linux在眾多選擇中脫穎而出。Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,有其獨(dú)特的優(yōu)勢(shì)和特點(diǎn)。包括其...詳情>>

        2023-10-14 12:34:11
        ORM解決的主要問題是什么?

        ORM(對(duì)象關(guān)系映射)解決的主要問題是將關(guān)系數(shù)據(jù)庫與面向?qū)ο缶幊讨g的映射困境。在傳統(tǒng)的關(guān)系數(shù)據(jù)庫中,數(shù)據(jù)以表格的形式存儲(chǔ),而在面向?qū)ο?..詳情>>

        2023-10-14 12:26:19
        快速通道
        商水县| 滦南县| 松溪县| 三都| 鹿泉市| 灵丘县| 抚松县| 延庆县| 会泽县| 大姚县| 西昌市| 东明县| 焦作市| 酒泉市| 南澳县| 边坝县| 隆化县| 凉城县| 石城县| 江陵县| 威海市| 长宁县| 尼玛县| 临猗县| 宜州市| 九龙城区| 台山市| 新乐市| 分宜县| 墨竹工卡县| 安新县| 盱眙县| 宁德市| 南安市| 北碚区| 搜索| 乐山市| 临泉县| 永泰县| 同心县| 福州市|