久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

    1. <style id="76ofp"></style>

      <style id="76ofp"></style>
      <rt id="76ofp"></rt>
      <form id="76ofp"><optgroup id="76ofp"></optgroup></form>
      1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構

        手機站
        千鋒教育

        千鋒學習站 | 隨時隨地免費學

        千鋒教育

        掃一掃進入千鋒手機站

        領取全套視頻
        千鋒教育

        關注千鋒學習站小程序
        隨時隨地免費學習課程

        當前位置:首頁  >  技術干貨  > 用Python爬取百度搜索結果

        用Python爬取百度搜索結果

        來源:千鋒教育
        發(fā)布人:xqq
        時間: 2023-11-07 02:24:19 1699295059

        一、前言

        眾所周知,百度上直接搜索關鍵字會出來一大堆東西,時常還會伴隨有廣告出現(xiàn),不小心就點進去了,還得花時間退出來,有些費勁。

        最近群里有個小伙伴提出一個需求,需要獲取百度上關于糧食的相關講話文章標題和鏈接。正好小編最近在學習爬蟲,就想著拿這個需求來練練手。我們都知道,對Python來說,有大量可用的庫,實現(xiàn)起來并不難,動手吧。

        二、項目目標

        爬取百度上關鍵字為“糧食”的搜索結果,并保存,提交給客戶,用于進一步分析我國糧食政策。

        三、項目準備

        軟件:PyCharm

        需要的庫:json,requests,etree

        四、項目分析

        1)如何進行關鍵詞搜索?

        利用response庫,直接Get網(wǎng)址獲得搜索結果。

        2)如何獲取標題和鏈接?

        利用etree對原代碼進行規(guī)范梳理后,通過Xpath定位到文章標題和href,獲取標題和文章鏈接。

        3)如何保存搜索結果?

        新建txt文件,對搜索結果循環(huán)寫入,保存即可。

        五、項目實現(xiàn)

        1、第一步導入需要的庫

        importjson

        importrequests

        fromlxmlimportetree

        2、第二步用requests進行請求搜索

        headers={

        "User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.104Safari/537.36"

        }

        response=requests.get('https://www.baidu.com/s?wd=糧食&lm=1',headers=headers)

        3、第三步對獲取的源代碼進行整理分析,通過Xpath定位需要的資源

        r=response.text

        html=etree.HTML(r,etree.HTMLParser())

        r1=html.xpath('//h3')

        r2=html.xpath('//*[@class="c-abstract"]')

        r3=html.xpath('//*[@class="t"]/a/@href')

        4、第四步把有用資源循環(huán)讀取保存

        foriinrange(10):

        r11=r1[i].xpath('string(.)')

        r22=r2[i].xpath('string(.)')

        r33=r3[i]

        withopen('ok.txt','a',encoding='utf-8')asc:

        c.write(json.dumps(r11,ensure_ascii=False)+'\n')

        c.write(json.dumps(r22,ensure_ascii=False)+'\n')

        c.write(json.dumps(r33,ensure_ascii=False)+'\n')

        print(r11,end='\n')

        print('------------------------')

        print(r22,end='\n')

        print(r33)

        以上內(nèi)容為大家介紹了用Python爬取百度搜索結果,希望對大家有所幫助,如果想要了解更多Python相關知識,請關注IT培訓機構:千鋒教育。http://m.2667701.com/

        tags: python培訓
        聲明:本站稿件版權均屬千鋒教育所有,未經(jīng)許可不得擅自轉載。
        10年以上業(yè)內(nèi)強師集結,手把手帶你蛻變精英
        請您保持通訊暢通,專屬學習老師24小時內(nèi)將與您1V1溝通
        免費領取
        今日已有369人領取成功
        劉同學 138****2860 剛剛成功領取
        王同學 131****2015 剛剛成功領取
        張同學 133****4652 剛剛成功領取
        李同學 135****8607 剛剛成功領取
        楊同學 132****5667 剛剛成功領取
        岳同學 134****6652 剛剛成功領取
        梁同學 157****2950 剛剛成功領取
        劉同學 189****1015 剛剛成功領取
        張同學 155****4678 剛剛成功領取
        鄒同學 139****2907 剛剛成功領取
        董同學 138****2867 剛剛成功領取
        周同學 136****3602 剛剛成功領取
        相關推薦HOT
        宜兰市| 永德县| 汕头市| 东兰县| 霍州市| 中超| 达州市| 马鞍山市| 临清市| 荥阳市| 上饶县| 沅陵县| 吴川市| 苏尼特左旗| 恩施市| 阿坝县| 云南省| 望江县| 雷波县| 基隆市| 桂林市| 礼泉县| 乌拉特中旗| 宿迁市| 专栏| 湖口县| 龙海市| 敦煌市| 中山市| 徐水县| 玉环县| 高唐县| 新巴尔虎右旗| 教育| 库车县| 洪江市| 高碑店市| 东乡族自治县| 武宣县| 泸溪县| 丘北县|