久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

    1. <style id="76ofp"></style>

      <style id="76ofp"></style>
      <rt id="76ofp"></rt>
      <form id="76ofp"><optgroup id="76ofp"></optgroup></form>
      1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

        手機(jī)站
        千鋒教育

        千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

        千鋒教育

        掃一掃進(jìn)入千鋒手機(jī)站

        領(lǐng)取全套視頻
        千鋒教育

        關(guān)注千鋒學(xué)習(xí)站小程序
        隨時隨地免費學(xué)習(xí)課程

        當(dāng)前位置:首頁  >  技術(shù)干貨  > python如何提取文本信息?

        python如何提取文本信息?

        來源:千鋒教育
        發(fā)布人:xqq
        時間: 2023-11-13 15:00:52 1699858852

        python如何提取文本信息?

        1、信息提取

        先用句子分段器將文檔的原始文本分成句子,再用記號賦值器將每個句子進(jìn)一步分成單詞。其次,給每一個句子做詞性標(biāo)記。以nltk中的默認(rèn)工具為例,將句子分段器、分詞器、詞性標(biāo)記器連接。

        defie_preprocess(document):

        #nltk默認(rèn)的句子分段器

        sentences=nltk.sent_tokenize(document)

        #nltk默認(rèn)分詞器

        sentences=[nltk.word_tokenize(sent)forsentinsentences]

        #nltk默認(rèn)詞性標(biāo)記

        sentences=[nltk.pos_tag(sent)forsentinsentences]

        2、詞塊劃分

        詞塊劃分是實體識別的基礎(chǔ)技術(shù),對多個詞的順序進(jìn)行劃分和標(biāo)記。

        如NounPhraseChunking(名詞短語詞塊劃分)

        使用正則表達(dá)式來定義一個語法,來進(jìn)行名詞短語詞塊的劃分

        3、開發(fā)和評估詞塊劃分器

        分區(qū)器可以用evaluate()方法評價分區(qū)器的性能好壞。

        以下是使用一元標(biāo)記來建立單詞塊分割器的學(xué)習(xí)。但是,不是確定每個單詞的正確單詞性標(biāo)記,而是根據(jù)每個單詞的單詞性標(biāo)記,確定正確的單詞塊標(biāo)記。

        #使用一元標(biāo)注器建立一個詞塊劃分器。根據(jù)每個詞的詞性標(biāo)記,嘗試確定正確的詞塊標(biāo)記。

        classUnigramChunker(nltk.ChunkParserI):

        #constructor

        def__init__(self,train_sents):

        #將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換成適合訓(xùn)練標(biāo)注器的形式。tree2conlltags()方法將每個詞塊樹映射到一個三元組(word,tag,chunk)的列表

        train_data=[[(t,c)forw,t,cinnltk.chunk.tree2conlltags(sent)]

        forsentintrain_sents]

        #訓(xùn)練一元分塊器

        #self.tagger=nltk.UnigramTagger(train_data)

        #訓(xùn)練二元分塊器

        self.tagger=nltk.BigramTagger(train_data)

        #sentence為一個已標(biāo)注的句子

        defparse(self,sentence):

        #提取詞性標(biāo)記

        pos_tags=[posfor(word,pos)insentence]

        #使用標(biāo)注器為詞性標(biāo)記標(biāo)注IOB詞塊

        tagged_pos_tags=self.tagger.tag(pos_tags)

        #提取詞塊標(biāo)記

        chunktags=[chunktagfor(pos,chunktag)intagged_pos_tags]

        #將詞塊標(biāo)記與原句組合

        conlltags=[(word,pos,chunktag)for((word,pos),chunktag)

        inzip(sentence,chunktags)]

        #轉(zhuǎn)換成詞塊樹

        returnnltk.chunk.conlltags2tree(conlltags)

        以上就是python提取文本信息的方法,希望能對大家有所幫助,更多Python學(xué)習(xí)教程請關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。

        聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
        10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
        請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
        免費領(lǐng)取
        今日已有369人領(lǐng)取成功
        劉同學(xué) 138****2860 剛剛成功領(lǐng)取
        王同學(xué) 131****2015 剛剛成功領(lǐng)取
        張同學(xué) 133****4652 剛剛成功領(lǐng)取
        李同學(xué) 135****8607 剛剛成功領(lǐng)取
        楊同學(xué) 132****5667 剛剛成功領(lǐng)取
        岳同學(xué) 134****6652 剛剛成功領(lǐng)取
        梁同學(xué) 157****2950 剛剛成功領(lǐng)取
        劉同學(xué) 189****1015 剛剛成功領(lǐng)取
        張同學(xué) 155****4678 剛剛成功領(lǐng)取
        鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
        董同學(xué) 138****2867 剛剛成功領(lǐng)取
        周同學(xué) 136****3602 剛剛成功領(lǐng)取
        相關(guān)推薦HOT
        万安县| 纳雍县| 济源市| 广德县| 乌拉特后旗| 葵青区| 繁昌县| 郸城县| 扶风县| 博野县| 余江县| 大城县| 建平县| 兴城市| 修文县| 凯里市| 温州市| 涿州市| 盐津县| 漳州市| 红桥区| 广州市| 报价| 石门县| 皮山县| 东明县| 章丘市| 垦利县| 宁阳县| 双峰县| 光山县| 涪陵区| 化州市| 息烽县| 蕉岭县| 滕州市| 柳林县| 西城区| 揭阳市| 吉木乃县| 德钦县|