久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

手機(jī)站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機(jī)站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

當(dāng)前位置:首頁(yè)  >  技術(shù)干貨  > 千鋒大數(shù)據(jù)學(xué)習(xí)路線之hive存儲(chǔ)格式

千鋒大數(shù)據(jù)學(xué)習(xí)路線之hive存儲(chǔ)格式

來(lái)源:千鋒教育
發(fā)布人:小鋒
時(shí)間: 2019-08-06 13:56:00 1565070960

  千鋒大數(shù)據(jù)學(xué)習(xí)路線之hive存儲(chǔ)格式,hive的存儲(chǔ)格式通常是三種:textfile、sequencefile、rcfile、orc、自定義set hive.default.fileformat=TextFile; 默認(rèn)存儲(chǔ)格式為:textfile textFile:普通文本存儲(chǔ),不進(jìn)行壓縮。查詢效率較低。

  1.sequencefile:

  hive提供的二進(jìn)制序列文件存儲(chǔ),天生壓縮。

  sequeceFile 和 rcfile都不允許使用load方式加載數(shù)據(jù)。需要使用insert 方式插入

  默認(rèn)支付壓縮、分割,使用便捷、寫(xiě)和查詢較快。sequencefile和壓縮屬性可以搭配使用。

  create table if not exists seq1(

  id int,

  name string

  )

  row format delimited fields terminated by '\t'

  lines terminated by '\n'

  stored as sequencefile

  ;

  ###加載數(shù)據(jù)錯(cuò)誤方式

  load data local inpath '/home/user' into table seq1;

  ###加載數(shù)據(jù)正確方式

  insert into table seq1

  select * from user1

  ;

  2.rcfile:

  rcfile可以進(jìn)行行列混合壓縮,將附近的列和行的數(shù)據(jù)盡量保存到相同的塊里面,該存儲(chǔ)格式會(huì)提高查詢效率,但是寫(xiě)數(shù)據(jù)較慢。該方式和gzcodeC壓縮屬性結(jié)合不是很好() set mapred.output.compression=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

  ###創(chuàng)建rcfile表:

  create table if not exists rc1(

  id int,

  name string

  )

  row format delimited fields terminated by '\t'

  stored as rcfile

  ;

  create table if not exists rc2(

  id int,

  name string

  )

  row format delimited fields terminated by '\t'

  stored as rcfile

  ;

  ###加載數(shù)據(jù)錯(cuò)誤方式

  load data local inpath '/home/user' into table rc1;

  ###加載數(shù)據(jù)正確方式

  insert into table rc2

  select * from user1

  ;

  3.存儲(chǔ)自定義:

  數(shù)據(jù): seqyd元數(shù)據(jù)文件: aGVsbG8saGl2ZQ== aGVsbG8sd29ybGQ= aGVsbG8saGFkb29w seqyd文件為base64編碼后的內(nèi)容,decode后數(shù)據(jù)為:

  ##hello,hive

  ##hello,world

  ##hello,hadoop

  create table cus(str STRING)

  stored as

  inputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextInputFormat'

  outputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextOutputFormat';

  LOAD DATA LOCAL INPATH '/home/cus' INTO TABLE cus;

  通常是使用defaultCodec+rcfile搭配效率最好。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
請(qǐng)您保持通訊暢通,專屬學(xué)習(xí)老師24小時(shí)內(nèi)將與您1V1溝通
免費(fèi)領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
如何刪除需要使用管理員權(quán)限才能刪除的文件?

如何刪除需要使用管理員權(quán)限才能刪除的文件在Windows系統(tǒng)中,有時(shí)候我們可能會(huì)遇到一些需要管理員權(quán)限才能刪除的文件。這是因?yàn)檫@些文件可能是...詳情>>

2023-10-14 06:27:57
有什么好用的redis可視化管理工具?

一、Redis Desk較好 ManagerRedis Desk較好 Manager是一款非常受歡迎的Redis數(shù)據(jù)庫(kù)管理工具。它支持直接進(jìn)行數(shù)據(jù)修改、刪除和新增等操作,而且...詳情>>

2023-10-14 06:24:43
市場(chǎng)上C++主要是用來(lái)做什么的?

C++是一種廣泛應(yīng)用于市場(chǎng)上的編程語(yǔ)言,具有高性能和強(qiáng)大的功能。它的設(shè)計(jì)目標(biāo)是提供高效的底層控制和與硬件交互的能力,同時(shí)保持可移植性和可...詳情>>

2023-10-14 06:01:51
為什么說(shuō)PHP與Swoole是優(yōu)異組合?

PHP與Swoole在Web開(kāi)發(fā)和網(wǎng)絡(luò)編程領(lǐng)域中,共同構(gòu)成了一種強(qiáng)大的解決方案。什么是PHPPHP是一種廣泛使用的開(kāi)源服務(wù)器端腳本語(yǔ)言,特別適用于Web開(kāi)...詳情>>

2023-10-14 05:08:41
Javaweb開(kāi)發(fā)為什么需要分前后端?

Javaweb開(kāi)發(fā)采用前后端分離的設(shè)計(jì)模式是有著諸多理由的,以下分析了這種設(shè)計(jì)模式的主要特點(diǎn)和優(yōu)勢(shì)。什么是前后端分離在Web開(kāi)發(fā)中,前后端分離是...詳情>>

2023-10-14 05:05:24
快速通道