久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

手機(jī)站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費(fèi)學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機(jī)站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費(fèi)學(xué)習(xí)課程

當(dāng)前位置:首頁  >  技術(shù)干貨  > 談?wù)勀銓ongoDB WT存儲引擎的理解?

談?wù)勀銓ongoDB WT存儲引擎的理解?

來源:千鋒教育
發(fā)布人:wjy
時間: 2022-09-19 15:33:11 1663572791

  從幾個方面回答,比如:

  插件式存儲引擎架構(gòu)

  實(shí)現(xiàn)了Server層和存儲引擎層的解耦,可以支持多種存儲引擎,如MySQL既可以支持B-Tree結(jié)構(gòu)的InnoDB存儲引擎,還可以支持LSM結(jié)構(gòu)的RocksDB存儲引擎。

  B-Tree + Page

MongoDB WT存儲引擎1

 

  上圖是WiredTiger在內(nèi)存里面的大概布局圖,通過它我們可梳理清楚存儲引擎是如何將數(shù)據(jù)加載到內(nèi)存,然后如何通過相應(yīng)數(shù)據(jù)結(jié)構(gòu)來支持查詢、插入、修改操作的。

  內(nèi)存里面B-Tree包含三種類型的page,即rootpage、internal page和leaf page,前兩者包含指向其子頁的page index指針,不包含集合中的真正數(shù)據(jù),leaf page包含集合中的真正數(shù)據(jù)即keys/values和指向父頁的home指針;

  為什么是Page?

  數(shù)據(jù)以page為單位加載到cache、cache里面又會生成各種不同類型的page及為不同類型的page分配不同大小的內(nèi)存、eviction觸發(fā)機(jī)制和reconcile動作都發(fā)生在page上、page大小持續(xù)增加時會被分割成多個小page,所有這些操作都是圍繞一個page來完成的。

  Page的典型生命周期如下圖所示:

MongoDB WT存儲引擎2

 

  什么是CheckPoint?

  本質(zhì)上來說,Checkpoint相當(dāng)于一個日志,記錄了上次Checkpoint后相關(guān)數(shù)據(jù)文件的變化。作用: 一是將內(nèi)存里面發(fā)生修改的數(shù)據(jù)寫到數(shù)據(jù)文件進(jìn)行持久化保存,確保數(shù)據(jù)一致性; 二是實(shí)現(xiàn)數(shù)據(jù)庫在某個時刻意外發(fā)生故障,再次啟動時,縮短數(shù)據(jù)庫的恢復(fù)時間,WiredTiger存儲引擎中的Checkpoint模塊就是來實(shí)現(xiàn)這個功能的。

  一個Checkpoint包含關(guān)鍵信息如下圖所示:

MongoDB WT存儲引擎3

 

  每個checkpoint包含一個root page、三個指向磁盤具體位置上pages的列表以及磁盤上文件的大小。

  如何理解WT事務(wù)機(jī)制?

  要了解實(shí)現(xiàn)先要知道它的事務(wù)的構(gòu)造和使用相關(guān)的技術(shù),WT在實(shí)現(xiàn)事務(wù)的時使用主要是使用了三個技術(shù):snapshot(事務(wù)快照)、MVCC (多版本并發(fā)控制)和redo log(重做日志),為了實(shí)現(xiàn)這三個技術(shù),它還定義了一個基于這三個技術(shù)的事務(wù)對象和全局事務(wù)管理器。

  如何理解WT緩存淘汰?

  eviction cache是一個LRU cache,即頁面置換算法緩沖區(qū),它對數(shù)據(jù)頁采用的是分段局部掃描和淘汰,而不是對內(nèi)存中所有的數(shù)據(jù)頁做全局管理?;舅悸肥且粋€線程階段性的去掃描各個btree,并把btree可以進(jìn)行淘汰的數(shù)據(jù)頁添加到一個lru queue中,當(dāng)queue填滿了后記錄下這個過程當(dāng)前的btree對象和btree的位置(這個位置是為了作為下次階段性掃描位置),然后對queue中的數(shù)據(jù)頁按照訪問熱度排序,最后各個淘汰線程按照淘汰優(yōu)先級淘汰queue中的數(shù)據(jù)頁,整個過程是周期性重復(fù)。WT的這個evict過程涉及到多個eviction thread和hazard pointer技術(shù)。

  WT的evict過程都是以page為單位做淘汰,而不是以K/V。這一點(diǎn)和memcache、redis等常用的緩存LRU不太一樣,因?yàn)樵诖疟P上數(shù)據(jù)的最小描述單位是page block,而不是記錄。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費(fèi)領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
Visual Studio Online和GitHub有什么區(qū)別?

1.定位不同Visual Studio Online,現(xiàn)更名為Visual Studio Codespaces,是微軟提供的一款在線開發(fā)環(huán)境,允許開發(fā)者在云端進(jìn)行編程和調(diào)試工作。而...詳情>>

2023-10-15 00:21:42
什么是域控制器?

一、域控制器的定義域控制器是指在Windows Server操作系統(tǒng)中部署Active Directory服務(wù)的服務(wù)器。Active Directory是微軟公司開發(fā)的目錄服務(wù),用...詳情>>

2023-10-15 00:10:28
深度學(xué)習(xí)模型權(quán)重h5、weights、ckpt、pth有什么區(qū)別?

1.來源框架不同h5格式通常用于Keras和TensorFlow框架,weights用于Darknet框架,ckpt是TensorFlow框架的一種格式,而pth則主要用于PyTorch框架...詳情>>

2023-10-15 00:05:17
大數(shù)據(jù)測試工程師需要具備哪些技能?

一、理解大數(shù)據(jù)概念大數(shù)據(jù)測試工程師需要理解大數(shù)據(jù)的基本概念和原理,如分布式存儲、MapReduce、實(shí)時計(jì)算等。他們還需要了解如何處理大規(guī)模的...詳情>>

2023-10-14 23:43:03
為什么SpringBoot的 jar 可以直接運(yùn)行?

一、JAR文件的結(jié)構(gòu)與執(zhí)行方式Spring Boot的JAR包是Java Archive的縮寫,它是一種壓縮文件格式,可以將Java項(xiàng)目的類文件、資源文件以及依賴庫等...詳情>>

2023-10-14 23:01:49
快速通道