HBase基礎概念知識學習之物理機制了解

2020-12-03 分享電腦學習

1、存儲單元cell：rowkey+列簇+timestamp+版本，唯一確定一個單元格的值，

2、數據無類型，以字節碼形式存儲

比如輸入中文數據也是可以的

put 'tt','10003','info:age','今天'

3、Table 中的所有行都按照 RowKey 的字典序排列，可以在行的方向上分割為多個Region

比如插入數據

put 'tt','c','info:name','name'

put 'tt','a','info:bame','name'

put 'tt','3','info:came','name'

put 'tt','1','info:aame','name'

put 'tt','f','info:aame','name'

按照字典排序

比如插入數據

put 'tt','10002','info:name','name'

put 'tt','10002','info:bame','name'

put 'tt','10002','info:came','name'

put 'tt','10002','info:aame','name'

可以看到還是按照字典排序的

4、region（可以理解為是分區的概念）：存儲rowkey，用來存儲數據

一臺regionserver上會有不同的region（由master節點進行分布，達到負載均衡）

region按大小分割的，每個表開始只有一個region，隨著數據增多，region不斷增大，當增大到一定閾值的時候，region就會等分為兩個新的region，之後會越來越多的region

region是 HBase 中分布式存儲和負載均衡的最小單元。hbase中數據的最小單元是cell

不同Region分布到不同RegionServer上

Region由一個或者多個store組成，每個store保存一個cf

每個store又由一個memstore和0個至多個storeFile組成

Memstore存儲在內存中，storefile存儲在HDFS上又叫hfile

還有一個hlog

可以看下HDFS

Namespace

表

Region名稱

Hbase上也可以看到

列鏃

可以看到數據

Hlog

（1）預寫日誌WAL：(所有客戶端操作的命令都會記錄到這個裡面)

（2）用戶每次寫入MemStore的同時，也會寫一份數據到HLOG文件中

（3）只有當寫入成功後才通知客戶端該操作成功

（4）每個RegionServer只有一個HLOG文件

（5）HLOG文件定期會滾動更新，並刪除舊的文件（已持久化到StoreFile中的數據）

（6）避免內存丟失數據，可以從日誌文件中恢復

5、HRegionServer

HRegionServer內部管理了一系列HRegion對象，每個HRegion對應了table中的一個region，HRegion中由多 個HStore組成。每個HStore對應了Table中的一個column family的存儲，可以看出每個columnfamily其實就是一個集中的存儲單元，因此最好將具備共同IO特性的column放

在一個column family中，這樣最高效。

HStore存儲是HBase存儲的核心，由兩部分組成，一部分是MemStore，一部分是StoreFile。

MemStore是 Sorted Memory Buffer，用戶寫入的數據首先會放入MemStore，當MemStore滿了以後會Flush成一個StoreFile（底層實現是HFile）。

6、hbase存儲內部機制

flush & compaction & split

（1）寫操作先寫入memstore，當memstore中的數據達到閥值，regionserver會啟動 flush cache 進程寫入storefile，每次寫入形成單獨的一個storefile

（2）當storefile文件的數量增長到一定值後，系統會進行合併（minor，major compaction），在合併過程中會進行版本和刪除工作，形成更大的storefile

（3）會把當前的region分割成倆個，並由HMaster分配到相應的regionserver伺服器

相關焦點

  • 物理概念不僅是重要的基礎知識,而且是完善物理理論知識!
    物理概念不僅是重要的基礎知識，而且是完善物理理論知識、構成物理規律、建立物理公式的基本條件。進入高中階段以後，物理概念在抽象性和邏輯性方面越發明顯，很多高中生在缺乏抽象性認知思維的情況下，對物理概念的學習產生了障礙，再加上一些教師本身對概念教學不夠重視，認為概念學習就是簡單的背誦記憶，導致當前高中物理教學中概念教學成為相對薄弱的環節。
  • 物理概念學習解析
    來源：甘肅日報 　作者：盧廣平 　2007-06-06 09:52 　編輯：肖剛 　　人類為了更好地學習掌握應用物理知識，對某些物理現象的共同屬性進行必要的抽象、高度概括、準確定義物理概念是物理學學習的基礎，所以物理概念，既是教師教學的關鍵，又是學生學習的重點。如何更好剖析、認識、理解、吃透物理概念是開啟物理學大門的金鑰匙，也是學好物理學的先決條件。　　對於物理概念，我們首先應該明確的是物理概念的物理意義，換句話講就是要找出該物理概念產生、形成的客觀背景、必然原因。
  • 如何全面複習物理基礎知識
    一、全面複習物理基礎知識　　應該了解知識和能力是不可分割的，一般來說，高考試題對知識和能力的考查是結合起來進行的。一道試題既考查了知識，同時又考查了能力，而且常常是考查了幾種能力。我們不應該把某些知識與某種能力簡單地對應起來。顯然，一個知識貧乏的人不可能有很強的能力，所以，考生應該全面複習知識，不要遺漏。
  • 如何弄懂物理概念(定義)——物理概念的學習方法
    物理概念是組成物理知識的基石，概念學好與否，直接決定了物理能否學好。時常聽到老師說要弄懂概念，但是怎樣才算弄懂概念了呢？你應該做到以下幾點：一、弄懂概念的來源概念的來源有多種途徑，但是學生在學習過程中主要是由兩種途徑學習得到：老師利用現象歸納和利用課本實驗得出。
  • 學好初中物理的核心:概念、定律、公式,老師提煉最優學習方法
    初中物理學習難嗎？不少同學認為這是一門繼數學之後，最讓人頭疼的學科了。其實，物理學科複雜度在於它不僅僅在於計算和推導，還有很多需要記憶的核心內容，以及和生活實例聯繫起來的原理部分，只有掌握這三塊，才能對物理學科得心應手。
  • 一條數據的HBase之旅,簡明HBase入門教程-開篇
    本文將以一條數據在HBase中的「旅程」為線索，介紹HBase的核心概念與流程，幾乎每一部分都可以展開成一篇獨立的長文，但本文旨在讓讀者能夠快速的了解HBase的架構輪廓，所以很多特性/流程被被一言帶過，但這些特性在社區中往往經歷了漫長的開發過程。至於講什麼以及講到什麼程度，本文都做了艱難的取捨，在講解的過程中，將會穿插解答本文開始所提出的針對初學者的一些常見問題。
  • 初三物理學習方法:注重理解物理概念
    在物理學習中，要掌握的基本技能有兩方面，一是用物理用語表述問題和規範書寫物理公式、解題格式的能力；二是物理實驗基本操作能力。物理用語是學習物理的語言工具，必須學好。物理用語中專用詞、專用符號需要一定的記憶，例如，每個物理量都有它的名稱和表示字母；每一個物理規律或定律都有它的陳述原則。但是這些內容也是有規律可循的。
  • 電工基礎:磁場的基本概念與基本物理量(十七)
    電與磁總是相伴相隨的，所以，我們要學習了解電的相關知識，那就離不開磁的學習。對於理論知識來講，電和磁都不簡單，但我個人看來，磁的相關知識還是會難於電的。《電工基礎》的第三章講的就是有關磁與電磁的內容。想要學習交流電，就離不開電磁的知識，所以《電工基礎》第三章的電磁知識在交流電部分也是非常重要的，可以說是之後幾章交流電知識的基礎之一。
  • 運用「六步三句」學好中學物理全部概念!物理學習開竅標誌之一!
    物理是一門有趣且有用的學科，中學物理與生活聯繫非常緊密，能夠在生活中發現物理現象，並用所學到的物理知識、規律去解答，是物理學習開竅標誌之一。這一點，我在前面已經說過了。但是物理學習開竅還有兩個標誌，今天我們說第二個標誌。
  • 飛行原理-回顧基礎物理概念
    飛行原理中涉及的物理概念主要包含力、加速度、牛頓定律、功和功率、剛體圍繞固定軸的旋轉、能量守恆定理、流體力學等，本文將逐一介紹這些常用的物理概念。6.流體力學學習更多飛行知識
  • 小議高中物理概念與規律課的教學
    摘要：物理概念與規律是物理學知識的重要組成部分，正確理解物理概念與規律是學好物理學的基礎；而高中物理概念和規律往往是學生學習和應用物理學的絆腳石。必須十分重視物理概念與規律課的教學，想方設法掃清障礙，讓學生學得更好。
  • 公共基礎知識複習資料:海洋基礎知識之水和海水的物理性質
    公共基礎知識複習資料：海洋基礎知識之水和海水的物理性質 根據2014年國家海洋局事業單位招聘考試大綱，中公教育事業單位考試網為大家梳理有關海洋知識的內容，下面我們來了解水和海水的物理性質的有關知識。1.
  • 高考物理複習:要注重概念 正視實驗
    在高考物理複習中，許多人認為多做習題才合算，抓基礎知識會吃虧，這是片面的。高考物理試題有三個特點：①強調基礎；②著重說理；③加強實驗。在今年的複習中，這些特點仍然不能忽視。因此，我認為，複習要狠抓基礎知識，抓能力，加強實驗基本訓練。
  • 2021年初中物理知識學習技巧:學習物理的鑰匙
    中考網整理了關於2021年初中物理知識學習技巧：學習物理的鑰匙，希望對同學們有所幫助，僅供參考。 　　公式——學習物理的鑰匙 　　每一個公式都有一定的適用範圍，不能亂用，每一個字母都有著特定含義，需要理解，例如P=F/S中「S」指兩物全接觸的公共面積，這個公式既適用於固體，也 可適用於液體和氣體，而P=ρ物gh來說適用範圍就更小，只適用規則固體物體放在水平面上產生的壓強。
  • 高三物理學習很吃力,「金博」為你解讀「高三物理學習」技巧
    高中物理是高中學習中的一個重要考試科目，很多學生說高三物理比較難，其實，如果找到一個正確的學習方法和解題技巧，高三物理學習將會迎來新的進步。一：高三物理學習方法有哪些，要熟記物理基礎概念和原理經過高一高二的物理學習，僅僅一堆概念和規律看著就讓人很頭大，在高三物理學習階段，如果忽視基本概念和基本原理的學習，那麼物理學習會更加困難。熟記物理基礎概念和原理，是學好高三物理的基礎。
  • 物理學習:趣味動圖讓你秒懂初高中物理知識
    高中物理篇！ 物理存在的問題，大多是無法理解物理模型，整理一些物理知識的概念動圖，有助於理解，可以留言交流！ No.1
  • 2021年初中物理知識學習技巧:重視思維方法
    中考網整理了關於2021年初中物理知識學習技巧：重視思維方法，希望對同學們有所幫助，僅供參考。 　　重視思維方法 　　方法遷移。初學物理，你會讀到《擺的故事的啟示》，同時，你第一次接觸了利用控制變量法「研究影響擺的周期的因素」。
  • 高一物理學習方法:六大學習技巧
    我們要轉變概念，不要認為初中物理好，高中物理就一定會好。初中物理的知識比較膚淺，只要動動腦筋就能學會，在加上通過大量的練習，反覆強化訓練，對物理的熟練程度也會提升，物理成績也會穩步提高。可以這麼說分數高並不代表學得好。要想學好高中物理，就需要同學們對物理產生濃厚的興趣，加上好的學習方法，這兩個條件缺一不可。所以我們要轉化觀念，踏實的學習，穩中求進！
  • 初中物理全部「電學」知識腦圖!知識體系化建構基本方法!
    初中物理知識主要包括物理事實、物理概念和物理規律。其中，零散的知識其實只是雜亂的堆積的事實。只有結構化的知識才有利於更好的應用並促進能力的發展。所以平時學習物理時要認清物理現象，了解物理事實，建立物理圖景，然後通過抽象、概括、分析、歸納等思想過程，形成物理概念，找出規律，並把概念、規律和圖景聯繫起來，了解它們的物理意義。這樣可以加深理解，避免了機械記憶！又有利於形成結構性知識體系，促進知識的應用和遷移。以下這些圖片內容，可以幫助暑假後學習初三電學的同學們在頭腦中形成知識的結構。
  • 2021年初中物理知識學習技巧:學習物理的捷徑
    中考網整理了關於2021年初中物理知識學習技巧：學習物理的捷徑，希望對同學們有所幫助，僅供參考。 　　學習物理的捷徑 　　首先看題，尋找題設中的關鍵字眼，理解這些字眼中的特殊含義；二想就是要想該題屬於哪個範圍的題目，涉及哪些概念、規律或計算公式；三畫圖就是要把抽象的文字信息變成不同的物理具體圖形，最後建立解題模式。