存儲服務-5.GlusterFS(上)

2021-02-21 開源Ops

官網介紹

Gluster is a scalable, distributed file system that aggregates disk storage resources from multiple servers into a single global namespace.

emmm，簡單說就是一個開源的分布式文件系統，可以用NFS或者SAMBA訪問。

實驗用node1作為客戶端，node2 node3 node4 搭建GlusterFS集群。

1、node2 node3 node4準備環境

[root@node2 ~]# vim prepare_bricks.sh[root@node2 ~]# cat prepare_bricks.sh#!/bin/bash
# Prepare brickspvcreate /dev/sdbvgcreate -s 4M vol /dev/sdblvcreate -l 100%FREE -T vol/poollvcreate -V 10G -T vol/pool -n brickmkfs.xfs -i size=512 /dev/vol/brickmkdir -p /data/brick${1}echo "/dev/vol/brick /data/brick${1} xfs defaults 0 0" >> /etc/fstabmount /data/brick${1}
# Install package and start serviceyum install -y glusterfs-serversystemctl start glusterdsystemctl enable glusterd
[root@node2 ~]# sh prepare_bricks.sh 2...略[root@node2 ~]# df -ThFilesystem              Type      Size  Used Avail Use% Mounted on...略/dev/mapper/vol-brick   xfs        10G   33M   10G   1% /data/brick2[root@node2 ~]# scp prepare_bricks.sh node3:/root...略root@node3's password: prepare_bricks.sh                                                                                                                          100%  418   104.4KB/s   00:00    [root@node2 ~]# scp prepare_bricks.sh node4:/root...略root@node4's password: prepare_bricks.sh                                                                                                                          100%  418    88.8KB/s   00:00
[root@node3 ~]# sh prepare_bricks.sh 3...略
[root@node4 ~]# sh prepare_bricks.sh 4...略
加入存儲池
[root@node2 ~]# gluster peer probe node3peer probe: success. [root@node2 ~]# gluster peer probe node4peer probe: success. [root@node2 ~]# gluster pool listUUID          Hostname   State483b4b06-bcdb-4399-bc1c-a36e7a0e5274  node3      Connected fa553747-3feb-4422-8dad-b5f61a93aa39  node4      Connected 19d39a4f-4e92-4ff4-a3a2-539d44358dec  localhost  Connected [root@node2 ~]# gluster peer statusNumber of Peers: 2
Hostname: node3Uuid: 483b4b06-bcdb-4399-bc1c-a36e7a0e5274State: Peer in Cluster (Connected)
Hostname: node4Uuid: fa553747-3feb-4422-8dad-b5f61a93aa39State: Peer in Cluster (Connected)
2、創建卷
卷有5種類型：
1）分布式 - Distributed
默認的類型，將文件按照hash算法隨機分布到 一個 brick 中存儲。
[root@node2 ~]# gluster volume create vol_distributed node2:/data/brick2/distributed node3:/data/brick3/distributed node4:/data/brick4/distributedvolume create: vol_distributed: success: please start the volume to access data[root@node2 ~]# gluster volume info vol_distributed
Volume Name: vol_distributedType: DistributeVolume ID: ecd70c34-5808-46ee-b813-9ed6f707b1a3Status: CreatedSnapshot Count: 0Number of Bricks: 3Transport-type: tcpBricks:Brick1: node2:/data/brick2/distributedBrick2: node3:/data/brick3/distributedBrick3: node4:/data/brick4/distributedOptions Reconfigured:transport.address-family: inetstorage.fips-mode-rchecksum: onnfs.disable: on[root@node2 ~]# gluster volume start vol_distributedvolume start: vol_distributed: success[root@node2 ~]# gluster volume statusStatus of volume: vol_distributedGluster process                             TCP Port  RDMA Port  Online  Pid---Brick node2:/data/brick2/distributed        49152     0          Y       1821 Brick node3:/data/brick3/distributed        49152     0          Y       1770 Brick node4:/data/brick4/distributed        49152     0          Y       16476
Task Status of Volume vol_distributed---There are no active volume tasks
2）複製 - Replicated
將數據按照指定的份數同時存儲到每個 brick 。
[root@node2 ~]# gluster volume create vol_replicated replica 3 node2:/data/brick2/replicated node3:/data/brick3/replicated node4:/data/brick4/replicatedvolume create: vol_replicated: success: please start the volume to access data[root@node2 ~]# gluster volume info vol_replicated
Volume Name: vol_replicatedType: ReplicateVolume ID: e50727b4-d71b-4dab-b74a-cfd2a0027bb3Status: CreatedSnapshot Count: 0Number of Bricks: 1 x 3 = 3Transport-type: tcpBricks:Brick1: node2:/data/brick2/replicatedBrick2: node3:/data/brick3/replicatedBrick3: node4:/data/brick4/replicatedOptions Reconfigured:transport.address-family: inetstorage.fips-mode-rchecksum: onnfs.disable: onperformance.client-io-threads: off[root@node2 ~]# gluster volume start vol_replicatedvolume start: vol_replicated: success[root@node2 ~]# gluster volume status vol_replicatedStatus of volume: vol_replicatedGluster process                             TCP Port  RDMA Port  Online  Pid---Brick node2:/data/brick2/replicated         49153     0          Y       1873 Brick node3:/data/brick3/replicated         49153     0          Y       1828 Brick node4:/data/brick4/replicated         49153     0          Y       1811 Self-heal Daemon on localhost               N/A       N/A        Y       1894 Self-heal Daemon on node4                   N/A       N/A        Y       1832 Self-heal Daemon on node3                   N/A       N/A        Y       1849 
Task Status of Volume vol_replicated---There are no active volume tasks
3）分散 - Dispersed
類似RAID5，數據分片存儲到 brick 中，其中一個用作奇偶校驗。
[root@node2 ~]# gluster volume create vol_dispersed disperse 3 redundancy 1 node2:/data/brick2/dispersed node3:/data/brick3/dispersed node4:/data/brick4/dispersedvolume create: vol_dispersed: success: please start the volume to access data[root@node2 ~]# gluster volume info vol_dispersed
Volume Name: vol_dispersedType: DisperseVolume ID: e3894a96-7823-43c7-8f24-c5b628eb86edStatus: CreatedSnapshot Count: 0Number of Bricks: 1 x (2 + 1) = 3Transport-type: tcpBricks:Brick1: node2:/data/brick2/dispersedBrick2: node3:/data/brick3/dispersedBrick3: node4:/data/brick4/dispersedOptions Reconfigured:transport.address-family: inetstorage.fips-mode-rchecksum: onnfs.disable: on[root@node2 ~]# gluster volume start vol_dispersedvolume start: vol_dispersed: success[root@node2 ~]# gluster volume status vol_dispersedStatus of volume: vol_dispersedGluster process                             TCP Port  RDMA Port  Online  Pid---Brick node2:/data/brick2/dispersed          49154     0          Y       2028 Brick node3:/data/brick3/dispersed          49154     0          Y       1918 Brick node4:/data/brick4/dispersed          49154     0          Y       16630Self-heal Daemon on localhost               N/A       N/A        Y       1930 Self-heal Daemon on node4                   N/A       N/A        Y       16558Self-heal Daemon on node3                   N/A       N/A        Y       1851 
Task Status of Volume vol_dispersed---There are no active volume tasks
4）分布複製 - Distributed Replicated
既分布，又複製。
[root@node2 ~]# gluster volume create vol_distributed_replicated replica 3 node2:/data/brick2/distributed_replicated21 node3:/data/brick3/distributed_replicated31 node4:/data/brick4/distributed_replicated41 node2:/data/brick2/distributed_replicated22 node3:/data/brick3/distributed_replicated32 node4:/data/brick4/distributed_replicated42volume create: vol_distributed_replicated: success: please start the volume to access data[root@node2 ~]# gluster volume info vol_distributed_replicated
Volume Name: vol_distributed_replicatedType: Distributed-ReplicateVolume ID: b8049701-9587-49ac-9cb2-1861421125c2Status: CreatedSnapshot Count: 0Number of Bricks: 2 x 3 = 6Transport-type: tcpBricks:Brick1: node2:/data/brick2/distributed_replicated21Brick2: node3:/data/brick3/distributed_replicated31Brick3: node4:/data/brick4/distributed_replicated41Brick4: node2:/data/brick2/distributed_replicated22Brick5: node3:/data/brick3/distributed_replicated32Brick6: node4:/data/brick4/distributed_replicated42Options Reconfigured:transport.address-family: inetstorage.fips-mode-rchecksum: onnfs.disable: onperformance.client-io-threads: off[root@node2 ~]# gluster volume start vol_distributed_replicatedvolume start: vol_distributed_replicated: success[root@node2 ~]# gluster volume status vol_distributed_replicatedStatus of volume: vol_distributed_replicatedGluster process                             TCP Port  RDMA Port  Online  Pid---Brick node2:/data/brick2/distributed_replicated21                                      49155     0          Y       2277 Brick node3:/data/brick3/distributed_replicated31                                      49155     0          Y       2166 Brick node4:/data/brick4/distributed_replicated41                                      49155     0          Y       2141 Brick node2:/data/brick2/distributed_replicated22                                      49156     0          Y       2297 Brick node3:/data/brick3/distributed_replicated32                                      49156     0          Y       2186 Brick node4:/data/brick4/distributed_replicated42                                      49156     0          Y       2161 Self-heal Daemon on localhost               N/A       N/A        Y       1894 Self-heal Daemon on node3                   N/A       N/A        Y       1849 Self-heal Daemon on node4                   N/A       N/A        Y       1832 
Task Status of Volume vol_distributed_replicated---There are no active volume tasks
5）分布分散 - Distributed Dispersed
既分布，又分散。
[root@node2 ~]# gluster volume create vol_distributed_dispersed disperse-data 2 redundancy 1 \> node2:/data/brick2/distributed_dispersed21 \> node3:/data/brick3/distributed_dispersed31 \> node4:/data/brick4/distributed_dispersed41 \> node2:/data/brick2/distributed_dispersed22 \> node3:/data/brick3/distributed_dispersed32 \> node4:/data/brick4/distributed_dispersed42volume create: vol_distributed_dispersed: success: please start the volume to access data[root@node2 ~]# gluster volume info vol_distributed_dispersed
Volume Name: vol_distributed_dispersedType: Distributed-DisperseVolume ID: 797e2e88-61e0-4df4-a308-16c5140b2480Status: CreatedSnapshot Count: 0Number of Bricks: 2 x (2 + 1) = 6Transport-type: tcpBricks:Brick1: node2:/data/brick2/distributed_dispersed21Brick2: node3:/data/brick3/distributed_dispersed31Brick3: node4:/data/brick4/distributed_dispersed41Brick4: node2:/data/brick2/distributed_dispersed22Brick5: node3:/data/brick3/distributed_dispersed32Brick6: node4:/data/brick4/distributed_dispersed42Options Reconfigured:transport.address-family: inetstorage.fips-mode-rchecksum: onnfs.disable: on[root@node2 ~]# gluster volume start vol_distributed_dispersedvolume start: vol_distributed_dispersed: success[root@node2 ~]# gluster volume status vol_distributed_dispersedStatus of volume: vol_distributed_dispersedGluster process                             TCP Port  RDMA Port  Online  Pid---Brick node2:/data/brick2/distributed_dispersed21                                       49157     0          Y       2529 Brick node3:/data/brick3/distributed_dispersed31                                       49157     0          Y       17071Brick node4:/data/brick4/distributed_dispersed41                                       49157     0          Y       17051Brick node2:/data/brick2/distributed_dispersed22                                       49158     0          Y       2549 Brick node3:/data/brick3/distributed_dispersed32                                       49158     0          Y       17091Brick node4:/data/brick4/distributed_dispersed42                                       49158     0          Y       17071Self-heal Daemon on localhost               N/A       N/A        Y       1894 Self-heal Daemon on node4                   N/A       N/A        Y       1832 Self-heal Daemon on node3                   N/A       N/A        Y       1849 
Task Status of Volume vol_distributed_dispersed---There are no active volume tasks
查看生成的目錄
[root@node2 ~]# tree /data/brick2//data/brick2/├── dispersed├── distributed├── distributed_dispersed21├── distributed_dispersed22├── distributed_replicated21├── distributed_replicated22└── replicated
7 directories, 0 files
創建完卷，node2 node3 node4新建一個快照。
3、客戶端掛載
可以通過3種方式掛載：
1）通過glusterfs掛載
[root@node1 ~]# yum install -y glusterfs glusterfs-fuse[root@node1 ~]# mkdir /mnt/distributed[root@node1 ~]# mount -t glusterfs node2:/vol_distributed /mnt/distributed/[root@node1 ~]# df -ThFilesystem              Type            Size  Used Avail Use% Mounted on...略node2:/vol_distributed  fuse.glusterfs   30G  407M   30G   2% /mnt/distributed
為防止由於node2掛掉而不可用，可以用多個節點掛載
[root@node1 ~][root@node1 ~]...略node2:/vol_distributed,node3:/vol_distributed,node4:/vol_distributed /mnt/distributed glusterfs defaults,_netdev 0 0[root@node1 ~][root@node1 ~][root@node1 ~]Filesystem              Type            Size  Used Avail Use% Mounted on...略node2:/vol_distributed  fuse.glusterfs   30G  407M   30G   2% /mnt/distributed[root@node1 ~]
2）通過nfs掛載
用 NFS-Ganesha 導出目錄
[root@node2 ~][root@node2 ~][root@node2 ~][root@node2 ~]EXPORT{        Export_Id = 1 ;           Path = "/vol_replicated";  
        FSAL {                name = GLUSTER;                hostname = "node2";                  volume = "vol_replicated";               }
        Access_type = RW;                Squash = No_root_squash;         Disable_ACL = TRUE;              Pseudo = "/vol_replicated_pseudo";               Protocols = "3,4" ;              Transports = "UDP,TCP" ;         SecType = "sys";         }[root@node2 ~][root@node2 ~]
客戶端掛載
[root@node1 ~]# yum install -y nfs-utils[root@node1 ~]# showmount -e node2Export list for node2:/vol_replicated (everyone)[root@node1 ~]# mkdir /mnt/replicated[root@node1 ~]# mount -t nfs node2:/vol_replicated /mnt/replicated/[root@node1 ~]# df -ThFilesystem              Type            Size  Used Avail Use% Mounted on...略node2:/vol_replicated   nfs              10G  135M  9.9G   2% /mnt/replicated[root@node1 ~]# echo "Here is node1" > /mnt/replicated/welcome.txt
3）通過samba掛載
服務端準備
[root@node2 ~]...略[root@node2 ~][root@node2 ~]New SMB password:Retype new SMB password:Added user glusteruser.[root@node2 ~][root@node2 ~]...略[gluster_vol_dispersed]  comment = For samba share of volume vol_dispersed  vfs objects = glusterfs  glusterfs:volume = vol_dispersed  glusterfs:logfile = /var/log/samba/glusterfs.%M.log  glusterfs:loglevel = 7  path = /  read only = no  guest ok = yes    kernel share modes = no[root@node2 ~][root@node2 ~]
客戶端掛載
立即用CIFS掛載的話不能寫入數據，先用FUSE掛載一下，修改權限再掛載就可以；
[root@node1 ~]# mkdir /mnt/dispersed_temp[root@node1 ~]# mount -t glusterfs node2:/vol_dispersed /mnt/dispersed_temp/[root@node1 ~]# echo "Here is node1" > /mnt/dispersed_temp/welcome.txt[root@node1 ~]# chmod 777 /mnt/dispersed_temp/[root@node1 ~]# umount /mnt/dispersed_temp/
用CIFS掛載
[root@node1 ~][root@node1 ~]Enter SAMBA\glusteruser's password: 
  Sharename       Type      Comment    print$          Disk      Printer Drivers  gluster_vol_dispersed Disk      For samba share of volume repvol  IPC$            IPC       IPC Service (Samba 4.10.4)  glusteruser     Disk      Home DirectoriesReconnecting with SMB1 for workgroup listing.
  Server               Comment  
  Workgroup            Master  [root@node1 ~][root@node1 ~][root@node1 ~]Filesystem                    Type            Size  Used Avail Use% Mounted on...略//node2/gluster_vol_dispersed cifs             20G  272M   20G   2% /mnt/dispersed[root@node1 ~]

相關焦點

  • 新浪微盤將關閉免費個人用戶的存儲服務
    □事件微盤將關閉免費用戶存儲服務昨天上午，有網友在使用微盤時發現微盤聲明：「微盤將停止免費用戶存儲服務」。聲明中稱，為配合監管部門專項整治行動，微盤將於2016年6月30日關閉免費個人用戶的存儲服務，即日起逐步暫停分享及站內搜索服務至整改結束。微盤稱，用戶需要及時備份文件，過期新浪微盤將不再保留用戶數據。對此，記者向新浪方面求證，得到肯定答覆：為配合國家有關部門積極開展網盤上涉黃、涉盜版內容的清查工作，對不良信息進行集中清理，關閉新浪微盤的搜索、分享功能，直到清理完畢。
  • 電話號碼、地址和出生日期等數據,均被存儲在亞馬遜的雲存儲服務中,可供公眾查看
    【新聞一鍋鮮】9月2日（周三）坎培拉熱點資訊 近日，超過5萬張澳洲駕照在網上被洩露而另一個文件夾裡，則存有公路和海事服務收費通知的法定聲明。這些文件涵蓋了駕駛者的電話號碼、地址和出生日期等數據，均被存儲在亞馬遜的雲存儲服務中，可供公眾查看。
  • iCloud Photo Library:蘋果的新照片雲存儲方案表現如何?
    不信任 iCloud，是因為它作為蘋果出品的雲服務，已經不止一次地弄丟我的工作文件——包括一份寫了一上午的採訪稿子、腦爆會議後的一份 MindNode 文件以及若干不重要文件。而在這樣的前提下還願意去嘗試 iCloud 的 Photo Library 服務，是因為它目前最接近我理想中的圖片雲存儲方案。 我的需求是這樣的：1.
  • 如何刪除iphone手機照片,騰出大量存儲空間:告別存儲容量幾乎已滿
    對於手持存儲空間大於128G的iphone機主，請繞行，因為你太豪，本文不適合你。
  • 網友吐槽:為什麼手機存儲卡槽越來越少?
    從蘋果的變化上不難發現，越來越多高端智慧型手機市場紛紛拋棄了micro SD卡槽，其首要原因是為了獲取更高的利潤。在暴力的驅使下，使得蘋果率先拋棄了存儲卡槽，畢竟出個大內存版機型就要多賺幾百塊，幾十萬出貨量甚至幾百萬出貨量背後利潤很可觀。硬體配置難分高低的今天，手機廠商越來越追求手機設計上的品質，而超薄就是其中之一。手機主板空間就那麼大，舍掉哪部分都是精打細算的事。確實得承認micro SD單獨設置的卡槽佔用空間會比較大，會影響到一定的厚度設計。
  • 這不是夢:液態空氣存儲風電
    不同於有三個葉片和中心變速箱的傳統風力發電機組，庫克的渦輪機是一個鋁製葉片的風車，坐落在裝有液態空氣的V型漂浮平臺上。　　這個位於佛羅裡達的公司聲稱，它的風力發電機組設計允許使用更大的渦輪機，以產生多得多的電力。目前世界上最大的單一海上風力發電機約為6MW;庫克說，它的全尺寸渦輪機能產生至少兩倍的電力。
  • 不曾注意的小細節:iPhone 6s存儲性能為何大幅提升?
    相信很人都會把關注點放在更快的處理器、更多的RAM、更大的內部存儲、以及更高容量的電池上，但卻忽略了某些不起眼的地方——比如存儲性能。作為行動裝置的「硬碟」，廠家似乎不願多談。但是對於較真的人們來說，熱門Android手機和iPhone之間，又可以拉出多大的差距呢？
  • 惠普存儲業務財報:Meg Whitman恐怕還得再加把勁
    在惠普公司（即惠普有限公司加惠普企業業務公司）的2015財年第四季度營收當中，融合型存儲產品營收（包括3PAR、StoreOnce以及StoreAll）實現9%的同比增長，但其傳統業務（包括EVA、MSA以及Tape）營收則較上年同期縮水19%。縱觀整個2015財年，惠普旗下的整合型存儲產品營收同比增長11%，但傳統產品營收則較去年全年下滑15%。
  • 索尼大法好:推光碟存儲系統,保證數據100年不損壞!
    據國外媒體報導，索尼在周二推出了高容量光碟存儲系統Everspan，並保證光碟數據100年完好無損。Everspan的目標客戶是那些需要長期保存數據的公司。這些公司擔心，目前的數據存儲方案——主要是磁帶機——會在將來某個時候不再能可靠地保存數據，或者將來找不到讀取舊數據格式的硬體。
  • 智慧型手機存儲需求旺,鎧俠將新建NAND Flash產線
    路透社最新消息，鎧俠（Kioxia）於本周四（10月29日）表示，將在日本中部新建一條NAND存儲晶片生產線，以滿足智慧型手機、自動駕駛汽車等領域不斷增長的數據存儲需求
  • SSD vs HDD:誰才是未來存儲數據首選
    您還可以搜索公眾號「D1net」選擇關注D1net旗下的各領域（雲計算，數據中心，大數據，CIO，企業協作，網絡數通，信息安全，企業移動應用，系統集成，伺服器，存儲，呼叫中心，視頻會議，視頻監控等）的子公眾號。=======幾年前，固態硬碟和機械硬碟的市場定位還十分明顯：固態硬碟作為一個很小的頂級存儲設備。
  • 【Shopping Square】大牌手機存儲卡 限時特賣
    無情打臉澳洲各種不實消息提供真正實錘資訊/獨家盤點【Shopping Square】大牌手機存儲卡疫情期間墨爾本採買團購服務全文看完才不會錯過所有乾貨；【2】篇幅有限，無法完整提及活動的所有條款或者新聞事件中的所有細節信息，只儘可能給出查詢連結或展示部分報導截圖；【3】可能無從知道及更新信息發布之後具體商品在某個門店或網站的存貨情況，以及所提及的社會事件發展的最新進展；【4】商家存在臨時變更產品價格或活動設置的可能；建議保持關注我們及第一時間查閱推送，有興趣則立刻收藏圖文或出手購買，以免錯過特價時間及存貨；【5】
  • 速度備份:華為網盤DBank即將停止服務
    5月3日消息，隨著國家針對網絡侵權產品的打擊力度的加大，不少網盤也採取了清理措施以應對，繼新浪微盤、金山快盤之後，華為網盤DBank
  • 服務「零距離」 供水業務線上辦理更便民
    為提供更加高效、便捷、智能化的供水服務，近日，自來水公司藉助「邯鄲水司」微信公眾平臺，增加了「網絡報裝」功能，市民足不出戶即可辦理用水報裝業務。「網絡報裝」功能有效縮短了用戶辦理接水業務的時間，是自來水公司推進「一站式」服務發展的新舉措。
  • 美媒稱智能布料存儲密碼不用電:揮揮衣袖 門就開了
    參考消息網11月3日報導 美媒稱，華盛頓大學開發出一種新型智能布料，為人們用外套存儲肉眼看不見的密碼、用於打開公寓或辦公室的門創造了條件。據美國每日科學網站10月31日報導，華盛頓大學的計算機科學家製作出一些布料和時尚配飾，無須嵌入電子器件和傳感器就能存儲數據——從安全密碼到身份標識都可以。
  • 【國際】谷歌推出直播電視服務
    在推出一些列核心業務之後，YouTube宣布，準備推出自己的直播電視服務。該流媒體服務將包括來自ABC、CBS、FOX、NBC、ESPN、區域體育網絡和流行的有線電視網絡的內容。YouTube TV也將提供廣播電視節目的放送，如《嘻哈帝國》、《美國之聲》、《生活大爆炸》和《醜聞》。
  • 新浪微盤關閉個人免費服務,請大家備份數據
    新浪微盤發表公告，將於2016年6月30日關閉免費個人用戶的存儲服務，小萌友情提醒，一定注意下載備份自己的數據。
  • 蕉嶺一木製品廠存儲木粉的倉庫突然著火,劇烈燃燒.....
    定期發送蕉嶺本土文化，同城活動，吃喝玩樂，新聞資訊，娛樂八卦，等優質內容，以宣傳蕉嶺、弘揚客家文化、傳遞蕉嶺正能量為主導的蕉嶺本地服務平臺！關注家在蕉嶺，關心蕉嶺人、蕉嶺事！入冬以來，雨水較少，氣候較為乾燥，需注意防火安全！今天上午九點多，蕉嶺縣蕉城鎮金城工業園內，一存儲著木粉的倉庫突然著起了火。這木粉可是易燃物質，接到報警後，消防員立即趕赴現場。
  • 市多部門聯合行動 重拳打擊「黑加油站點」 黑沙圖村兩個非法燃油存儲銷售點被查獲
    12月2日，由市應急管理局、市公安局、賽罕區應急管理局等多部門組成的調查組，來到賽罕區黑沙圖村，在村裡兩處村民的院子中，找到兩個非法存儲銷售燃油點，調查組在調查取證後將非法存儲的燃油暫扣，相關人員由警方控制。
  • 華為中標自然資源部國土衛星遙感應用中心自然資源衛星影像公有雲計算服務平臺
    ：1、項目名稱：自然資源部國土衛星遙感應用中心自然資源衛星影像公有雲計算服務平臺2、項目編號：GC-FG41905363、招標公告發布日期：2019年7月19日4、變更公告發布日期：無5、開標日期：2019年8月9日6、初審情況：以下投標人未通過初審：序號投標人名稱被拒絕原因招標文件相應拒絕條款1北京四仁志科技有限公司