乾貨分享:谷歌全球73.9TB衛星影像是如何下載完成的?

2020-11-29 水經注地圖下載器

1. 概述

真是應了那句話，千裡之行始於足下，全球谷歌衛星地圖數據下載項目從2019年7月至今，歷時半年之久，現在終於全部下載完成了！現在我把一些經驗和心得與大家進行分享。

2. 下載全球衛星影像數據的前因後果

由於有眾多客戶（主要是涉密單位）對全球數據有需求，都希望可以建立一個離線查看的本地谷歌地球，我們大概在三年前就啟動了全球數據下載計劃但卻一直無果而終。原因有很多，任務分配太多導致數據混亂，中途被其它事情打斷擱置等等。但最主要的原因，可能還是項目負責人的問題，雖然看起來很努力卻一直沒有把這個事做好。

全球數據

直到去年7月份，我才決定親自著手此事，其實當時我也在犯嘀咕，該項目只是我眾多工作中的一項，我是否有這個精力兼顧呢？全球數據這麼大，要下載到何年何月呢？再加上以前下載的數據十分凌亂，在梳理過程中還發現很多數據存在錯誤，居然有根本沒有下載完就入庫的情況，一時間還真不知道該如何辦才好。看著已經接近下載了一半的數據，該繼續整理還是從頭再來？這著實是一個難以取捨的問題。

後來乾脆花了兩天時間進行了專門的下載測試，發現下載速度其實比想像的快很多，再根據需要下載的文件數與數據量大小進行了充分的估算之後，覺得下載全球數據應該沒有想像那麼難，也應該花不到太長的時間。於是，最後下定決心從頭開始！

以前下載全球數據時，是負責開發的同事用代碼一次性生成好了所有任務，再分別分配到每一臺電腦。由於該工作不需要全天候職守，且下載數據的電腦比較多，一旦記錄沒有作仔細，原本簡單的事稍不留神就會讓數據混亂。基於上述原因，我這次不採用同事生成好的任務，而是每一組任務都自己手動建立，且只用四臺電腦下載。這樣的工作方式看起來慢實則最快，這種笨辦法可以讓每臺電腦下載數據的情況心中有數，正所謂欲速則不達！

最後，如文中開頭所述，該項目歷時半年，終於圓滿完成！當然，這期間離不開另外兩位小夥伴的密切配合，他們才是在這半年中付出最多的人。下面我將會對全球數據情況及參數作一些簡單的說明。如果你也想下載谷歌全球衛星影像數據，請關注微信號"水經注GIS"並回復"全球數據"入群，我將會在群中毫無保留地與你分享！

3. 全球數據參數與概況

這裡下載的全球數據，數據源為谷歌地球，坐標投影為WGS84經緯度投影，無偏移無水印。數據級別為1到19級，一共73.9TB大小，如下圖所示。

全球衛星影像73.9TB

全球數據共分為6個文件夾，其中"World_L2_10"是存儲的全於2到10級影像數據，其它五個文件夾為全於10-19級影像數據，一共分成了5部分，如下圖所示。

數據共分6組

全球數據的每一個文件分塊由一組DAT和IDX組成，通過搜索DAT文件可以檢索出所有的影像數據分塊文件。全球數據文件基於第10級瓦片為金字塔塔尖對10到19級進行分塊，一共131072個塊，再加上2到10級以內的兩個分塊，一共131074個分塊文件，如下圖所示。

共131074個文件分塊

2到10級以內的數據分塊文件名稱分別為"2_1_1"和"2_2_1"，10到19級文件分塊從"10_1_1"開始，如下圖所示。

按文件名稱排序的起始位置

文件"2_1_1"和"2_2_1"對應2到10級影像分塊，如下圖所示。

第2到10級分塊

文件"10_1_1"對應基於全球左上角的瓦片分塊，如下圖所示。

第10到19給分塊左上角為起始位置

10到19級文件分塊到"10_512_256"結束，如下圖所示。

按文件名稱排序的結束位置

文件"10_512_256"對應基於全球左上角的瓦片分塊，如下圖所示。

第10到19給分塊右下角結束位置

將所有文件按下載完成時間進行排序，最早完成時間為2019年7月14日12點23分，如下圖所示。

按下載完成時間排序的起始位置

最晚完成下載的時間為2020年2月20日22點41分，如下圖所示。

按下載完成時間排序的結束位置

將所有文件按大小進行排序，最小的影像只有1KB，這種數據非常小的文件主要分布在南北級基本無影像數據的區域。

按文件大小排序的起始位置

最大的數據達8G之多，如下圖所示。

按文件大小排序的結束位置

其中，文件"10_108_84"是全球數據中最大的分塊，一共8.33GB，如下圖所示。

最大的文件8.33GB

4. 新手如何下載全球數據？

從上述說明已經可以看出，下載全球數據是通過分塊進行下載的，但新建任務時我的方法是基於第10級，一次下載4列，每列256個任務塊，也就是一次新建1024個任務分塊。具體下載的方法，可以通過關注微信公眾號"水經注GIS"並回復"全球數據"入群，我將會在群中毫無保留地與你分享！關於全球離線影像數據如何使用，如何在區域網內發布，又該如何調用等一系列問題，我們都會全部為你答疑解惑，如果有必要，我們也可以通過在線直播的方式為大家進行詳細演示！

5. 總結

最後，如果你有需要，我們也可以為你提供全球離線二三維GIS系統的解決方案。接下來，我們將用同樣的方法，計劃下載全國以及全球1-21級數據，這是一個更有挑戰性的工程，也希望有朝一日能順利完成！

相關焦點

  • 如何免費下載谷歌高清衛星影像地圖?
    從此，我們便擁有了一雙「千裡眼」，並隨時可以將地球「玩弄」於股掌之間，它開啟了一個網際網路高清衛星影像免費共享的新時代。高清衛星影像的魅力，一部分在於偷窺，一部分在於實用。你可以通過它看到你自己家的房子，你鄰居家的房子，或者你前女友的房子，實在令人難以抗拒。那麼，如何才能查看或下載你感興趣的高清衛星影像呢？
  • 如何一次性下載全國谷歌衛星影像地圖數據
    地圖數據 |  作者 /  興禾  整理  /  文泉鑑於很多用戶在用水經注下載谷歌衛星地圖時，總希望一次性下載全國甚至全球的高清影像數據，但最後都會因為不得其法或因磁碟空間不足等原因導致沒有下載成功
  • 如何下載谷歌衛星影像
    谷歌地球（Google Earth，GE）是谷歌公司開發的虛擬地球軟體，用戶可以通過它瀏覽全球各地的衛星影像，其數據，清晰度高，無偏移，無水印。
  • 真正的實時衛星影像,可查看即時著火點和颱風直播!
    現在，小編對此文進行略為修正之後再次為大家分享，以下是正文。概述眾所周知，從谷歌地球上幾乎可以看到地球上每一個角落的衛星影像，但總有不少水經注的用戶問「如何查看實時衛星影像」、「哪裡可以看到實時衛星影像」等問題，看來大家都非常期待能看實時的而不是歷史的衛星影像。為此，小編曾為大家分享過一篇文章《實時衛星影像視頻，將讓你擁有一雙真正的千裡眼！》
  • 22.3TB全國1-20級谷歌離線衛星影像終於出爐了!
    30TB大小，因此在前段時間發布了《重磅：全國1-20級約30TB谷歌離線衛星影像即將出爐啦！》直到最近將全國1-20級數據下載完成並匯總之後，最終確定一共有22.3TB，只需要一個16TB和一個8TB硬碟即可存儲。在《水經注全國離線地圖4.0》的基礎之上更新該衛星影像之後，我們將該數據命名為《水經注全國離線地圖5.0》，該版本是目前唯一一個衛星影像數據更新到第20級的版本。
  • 怎麼一次性下載谷歌地球的全球高程DEM數據
    概述自從前段時間發布了《如何一次性下載全國谷歌衛星影像地圖數據的方法》一文後，許多客戶舉一反三，用此方法下載谷歌地球的全國高程DEM數據或全球高程DEM數據。總的來講，一次性下載大範圍的谷歌地球高程DEM數據和一次性下載大範圍的谷歌衛星影像的方法大體上是基本相同的，但還是會有一些細微的差別有必要為大家作出詳細的說明。
  • 天津市谷歌高清衛星地圖下載
    二、天津市谷歌高清衛星地圖離線包如何下載？　天津市局部18級谷歌高清衛星影像示例圖。天津市10到18級谷歌高清衛星地圖數據離線包為9.49GB度網盤中直接下載。https://pan.baidu.com/s/1DohBO2egNqmT4wMOXRtzWA　天津市10到19谷歌高清衛星地圖、全國1到19級谷歌高清衛星地圖以及全球1到19級谷歌高清衛星地圖，可以向水經注軟體客服人員獲取，墨卡託投影坐標系和WGS84經緯度坐標系的影像數據均可提供
  • 河南省谷歌高清衛星地圖下載
    二、河南省谷歌高清衛星地圖離線包如何下載？河南省所有縣市衛星地圖數據離線包，百度網盤下載地址。安陽市10到18級谷歌衛星地圖數據離線包為1.70GB，可以從百度網盤中直接下載。下載地址包括1個壓縮包文件，URL地址為：https://pan.baidu.com/s/1hkHQA0sL1bz2OnBV3o9gSg濟源市10到18級谷歌衛星地圖數據離線包為471.6MB，可以從百度網盤中直接下載。
  • 黑龍江省大慶市谷歌高清衛星地圖下載
    二、大慶市谷歌高清衛星地圖離線包如何下載？　　大慶市轄5個市區、3縣及1個自治縣和1個國家級高新技術產業開發區，即：薩爾圖區、龍鳳區、讓胡路區、紅崗區、大同區、肇州縣、肇源縣、林甸縣、杜爾伯特蒙古族自治縣和大慶高新技術產業開發區。　　大慶市局部18級谷歌高清衛星影像示例圖。
  • 實測谷歌衛星影像與百度高德微軟ArcGIS影像精度對比,差距驚人
    目前網際網路上應用最廣泛的衛星影像包括：谷歌影像、天地圖影像、百度影像、高德影像、微軟影像、ArcGIS影像等，我們將從多個方面為大家逐一分析，方便大家日常使用和學習。需要說明的是： 谷歌地圖影像為谷歌地圖（WEB版）CN伺服器的影像數據，訪問速度快，穩定，帶谷歌水印，WGS84坐標系，投影為WEB墨卡託投影； 谷歌地球影像為谷歌地球的影像數據，支持谷歌歷史影像，訪問受網絡限制，電信網會不定時不定地屏蔽，大量下載可能會被封IP，不帶水印，WGS84坐標系，投影為經緯度投影。
  • 黑龍江省哈爾濱市谷歌高清衛星地圖下載(百度網盤離線包下載)
    哈爾濱市行政區劃谷歌衛星地圖，如下圖所示。哈爾濱的歷史源遠流長，是一座從來沒有過城牆的城市。早在兩萬兩千年前，舊石器時代晚期，這裡就已經有人類活動。大約5000年前，哈爾濱地區進入新石器時代。大約3000年前，殷商晚期，哈爾濱進入青銅時代，屬於黑龍江地區最早的古代文明國家--白金寶文化的分布區域。　　二、哈爾濱市谷歌高清衛星地圖離線包如何下載？
  • 怎麼更新現有全國谷歌衛星地圖高清影像數據到最新版?
    概述越來越多的用戶考慮到數據下載的時間成本問題，都希望我們能提供現有的全國谷歌衛星影像數據，以儘快在內網發布全國離線衛星地圖數據，快速構建自己專屬的離線谷歌地圖伺服器，從而可以專注於業務功能的研發，加快項目的開發進度。但很多用戶都提到了一個問題，那就是"衛星影像會隨著時間的推移而越來越不能滿足系統需求，如果要更新全國谷歌衛星地圖方便嗎？如何更新到最新？"
  • 實測谷歌衛星影像與高德微軟ArcGIS影像精度對比,差距驚人!
    目前網際網路上應用最廣泛的衛星影像包括：谷歌影像、天地圖影像、百度影像、高德影像、微軟影像、ArcGIS影像等，我們將從多個方面為大家逐一分析，方便大家日常使用和學習。先用表格比較下不同影像的覆蓋範圍、更新周期、清晰度、水印、下載穩定性：需要說明的是：谷歌地圖影像為谷歌地圖（WEB版）CN伺服器的影像數據，訪問速度快，穩定，帶谷歌水印，WGS84坐標系，投影為WEB墨卡託投影；谷歌地球影像為谷歌地球的影像數據，支持谷歌歷史影像，訪問受網絡限制，電信網會不定時不定屏蔽，大量下載可能會被封IP，不帶水印，WGS84
  • 黑龍江省伊春市谷歌高清衛星地圖下載(百度網盤離線包下載)
    伊春市行政區劃谷歌衛星地圖，如下圖所示。清末民初，劃歸湯原縣管轄，為原始森林地區。東北淪陷後，1941年11月建成綏佳線鐵路後，於1942年7月修建湯林線鐵路南岔至伊春段，日本殖民主義者開始進行掠奪式地亂砍濫伐。1945年春，偽湯原縣公署於伊春設立伊春街。　　二、伊春市谷歌高清衛星地圖離線包如何下載？
  • 黑龍江省齊齊哈爾市谷歌高清衛星地圖下載(百度網盤離線包下載)
    二、齊齊哈爾市谷歌高清衛星地圖離線包如何下載？齊齊哈爾市下轄：7個市轄區，1個縣級市，8個縣。　　齊齊哈爾市局部18級谷歌高清衛星影像示例圖。下載的齊齊哈爾市谷歌高清衛星地圖離線包為zip壓縮文件，需要解壓後才可以使用。
  • 谷歌高清衛星影像在電力線路規劃設計中的應用
    這裡，我們以二郎平電力線路規劃路線為例，介紹一下谷歌高清衛星影像在電力線路規劃設計中的應用。電力線路規劃圖使用CAD打開二郎平電力線路規劃圖，在窗口中全範圍顯示後，效果如下圖所示。視圖放大下載二郎平規劃區域谷歌衛星地圖根據項目所在位置查詢定位後，點擊"下載\框選範圍下載"，框選需要下載的衛星圖，如下圖所示。
  • 開源三維地球Cesium中如何離線加載衛星影像和高程DEM數據
    概述前段時間，給大家介紹了基於《水經注地圖發布服務中間件4.0》離線發布全球衛星影像的方法，以及如何在內網離線發布全國高程DEM數據並在OsgEarth中調用的方法，今天再為大家分享開源三維地球Cesium如何離線加載衛星影像和高程DEM數據的方法！
  • 谷歌高清衛星地圖下載
    谷歌地圖實在是良心之作，你真的不下載試試嗎！ 【谷歌高清衛星地圖下載遊戲資料】
  • 六種查看衛星歷史影像數據方法
    同時，藉助城市應用區域現有較大比例尺的地形數據，對影像數據進行投影變換和幾何精校正，並從地形地圖上獲得境界、城市、居民點、山脈、河流、湖泊以及鐵路、公路等典型地貌地物信息和相應地名信息，進行相應的標註和整飾，製作城市數字正射影像圖。在做城市變遷分析時，歷史影像數據是一個非常重要的數據源，那麼這些歷史數據如何查看呢？本文將給大家介紹幾種可用的方法。
  • 谷歌衛星地圖下載器 衛星地圖瀏覽下載軟體
    下載地址：http://soft.qudong.com/down/26249.html