前谷歌員工推出類 Spanner 資料庫項目

2021-01-11 開源中國

斯賓塞·金博爾(Spencer Kimball)在離開谷歌之後,突然覺得不便,因為手頭缺少了很多曾在公司內部使用的定製軟體。於是,他攜手其他谷歌離職者,決心打造自己的版本。現在,他們決心公開自己的工作成果,幫助有志者創辦下一個谷歌或Facebook。

金博爾特別想打造屬於自己的谷歌資料庫系統Spanner。Spanner 的設計目的是為了與數以百萬計資料庫伺服器上的數據打交道,該工具讓谷歌的服務持續在線,甚至在數個伺服器甚至整個數據中心被關閉的情況下也是如此。少有公司需要運營如谷歌這般規模的數據中心,但系統的穩定性以及伺服器間的資源負載均衡自動化對大多數公司來說還是很有用的。

金博爾沒有為谷歌Spanner項目工作過,但他在日常工作中用到過該項目。市面上目前沒有類似項目存在,因此,他們決心打造自己的版本——CockroachDB。該項目是依據谷歌出版的關於Spanner的白皮書打造的開源資料庫。

在去年2月推出後,CockroachDB很快便吸引到眾多開發者參與,但項目進展不如預期。即便到了今天,項目仍然無法投入使用。因此,金博爾和其他8位開發者辭去工作,創辦了Cockroach實驗室。今天,公司宣布獲得來自包括谷歌風投在內的625萬美元投資。

CockroachDB並非是首個由谷歌內部技術演化為大眾版本的項目。多年來,谷歌出版了一系列白皮書,對許多關鍵創新技術進行了詳細描述,在過去10年,催生了諸多重要軟體的誕生。

這些白皮書中的兩個便促成開源分布式數據系統Hadoop的誕生。Hadoop是大數據革命的基礎,現在正被包括Facebook以及其他金融服務巨頭在內的公司所廣泛採用。

與此同時,一份關於谷歌BigTable數據存儲系統的白皮書也促成一大波對資料庫設計的創新,NoSQL便是其中的一個。今天,包括蘋果、Facebook以及Netflix在內的眾多公司都在採用受到BigTable啟發的資料庫來支撐某些業務數據。但谷歌自身卻正在向Spanner轉移,公司稱,該系統能夠支撐規模極其龐大的數據處理量,在伺服器間數據一致性方面表現尤為出色。

Cockroach實驗室正在一個類Spanner資料庫項目上壓下重注,他們認為其很快就會變得如今天的Hadoop以及NoSQL一樣重要。

金博爾表示,CockroachDB的特點在於伸縮自如。如果用戶的業務規模很小,則可以從筆記本上運行CockroachDB的單一實例開始,隨著業務規模的擴大,CockroachDB可以部署到數以千計的伺服器上。

金博爾認為,雖然Spanner代表了今日資料庫的尖端技術,但卻不會持久。他指出,傳統的關係型資料庫——如甲骨文的產品——已經在市場上存在多年。現在,隨著第一波NoSQL資料庫的湧現,變革正在悄然形成,而谷歌已經在向這方面遷移。這也許代表著資料庫的未來方向。

稿源:網易科技

相關焦點

  • 谷歌推出龐大圖書資料庫 涵蓋古今5000億單詞
    谷歌推出了一個龐大的圖書資料庫,包括了可供網際網路免費下載和搜索的近520萬部數字圖書。此舉有望開啟人文教育和研究的新篇章。谷歌圖書資料庫匯集了大量的單詞和短語,及其每年使用頻率的變化情況。這是如此規模的資料庫和搜索工具首次面向所有電腦用戶開放。
  • 谷歌高效開發的秘密:來自谷歌前員工的軟體開發工具指南
    能將谷歌的內部開發工具生態系統直接克隆到新公司中,無疑是不少谷歌前員工的願望,但也應切忌好高騖遠。下面我就會談談我的看法,講一講前谷歌員工如何開始尋找讓他們和他們的新團隊儘可能高效工作的工具。軟體開發的生命周期對於剛離職谷歌並加入其他公司的人而言,可能一時難以適應大不如前的工作效率。
  • 蟑螂資料庫?Google前工程師企圖開源實現Spanner精簡版
    免費訂閱「CSDN大數據」微信公眾號,實時了解最新的大數據進展!他們將這個項目叫做 CockroachDB,將它宣傳為一個能夠持久運行的資料庫。對軟體來說這個名字聽起來有些古怪,但是Spencer Kimball(創始合伙人,Google前工程師)認為它非常合適,「這個名字代表了它的非常重要的兩個特性:當然有殘存性,還有基本上能夠自發地擴展到可用的硬體。」
  • 谷歌與Facebook的"關係資料庫"之戰
    編者的話:十幾年前,谷歌依靠其搜尋引擎開始收集用戶「意圖資料庫」,並通過出售目標廣告將其轉為真金白銀。特別是谷歌,它知道了很多有關用戶「意圖」的數據,它曾利用這些意圖資料庫,為市場營銷者帶去了非常大的價值。事實上,去年  谷歌500億美元營收中,大部分是通過將意圖資料庫轉化為目標廣告獲得的。  現在的問題是:難道像Facebook這類社交網站就不知道人們的意圖數據嗎?
  • 看15歲的谷歌的前21位員工現在都在做什麼
    北京時間9月9日消息,據美國科技網站BusinessInsider報導,如果不算上谷歌的聯合創始人Larry Page和Sergey Brin兩位高管,谷歌創業之初的21名員工如今只剩下7人留在這家搜索巨頭公司,該公司也讓他們成為了有錢人
  • 谷歌(GOOG.US)收購英國資料庫管理初創公司Dataform
    來源:智通財經網智通財經APP獲悉,12月9日,谷歌(GOOG.US)旗下雲部門悄然收購英國初創公司Dataform,該公司主要為資料庫開發「作業系統」,相關交易條款未被披露。據悉,Dataform的兩位創始人都是谷歌的前員工,而谷歌對該公司旗下的產品Dataform web很感興趣,該產品正以免費的形式提供。在透露收購進展之前,Dataform當時已經處於A輪融資。Dataform致力於幫助數據豐富的公司從其資料庫中汲取洞察力,這通常需要一個數據工程師和分析師團隊。
  • 為了曲線回歸中國市場 谷歌偷偷摸摸推出了一款微信小遊戲
    為了曲線回歸中國市場 谷歌偷偷摸摸推出了一款微信小遊戲  黃琨 • 2018-07-18 18:44:18
  • 谷歌前員工誇皮查伊能力很強,卻擔憂他"作惡"
    上個月,該公司解僱了四名組織抗議活動的員工。這種緊張在去年的一場突然罷工中也可以看見,當時數千名谷歌員工表達了他們對公司處理性騷擾指控的不同意見。本周早些時候,佩奇和布林在一封公開信中宣布了Alphabet領導層的變動。兩位創始人表示,Alphabet和谷歌不再需要兩位獨立的執行長,在谷歌工作了15年的皮查伊將領導這兩家公司。
  • 谷歌員工推出畫風可愛Grasshopper免費編程教學應用
    谷歌員工推出畫風可愛Grasshopper免費編程教學應用2018-04-19 17:46出處/作者:cnBeta.COM整合編輯:吃薄荷的貓責任編輯:zhaoyongyu1 來自谷歌內部孵化器 Area 120 的一票員工,剛剛推出了一款名叫「蚱蜢」(Grasshopper)的免費應用,旨在向用戶教授簡單的編程知識。
  • 谷歌推出數據集搜尋引擎,可支持中文搜索
    剛剛年滿 20 歲的谷歌又一次在搜索領域擴大了自己的狩獵範圍。今日,谷歌推出新的數據集搜索(Dataset Search)產品,希望幫助研究人員、記者和其他用戶更輕易地獲得這些數據。網上存在海量的研究數據,但是對這些網站進行篩選可能非常耗時,且數據的格式可能不易解析,因此谷歌推出數據集搜索。
  • 谷歌將推出電子借記卡 但與Apple Card不同
    據報導,谷歌正在測試自己的谷歌品牌智能借記卡,該卡將幫助客戶在網上和商店進行購買和跟蹤購買。該項目將成為Google現有Google Pay系統的新焦點,該系統目前僅通過添加可用於更多購買的實體借記卡來進行在線和點對點支付。
  • 谷歌員工反對「設限的搜尋引擎」進入中國市場
    谷歌員工反對「設限的搜尋引擎」進入中國市場 作者:BBC 發布時間:
  • 谷歌十大已放棄網絡項目:Google Video居首
    騰訊科技訊(觀海)北京時間8月15日消息,據國外媒體報導,科技博客makeuseof日前發表文章羅列出了谷歌放棄的十大項目,其中包括谷歌視頻、谷歌目錄搜索和谷歌記事本等等。谷歌此前曾表示,由於用戶對Google wave社交網絡服務缺乏興趣,公司將放棄對該項目的開發。
  • 108 E60 要壞事 就throwing a spanner扔扳手
    throw a spanner in the works製造麻煩,壞事The global pandemic is throwing a spanner in the works for several regulatory deadlines
  • 谷歌員工吐槽對公司不滿:中層管理者很平庸
    「當我離職時,谷歌已不再具備創業公司的氛圍。同樣出現了辦公室政治。如果你從事適當的項目,並以正確的方式進行自己的工作,那麼很容易得到晉升。」「美國前10名大學的一些學生為谷歌的廣告產品提供技術支持,或人工下線一些YouTube內容,或是為網站一個按鈕的配色撰寫基本的A/B測試代碼。」
  • 谷歌發布新效率工具Tables-虎嗅網
    SaaS效率軟體明星公司AirTable剛宣布融資還沒幾天,谷歌就正式發布了一個相當有野心的競爭產品:Tables。Tables由谷歌內部創業孵化器Area120推出,是一個無代碼的表格式自動化效率工具。
  • 揭秘谷歌 「登月項目」 工廠 X:打造下一個谷歌
    (2015 年穀歌重組成立母公司 Alphabet 時,Google X 更名為 X。)科利——不是典型的谷歌員工——擁有在大災難中倖存下來的資質。他沒有取得進入醫學院的成績,所以他接受了急診室技師的培訓——這一背景,再加上他的飛行員執照和在內華達山脈的八年搜救經驗,讓他成為了 Loon 所需要的那種人才。
  • 非關係型資料庫NoSQL的崛起
    谷歌傑出工程師安德魯·菲克斯(Andrew Fikes)最近曾這樣對我們說道——在整個科技行業中,還有很多人尚未把握到這些新資料庫的重要性。然後,支持部門的員工能分屏顯示和查看這些文件,就像我們今天的電子郵件客戶端一樣:報錯報告列表在上面,報告文本在底下。隨後,所有這些信息會被保存為一個大的文本文件,而不是關係資料庫。今天,我們將其稱為「文件資料庫」(document database)。你可以把一個關係資料庫看作一個龐大的電子表格,數據以圖表、行和列的方式組織起來。
  • 消息稱美國勞工機構將起訴谷歌非法監視員工
    當地時間周三,谷歌前員工發表聲明稱,美國國家勞資關係委員會(National Labor Relations Board)將提交訴狀,指控Alphabet旗下谷歌公司非法監視和詢問因抗議公司政策並試圖組織工會而被解僱的員工。據悉,NLRB由美國聯邦設立,主要作用是保護員工和僱主的權益,保障集體談判有序進行,處理勞資糾紛。NLRB沒有回應記者的置評請求。
  • 谷歌又來開源了,這次是資料庫備份檢查工具
    谷歌又發布了一個新的開源工具,據說是用於驗證PostgreSQL(Postgres)資料庫備份。  使用該工具,已經應用PostgresSQL的企業可以驗證在備份資料庫時是否發生了任何的數據損壞或數據丟失。