凌波微課|NCBI數據批量下載,你會了嗎?

2021-02-21 上海凌恩生物

NCBI批量下載數據實操

經過分離、實驗室純化培養、基因組測序,小Young終於拿到了心心念念的菌株的基因組序列,迫不及待的要開展分析,呃……16S rRNA、功能基因進化樹來一個,同源基因、共線性分析走起。哎,等等,這些分析都屬於比較基因組分析,需要首先選擇合適的參考物種基因組,可是一個一個查找下載太麻煩,有什麼辦法一鍵批量下載呢?

本期凌波微課為大家介紹兩種數據批量查找和下載的方法,具體操作猛戳上方視頻哦~

 

Batch Entrez簡介

網址:https://www.ncbi.nlm.nih.gov/sites/batchentrez?Batch Entrez是NCBI的一個檢索系統,它提供了批量的ID檢索,在小數據量的時候使用起來是非常方便的。這裡可以通過ID檢索NCBI下面的幾乎所有的子資料庫,包括Nucleotide、Protein、PubMed、Gene等。Batch Entrez下載時最好使用google瀏覽器。

Genome資料庫簡介

網址:https://www.ncbi.nlm.nih.gov/genome/

該資料庫包含了NCBI目前收錄的所有物種的基因組數據,Browse by Organism提供了通過物種拉丁文名稱進行過濾檢索物種信息,並給出了序列登錄和FTP站點地址,適用於大批量的數據查找和下載。

更多精彩內容加入「凌波微課交流群」,滿滿的乾貨不容錯過,獨樂樂不如眾樂樂哦~

 

 

1.  Batch Entrez下載時最好使用google瀏覽器,準備的list文件使用excel表格編輯,填寫基因組、蛋白質或者基因序列的登錄號ID,保存為制表分隔符的文本文檔,如下:2.  Batch Entrez下載時需要選擇好檢索的子資料庫,例如Nucleotide、Protein、Genome、Gene,一次檢索一類數據。3.  Genome資料庫通過物種拉丁文名稱檢索同源物種數據,得到登錄號之後可以選擇通過Batch Entrez批量下載;或者下載檢索表格,將基因組ftp站點連結整理為一個list,通過linux中wget命令下載,示例命令如下:
wget -c ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/004/214/875/GCF_004214875.1_ASM421487v1/*

wget -c -r -i list

list文件示例如下:

凌波微課,創意於2020年不平凡的春天,由高通量測序及組學研究領域從業近十年的技術團隊精心打造。

凌波微課的講師們,實戰經驗豐富,旨在通過在線微課程及線下交流,幫助科研學生及科研工作者們由簡入繁,掌握科研思路及生信分析的實際操作。凌波微課,用心服務科研用戶,打造專業培訓品牌,助力科研提升。

關注凌波微課公眾號,回復「入群」,即可加入凌波微課課下交流群,更多乾貨等你呦!

相關焦點

  • 凌波微課|菌種鑑定序列上傳NCBI,so easy!
    本期凌波微課就手把手帶你輕鬆搞定菌種鑑定序列上傳Genbank資料庫。更多精彩內容加入「凌波微課交流群」,滿滿的乾貨不容錯過~ 常見問題上傳之前,選擇相對應的序列類型,例如:16S rRNA、ITS,一類序列可以批量提交
  • NCBI微生物基因組批量下載
    不要哭,今天小編就為大家提供幾個批量下載某物種或特定物種基因組並獲取基因組預測及注釋信息的方法。/genomes/genbank/(3) ftp://ftp.ncbi.nlm.nih.gov/genomes/refseq/2、通過軟體Filezila批量獲取:將FTP地址輸入Filezila軟體中,點擊快速連結,即可批量將數據導入個人電腦。
  • 數據上傳NCBI三劍客之③—上傳菌種鑑定序列
    前兩篇推文中,小編為各位小夥伴們介紹了測序原始數據上傳SRA資料庫和微生物基因組上傳NCBI,在本期小編繼續帶小夥伴們輕鬆學會將菌種鑑定序列上傳Genbank資料庫。/subs/genbank/),點擊New submission,新建上傳任務;2、選擇上傳數據類型;
  • NCBI教程|如何從NCBI批量下載序列並用MEGA畫進化樹
    今天我們繼續分享NCBI教程,喜歡就分享給你的小夥伴吧~我們都知道,要從NCBI上下載一條兩條序列很簡單,就是登陸NCBI
  • 使用BioNumerics軟體批量下載NCBI中基因序列
    使用BioNumerics軟體批量下載NCBI中基因序列大家可能曾經都被如何批量下載NCBI中的數據所困擾,在NCBI的網站上苦苦搜尋,但是無從下手。本文將介紹如何通過BioNumerics軟體實現基因序列的批量下載。
  • 凌波微課——PacBio HiFi技術專題講堂預告
    凌波微課特邀PacBio公司技術團隊,官方權威在線細節講述,帶您了解真實的第三代基因組測序技術,助力組學研究的騰飛~即日起,關注凌波微課,我們將為您呈現三季PacBio三代測序研究專題講座,在線零距離,與PacBio的技術專家直面溝通,解除您的疑慮,高效助力科研。* 翁亮 博士擁有10年生命科學和分子診斷領域工作經驗。
  • 生物信息神奇網站系列(九):批量下載序列
    在《手把手教你生信分析平臺搭建專欄》中,我們介紹過利用Aspera快速下載生物數據,例如下載某個物種基因組數據。
  • 教你無限制批量下載JGI-IMG基因組數據!
    IMG收錄了細菌、古菌、質粒、病毒以及少量真核生物基因組數據,其數據主要來源於NCBI的RefSeq資料庫,但是增添了更加詳細的注釋信息,例如CRISPR序列、信號肽、非編碼RNA、功能基因等。IMG基於COG、Pfam、TIGRfam、InterPro、GO和KEGG等資料庫產生基因家族的注釋信息。
  • NCBI介紹
    NCBI 的所有資料庫和程序軟體都可在 NCBI 的匿名 FTP伺服器( ftp : //ncbi.nlm.nih.org )上獲取。  隨著ncbi資料庫各種資源的湧現,NCBI已經成為科研工作者必不可少的工具了。那麼各位小夥伴們,你能說出NCBI有多少資料庫嗎?有哪些實用的工具嗎?不知道的就進來看看吧!
  • 微商相冊批量採集下載圖片的工具,快速批量保存微商相冊的原圖
    微商相冊是一款很好用的雲共享相冊,大部分賣家會把圖片存在相冊中,代理如果要下載這些相冊圖片的話,只要把連結地址給他們,用工具,就可以批量把相冊裡面的圖片都下載保存到本地電腦上,或者手機上。來看看他們都是怎麼操作的。
  • 分分鐘搞定NCBI GenBank序列上傳
    與高通量迅猛發展伴隨的,是海量測序數據的產生,NCBI GenBank就是一個很好的測序數據管理和共享平臺。 然而,如何向NCBI GenBank提交這些序列,提交什麼序列?這一系列的數據提交問題則成為了科研工作者不得不面對的一個棘手難題。在此,我將對目前高通量測序數據的提交做一個簡單概述,並著重對提交基因組測序進行講解,希望對大家有用。有不對的地方,請大家批評指正。
  • 微課|DNA半保留複製的實驗證據
    藺磊老師最近有多個微課作品,不斷來襲,希望這些微課作品,能對你有所幫助,如果喜歡藺磊老師的作品,就為他打Call吧!        想了解更多微課作品,請關注小樹,小樹長遠目標,將高中生物所有的重難點都以微課形式推出,目前遺傳定律(分離定律、自由組合定律、減數分裂、伴性遺傳等)已經全部推送完成,有小夥伴需要的話,可在騰訊和優酷下載!
  • 蛋白組學/代謝組學如何快速從主流資料庫中獲取人/小鼠數據?
    試問大家做好準備迎接它到來了嗎? 本次分享的主題為:如何快速獲取海量數據?再通過複製、粘貼方法雖然很精確但是對於大批量的數據下載效率實在是太低了。是否可以直接下載資料庫準備好的序列文件?或者編寫程序腳本進行批量下載? 本次小鹿分享的是2種熱門物種(人和鼠)的無編程基礎的下載方式。
  • 蛋白組學/代謝組學如何快速從主流資料庫中獲取人/小鼠數據?
    再通過複製、粘貼方法雖然很精確但是對於大批量的數據下載效率實在是太低了。是否可以直接下載資料庫準備好的序列文件?或者編寫程序腳本進行批量下載?本次小鹿分享的是2種熱門物種(人和鼠)的無編程基礎的下載方式。
  • Biopython —— 你不知道的 NCBI 訪問方式
    利用這個庫,我們可以編寫腳本,讓程序自動搜索下載資料庫中的信息不用為搜索幾十上百個基因的相關文獻發愁,也不用再為尋找幾十個基因的序列、轉錄本信息等愁得焦頭爛額了Biopython 能幹嘛 ?Enzyme 和 Prosite 等 ExPASy 文件NCBI 中的 Blast、Entrez 和 PubMed 資料庫ExPASy 中的 Swiss-Prot 和 Prosite entries,以及 Prosite searches利用 k-最近鄰、Bayes 或 SVM 對數據進行分類安裝pip install biopython
  • 【微課賞析】實像與虛像-初中物理-龍巖市微課大賽一等獎
    龍巖市高級中學王靖巖老師寫給本人的一封信:於老師您好,我關注了您的「微課製作學堂」公眾號,覺得您的這個平臺非常的好
  • R批量下載B細胞和T細胞受體VDJ序列文件
    今天給大家介紹一個做免疫組庫數據分析很實用的資料庫IMGT,以及如何使用R從IMGT批量下載B細胞和T細胞受體VDJ序列文件。IMGT的目標是建立一個對所有免疫遺傳學數據的通用訪問,包括序列、寡核苷酸引物、基因圖譜和免疫球蛋白、TCR和MHC分子的其他遺傳數據,並提供一個圖形化的用戶友好的數據訪問。IMGT將對醫學研究(自身免疫病、愛滋病、白血病,淋巴瘤)、治療方法(抗體工程學)、基因組多樣性和基因組進化研究具有重要影響。
  • 新功能|如何將表單數據批量生成二維碼
    表單大師版本更新有一段時間了,小夥伴們在新版頁面操作還順利嗎?今天表姐給你們安利一個新功能,這個功能要從一個「q」開始說起。簡單點來說,就是你可以將表單及數據通過Word模板功能導出為二維碼。那麼這個功能有什麼用呢?
  • 淘寶圖片批量下載軟體,一鍵採集淘寶商品圖片視頻
    做無貨源電商,是不是經常會有下面的問題:自動採集器分類批量解析淘寶全部圖片?淘寶上的圖片及視頻如何輕鬆批量提取?自動下載保存淘寶高清主圖的工具有哪些?洋淘秀上的圖片可以快速下載抓取?這裡用淘寶為例,教大家一個簡單的方法。 1、 做無貨源,第一步掌握採集圖片方法,必選擇一個得用的工具,我通常用-固喬電商圖片助手採集,速度快,一次可以下很多。  2、 主要採集方式——採集連結批量下載,整店寶貝批量下載,整頁寶貝批量下載,分類寶貝批量下載,關鍵詞搜索批量下載。
  • Excel函數公式:粘貼、複製進行批量數據計算,你會嗎?
    批量計算是非常常見的,例如水果店所有水果今天都新進了20公斤的水果,在不使用公式的情況下,如果批量的進行庫存的變化呢?一、添加輔助列,複製原庫存量。4、對比觀察數據。備註:其實不僅僅可以【加】計算,還可以進行【減】、【乘】、【除】的運算。方法只需在【選擇性粘貼】中選擇相應的運算即可。是不是很方便???