整理一下我近期報告的PPT、文稿和視頻，分享給大家，希望對同行有所幫助。
本節課程視頻共分3部分。
https://v.qq.com/x/page/t3015tp7d5u.html
Part 1. 21擴增子分析背景介紹p1-23，23min
https://v.qq.com/x/page/j3015gkf92g.html
Part 2. 21擴增子分析背景介紹p24-39，32min
https://v.qq.com/x/page/m3015en6o80.html
Part 3. 21擴增子分析背景介紹p40-56.wmv，25min
大家好，我叫劉永鑫，來自中國科學院遺傳與發育生物學研究所，今天很高興有這次機會為大家來講擴增子分析系列課程。我本科學習的是微生物學專業，之後又獲得了生物信息學博士學位，在短暫的兩年博士後科研工作後，留所任工程師，主要負責宏基因組學的數據分析。在過去的兩年工作裡，主要參與並發表的文章有10餘篇，累積影響因子150多分，其中包括一篇Science和兩篇Nature Biotechnology。同時還是宏基因組公眾號的創始人，在兩年多的時間裡，分享了400多篇原創文章，寫作量超過200萬字，閱讀量超過1000多萬次。我們接下來讓大家一次對自己的研究方向，姓名和單位進行簡單自我介紹，方便大家的溝通。
很感謝大家對自己基本情況和研究方向的介紹，這對於我下面課程中和重點的突出很在幫助，也希望同行互相認識，多交流和互相幫助。下面我們開始今天的課程，本次為第2天的第1節課，主要介紹擴增子分析的背景知識，右邊這個圖是來自2016年一篇Nature Protocol的文章，對微生物組近10年的發展進行了總結，我們可以看到從2010年到2016年我們開始對哪些環境對象進行探索，包括極端環境、植物葉片、白蟻、人類腸道、海洋、永久凍土、以及土壤沉積物的研究，這個領域擴展到了我們所能探索的所有地方。
先給大家看一幅漫畫，這張圖最能代表我這10年對科研的感悟，我在本科的時候，學了4年的微生物學，之後又花了6年，獲得了生物學博士學位，然後做了兩年博士後科研工作，用了12年的時間，我以為我走到了一個科研的很專業的高度。其實只是給我看到微生物組這個領域的入場券，在正式工作後加入了微生物組這個領域，我發現自己有多渺小，之前學的東西是那麼的微不足道，微生物組學是一個非常偉大的領域，有永遠挖不完的寶藏。在這個領域裡工作的越久越會發現他有多麼深不可測，而且你越會發現自己有太多的東西不知道。
本節課主要從以下4個方面進行介紹，包括為什麼要學習生物信息，什麼是微生物組？擴增子測序的基本概念以及擴增子分析的基本思路。
首先介紹，我們為什麼要學習生物信息學
我們為什麼要學習生物新學呢？舉一個簡單的例子，我們在高中都學過孟德爾發現了遺傳學的基本定律及基因分離定律和基因自由組合定律，他研究的對象就是豌豆，他主要靠紫花的豌豆和白花的豌豆進行雜交，再自交，獲得的子代有1000多株進行簡單的顏色數量統計，發現了3:1的規律，最終確定了基因的分離定律。而在基因組學時代，我們人類基因組的單倍體就有30億個鹼基對，如果把它當成一本書的話我們可能一生都無法讀完。
如果你覺得人類基因組有30個鹼基對已經是天文數字的話。但本質上我們人類的基因組只有25,000多個編碼基因，而我們的腸道微生物組，卻有多達1000萬個編碼基因，典型的有300~500種微生物。各種海量的微生物組數據，我們必須藉助計算機每秒上億次的計算速度，甚至是超級計算機來幫我們完成這種大規模數據的分析。
我們要使用計算機，就要對計算機的基本結構有一定的了解，計算機最主要的三個核心硬體就是CPU、內存和硬碟，CPU的單位本來是GHz，但現在的單核計算速度已經發展到了瓶頸，主要的參數是CPU核心數量或線程數。你應該經常聽到筆記本、手機四核、8核，目前伺服器最高有32核的CPU；內存常見的單位是GB，常見的有8GB、16GB的內存，伺服器最高的有64GB每條的內存；硬碟是我們最常用的存儲單元，常見的硬碟大小有2TB、4TB, 10TB 這也目前硬碟的單塊物理存儲極限。
伺服器最強大的優勢是有豐富的接口和擴展性。伺服器想要提高這三大硬體的配置，就是靠多，安裝2-4塊CPU，幾十到上百條內存，硬碟組陣列，通常12塊一組。什麼是集群？集群就是把多臺這樣的伺服器，裝在機櫃中將它們並聯，將能夠拆分的任務並發給每臺機器讓大家集體作戰，這樣才能夠提高計算效率、減少計算時間。舉個簡單的例子，我們要進行100個人的宏基因組分析，如果用一臺伺服器就需要100天，但是我如果把這個任務分發到100臺伺服器同時處理，這樣的話一天就可以完成了。
計算機是模擬人腦進行簡單重複勞動的過程。數據存儲於硬碟，讀入內存用於CPU高速計算，結果再返回硬碟保存。伺服器和臺式機差不多，只是配置高一點，再就是數量多，將數量幾臺-幾十臺伺服器並聯，共同計算，這就是集群。
擴增子卻是大數據時代中數據量最小的測序類型，一般配置高一點的筆記本和伺服器可以搞定。價格從幾千-幾百萬均可。研究所幾百萬，課題組10以內幾十萬，人少幾萬，個人初學幾千就夠用。
我們有了順手的伺服器，那我還有一個非常好的工作站來指揮他。推薦大家的工作站就是一臺普通的筆記本外加一臺擴展顯示器，如果你經常做分析的話，推薦可以購買15英寸的筆記本，這樣看著屏幕會大一些，同時滿足我們的移動辦公需求。並配一個28寸的顯示器，足夠大的可以將窗口分成4格，這樣可以同時多任務進行管理，也方便我們平時寫作、多圖比較和閱讀文獻。
舉個例子，你有一千份Excel表，主要工作是計算表格每行均值，再按結果降序排列，篩選出前3均值最高的候選。Excel中操作量與時間成正比的。編程批量操作分三個階段：1. 手動操作幾十份找規律；2. 停下工作編寫程序並測試；3. 運行程序完成工作。（單位的文員最需要學編程，但他們會編程就叫數據工程師/科學家，工作效率和工資都要會成倍提高）。
如果一件事情能用手機，筆記本電腦或其他智能終端完成的時候，一定不要親力親為，那不叫勤奮，那叫浪費自己的生命，如果你用低效原始的方式工作，你的辛苦不值得同情。
接下來我們介紹第2部分，什麼是微生物組？將帶你進入真正的微生物組世界。
微生物組(Microbiota)是指研究動植物體上共生或病理的微生物生態群體。微生物組包括細菌、古菌、原生動物、真菌和病毒。研究表明其在宿主的免疫、代謝和激素等方面非常重要。近義詞Microbiome即包括微生物，又包括其基因組。
上文來自維基百科，但中文是我的翻譯。建議閱讀原文。下圖是Nature protocols雜誌十年專題文章，回顧了這個領域的發展，近似的時間線展示相關領域微生物組研究開展的時間。2000年開始研究極端環境、植物、白蟻后腸、人類腸道、海洋、永久凍土、土壤沉積物等。
為什麼微生物組領域這麼熱？近年來長期霸佔著頂級雜誌的封面。這篇NBT的封面是我負責的工作。這篇NG和Science是微生物所王軍老師的工作。
是因為動物植物的生活環境中都充滿了微生物，無論是從單細胞藻類到大型真菌、昆蟲、植物、動物乃至人類的表面和內部，都充滿了大量的微生物，總結一句話，脫離了微生物的生物學研究是不完整的。
我們介紹一下本領域3個最常見的詞microbiota, metagenome 和microbiome。每張圖代表的是相同的群體，然而不同的方法可以定義此群體可提供的不同信息。- a. 微生物群：採用16S rRNA基因測序的方法鑑定此環境中微生物的種類。- b. 宏基因組：微生物群的基因和基因組，包括質粒、強調群體的遺傳學潛能。- c. 微生物組：微生物群的基因和基因組，以及微生物群的產物與宿主環境。
2001: 「Microbiome」這個詞才被正式提出，是隨著組學發展誕生的。Microbiota是個歷史悠久的詞，但最近在過時，使用頻率越來越低。
98年喬·漢德爾斯曼是提出宏基因組概念，耶魯大學分子學生物學和發育生物學教授，研究土壤中的微生物和昆蟲的腸道。但從90年代早期開始，她同時投身於推動女性和少數群體參與科學的運動。在歐巴馬時期，他是總統的智庫成員。
關於這些專業詞彙的進一步學習，推薦閱讀我們製作的宏基因組詞彙的有聲專欄，同時也推薦大家繼續學習，由microbiome雜誌主編編寫的微生物組名詞定義的評論文章。
人——HMP，2008年，1.15億美元(刀)，Rob Knight等領銜的。2016年二期5億刀，Cutis hottenhowver等領銜。從這裡我們也看出第1期主要是擴增子的研究，擴增子技術當時最成熟，而第2期主要是宏基因組數據和多組學數據，由本領域絕大多數宏基因組應用軟體的開發者主導，it is a hard work。我們也同時看到，美國已經投入了6億多刀，而中國啟動的中科院微生物組計劃，只投了3000萬人民幣，不到500萬元美元，不到美國投入的1%。環境——EMP環境微生物組詩雅，Jack Gilbert領銜的。動物；植物。
10篇Nature專題報導人類微生物組計劃2(iHMP)成果及展望
Nature：iHMP之「微生物組與炎症性腸病」
Nat. Med.：iHMP之「微生物組與早產」
https://en.wikipedia.org/wiki/Jo_Handelsman Jo Handelsman是Wisconsin-Madison分校的發現研究所所長，奧巴 馬時代白宮科學與技術政策顧問/幕僚。最出名的著作是科學教育。
以色列技術研究所科學家Oded Beja，研究微生物與宏基因組。https://en.wikipedia.org/wiki/Oded_Beja。
Jill Banfield 加州大學伯克利，最早使用多組學；
Gordon，華盛頓大學，專注腸道研究40年，之前多次被作為諾獎的熱門人選。
Pat Schloss發表微生物擴增子流程，引用上萬。之前發布來daught和son這些零散的軟體，後來打包完善為mothur，發在了3分的AEM上，引用過萬。
Rob，發布了更好用分析+繪圖流程QIIME，整合了200多款軟體，引用近1.7萬次。Jessica Green什麼都研究，這是他在Ted演講過的照片。QIIME2於16年開發，17年我參與，18年發布預印本，非正式引用近1千次。目前已經在NBT發表。
我們了解了微生物組的發展史和微生物組的基本概念看看我們。下面我們重點關注一下本次課程關注的擴增子測序的基本概念。
測序主要有以下平臺。Sanger 1代，腸型的文章是測序了上千萬條reads完成的，你想想成本是多少。二代測序三大平臺都有產出，諾禾致源和一些醫院有用Ion Torrent的，2011-2015年454使用較多，但己停產。目前90%以上用HiSeq2500, MiSeq，最新的測序平臺是NovaSeq 6000；三代測序是發展趨勢，但錯誤率太高，錯誤種類太任性，隨機——包括插入、缺失和替換。
PacBio有10%的錯誤率，不僅有測錯，還可能有插入、缺失等。而Illumia平均千分之一，主要是置換錯誤，一般長度準確。
嵌合體含量與底物DNA量，PCR循環數等有關。如30輪循環可能是5%的嵌合體，45輪時至少>15%的嵌合體；
https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-016-0976-y，metadata數據，很多文章缺少完整的metadata和描述文檔
Microbiome雜誌要求送審前就必須發布數據，也要整理好metadata表在附表中。
比對至 reference database，但不同引物差異極大，可比性不強，頂多在綜述中偶爾用，研究型文章不建議使用，結果非常不可靠。讀一下《引物評估》一文，你會發現不同引物對不同類型菌擴增差別極大。
整個實驗最好同一條件即可。不同條件方法，DNA提取，保存方式等，可能造成假陽性結果。
培養組主要是平板、液體96孔板培養，+測序鑑定；
DNA、RNA層面二代測序；還有蛋白和代謝層面用質譜鑑定。
我們獲得微生物樣品，這是應該做的研究，就是培養組學，只有分離的樣本，還能夠有材料對細菌的功能進行研究，主要技術特長就是培養組學，這部分在國內也是比較缺少的。接下來最常用的研究層面是DNA，因為DNA的提取非常容易且質量也比較高。
DNA最常用的測序技術就是擴增子測序marker基因，常用的有16S/18S/ITS, 他們可以研究物種的多樣性，但是也存在著很強烈的PCR偏好，而且也只能研究物種分類信息和豐度信息，這一技術就是我們的課的重點，他有便宜，易操作等優點，每年可以產出過萬篇文章。
另一個常用的層面是宏基因組測序，該技術不僅可以獲得研究對象的物種組成，還能獲得對象中功能潛能的組成。但數據量和分析方法上更加複雜，每年有幾千篇文章，通常為擴增子研究的進一步數據補充，可以作為獨立的研究手段，這門技術涉及的分析軟體與擴增子完全不同，我們在過兩周還會開一門以宏基因組為主題的專題課程。
宏病毒組，是一個即要測序宏基因組，又在測序宏轉錄組的學科，因為病毒有DNA病毒，也有RNA病毒。無論是測序和分析都比較複雜，更要命的是病毒在研究對象中極低，有效數據比例小，需要極高的測序深度，常用靶向捕獲技術來富集病毒序列。
在mRNA層面，我們研究的就是宏轉錄組，這與之前經常用到的轉錄組技術是類似的，其研究對象中的所有轉錄的mRNA
此外還有蛋白層面的宏蛋白組和代謝物層面的宏代謝組，他們通常也是之前研究結果的補充，而採用的設備也不同於二代測序，主要是通過質譜、高效氣相或液相色譜來完成實驗。
培養組學——什麼菌可培養
擴增子——有什麼原核生物(細菌/古菌16S)或真核生物(真菌/宿主/原生動物18S/ITS)，和它們的相對豐度
宏基因組——有什麼功能基因
宏轉錄組——哪些基因在表達
宏病毒組——有哪些種類的DNA/RNA病毒
宏蛋白組——哪些基因翻譯成了蛋白
宏代謝組——有哪些種類的代謝產物
宏表觀組——DNA/RNA上那些奇怪的修飾
單菌基因組——某個菌株都有什麼基因
泛基因組——某種菌和親戚間的相同與不同
擴增子分析就像是人口普查，每個實驗組相當於不同小區，每個一個樣品相當於一套房間。統計人口來源，就相當於統計細菌、真菌的各類。
物種注釋就相當於地址。我們為什麼都是7級注釋方案呢，因為我們一周有7天，7是大家最熟悉的一個數字。有誰知道，人的分類學全名7級；我們看到，人和熊貓的區別，是在目水平上的區別；人與其它靈長類，是在科水平的區別，人在科水平上已經沒有朋友了，據說人類的近親比如尼安德特人等都是被我們人類親自消滅掉了。
16S rDNA或16S rRNA基因，我們研究的絕對不是16S rRNA，我們擴增的是DNA。大小1.5Kb的16S長度正好可以被Sanger測通。成為首選。
所有活著的生物都有核糖體RNA。rRNAs在蛋白翻譯中起至關重要的作用。rRNAs相對保守，且較少發生水平轉移。
有分子鐘的特徵，進化分析中非常有用，用於構建生物之樹。更重要的是16S rRNA 最常用，積累了大量的可用資料庫，可用於分類和注釋。
其實最好測全長，但技術限制 ，只能測一部分。如V4最多，還有V3-V5或V4-V5。
比如植物中也常用V5-V7
799F : AACMGGATTAGATACCCKG
1193R: ACGTCATCCCCACCTTCC
優點: 避開植物葉綠體；三V區多態性高；
缺點：存18S真菌/宿主擴增條帶 ，可電泳切除
我想主要包括原生動物，真菌等，他們的測序主要採用18S作為Marker基因，真菌較多採用ITS作為標記基因，此外一些特異的類群需要特異的引物，如從枝菌根真菌，詳見下面的真菌引物選擇。具體的文章參見下面的文章和數據。
其實細菌也有轉錄間隔區，也可以有ITS引物；細菌除了我們常用的是16s之外，還可以研究一些保守的蛋白，如CPN60蛋白
病毒不能獨立生活，缺少保守的基因，一般需要宏基因組+宏病毒組，也可以針對某一類研究，如T4類噬菌體Gp23、小核糖核酸病毒RdRp
最後我們總結一下擴增子分析的基本思路。
A：微生物組常用的研究層面和對應方法
B：微生物組研究的基本步驟
C：微生物組數據分析的基本步驟、常用環境和思想
可以閱讀我之前發表的綜述。- 遺傳：微生物組數據分析方法與應用
採樣
DNA提取
DNA定量
第一輪PCR
第二輪PCR
2018年8月的Nature Microbiology，專門分析了汙染的來源和種類。
擴增過程使用了高質量酶和超DNA free水(500/kg)，減少嵌合，和試劑汙染。海量測序項目，實驗也要在成本和嚴謹間折中。
實驗室:
實驗室中，樣品製備提取過程可引入汙染
試劑可能被細菌DNA汙染
在實驗中加入人工混菌正對照、無底物負對照
在小樣本量地尤其注意!——擴增循環越多、汙染可能越嚴重
宿主/ 環境(宏基因組測序):
宿主在樣品中殘留問題
http://hmpdacc.org/doc/HumanSequenceRemoval_SOP.pdf
非目標部分(e.g. 真核細胞)可以通過細胞尺寸選擇在DNA提取前去除
不需要的DNA可以使用雜交消減法移除
MiSeq 數據產量~20M paired-end(PE) 300 bp讀長, 共12 Gb, 可以多達200+樣本測序(按平均10萬條計算)，HiSeq2500單個Lane產量最高160M PE 250 bp, 80 Gb，上千樣本混測，NovaSeq6000，可產出800 M PE 250 bp reads，400Gb，近萬樣本混測。
樣品的測序量由樣品的複雜度決定，簡單少測，複雜多測
序列唯一的DNA barcodes加入樣品中，用於區分在同一個文庫中測序的樣品
擴增序列具有高度同質性
需要將不同來源，或標記(marker)基因的擴增產物混合測序；或添加PhiX序列增加測序反應中的多樣性
3-10萬個。平均10萬條，還可以測1600個樣。一般最多上1000個樣。才25元左右。
為什麼要用兩輪方法。直接在第一套中加barcodes2不行嗎。我問過華大、諾禾用兩步法，安諾用一步法。各有公優缺點。
絕對豐度和相對豐度問題，spike-in, 流式，細胞計數，測OD，菌落培養法等
擴增子及常用測序獲得結果為相對豐度
相對豐對的局限性
依靠內參獲得絕對豐度(相對的相對豐度)
OTU（Operational Taxonomic Units）是在系統發生學研究或群體遺傳學研究中，為了便於進行分析，人為給某一個分類單元（品系，種，屬，分組等）設置的同一標誌。在生物信息分析中，一般來說，測序得到的每一條序列來自一個菌。要了解一個樣品測序結果中的菌種、菌屬等數目信息，就需要對序列進行歸類操作（cluster）。通過歸類操作，將序列按照彼此的相似性分歸為許多小組，一個小組就是一個OTU。
通常在97%的相似水平下聚類生成OTU，選擇每個聚類群中最高豐度序列作為代表性序列
近期討論發現100%更合理，即不聚類的ASV(Amplicon Sequence Variants)，更容易實現跨研究比較
截止2019年11月27日，QIIME 17569次；Usearch 107880次；mothur 11889次，mothur由密西根大學(University of Michigan) 的Dr. Patrick Schloss領銜的團隊開發的，其團隊還開發有DOTUR(2005年定義OTUs和計算物種豐富度)和SONS(OTUs豐度比較)軟體。詳見前提提到我發表的中文綜述。
資料庫也各有特色，詳見綜述，在後面的課程中每個都會用到，物盡其用。
定量分析微生物生態；去複雜化、質控、OUT鑑定、物種分類、進化關係重建、多樣性分析及可視化；它把這個領域打通了，整理了200多個軟體和包，編寫了150+腳本，幾乎可以做本領域的任何分析。內容太多，學習成本太高，新用戶無從選擇。
2018年由QIIME2全面接檔，由Python3編寫。不是升級版，而是全新的分析流程，由1的作者繼續開發。格式標準化，新手體驗差，適合團隊強制標準化分析。
宏基因組團隊參與測試和翻譯QIIME2中文文檔，
商用版1485$，1萬多；學術版885$，6300多。
Usearch，有代表的核心算法。UCHIME和UPARSE，引用10000+，加上usearch 9725，有2萬+次。QIIME和Mothur都推薦使用UPARSE聚類。
https://scholar.google.co.jp/citations?user=RzVMRc0AAAAJ&hl=en&oi=ao
一周前才只有2年前usearch8的水平，用著沒有usearch10方便；3天前剛更新，功能與usearch10更接近。也有QIIME2的Plugin，學完本系統，也可以更容易上手QIIME2
https://rdp.cme.msu.edu/ RDP有整理的訓練集和分類器，引用2萬最多；
https://rrndb.umms.med.umich.edu/ rrnDB有16S拷貝數據收集，功能預測必須要用到，如Picrust, bugbase
https://www.arb-silva.de/ Silva是目前更新最快，最全的資料庫，有很多小工具如引物評估；但缺少校正，空白和錯誤較多。
http://greengenes.secondgenome.com/ Greengenes是目前使用最廣泛，唯一支持全面功能注釋的資料庫。picurst
微生物組技術：擴增子、宏基因組、宏轉錄組、宏蛋白組、宏代謝組
實驗基本思路：取樣—提DNA—第一輪PCR—第二輪PCR—測序
分析基本思路：質控—挑選代表序列OTU/ASV—物種注釋—生成Feature表 —多樣性分析(整體)—差異比較/機器學習(局部)
常用軟體：Mothur、QIIME、USEARH、VSEARCH和QIIME2
軟體選擇標準：系統、配置、安裝、大小、依賴關係和學習成本
資料庫：GreenGene、RDP、SILVA、 rrnDB、PICRUSt和UNITE
資料庫優缺點：數量、人工校正、更新時間和特色