出品 | 智東西公開課講師 | 黃啟軍 微眾銀行人工智慧部高級工程師胡水海 星雲Clustar研發副總裁
導讀：
4月23日晚，微眾銀行人工智慧部高級工程師黃啟軍和星雲Clustar研發副總裁胡水海在智東西公開課進行了一場直播講解，主題為《GPU在聯邦機器學習中的探索》。
本次專場講解中，黃啟軍老師從聯邦學習中的隱私保護問題，以及其在實際應用案例兩個角度進行分析，全面解析聯邦學習在同態計算中的挑戰與原理。胡水海老師著重分析同態運算和密文傳輸的問題，並就如何提高同態計算和密文傳輸的效率，進行相應的方案解析。
本文為此次專場主講環節的圖文整理：
正文：
大家好，我是微眾銀行人工智慧部高級工程師黃啟軍，今天和胡總一起來為大家分享的主題為《GPU在聯邦機器學習中的探索》，主要分四個部分：
1、聯邦學習中的隱私保護問題2、聯邦學習在應用中的挑戰3、GPU加速同態運算4、高速網絡助力提高密文傳輸效率
聯邦學習中的隱私保護問題
使用技術，尤其是像AI技術或大數據技術，來跟同業或非同業的機構建立連接時，會面臨一個骨感的現實，就是數據孤島。各方、各個組織或個人設備，都會生成一個個的數據孤島，它們之間的數據沒有很好的方法進行自由的流動。
首先面臨的問題是不可避免的數據保護主義，可以看到GDPR產生的一個過程。在2012年時，歐盟開始相關的提案並通過立法來保護個人數據，2014年基本達成一致，2018年5月時，GDPR正式被推出，形成法律效力。
在國內也有相似的情況，2009年開始進行個人數據的保護，2012年全國人大做了一個關於加強網絡信息保護的決定，這時已經開始對關於數據保護的政策進入快速的制定過程，後面有刑法修正案（九），明顯比之前要嚴格，因為它已把刑法的責任明確到自然人，這就意味著不只是罰款就可以了事。隨後一系列的法律法規可以看到，出臺更加的嚴格並且國家法律、行政法規更加的完善和全面化。這個全面化的不只是個人隱私數據，還包括科學數據，醫療數據以及電子商務數據等。
面對的這些問題，可以通過一些技術手段來解決，這裡提出方案就是聯邦學習。聯邦學習可以讓不同的組織，比如說醫院、銀行、終端設備或公司，通過聯邦學習建立成一個聯邦網絡，來共同挖掘數據中的價值。
相比於傳統的方案有什麼優勢？傳統方法最典型的是通過網絡去共享具體的樣本數據；還有一種是通過加密的移動硬碟去拷貝，相關人員在一個布滿攝像頭的操作室，也叫安全沙箱裡進行建模。但是數據同樣會出本地，還是有一定的安全風險，最重要的是你把一個數據拷進去之後，還是要把它解密出來進行建模，相關人員還會知道裡面的數據。最後一種是完全服務公開數據，就是人工地分享建模的經驗，這對專業人員是可以的，比如醫生去分享醫療影像的經驗，確實可以從裡面去學習。但是對於機器來說，還很難達到一個提升模型效果的能力。
而使用聯邦學習有幾個好處，第一，數據是隔離的，原始的樣本數據不會洩露在外部；第二，效果是無損的，也就是說聯邦學習跟你把所有的數據明文堆在一起，進行機器學習的效果幾乎是一樣的，後面我們會去具體分析；第三，它是對等的，即各個參與方都是對等的；第四，它們可以獲得最終的獲益，就是說你參與聯邦學習，雙方都可以通過這個模型受益。
聯邦學習一般分為三類，第一類是橫向聯邦學習，橫向聯邦學習的機制類似於分布式的機器學習，就是大家具有相同的特徵空間，有很多的樣本分布到不同的機器，這裡可能是不同的組織機構之間，然後進行機器學習。它與聯邦學習有很大的區別，聯邦學習不是把這些數據或者梯度直接進行明文交換下的計算，它是有一些加密保護措施的，所以效果會更好。第二類是縱向聯邦學習，縱向聯邦學習就是具有相同的一個樣本空間，通過這種方式可以得到一個更寬的表，也就是可以得到更多的特徵。有機器學習相關經驗的同學一定知道，一般特徵越多，模型效果不一定越好，但可能性更多，如果特徵是互補的，效果肯定會要好很多。第三個是聯邦遷移學習，兩份數據沒有在樣本空間或者特徵空間上形成交集的數據，也能夠把它應用起來，這是遷移學習的另外一種方向。
我們看一個橫向聯邦學習的案例，在一個視覺的機器學習系統裡，標註的數據是非常寶貴的。比如在目標檢測上，一般各個公司都會去標註一些數據，由於這些數據成本比較高，若能把它橫向聯合在一起，價值就會更大，並且可以做到本地數據不用上傳，就是標註完成的數據不用再發給別人，而只是作為本地模型的一個訓練數據。標註完成之後，客戶端會自動的加入聯邦學習，等待進行訓練。當有多方設備進入訓練模式時，就開始整體進行聯邦學習。
相比於單點模型，聯邦學習的效果提升是非常明顯的。左側有一個拍攝於6個攝像頭，近2000張照片的數據集，相對於任何一個單獨的攝像頭，它的效果都要好很多。右圖是Loss的一個分布，可以看到使用聯邦學習後，波動會更小，也就是訓練的過程會更加穩定，模型會更加健壯。
再看一個縱向聯邦學習的例子，縱向聯邦學習在信貸領域是非常有用的。國家支持小微企業的發展，但是對於銀行來說很為難，因為小微企業一般它的數據很少，甚至徵信報告可能是空的。如果我們通過發票或者有開票公司的數據進行一個連接，我們可就以使用納稅人識別號進行連接，那我們可以把原來20多個維度的數據擴展到幾百維。這樣就可以給那些本沒有貸款機會的小微企業也能進行貸款，並且它的模型效果會好很多。AUC能夠提升12%，貸款不良率能夠降低40%。
其它方面也有很多應用，不再詳細介紹。最重要的是介紹一種模式，它可以形成一種混合的聯邦學習，比如說這裡的在保險網絡，它可以通過多個保險公司，與網際網路數據進行縱向聯邦，同時保險公司之間會進行橫向聯邦來更大的發揮數據的價值。在反洗錢或者零售都可以有類似的應用，並且很多例子都是實際的案例，可以在FedAI的官網上看到。
聯邦學習在應用中的挑戰
前面介紹了聯邦學習的背景和應用，下面主要會介紹它裡面技術的挑戰和原理。
聯邦學習用到的安全計算或者加密技術有很多種，同態計算是開源聯邦學習框架FATE中用得比較多的一種。所謂同態計算也可以說是同態加密，但同態加密跟傳統的加密有很大的區別，傳統方式只做加密和解密，而同態除了加密解密外，還有一個計算就是可以直接對密文進行計算處理，並且得到結果仍然是密文。可以看上圖的一個簡單例子，比如「1+2=3」的明文容易進行計算，但如果把1和2進行加密，還要能夠進行計算，計算結果可以得到一個密文，並且解密之後的結果還是3，這種就稱它為同態加密或同態計算。
同態計算裡面有幾個關鍵的分類，一個是全同態，它支持加法和乘法，兩個密文能夠進行相加或相乘。但是有一種特殊的情況是可以直接乘一個明文，稱為標量的同態，也就是用一個明文乘一個密文，仍然得到一個密文，當然它最終的結果與兩個明文相乘解密後的效果是一樣的。同態計算證明的篇幅會比較長，我們重點介紹加密的過程，這裡有一個關鍵的因子叫r，r是一個隨機數，就是同一個明文加密之後，它的密文是不一樣的。若同一個明文加密後，密文是一樣的，那通過多次重複的數據，可以推斷出裡面的一些分布的規律。再一個可以看它的公鑰，它的公鑰是n的平方。還有一個m，m是明文，相當於一個模冪的運算，這個比較關鍵，後面我們會詳細介紹。對於浮點數，我們可以把它編碼成整數，然後進行計算，因為同態計算的原始公式裡面，一般都指的是整數。這裡面有一種特殊的加密系統，就是Paillier加密系統，它支持加法和標量乘法的同態計算。相比全同態，它的性能會要高很多。所以基於工程實際的應用考慮，我們主要還是應用部分同態的一個計算。
剛剛可以看到，同態上它主要是支持加法和乘法，但總會有一些公式不是加法和乘法。比如邏輯回歸算法，會用到e的x次冪的計算邏輯，那怎麼辦？比較好的方法是把進行泰勒展開，這樣可以把它變成多項式的運算，那裡面只有加法、減法和乘法以及平方，對於梯度也可以進行類似的操作。可以看到進行這樣轉換時，會有一些近似，不過研究表明只要到2次項就已經有足夠的精度，相關更多的研究可以參考上圖中的論文，上圖左邊可以看到擬合的效果，由於泰勒展開式是在零點處展開，也就是在零點附近它的誤差特別小。如果在機器學習中有常見的歸一化方式，對它進行歸一化，可以認為對精度沒有影響，而實際的實驗也證明確實是這樣。這也是為什麼使用聯邦學習進行多方數據的機器學習，跟把數據放在一起進行機器學習效果基本上是等同的。
前面提到怎麼樣解決複雜函數計算的問題，但還有一個問題是同態的乘法。就是剛剛提到選擇用效率更高的部分進行同態計算，但是它只支持標量的乘法，比如計算左邊的loss時，會發現這裡面有一個(wT*x)的平方。那對於兩方來說，即Ua和Ub，要進行一個平方的計算。這裡可以簡單的把平方展開，得到上圖所示的第三個公式。這時可以把A方的數據發給B方。因為A方是密文，發給B方是沒有風險的。B方會對數據進行計算，因為得到結果仍然是密文，所以它仍可以安全的去發給A方。因為這兩方它們都是持有了公鑰，所以它們是解不開這個數據。如果有什麼時候擬合或什麼時候迭代結束的標註，可以通過C方來進行協調。
在這個過程中發現一輪迭代，其實是要發來發去有幾次的計算，這裡解決了一個部分同態加密深度的問題。一般來說傳統的加密系統是有限制加密深度的。而部分同態，一旦做了乘法之後，已經變成一個密文，沒法進行計算，可以通過這種方式來繞開這個問題。
除了剛剛提到的機器學習算法，在這之前，還有很重要的一步是做ID的匹配。做ID匹配的核心步驟是求一個交集，並且求關鍵是希望安全的求交集，也就是對於參與方不知道對方的樣本的情況下，我們希望樣本不會被公開。比如A持有1234，B持有1235，而對於4和5，雙方都是不知道對方的數據。而傳統的方案用的是哈希或者加鹽，因為哈希是不可逆的，這樣就可以得到一個交集。而實際上這種機制安全性太差，因為對於手機號或者身份證號這種容量不大的ID，用很簡單的方案就能夠破解，而這裡用的是RSA+哈希的機制。
下面介紹下RSA+哈希的機制，首先是B方生成公鑰和私鑰的密鑰對，它會把公鑰發給A方，A方會做類似於RSA的加密的過程，它加密時引入了ri，ri是一個隨機數，最終結果會乘一個ID的哈希值。因為加入了ri，把計算完的數據發給B方，B方實際上得不到ID的任何信息，甚至連哈希值都得不到。有了數據之後，因為B方持有私鑰，它會做類似於RSA解密的操作，然後會得到一個中間結果叫Za，同時還要進行另外一個計算就是Zb，Zb的計算是把自己的一個數據進行哈希取模，然後再把私鑰加進去，它把Za，Zb同時發給D方，看到Zb發送是安全的，因為Zb裡面有d的因子在，所以A方是得不到任何結果的。但是A方拿到Za之後，觀察這個公式可以發現，隨機數ri它自己是知道的，所以可以消掉，經過這樣消除的步驟之後，在A方時，它們可以通過同樣的函數或操作兩次哈希，得到一個相同的中間結果。但是A方不持有私鑰，所以不知道具體的內容。但因為同一個ID進行相同的操作，得到結果一定相同，所以可以在這個基礎上進行一個交集。交集之後把結果發給B方，這時就得到了一個最終的交集結果，並且數據不會涉及交集以外的隱私。這裡的關鍵是A方發給B方時，數據裡面有隨機數，B方不知道，而B方發給A方時，這個數據裡面又有私鑰，所以A方也不知道，所以通過多輪的數據的交換和加密，就可以實現算法達到安全的效果。
通過前面的分析，我們可以總結下它帶來的技術挑戰，在傳統機器學習裡面一般會用32位，尤其是現有神經網絡可能有時會用16位、8位來做為核心的指令。因為有晶片級的硬體層面支持，所以它的加速的效果是很不錯的。而聯邦機器學習帶的挑戰就不一樣，它一般進行計算的是一個大整數，剛剛在前面提到，如果私鑰是1k，那對於Paillier其實要取平方，所以它的計算量再翻一倍，同時也有RSA這樣的計算，並且它們做這些計算不是簡單的大數加法或減法，而是在大數的基礎上做模冪等複雜運算。除了參數聚合與使用內網傳輸之外，它還有一個跨方的傳輸，而對於跨方的傳輸，一是迭代輪數會增加，二是因為加密，體積也會增加，所以帶來很大的挑戰。
我們可以看下它總體的效果，相比於明文計算，使用部分同態進行計算，計算量大概增長1000倍。而使用傳統方法，根據相關的研究表明要慢一千倍，也就是說最終會有慢上100萬倍。對於密文傳輸，剛剛提到密文體積的膨脹以及傳輸輪數的增多，它實際上把整個傳輸的數據就增大了成百上千倍。
根據剛剛說的這些挑戰，我們跟星雲進行了很多探索，然後下面請星雲的胡總為大家進行下面內容的介紹。
大家好，我是來自星雲Clustar的胡水海。今天很高興跟大家分享下我們在使用GPU加速同態運算以及高速網絡助力聯邦學習密文傳輸效力的一些探索成果。
GPU加速同態運算
首先，從使用GPU加速同態運算方面來介紹一些探索成果。我們對使用GPU加速聯邦學習計算做了一些可行性分析，主要有四點觀察，第一個是聯邦學習裡面所涉及的數據加解密及密態計算，不同數據的計算基本是互不影響的，所以它滿足計算高度可並行的特點，而這個特點非常適合用GPU來加速；第二個是聯邦學習裡面的計算公式本身並不複雜，但重複執行的次數巨大，所以滿足重複的輕量級運算的特點，而GPU適合用來加速重複的輕量級計算；第三個是聯邦學習中，數據IO的時間不到計算時間的0.1%，因此就屬於計算密集型的任務，那GPU正好適合用來加速計算密集型任務；最後是聯邦學習裡面的數據是以批量形式產生，並且數據量巨大，因此滿足批量大數據的特徵，而GPU也正好適用來加速海量數據的批量計算。基於這4點觀察，認為使用GPU來加速聯邦學習是非常可行的一件事情。
雖然聯邦學習有很多性質適合於GPU加速，當然也面臨著一些挑戰。我們主要總結了三個挑戰，第一個是聯邦學習需要做大整數的運算，大整數指的是1024bit、2048 bit，甚至是更大的一些大整數，但問題是GPU的流處理器在硬體上並不直接支持大整數的直接計算。第二個問題是聯邦學習裡面涉及大量的模冪運算，但是GPU並不擅長做模冪運算，若讓GPU直接做模冪運算，它的代價是非常大的。第三個是聯邦學習的計算需要保存大量的中間計算結果，但是由於成本跟能耗的限制，GPU的顯存非常有限。
針對第一個問題，我們採用的解決方案是基於分治思想來做元素級並行。我以計算大整數乘法a*b為例來講下我們是如何以分治思想來做數據並行，首先將a與b分解成高位跟低位兩部分，如上圖左邊的兩個公式所示，那a*b可以表示為下邊所示的一個表達式，觀察這個表達式發現它裡面除了加法以外，還有4個紫色標註的乘法子項，並且這四個乘法子項並不存在數據關聯性，因此是可以進行並行計算。
基於這個思想，可以通過遞歸將大整數乘分解成並行計算的很多小整數乘法，這樣就可以使用GPU直接進行小整數乘法的運算。對於聯邦學習涉及的其它運算，也可以做類似的元素級並行。
針對聯邦學習的第二個挑戰，我們的主要通過平方乘算法+蒙哥馬利算法來解決模冪運算代價大的問題。我們解決的具體問題是如何高效的計算模冪運算，模冪運算公式是上圖中最上面的公式，這裡面a,b,c均為N比特大整數，一般N都是1024或2048的常比特的一個整數。首先想到的是樸素算法，先計算出a的b次方的值，然後將這個計算結果對c取模。它的缺點是計算複雜度非常高，高達O(2N)，並且中間層級的結果非常大，在GPU裡面根本就無法保存。
我們做的第一個優化就是做平方乘算法，平方乘算法的原理非常簡單，若我們想求a的k次方的值，不需要讓a乘上k次，可以先求a的二分之k次方，再平方。以此類推，若算a的二分之k次方的值，要先求a的4分之k次方的值，然後再平方，通過這種方法可以將計算次序降低到log(K)次。有了這個方法就可以將模冪運算裡的b表示成二進位數，通過log (b)次的乘法，就能算出模冪的值。
平方乘算法的優點是將整個計算的複雜度下降到O(N)並且中間計算結果都不超過c。但它的缺點是仍然要進行2N次的取模運算，對GPU來說，取模代價是很高的。
為了解決取模運算代價高的問題，我們進一步引入蒙哥馬利模乘算法。它最大的特點是能夠在不進行取模運算的這個前提下，就算出模乘的值，這樣就完全避免了代價高昂的取模運算。
接下來，我講下如何解決聯邦學習需要緩存大量中間計算結果的問題，我們的主要解決方案就是使用中國剩餘定理。
首先，先講下聯邦學習的解密計算公式，上面是聯邦學習解密運算的完整的公式。通過觀察整個公式會發現，聯邦學習解密計算出來的明文m其實是一個長度為N比特的值，但是它中間一部分的計算結果其實是2N比特，意味著在計算中需要兩倍的顯存進行存儲，這對計算效率的影響還是挺大的。
接下來我會講解如何用中國剩餘定理來減少解密計算裡的中間計算結果，首先，簡單介紹下中國剩餘定理。中國剩餘定理指給定一組兩兩互質的整數n1、n2…… nk以及任一組整數a1、a2……ak，類似於上面的統一方程組，它一定有解，並且解一定同餘於N，N指的是n1、n2……nk相乘的值。
利用中國剩餘定理就可以避免直接去計算解密公式來求解明文m，首先會構造兩個子項mp以及mq，通過mp跟mq兩個子項，構造一個同餘方程組，因為這個p與q都是大質數，它們一定是互質的，一定滿足中國剩餘定理的條件，所以這是一個滿足中國剩餘定理的統一方程組。我們用CRT(mp，mq)表示方程組的解。在數學上可以證明，同餘方程組的解mod pq的值等價於上面聯邦學習解密計算公式得出的值。也就是說如果求解聯邦學習解密計算，我們不一定要根據上面表達式來計算，也可以用下面的表達式來替代。下面的表達式計算主要涉及圖中紫色框框出的三個部分的計算，這三個部分的計算有兩個特點，第一個是三部分的中間計算結果都不超過N比特，因此避免使用更大的顯存來緩存中間結果；另外是從2N比特數的模冪運算簡化成N比特數的模冪運算，計算量是大幅度減少。
最後來看下使用上面三種方法以後，GPU加速聯邦學習計算的一個評測結果。對比的bassline是14核2.2Ghz的CPU，用的GPU是Tesla V100，我們主要對比了四種聯邦學習涉及的密態計算，包括同態加密、同態解密、密態乘法及密態加法。對於計算比較複雜的同態加密和同態解密，差不多有6倍左右的加速，對於計算相對簡單的密態乘法及密態加法，實現了幾十倍和幾百倍的加速。這其實只是一個初步的結果，我們相信使用GPU加速聯邦學習計算其實還有更大的空間，值得大家一起來探索。
高速網絡助力提高密文傳輸效率
接下來講下如何用高速網絡來助力提高密文傳輸效率。
我們主要考慮聯邦學習通信的兩種場景，第一個場景是數據中心內部不同機構間的通信，第二個場景是不同機構的數據中心跨區域通信，這在聯邦學習裡都是很常見的通信場景。
不同的場景，它們的挑戰不太一樣。對於數據中心內的場景，它的主要挑戰是如何在高速網絡時代去加速聯邦學習通信。而對於這種跨區域的場景，它的主要挑戰是在高延遲、高丟包率網絡環境下如何加速聯邦學習通信。
對於第一個場景的挑戰，我們主要解決方案是使用RDMA技術來優化兩點間的通信，然後使用動態參數聚合模型來優化多點間通信。
我們來看下數據中心網絡近年來的帶寬增長，很明顯就能看出數據中心其實已經進入了百G網絡。在現在的商業數據中心裡，100G、200G的交換機基本上已經成為標配了。
這樣的高速網絡時代，事實上對通信帶來了非常大的挑戰。因為帶寬10到100倍的增長，其實主要帶來了三大問題，第一是收發兩端在相同時間裡要處理10到100倍的網絡數據包；第二是網絡突發流量現象變得更加嚴重；第三是網絡流完全所需要的RTT大大減少，留給擁塞控制其響應的時間也變少了，因此擁塞控制算法需要更快的去響應網絡擁塞。
傳統的TCP協議在數據中心網絡用了很多年，但由於在高速網絡下的存在三大缺點，包括這個CPU負載高帶來的端處理延遲及吞吐量瓶頸等問題。現在使用RDMA網絡代替TCP網絡已經成為工業界的共識，而RDMA網絡主要有兩大特點，一個是內核旁路，一個是它的傳輸層是卸載到網卡硬體上。因為兩大特點，RDMA就能夠在高速網絡上實現高吞吐、低時延、低CPU負載的兩點間通信，因此我們認為RDMA網絡非常適合用來加速聯邦學習在數據中心內的通信。
但將RDMA網絡用來加速聯邦學習，還需要解決RDMA與GPU怎麼樣很好配合的問題。目前在GPU與RDMA網卡之間的數據拷貝，存在這樣一個拷貝路徑，就是它的數據會先從GPU拷貝到主機內存，然後再從主機內存拷貝到RDMA網卡，這種拷貝不僅會增大傳輸延遲，降低吞吐量的同時也會浪費很多CPU資源。那我們利用NVIDIA的GPU-Direct-RDMA技術實現GPU跟RDMA網卡的直接數據拷貝，這樣就能夠讓RDMA網卡跟GPU很高效的配合。通過這個技術，我們就將通信吞吐量從20G提升到100G，並且將傳輸延遲最多降低了1000倍。
那我們也做了一些測試，主要針對AlexNet和VGG16兩種模型。發現這兩種模型性能提升分別是超過60%和50%，所以這個RDMA帶來的性能加速呢還是挺可觀的
下面介紹下如何使用動態參數聚合模型來優化聯邦學習多點間通信。上圖展現了現在常用的兩種模型訓練框架，左邊是這個Parameter Server，右邊是Ring Allreduce，它們都各自存在一些缺點，那對於左邊的Parameter Server，在通信上的缺點是它會存在多對一的通訊模式，那在超售網絡下，PS的性能會因為鏈路擁塞而大幅下降。對右邊的Ring Allreduce來說，它的主要問題就是當Worker數目多時，會有一個非常長的傳輸依賴鏈，一旦的鏈上的某一跳阻塞，它會讓整個聚合任務都停止下來。
在聯邦學習的場景下，多方之間的網絡狀況是非常複雜的，所以前面兩種靜態模型都無法很好優化多方間通信。我們提到的動態參數聚合模型的一個核心想法是根據網絡的實時狀態，包括物理拓撲、參與訓練的節點數以及網絡裡實施的負載情況，去動態生成一個最合適的參數聚合模型。模型的具體情況如上圖右邊所示，我們的模型裡面會將所有訓練節點劃分成多個組，每個組就是構成一個小樹，然後不同樹之間連成一個環。相比PS來說，多對一通信的程度就小了很多，那對比環結構Ring Allreduce來說，它的環跳數又被大大減少了。因此，它很好的解決了前面兩種靜態模型各自的缺點，同時又把兩種模型的優點很好的結合。
最後介紹下如何解決聯邦學習跨區域場景的通信挑戰，我們的解決方案是設計一種機器學習專用網絡傳輸協議。
對於聯邦學習跨區域通訊，主要有三點觀察，第一個是這個隨著物理距離增加，跨區域通訊時間在聯邦學習中時間佔比越來越大；第二個是跨區域主幹網具有高延遲、高丟包率等特徵，並且丟包偵測及丟包恢復的代價都是很大的；第三個通過觀察發現機器學習模型訓練，是可以容納一定的丟包。為了驗證第三點，我們也做了兩個實驗，第一個實驗發現當這個模型訓練的丟包率小於15%時，它的模型收斂需要的輪次是不變的。第二個實驗發現，當你丟包率低於15%時，如果不做丟包重傳，能夠有效減少模型訓練所需要的時間。
那大家就會有個疑問，為什麼機器學習模型訓練可以容忍部分丟包呢？其實是因為目前的模型訓練，大多數是採用隨機梯度下降的方式通過多輪迭代進行，丟失一部分數據並不會影響訓練算法來找到模型收斂點，通過上圖能更直觀的解釋。中間五角星的是模型訓練的收斂點，最大的圓圈外面的點是模型訓練的起始點。如果整個訓練過程當中沒有任何包丟失，那它可能就會走這條藍色的弧線，一輪一輪走到收斂點。如果丟失一部分包，但是丟包括多，模型訓練的這個路徑如紅色的弧線，可以收斂，訓練輪次也差不多，只是它的路徑與原路徑相比，稍微有一點點偏離，並不會影響模型訓練收斂的性能以及最終的精確度。
基於前面的觀察，我們設計了一種機器學習專用的網絡層數協議，叫做MIT。它的核心想法是在不影響模型收斂的前提下，我們允許一定的丟包，不去做重傳，從而降低聯邦學習跨區域通信所需要的時間。