美國國家標準技術研究院（NIST）的研究人員開發出一新穎數學公式，計算機模擬表明，該數學公式可以幫助5G和其他無線網絡選擇和共享通信頻率，其效率比試錯法高出大約5,000倍。
該最新研究論文成果在本周的國際性電子技術與電子工程師協會，英語：Institute of Electrical and Electronics Engineers，簡稱為IEEE所舉辦的虛擬在線學術會議上進行了介紹，該數學公式可以在許多類型的現實網絡中的發射機上編程為軟體。
上圖為美國國家標準技術研究院，該研究項目主導工程師、傑森·寇德（Jason Coder），在會上介紹為機器學習公式進行數學計算，如何幫助5G和其他無線網絡有效選擇和共享通信頻率。
新穎的數學公式基於機器學習的一種有效形式，它可以根據特定網絡環境中的先前經驗來選擇一個稱為信道的無線頻率範圍，可以將該公式編程為許多類型的實際網絡中的發射機上的軟體。
該公式是通過共享的也稱為頻段的頻率範圍來幫助滿足對包括5G的無線系統不斷增長的需求的一種方法。例如，Wi-Fi使用未分配給特定用戶的頻段。
快速選擇最佳子頻道
這項研究的重點是Wi-Fi與蜂窩系統競爭特定頻率或子信道的情況。使這種情況具有挑戰性的是，這些蜂窩系統正在通過使用稱為許可輔助訪問（License Assisted Access，簡稱LAA）的方法來提高其數據傳輸速率，該方法結合了非許可頻段和許可頻段。
許可輔助訪問（LAA）是5G的關鍵部位，可提供1 Gbps以上的速度。 LAA是LTE的一項功能，它利用免費的5 GHz非授權頻段與授權頻譜相結合，為移動用戶提供了性能提升，可以優化可用的無線網絡資源，並為所有用戶（無論其設備使用的是LTE還是Wi-Fi的）提高應用程式覆蓋率。
寇德說：「這項工作探索了在決定傳輸哪個頻率的決策中使用機器學習。」 「這可能使無執照頻段的通信效率大大提高。」
該公式使發射機能夠快速選擇最佳子信道，以在未許可頻段內成功且同時運行Wi-Fi和許可輔助訪問網絡。每個發送器都學會了在不相互通信的情況下最大化總網絡數據速率。該方案可快速獲得接近於基於詳盡的試錯通道搜索的結果的總體性能。
該研究與以前的通信機器學習研究不同，它考慮了多個網絡「層」、物理設備以及基站和接收器之間的信道訪問規則。
該公式基於一項Q學習技術，可以將環境條件，例如網絡的類型以及存在的發射機和信道的數量，映射到稱為Q的最大化值的操作上，該操作可以返回最佳回報。
Q學習，英文：Q-learning，指人工智慧強化學習的一種方法，字母「Q」在強化學習中表示一個動作的品質（Quality)。Q學習記錄下學習過的策略，告知智能體什麼情況下採取什麼行動會有最大的獎勵值。Q學習不需要對環境進行建模，即使是對帶有隨機因素的轉移函數或者獎勵函數也不需要進行特別的改動就可以進行。
對於任何有限的馬可夫決策過程（FMDP），Q學習可以找到一個可以最大化所有步驟的獎勵期望的策略。在給定一個部分隨機的策略和無限的探索時間，Q學習可以給出一個最佳的動作選擇策略。
通過與環境交互並嘗試不同的動作，該算法可以了解哪個渠道提供了最佳結果。每個發射器都學會選擇在特定環境條件下產生最佳數據速率的信道。
提高數據速率
如果兩個網絡都適當地選擇信道，則組合的整個網絡環境的效率將提高。該方法通過兩種方式提高數據速率。具體來講，如果發射機選擇未佔用的信道，則成功傳輸的可能性增加，從而導致更高的數據速率。如果發射器選擇的信道使幹擾最小化，則信號更強，從而導致更高的接收數據速率。
在計算機模擬中，最佳分配方法通過搜索所有可能的組合以找到使總網絡數據速率最大化的方法，將信道分配給發射機。該公式產生的結果接近最佳值，但過程要簡單得多。
通常，要找出最佳解決方案，需要進行詳盡全面的努力，大約需要進行45,600次嘗試，而該數學公式可以只通過嘗試10個渠道來選擇類似的解決方案，僅佔原所做的嘗試的萬分之二。
這項研究目前針對的是室內場景，例如帶有多個Wi-Fi接入點的建築物以及在無執照頻段內進行手機操作。現在，研究人員計劃在更大規模的室外場景中對該方法進行建模，並進行物理實驗以證明其效果。
根據Research And Markets的數據預測，5G基礎設施市場預計將從2020年的126億美元增長到2025年的449億美元。推動全球5G基礎設施市場增長的主要因素是對高數據傳輸速度和低延遲的需求，越來越多的物聯網（IoT）設備，越來越多的最終用戶行業自動化技術實施以及數據流量呈指數增長。
參考：S. Mosleh, Y. Ma, J.D. Rezac and J.B. Coder. Dynamic Spectrum Access with Reinforcement Learning for Unlicensed Access in 5G and Beyond. Online virtual presentation. IEEE Vehicular Technology Conference, May 25-28, 2020.