如何測試AI模型

問題

機器學習是計算機科學中發展最迅速的領域之一。不幸的是，對於一些既不是數據科學家也不是ML開發人員的客戶來說，他們仍然不清楚如何處理它，儘管他們確實知道他們需要將人工智慧融入產品。

以下是我們從客戶那裡得到的關於ML質量保證的最常見問題。

• 我想運行UAT；請你提供針對AI的完整回歸測試案例？
• 已經在生產中運行了模型；如何確保在更新時它不會損壞？
• 如何確保它能生成需要的正確值？

機器學習簡介

為了了解ML的工作原理，我們來仔細了解一下ML模型的本質。

經典算法/硬編碼函數和基於ML的模型有什麼區別？

• 從黑盒的角度來看，就是同一個盒子，有輸入有輸出。把輸入填進去，得到輸出--多麼美好的事情啊!

從白盒的角度，特別是從系統的構建方式來看，就有些不同了。核心區別在於。

函數是根據你的數據通過特定的算法來擬合的。你可以驗證模型係數的ETL部分，但你不能像其他參數一樣輕鬆驗證模型質量。

如何測試？

模型審查程序類似於代碼審查，但是是為數據科學團隊量身定做的。我沒有看到很多QA工程師參與這個特殊的程序，但接下來就是模型質量評估、改進等。評估本身通常發生在數據科學團隊內部。

• 你有一個基於ML功能的服務，已經部署在生產中。它已經啟動並運行了，你想控制它不會被自動部署的新版本模型破壞。在這種情況下，有一個純粹的黑盒方案：加載測試數據集，並驗證它是否有一個可接受的輸出（例如，將其與預部署階段的結果進行比較）。請記住：這不是關於精確匹配，而是關於最佳建議值。所以，你需要注意可接受的離散率。
• 驗證部署的ML函數是否正確處理數據（即+/-反轉）。這就是白盒方法最有效的地方：在模型中使用單元和集成測試來正確加載輸入數據，檢查正確（+/-反），並檢查功能輸出。無論你在哪裡使用ETL，有白盒檢查是好事。
• 生產數據會發生突變，同樣的輸入隨著時間的推移會產生新的預期輸出。例如，某件事情改變了用戶行為，模型的質量就會下降。另一種情況是動態變化的數據。如果這種風險很高，這裡有兩種方法。

1.簡單，但昂貴的方法： 每天在新的數據集上重新訓練。在這種情況下，你需要為你的服務找到合適的平衡點，因為再訓練與你的基礎設施成本高度相關。

2.複雜的方法。取決於你如何收集反饋。例如，對於二進位分類，你可以計算指標：精度、召回率和f1得分。根據這些參數寫一個動態模型評分的服務。如果低於0.6，就是警報；如果低於0.5，就是重大事件。

• 公測對某些情況下非常有效。 您可以根據之前未使用的數據評估模型質量。 例如，再增加300個用戶來生成數據並進行處理。 理想情況下測試的新數據越多越好。 原始數據集是好的，但是大量的高質量數據總是更好。 注意：這裡不是很好的測試數據外推方法； 您的模型應與真實用戶良好配合，而不是根據預測或生成的數據。
• 自動對服務進行ping操作，以確保其有效（不是專門針對ML測試，但不應忘記）。 使用Pingdom。 是的，這個簡單的東西可以節省很多時間。 這裡有許多更高級的DevOps解決方案。 但是，對我們而言，一切都始於此解決方案-我們從中受益匪淺。

答案

• 我想運行UAT；請你提供針對AI的完整回歸測試案例？

向客戶描述黑盒，並向客戶提供測試數據和可以處理和可視化輸出的服務。

描述所有的測試層，你是否在ETL層上驗證數據和模型功能，以及你是如何做的。

製作模型質量報告。向客戶提供模型質量指標與標準值。從你的數據科學家那裡得到這些。

• 已經在生產中運行了模型；如何確保在更新時它不會損壞？

你需要對任何生產推送以及任何其他軟體進行QA審查。

執行黑盒冒煙測試。根據功能嘗試各種類型的輸入。

用測試數據的樣本驗證生產伺服器上的模型指標。如果需要，隔離prod伺服器的部分，這樣用戶就不會受到測試的影響。

當然，要確保你的白盒測試是通過的。

• 如何確保它能生成需要的正確值？

了解你的模型和數據的可接受標準差。花一些時間與你的數據科學家一起深入研究模型類型和算法的技術方面。