在軟體應用程式或程序中發現錯誤,以使應用程式按照最終用戶的要求運行的過程或方法稱為軟體測試。
描述一種用來促進鑑定軟體的正確性、完整性、安全性和質量的過程。據此,您可能會想,軟體測試永遠不可能完整的確立任意電腦軟體的正確性。然而,在可計算理論(計算機科學的一個支派)一個簡單的數學證明推斷出下列結果:不可能完全解決所謂「死機」,指任意電腦程式是否會進入死循環,或者罷工並產生輸出問題。
還有一種定義:在規定的條件下對程序進行操作,以發現程序錯誤,衡量軟體質量,並對其是否能滿足設計要求進行評估的過程。
從上面可以看出,換句話說,軟體測試是一種實際輸出與預期輸出間的審核或者比較過程。
軟體測試有許多方法,但對複雜的產品運行有效測試不僅僅是研究過程,更是創造並嚴格遵守某些呆板步驟的大事。測試的其中一個定義:為了評估而質疑產品的過程;這裡的「質疑」是測試員試著對產品做的事,而產品以測試者腳本行為反應作為回答。雖然大部分測試的智力過程不外乎回顧、檢查,然而「測試」這個詞意味著產品動態分析──讓產品流暢運行。程序質量可能,而且通常會,隨系統不同而有差異;不過某些公認特性是共通的:可靠性、穩定性、輕便性、易於維護、以及實用性。
軟體測試一般分為黑盒測試和白盒測試。
黑盒測試(black-box testing),也稱黑箱測試,是軟體測試方法,測試應用程式的功能,而不是其內部結構或運作。測試者不需具備應用程式的代碼、內部結構和程式語言的專門知識。測試者只需知道什麼是系統應該做的事,即當鍵入一個特定的輸入,可得到一定的輸出。測試案例是依應用系統應該做的功能,照規範、規格或要求等設計。測試者選擇有效輸入和無效輸入來驗證是否正確的輸出。
此測試方法可適合大部分的軟體測試,例如集成測試(integration testing)以及系統測試(system testing)。
白盒測試(white-box testing,又稱透明盒測試glass box testing、結構測試structural testing等)是一個測試軟體的方法,測試應用程式的內部結構或運作,而不是測試應用程式的功能(即黑盒測試)。在白盒測試時,以程式語言的角度來設計測試案例。測試者輸入數據驗證數據流在程序中的流動路徑,並確定適當的輸出,類似測試電路中的節點。
白箱測試可以應用於單元測試(unit testing)、集成測試(integration testing)和系統的軟體測試流程,可測試在集成過程中每一單元之間的路徑,或者主系統跟子系統中的測試。儘管這種測試的方法可以發現許多的錯誤或問題,它可能無法檢測未使用部分的規範。
Alpha測試通常是階段性的開發完成後所開始進行,一直持續到進入Beta測試階段前的階段。Alpha測試是一種驗證測試,在模擬的環境中以模擬的數據來運行。
在這個階段中,通常是在開發單位由開發人員與測試的測試人員,以模擬或實際操作性的方式進行驗證測試。
在系統測試中通常先進行Alpha測試以驗證信息系統符合用戶以及設計需求所期望的功能。當Alpha階段完成後,開發過程進入到Beta階段,由公眾參與的測試的階段。Beta測試可稱為確認測試,在一個真實的環境中以實際的數據來運行測試,以確認性能,系統運行有效率,系統撤銷與備份作業正常,透過測試讓信息系統日後可以更趨完善。
封閉測試(Closed Beta,常簡作封測或CB)是軟體或服務等產品在開發完成後、將公開上市前的測試過程。相對於公開測試,封閉測試的主要用途是測試軟體的功能和檢查程序錯誤等等,因此通常只提供給少數人進行測試。有些公司會要求參與測試者籤署保密協議,以避免測試的產品提前外流。MMORPG的封測結束之後,遊戲公司常會將角色數據刪除,但也有少數不刪的。
公開測試(Open Beta,常簡作公測或OB),一般常指軟體或服務等產品在正式上市前開放給不特定人試用,雖然原意是希望試用者能夠提報bug,但並不是把試用者當做真正的驗證人員。由於通常為免費性質,故常常能夠吸引到大批的試用者參與,可視為另一種營銷策略。另一方面也節省下測試人員的成本,和驗證穩定度(對於多人使用的帶寬及機器是否能負載,又稱壓力測試)的時間。
Gamma測試是一個很少被提及的非正式測試階段,該測試階段對應的是對「存在缺陷」產品的測試。考慮到任何產品都可以被稱為「存在缺陷」的產品(測試只能發現產品中存在的問題,不能說明產品不存在問題),因此這個概念存在一定的不確定性。 對Alpha和Beta測試常見的一個誤解是「Beta測試=黑盒測試」。實際上,Alpha和Beta測試對應在軟體產品發布之前的Alpha和Beta階段,而白盒、黑盒和灰盒測試技術是從技術和方法層面對測試的描述,不應該將這兩部分概念混淆。
按照測試軟體的各個功能劃分進行有條理的測試,在功能測試部分要保證測試項覆蓋所有功能和各種功能條件組合。
對一個完整的軟體以用戶的角度來進行測試,系統測試和功能測試的區別是,系統測試利用的所有測試數據和測試的方法都要模擬成和用戶的實際使用環境完全一樣,測試的軟體也是經過系統集成以後的完整軟體系統,而不是在功能測試階段利用的每個功能模塊單獨編譯後生成的可執行程序。
對軟體在各種特殊條件,特殊環境下能否正常運行和軟體的性能進行測試。 特殊條件一般指的是軟體規定的最大值,最小值,以及在超過最大、最小值條件下的測試。 特殊環境一般指的是軟體運行的機器處於CPU高負荷,或是網絡高負荷狀態下的測試,根據軟體的不同,特殊環境也有過不同。
性能測試是對軟體性能的評價。簡單的說,軟體性能衡量的是軟體具有的響應及時度能力。因此,性能測試是採用測試手段對軟體的響應及時性進行評價的一種方式。根據軟體的不同類型,性能測試的側重點也不同。
壓力測試常常和性能測試相混淆。它們主要不同點是,壓力測試要求進行超過規定性能指標的測試。例如一個網站設計容量是100個人同時點擊,壓力測試就要是採用120個同時點擊的條件測試。
壓力測試的通常判斷準則:
•系統能夠恢復。•壓力過程中不要有明顯性能下降。
單元測試是對軟體組成單元進行測試,其目的是檢驗軟體基本組成單位的正確性,測試的對象是軟體設計的最小單位:函數。
集成測試也稱綜合測試、組裝測試、聯合測試,將程序模塊採用適當的集成策略組裝起來,對系統的接口及集成後的功能進行正確性檢測的測試工作。其主要目的是檢查軟體單位之間的接口是否正確,集成測試的對象是已經經過單元測試的模塊。
系統測試主要包括功能測試、界面測試、可靠性測試、易用性測試、性能測試。 功能測試主要針對包括功能可用性、功能實現程度(功能流程&業務流程、數據處理&業務數據處理)方面測試。
回歸測試指在軟體維護階段,為了檢測代碼修改而引入的錯誤所進行的測試活動。回歸測試是軟體維護階段的重要工作,有研究表明,回歸測試帶來的耗費佔軟體生命周期的1/3總費用以上。
與普通的測試不同,在回歸測試過程開始的時候,測試者有一個完整的測試用例集可供使用,因此,如何根據代碼的修改情況對已有測試用例集進行有效的復用是回歸測試研究的重要方向,此外,回歸測試的研究方向還涉及自動化工具,面向對象回歸測試,測試用例優先級,回歸測試用例補充生成等。