Spark.lee的手機軟件測試
手機作為壹種特殊的消費電子產品，需要進行以下測試:可靠性測試(RQT；對於硬件；對於軟件來說，是實地試用)；標準符合性測試(FTA)；互操作性測試(IOT)；安全測試(安全測試)；強度測試等。
其中，某些種類的測試，如FTA，有嚴格的標準(GSM，3GPP等。)來定義要測試的功能點。測試人員需要做的就是將這些功能點體現在測試用例的編寫中，盡力創造這些測試用例所需的運行環境來完成測試，並反饋測試結果。但是，對於性能測試，沒有這樣的規範供測試人員參考。因此，性能測試中需要進行哪些用例以及通過用例的指標的級別是非常靈活的，這在很大程度上受限於測試人員的經驗以及項目資源和進度壓力。如何在資源、進度和質量之間找到平衡點，是產品負責人需要考慮的問題。測試人員可以定義性能測試的範圍，定義與性能測試相關的設計需求(提高產品的可測試性)並通過自動化測試工具進行更有效的性能測試，以提高產品的質量。
壹、手機性能檢測的範圍
性能測試強調長時間、重復或高強度的操作，以驗證產品在各種極端條件下的性能。性能測試屬於軟件測試中的系統測試，測試運行在集成系統中的軟件的性能行為，旨在盡快識別和消除軟件中與架構相關的性能瓶頸。通過對測試數據和日誌的分析，還可以發現被測系統隱藏的缺陷。作為移動通信電子產品，終端的性能測試主要與其功能有關，大致可以分為以下幾類:
1.時間相關性。
依賴於時間的性能測試可以分為長期保持測試和有限時間響應測試。
長期保持測試主要是測試終端長時間穩定執行某項功能的能力。主要包括長期待機能力、長期CS域業務維護能力、長期PS域業務維護能力和長期組合業務維護能力。長期待機測試是根據手機電池容量連續袖手旁觀壹定時間(例如4天)，然後驗證手機是否仍能發起主叫和被叫業務，這意味著終端本身在長期待機後仍處於正常狀態，能發起被叫呼叫，說明終端在睡眠模式下能正常接收頁面。長期CS域服務維護測試是根據手機電池的容量，連續進行壹定時間(如2小時)的語音通話或視頻通話，測試圖像和聲音是否連續清晰，是否有單通現象，通話過程中手機板是否有過熱現象。長期PS域業務維護測試主要是測試上下行數據傳輸速率是否穩定，網頁顯示是否流暢，流媒體播放是否連續等。在數據服務期間，通過持續壹段時間(例如，2小時)的WWW服務、ftp服務或流媒體服務。長期組合業務維護測試是將CS和PS域業務同時維護壹段時間，以驗證終端長期開展組合業務的能力。
限時響應測試主要是測試終端在規定時間內響應用戶操作並給出操作結果的能力。主要包括啟動時延、關機時延、CS域業務訪問時延、PS域業務訪問時延、本地應用運行時延。開機延時是指從用戶按下開機鍵(終端開機、系統啟動、任務啟動、網絡搜索、位置更新)到終端進入待機界面，提示用戶可以進行正常服務的總時間。關機延遲是指從用戶按下關機鍵(終端完成網絡脫離並將RAM中修改的數據寫回flash)到終端完全關機的總時間。CS域業務的接入延遲是指進行語音或視頻通話時，從按下撥號鍵到聽到對方振鈴的總時間。因為這個過程需要在網絡側分配資源，所以測試結果可能會受到當前網絡資源可用性的影響。比如在高網絡負載下申請CS 64k業務時，網絡側需要對無線資源進行重組或合並，以滿足業務需求，這需要相對較長的時間。PS域業務接入時延是指進行數據業務時，從開始連接到正常數據業務所需的總時間。本地應用的操作延遲是指完成壹些本地運維功能所需的時間，如打開電話簿、在電話簿中查找聯系人、存儲新創建的聯系人、存儲短信、存儲多媒體文件、打開瀏覽器、播放多媒體文件等。如果這些延遲時間過長，用戶體驗的滿意度就會大打折扣。
2.頻率相關性。
頻率相關性能測試是測試終端反復穩定地執行某壹功能的能力。包括開機/關機成功率、初始小區搜索、小區重選、CS域業務、PS域業務、組合業務、切換、本地應用等。這種重復操作包括許多對象被多次創建和釋放，因此它可能會發現潛在的內存泄漏和其他問題。上電和斷電成功率測試主要是檢查物理層在多次上電後是否不能正確接收初始搜索命令。斷電不徹底還可能導致下壹次上電失敗，有些情況下只能在系統崩潰後通過插拔電池板來重新上電。CS域業務成功率的測試是指通過呼叫或被呼叫壹定次數來統計失敗次數，對失敗原因進行分類，分析是否能找到與終端相關的失敗原因。PS域業務成功率、組合業務成功率、切換成功率的測試方法類似。本地應用的成功率包括多次存儲和刪除文件、聯系人、短信等操作，多次打開壹個應用或執行某些操作，測試應用的穩定性，找出瓶頸。
3.兼業。
並發測試主要是測試終端同時開展多項業務時的處理能力。比如可以同時進行CS域語音業務和PS域下載業務，或者在播放MP3的同時進行WWW上網業務，以此來考驗協議棧、操作系統、處理器對並發業務的支持能力。
4.負載測試。
負載測試主要是驗證系統的負載工作能力。在系統配置不變的情況下，終端在壹定時間內高負載下的性能和行為。比如同時進行多次ftp下載，使下行傳輸速率接近極限值，觀察終端能否正常工作。
二、手機性能測試的方法
手機性能測試的方法根據自動化程度可以分為手動測試和自動測試。
人工測試主要是通過測試人員的人工操作，借助壹些監測儀器和工具來驗證手機的性能。但由於手機功能繁多，性能測試工作量大，如果單個測試工程師通過手動按鍵來執行所有的測試用例，少則幾個小時，多則幾天，會消耗大量的測試時間，容易讓測試工程師感到疲勞甚至厭煩，容易導致測試的遺漏。手機測試中有很多重復性的工作，比如發送幾條短信或彩信來驗證其成功率和穩定性，連續多次調用，多次添加和刪除文件系統，多任務多進程下的沖突測試和極限測試等。，都是重復性的工作，人工執行的話費費時費力。如果有壹套自動執行機制，測試的效率會大大提高。
因此，需要壹種手機自動化測試工具。手機的MMI功能測試不同於基於PC的MMI測試，它依賴於PC平臺。目前市面上有很多功能強大且通用的自動化測試工具來支持其測試，如Winrunner、Robot、Loadrunner等，但這些工具通常與手機這樣的嵌入式系統不兼容。這就需要測試人員基於當前平臺進行二次開發，以滿足自動化測試的需求。
手機自動性能測試壹般分為以下幾個步驟:
1.系統分析
將系統的性能指標轉化為性能測試的具體目標。通常這壹步需要分析被測系統的結構，結合性能指標制定具體的性能測試實施方案。這就要求測試人員全面掌握被測系統的結構和實現。
2.創建虛擬用戶腳本
將業務流程轉換成測試腳本，通常稱為虛擬用戶腳本或虛擬用戶。虛擬用戶通過驅動真實的客戶端程序來模擬真實用戶。在這壹步中，要測試的各種業務流程都要從頭到尾進行確認和記錄，了解這些流程有助於分析每壹步的細節和時間，並能準確轉換成腳本。這個過程類似於制造壹個可以模仿人類行為和動作的機器人的過程。這壹步非常重要，現實世界中單個用戶的行為被更準確地翻譯成計算機編程語言。如果真實世界的行為被扭曲，不能反映真實世界，性能測試的有效性和必要性也就失去了意義。
3.根據用戶表現指標創建測試場景。
根據真實的業務場景，對生成的測試腳本進行復制和控制，並轉化為滿足性能測試指標的測試用例集。在這壹步中，為腳本的執行制定規則和約束。具體涉及到服務類型、並發順序等參數的設置。這就像是指揮腳本運行的總部。這壹步非常關鍵，往往需要結合用戶表現指標仔細分析。
4.運行測試場景並同步監控應用程序性能。
在性能測試過程中，實時監控可以讓測試人員在測試過程中隨時了解應用的性能。需要監控系統的每壹個組件:協議棧、MMI應用、內存占用、驅動運行狀態等。實時監控可以在測試執行的早期發現性能瓶頸。
5.性能測試的結果分析和性能評估。
結合測試數據，分析系統性能行為規律，準確定位系統性能瓶頸。在這壹步中，大量的數據可以通過數學手段進行計算和統計，使得結果更加客觀。在性能測試中，需要註意的是，能夠實施的性能測試方案並不壹定成功，成敗的關鍵在於是否準確模擬現實世界。
在整個性能測試過程中，自動化測試工具的選擇只能影響性能測試執行的復雜程度，是更簡單還是更復雜；但是人的分析和思考會直接導致性能測試的成敗。因此，本文側重於整理性能測試的思路。關於測試工具的介紹，請參考自動化測試工具的相關信息。