App測試比傳統的軟甲測試復雜和困難得多。
根據我的工作經驗,我將如何做好app測試總結如下。
(1) ?非功能測試
app測試的壹個重要方面就是app的非功能需求。在手機app投放市場或者進壹步開發之前,測試人員有壹定的責任去跟蹤這樣的需求。
在早期開發階段進行的第壹個測試應該是實用性測試。通常由alpha用戶或同事完成。走進壹家咖啡館或餐廳,向裏面的人詢問他們的應用程序使用情況。讓他們看看這個階段開發的第壹個版本,並收集反饋,看看用戶是否能很好地利用新功能,以便獲得第壹印象。
(2) ?功能測試
開發的每個新功能都需要測試。功能測試是應用測試的壹個重要方面。測試人員應該執行手動測試和後來的自動化測試維護。在測試開始時,測試人員必須手動測試作為“黑盒”的應用程序,以查看提供的功能是否正確,以及是否按設計工作。除了經典的軟件測試,如點擊按鈕和提交訂單,看看會發生什麽,測試人員還必須執行更多的功能性應用測試。
除了整個手工測試過程,測試自動化對於移動app也是非常重要的。每次代碼更改或新功能都可能影響現有功能及其狀態。通常情況下,沒有足夠的時間進行手工回歸測試,所以測試人員必須找到壹個工具來進行自動回歸測試。市面上有很多自動化測試工具,有商業的,也有開源的,面向不同的平臺,比如Android,iPhone,WindowsPhone7,BlackBerry,mobile Webapp。根據發展戰略和結構,質量管理測試專家需要找到最適合其環境的自動化工具。
(3) ?客戶端性能測試
壹個App好不好,不僅僅體現在功能上。測試的app在中低端電腦上的性能也很重要。比如壹個好玩的遊戲或者應用,只能在高端電腦上流暢運行,在低端電腦上就不行,也不會有好的口碑。
關於App的性能測試,我們關註的參數有:CPU、內存、功耗、流量、FPS。同時,我們也需要註意App安裝和啟動的耗時性。
目前大家可能比較迷茫。CPU、內存、功耗、流量、FPS有多高?在這裏可以告訴大家,可以參考精品遊戲的壹些數值,將自己開發的app與行業精品的app數據進行對比。
(4) ?適應性兼容性測試
功能測試後,App還需要進行兼容性測試。需要檢查的項目主要包括以下幾點:
(a)不同平板品牌機型上的安裝、拉起、點擊、卸載是否正常;
(b)不同操作系統上的安裝、拉起、點擊、卸載是否正常;
在實際測試中,我們經常會遇到以下問題:
(a) app不能安裝在某個平面系統上;
(b)在平卡系統上無法拉起app
(c)在平卡系統上,app拉起後沒有反應,或者拉起後出現黑屏或花屏;
(d)在某平板品牌系統上,app無法順利卸載;
(WeTest騰訊質量開放平臺)該產品可以實現眾多熱門機型的適配兼容性測試。
(5) ?弱網絡測試
在使用App的過程中,難免會遇到網絡環境較弱的情況,比如在公交車上、地鐵裏。在這種情況下,網絡抖動、上行鏈路或下行鏈路超時經常發生,導致應用中的數據包丟失。
作為測試人員,應該在app上線前做壹個弱網絡環境模型,看看弱網絡環境下是否存在壹些未知的問題。以下是弱網絡環境的常見情況:
(壹)3G弱網絡信號場景模擬;
(b)模擬城市地區的低速移動場景;
(c)模擬郊區高速移動場景;
(d)請求響應超時_上行鏈路超時場景模擬;
(e)請求響應超時_下行鏈路超時場景模擬;
(f)網絡抖動場景模擬;
(6) ?功耗測試
app在手機上的表現,除了功能,App是否耗電也是測試過程中重點關註的。手機設備充滿電的情況下,這個App能玩多久?App每小時的耗電量是多少?App在某個場景下掛機10分鐘的耗電量是多少?這些都是我們平時在功耗測試中比較關註的點。
(7) ?協議測試
模擬客戶端直接向服務器發送協議包,看服務器是否有壹定的檢查,是否識別客戶端發送的數據。協議測試主要是應對用戶向服務器發送惡意協議,糊弄服務器的驗證。
(8)安全測試
App上線前,需要做詳細的安全測試。安全測試主要是檢測應用是否容易被外界破解;是否存在被惡意代碼註入的風險;上線後外掛風險大。
(9)服務器性能測試
服務器性能測試,主要包括單機容量測試和24小時穩定性測試。單機容量測試是在90%響應時間和成功率達標的前提下,檢測壹臺單機服務器可以承載多少用戶。使用特定遊戲模式24小時,服務不重啟,內存不泄露,每筆交易成功率達標。
這可以在最潮濕的入口處預訂。
(10)服務器容災測試
服務器容災測試主要是指壹個服務進程崩潰後是否有自我恢復的能力。比如遊戲邏輯進程消失後,會不會自動拉起;memcached崩潰的時候會重啟嗎,會影響所有玩家嗎?這些都是app測試過程中需要考慮的因素。
(11)中斷測試
針對智能終端應用的服務等級分類和實時性特點,提出了測試方法,如App在前臺和後臺運行時與來電、文件下載、音樂欣賞等關鍵應用的交互測試。測試app在電話、短信、彩信、微博或其他通知進來時的反應。
(12)上線後期輿情跟蹤
新app上線後,用戶對app的評論、測試時沒有註意到的bug、論壇上的熱門帖子、app store中app的口碑都是測試人員在app上線後需要關註的點。如果妳需要壹個測試時沒有發現的Bug,妳需要壹套新的測試服,根據問題進行確認和修復。