Usability Study該怎麼選擇受測者

關於usability study來說,選擇參與者一向都是非常重要的課題,而從Measuring the User Experience這本書內容來看,筆者摘要如下:

※為usability study選擇參與者要考慮的條件是什麼?

  • 你選擇的參與者能多成功地反應你商業目標上的目標族群?
  • 是否要將資料切割成不同種類的參與者?
    • 在某些領域自我回報的專業〈初學者、中級者、專家〉
    • 使用頻率〈如網站造訪次數、每月使用頻率等〉
    • 與相關物品的接觸經驗多寡〈天數、月數、年數〉
    • 人口統計資料〈如性別、年紀、地域等)
    • 其他跟產品有關的功能或特性的熟悉度

usability study要尋找多少參與者?
早期研究時,需要較少的參與者來辨認usability的議題。但是,當研究越接近末期,就需要越多的參與者來辨認剩下的議題。初期可能只要3~5個,到了後期為了做出可量化的統計報告,就必須尋找更多的受測者加入。

between subject和within subject在usability study上,各有何優缺點
(關於between subject和within subject是什麼,請看這裡)

  • Within-Subjects Study
    • 於相同的參與者中,比較usability的測試結果
    • 不需要很大的樣本數
    • 因為參與者是跟自己比較,所以不需要擔心不同參與者的差益問題
    • 缺點是可能會有遺留效應 (Carryover Effect),即在某狀況下的結果影響另一狀況下的結果,該效應可能起因於不斷練習或勞累的影響
  • Between-Subjects Study
    • 比較來自不同參與者的測試結果
    • 因為不同參與者有差異性的存在,所以需要較大的樣本數
    • 優點是可以消除遺留效果,因為任何遺留效果對各參與者的影響機率是一致的。

基本上這二種study是可以混用的,根據你的目的和成本,可以做調整。

※有沒有可以消除學習效應或遺留效果的方法?

  • 在試驗之前,隨機改變任務次序給參與者
  • 事前創造多種的任務次序方式,讓每個參與者用不同順序執行任務。

但是當任務之間完全沒有任何關連性,或是任務次序對調,會導致測試不合理,就沒辦法使用以上方法。

留言