指標設計的六大盲點

這篇主要在講作「產品增長(Growth)」時,所會遇到的指標設計問題,至於員工績效指標、OKR…等,不在討論範圍內喔。

在增長的領域中,有許多的套路,同樣是 acquisition ,以前流行鑽研 FB 廣告的套路,現在則是流量池。這些增長的套路一直都在變,追也追不完,但看似一直變化的過程中,你會發現其中一直不變的是「細分目標,單點突破」的心法,舉例來說:

  • 營收的細分目標:來客數、轉換率、客單價
  • APP經營:AARRR


細分目標,為的是「單點突破」,我們會對每個小目標設定指標,然後針對單個指標進行迭代與優化,增長自然就會發生。所以指標的設計在作增長時,起了非常重要的指導作用。

而在做指標設計時,筆者覺得有幾個盲點,整理在這邊和大家分享一下。本篇會用到一些基礎統計的觀念來說明,也請大家不要因為看到統計或數字就害怕,這些其實都是非常好用又簡單的統計觀念,值得把它看完喔。

1. 設計指標時,沒考慮到指標誤判的問題

有個大家都很熟悉的例子:

Q:你去醫院作癌症檢測,測試結果說你得了癌症,那你真正得癌症的機率有多少?

等等,不是測出癌症,就是代表有得癌症了,為何還有所謂的「真正得癌症的機率」,這是因為有所謂的 Type I Error 和 Type II Error。在這種時候,指標就有所謂誤判的問題。

如下圖所示,黑色圈圈為實際得癌症的人,藍色圈圈為檢測出來有癌症的人,因為檢測技術的問題,通常這兩個圈圈無法完全重合

我們當然希望 Type I error(檢查沒癌症,實際有癌症)和 Type II error(檢測有癌症,實際沒癌症)都低,但現實世界中,有時候很難做到,這時 Type I error 和 Type II error 的資訊,在選擇檢測方法時就非常重要。

轉換到產品增長領域,舉例來說,Facebook 曾提過一個知名的指標:「七天加10個朋友」,那你有想過,為何不是「五天加10個朋友」或「三天加10個朋友」呢?

「N天加N個朋友」是很常被社交類很常用的 Activation 指標,滿足這個指標的用戶越多,留存(Retained)的用戶就會愈多。我們可以把「七天加10個朋友」和「五天加10個朋友」兩個指標,畫成下圖作個比較:

依照上圖來看,在留存的用戶中,符合「七天加10個朋友」和「七天加5個朋友」的人數約略一樣多,但「七天加10個朋友」的「預測會留存,實際沒留存」的人數比例較少,所以選擇「七天加10個朋友」作為指標是較好的,也可幫你將資源更集中在有機會被 activate 的用戶上,而不會浪費。

2. 指標設計的太嚴格

下圖是常見的 behavior cohort 圖表,透過行為特徵區分用戶,然後看看不同行為的用戶留存率有何差異,下圖是比較「3天加10個朋友」和「7天加10個朋友」這兩組用戶,在留存率上有何差異。

你會發現,有做到「3天加10個朋友」的用戶,只要滿足條件的,幾乎80%都會留存,很多人就直接把「3天加10個朋友」當作指標,開始衝刺 Activation 相關的迭代,但是你只再深入分析,並畫出下圖,你就很容易發現問題在哪了。

「3天加10個朋友」顯然是一個過於嚴格的指標,造成所能涵蓋的用戶過少,若用上「3天加10個朋友」當作指標,你的 Activation 策略,就會變得過於傾向重度用戶。

指標過鬆會浪費資源,太過嚴格會誤導策略,所以在挑選指標時,比起拍腦袋作決策,能夠根據數據作決策,會很有幫助。

3. 指標設計沒考慮敏感度

改變註冊按鈕的顏色,成效若用「按鈕的點擊率」來衡量,那就是敏感指標; 但成效若用「營收成長率」作為指標,那就是不敏感指標。因為在於從註冊到產生營收還有好長一段時間,當中還有很多因素影響了營收,你無法很肯定的說「營收的成長,就是來自於按鈕顏色的改變。」

另外一個原因是,從註冊到產生營收,中間經過一層一層的轉換漏斗,到了產出營收這這一關,影響可能已微乎其微,很難可以觀察到直接的變化。

所以在指標的設計上,就有了 Leading Metrics 和 Lagging Metrics 兩種概念,Leading Metrics 就是敏感的指標,Lagging Metrics 就是不敏感的指標。

努力了老半天,指標都沒顯著的變化,可能就是沒考慮到指標敏感度,換個有邏輯關係,但敏感度高一點的指標來觀察看看吧。

4.錯把相關係數,當成指標影響力

承接敏感度的概念,我們知道可以觀察較敏感的按鈕點擊率,來取代觀察較不敏感的營收上升率,而其中的原因,就是因為「按鈕點擊率」和「營收」之間是有因果關係,且兩者之間為正相關,「按鈕點擊率」上升和「營收」就會有一定比率的上升。

現在我們模擬一個狀況,「按鈕點擊率」、「表單完成率」和「營收」同樣都有因果關係且為正相關,「按鈕點擊率」和營收之間的相關係數是0.7,而「表單完成率」和「營收」間相關係數是0.4,那你應該選「按鈕點擊率」、「表單完成率」當作指標呢?

相關係數這時候就是一個大陷阱,因為相關係數高的,不代表影響力較高,我們需要的是「敏感」和「影響力」都高的指標,而不是「敏感」和「相關係數」都高的指標,相關係數對我們來說,充其量只是個刪去不適任指標的工具,而不是用來排序指標的。

用數學式子會比較容易解釋:


營收:Y
按鈕點擊率:X
表單完成率:Z

做出的線性迴歸是這樣


透過圖片就很容易理解,X 的相關係數高(假設是0.7),但是對 Y 的影響力低,Z 的相關係數雖然較低(假設是0.4),但對 Y 的影響力高,這時候 Z 會被挑中的機率就會蠻高的。

這點常看到的盲點是,直接拿相關係數當成數字,和其他項目加減乘除,譬如:相關係數*可觸及人數比例,在做這種運算時,就要非常小心; 因為如前面所說的,相關係數只是個刪去不適任指標的工具,拿「相關係數」來排序比大小或是作加減乘除運算,都會有嚴重誤導的可能。

5.忽略了分群和副作用

網路上有一個笑話是這樣的


行銷人員發現,那些業績特別好的櫃姐,平均都至少和客人交談三分鐘以上,足夠的交談時間帶來對客人需求更深入的了解,也推薦了合適的款式,所以這些櫃姐的業績就特別好。

所以老闆就起了新規定,要求每個專櫃人員都要和客人交談三分鐘以上。規定一實施,但沒想到引起部分客人反彈,因為專櫃人員都在沒話找話談,反而覺得很煩。

指標有提升,不必開心的太早,還要看看副作用嚴重不嚴重。指標沒變化,也別覺得策略無效,因為搞不好會有一小部分群體,指標是有顯著的改善。

了解這些副作用,和每次迭代對各別分群的影響,其實比指標本身的漲跌更加的重要。

6.指標只是工具,策略才是重點

指標是工具,一些太過極端的狀況,都應該避免,譬如:

  • 指標有衡量成本,過於執著精準度或嚴謹定義,沒太大幫助。
  • 不要執著一定要用某個指標衡量,很多時候可考慮次要指標(就是連帶一起會被影響的指標,敏感性可能較低),因為若次要指標的衡量是簡單、快速、免RD資源,就直接用下去也無妨
  • 只在乎指標,不在乎背後策略意義,就會產生扭曲的作為,譬如:為了和客人聊上三分鐘,不問客人喜好,一直強迫推銷,這就不符合當初訂立這指標後的策率意涵。

總結

考試領導教學,指標也領導著增長與迭代,了解指標的好處和應用盲點,是非常重要的一件事,若大家有遇到一些實作上的盲點,也歡迎一起分享給我喔!

--

我的線上課:數據化營運產品增長,都上線囉,歡迎大家報名

關於作者:Mr.PM 下午先生