失之毫釐,差之千里

(圖片來自 Flickr)

依稀記得以前看 Steve Jobs – The Lost Interview 的時候,裡面提到過 Jobs 對初始團隊的看法。他說初始團隊的組成特別重要,不然就像你畫線時量角器差了那麼零點幾度,乍看是一樣的平行線,但拉長了之後就天差地遠。

我想說的是,在網路產品裡,Metrics 也是一樣。

許多我所知道的網路產品裡,最為人重視的就是 PV 與 UU。當然這是個重要的指標,因為它直接地反應了廣告曝光次數。但對於網站本身與用戶之間的黏性,卻不見得有太多的關聯。

最近看到了一段演講,講的是某個作 recommendation 的系統追尋對的 metrics 的過程。他們首先反省,什麼是他們的長程目標 ?如果長程目標是用戶的返回率的話,那麼每天的 PV / UV / CTR … ,是否又真的有助於長程目標呢?

他們為此蒐集了許多數字,做了許多測試和計算。最後得到的結論是,他們原先所認定的指標 (CTR),其實跟長程目標沒有太大的正相關,反而是 timespent 和他們的長程目標有將近 0.95 的正相關(最高值為1)。於是他們將原先後端 data mining 系統的優化目標,從 CTR 改為 timespent,

數日後,網站所有數值均呈現 4% 以上的成長。

演講中講者提到為什麼要作這個研究:因為他們深深了解,作一個產品,如果一開始選的 metrics / KPI 不對,之後產品的所有決策也將會整個歪掉;這就是所謂的失之毫釐,差之千里。我不禁想到國內幾年前某些產品大量的使用正妹牆來吸引用戶,那些花招固然衝得了一時的 PV,但卻無法吸引用戶再來第二次。那些產品,現在也都不在了。

我想這就是偉大的產品跟曇花一現產品的差別吧。

喜歡這篇文章嗎? 分享出去給作者一點鼓勵吧!