Mission-to-Metrics: ミッションから導かれる製品ごとにユニークなメトリクス（とその逆算）
『逆説のスタートアップ思考』は本日 3/31 に Kindle 版が出て、社内セミナーについても実施を終了しました。セミナーをして回っていたときに、よく質問を受けた一つがメトリクスについて、特にどのようなメトリクスを設定したほうが良いかについて、です。
一般的に、ただひとつの重要指標 (OMTM: One Metric That Matters) を始めとして、メトリクスを設定することの重要性は度々強調されます。
Linkedin, Facebook, Twitter でプロダクトを成長させてきて、現在 Greylock で VC をやっている Josh Elman は「”本当に”にユーザーが使っているか分かるメトリクスを持て」（500 Distro での PPT）と言っています。そしてその「本当」というものはプロダクトによって異なるのが通常です。
たとえばメッセージングのアプリ１つを取ってみても、絵文字がそのアプリの主な特徴であれば、「メッセージを送った」人がアクティブユーザーではなく、「絵文字を使った」人をアクティブユーザーとしてカウントするべき、と言えます。
あるいは、とあるメッセージング系アプリのスタートアップでは、AさんがBさんにメッセージを送ったときの、BさんのAさんへの「レスポンスまでの時間」をメトリクスにして追いかけていた、という話を聞いたことがあります。それがメトリクスであれば、Product Manager はおそらく返信しやすいスタンプのような機能を実装したり、あるいはパフォーマンスの問題が大きいのであればサーバー側の増強などが必要、というアクションをすることになります。
こうした例をもって、今回、『逆説のスタートアップ思考』の中では「ビジョンに沿ったメトリクスを設定しよう」という話を書いています。
これは、Y Combinator Continuity の CEO であり、Pixar や Twitter の CFO を務めた Ali Rowghani による「ミッションからのメトリクス（Mission-to-Metrics）」という考え方にも符合しているように思います。
Mission-to-Metrics をうまく運用されている例として挙げられる SpaceX では、とある人が工場を訪ねて従業員に「何の仕事をしているの？」と聞いたときに、「SpaceXのミッションは火星への入植で、それをするために再利用できるロケットが必要で、私の仕事はそのステアリングシステムの設計の手伝いで、大西洋での再着陸実験で成功したら私の仕事が成功したかどうか分かるよ」といったようにミッションからプロダクト、仕事とメトリクスまですらすらと言えたとのこと。
今回セミナーをして回っている中で、「各製品のユニークなメトリクスを見ていけば、ミッションなどが逆算できるし面白いのでは」という指摘を受けました。さらに一歩踏み込めば、Ali が記事でも書いているように、むしろそうした逆算と説明ができなければ、良いメトリクスとミッションがあるプロダクトとは言えない、とも言えるかもしれないので、そうしたメトリクスを集めるのに確かに意味はありそうです。
そこで私の知っている範囲でプロダクトごとにユニークなメトリクスを紹介していきたいと思います。
（※なお、セール上のメトリクス、オペレーション上のメトリクス、組織のメトリクス等々、会社には様々なメトリクスはありますが、この記事はプロダクトのメトリクスに絞っています。）
製品ごとにユニークなメトリクスの例
- エージェント：一日あたりの検索
- 転職者：InMail のレスポンス率
Josh のスライドからです。
一時期 LinkedIn は「プロフィールページの PV」をメトリクスとしておいていました。これはタレントを探すサービスだからプロフィールを見る数が本当に使っているユーザー数になるはずだからそう設定した、と Josh は言っており、そこには Linkedin というサービスの本来のビジョンを感じます。
Medium
総読書時間 (Total Time Reading): Medium’s metric that matters: Total Time Reading
Medium のミッションやビジョンは「we want people to write, and others to read, great posts」なので、質の良い文章のある Medium に留まることを測るメトリクスはまさに Mission-to-Metrics の好例と言えそうです。
Yelp
- 検索する人：一日あたりに検索する人
- レビューする人：一日あたりのレビュー数
Josh のスライドからです。
Expedia
一日あたりに検索する人（Josh のスライドからです）
MAU から New Weekly Active Pinners へ変更 (Five Lessons from Scaling Pinterest)
HubSpot
Customer Happiness Index (HubSpot の各種機能の利用状況を数値化したもの)
御社
ユニークなものがあったら教えてください！
※その他見つけたら追記します。
ユニークなメトリクスを設定するために
Josh Elman は以下のようなポイントを考えたほうが良い、という指摘をしています。
- 利用（プロダクト特有のコアアクション）
- サイクル（頻度）
- 継続率
たとえばコアアクションについては以下のようなものがあります。
見た目上はグロースしていても、コアアクションが起こらなかったプロダクトはやはり失敗しているようです。Viddy は一見グロースしているように見えましたが（グラフの青線）、コアアクションをやっていたユーザーは増えず（黄色線）…という結果になったとのこと。
こうしたことが起こらないように、 プロダクトのメトリクスの設定時には一般的な MAU などではなく、プロダクト独自のメトリクスを設定していく必要があります。
その際には 基本的には GV が使っているような、UX の HEART とGoals-Signals-Metricsのフレームワークは便利な印象があります。また Facebook の Julie Zhuo の Metrics Versus Experience という記事もおすすめです。
初期のメトリクス
プロダクトの初期は良いデータが採れないことが多く、メトリクスの設定の仕方が難しい場合があります。そんなときは Sam Altman の言うように、自然な口コミの発生率や、あるいは高いリテンションなどを一つの指標にして、少数の人でも良いので愛してもらっている証拠を見つける、というのが初期のメトリクスの置き方として重要なのかなと思います。
あとはマジックナンバーを見つけるような努力も必要なのかもしれません。
メトリクスの設定を失敗してしまわないように
Y Combinator Continuity の Ali Rowghani は「ビジネス上の売上等のトップラインの数字と社内のメトリクスを混同しないのが大事で、売上やユーザー数の成長率のようなアクションが起こせないものではなく、もっと深くトップラインの数字の意味を理解して、ドライバーとなる数字をメトリクスに設定するべき」といったようなことを同記事の中では書いています。
また Pinterest ですら直観的に他社と同じメトリクスを設定してしまったそうですが、それは失敗だったと認めています。
ほかにもたとえば最近は DeNA の第三者委員会から報告書で、「設定された目標・評価基準の問題」という項目が用意され、以下のようにメトリクスの設定の問題に関する指摘がなされていました。もしかしたらメトリクスの設定がうまくいっていれば、キュレーション事業は違う結果になっていたのかもしれません。
キュレーション事業においては、各サイトに対して、記事数やDAUがKPIとして設定され、キュレーション事業全体に対しては、事業価値や営業利益等が目標として掲げられていた。
DAU等の成長性の指標をKPIに設定すること自体は、効率的な経営管理の手法の1つとして問題があるわけではない。もっとも、DeNAによるキュレーション事業の実態はメディア運営であったことを考えると、成長性のみを指標とするのではなく、キュレーション事業がサービスの受け手にもたらす価値等にも着目し、そうした価値等を評価・検証するための指標を考えることも検討されるべきであった。例えば、かつてモバゲー事業において「クレームゼロ」をKPIとして掲げていたように、キュレーション事業においても、CSに対するクレーム数の少なさを KPI に掲げることが検討されてもよかったのではないかと思われる。（第三者委員会調査報告書、2017年3月13日）
これは Ben Horowitz が Hard Things の中で警鐘を鳴らしているような、メトリクスの設定ミスに関する文言とも一致しそうです。
多くの製品では、指標は顧客獲得目標を達成するには役立つ。しかし、顧客を維持したいときには、指標では具体的にどうすべきなのかはわからない。多くの若い会社は、この事実を理解せずに顧客維持でも指標を重視しすぎて、ユーザー体験の改善に十分な時間を割かなくなる。（中略）
指標に基づく厳格な規律で優れた製品ビジョンを補うことは重要だが、指標で製品ビジョンを置き換えても、欲しいものは手に入らない。(Ben Horowitz, Hard Things)
目標管理システムである OKR もある意味 Mission-to-Metrics に近い目標設定方法です。ただ OKR の運用は非常に難しく、ミッションという定性的なものをメトリクスという定量的なものに落とし込んで、さらに絞らなければならない、というのは相当な困難を伴います（OKR がうまく運用できなくて模索している、という話を聞くことが多いです）。
しかし、Ali が指摘するように、それが CEO の重要な一つの役目であるとのことなので、他社のメトリクスなどを参考にしながら、プロダクトに関しては自分たちだけのメトリクスを設定していくことが重要なのかなと。
良いニュースとしては、うまくメトリクスが設定できた Pinterest などは、そのときから急激な成長を果たすことができたようなので、上記のようなメトリクスの注意点を踏まえつつも、メトリクスをうまく使っていくべく、色々と情報交換ができればいいなと思っています。
補足：メトリクス追跡ツール
Web やモバイルの一般的なメトリクスに関しては、ツールを導入して追跡するのが最も早いです。以下の記事は一般的なメトリクスと、それを追いかけるためのツールを紹介しています（主にモバイルアプリ）。この記事は一覧だけではなく、対応するツールが記載されているところが良いなと思います。
