A/Bテストで「サムネBが勝った」と出た。次からBで行こう——その前に、ひとつだけ確かめたいことがあります。

その差は、本物の実力差ですか。それとも、たまたまですか。

A/Bテストは便利な道具ですが、結果の読み方を間違えると、ノイズを「効果」と取り違えます。この記事は、A/Bテストや「変えたら伸びた」を、思い込みで決めないための考え方です。

「勝った」がひっくり返る理由

サムネBがAより少しだけクリック率が高かった。でも、表示回数が少なかったり、期間が短かったりすると、その差は偶然の範囲に収まっていることがあります。コインを10回投げて6回表が出ても「このコインは表が出やすい」とは言えないのと同じです。

実際、データが溜まる前に勝者を決めると、翌週には逆の結果になっていた、ということが起きます。小さな差・少ないデータ・短い期間ほど、結論はあてになりません。

「変えたら伸びた」も同じ罠

これはA/Bテストに限りません。「投稿時間を変えたら再生が伸びた」「企画を変えたら登録が増えた」——こうした前後の比較も、その期間にチャンネル全体が伸びていただけかもしれません。施策の効果と、時期の波が、混ざってしまうのです。

関連：施策の効果をトレンド差引きで測る方法

自分をだまさないための3つ

  1. 十分なデータを待つ。 差が小さいうちに飛びつかない。短期間の初速だけで決めない。
  2. 波を差し引く。 同じチャンネルの他の動画を「ものさし」にして、全体のトレンド分を引く（差分の差分の考え方）。
  3. 差が誤差の範囲なら「保留」と置く。 「効いた」と言い切れないときに、無理に言い切らない。これがいちばん大事です。

「効いていない」と言えることの価値

世の中のサムネ記事は「クリック率2倍」「再生37%向上」で溢れています。でも、その数字のどれだけが本物の効果で、どれだけがその時期の波やノイズなのかを切り分けた話は、ほとんど見かけません。

打ち手を間違えないために本当に必要なのは、「これは効いた」と同じくらい正直に「これは誤差だった／わからない」と言えることです。効いていない施策を「効いた」と勘違いして続けるほど、遠回りはありません。

私たちが作っている判定の道具も、この考えで設計しています。日々の再生数は連動する（昨日伸びた動画は今日も伸びやすい）ため、これを無視すると効果の幅が狭くなり「効いた」と言い過ぎてしまう。だから連動を考慮して幅を正直に広げ、迷えば「保留」に倒す。本当は効いていないデータを大量に通しても、誤って「効いた」と出る割合が一定以下になるように作り、テストで確かめています。

まとめ

A/Bテストの「勝った」も、「変えたら伸びた」も、まず疑うところから。十分なデータを待ち、チャンネル全体の波を差し引き、差が誤差なら「保留」と置く。確かめられたことだけを、確かめられた範囲で言う。 それが、ノイズに振り回されずに正しい打ち手を選ぶ近道です。

ChannelGauge は、打った施策の効果をトレンド差引きで判定し、誤差の範囲なら正直に「保留」と出します。無料・読み取り専用で試せます。