AI駆動 A/Bテスト基盤
実験組織を、採用せずに持つ。
仮説・設計・実装まで、AIエージェントが担う。
四半期に数百本の A/Bテストを回す組織は、 年5,000万円〜の固定費が買っています。 仮説を出す・実験を設計する・コードを書く —— そこまでを AI が担います。
CLI と MCP サーバはソースごとお渡しします。クラウドの契約なしに、手元で全機能が動く。
| 実験 | 画面 | 状態 | 結果 |
|---|---|---|---|
| exp-042 | 商品詳細 | 実行中 | 3 / 14 日 |
| exp-041 | カート | 実行中 | 9 / 14 日 |
| exp-040 | 通知 | 実行中 | 12 / 14 日 |
| exp-039 | 登録フロー | 完了 | +2.1% |
| exp-038 | ホーム | 完了 | 効果なし |
| exp-037 | 検索 | 完了 | 効果なし |
カートに入れるボタンが画面の下にあるため、価格を見た直後の勢いを取りこぼしている。 価格のすぐ下に置けば、カート投入が増える。
ここまでを AI が書き、コードは PR として出てきます。 人がやるのは「これを試す価値があるか」を選ぶことだけです。
なぜ実験なのか
toC 急成長の正体は、実験の物量だった
Duolingo が株主レター (SEC 提出文書) で開示。「ほぼすべてを A/Bテストで最適化する」と公言し、常時数百本を並行。
同社は全実験を単一指標 (DAU) に集約。復帰率を +21% 改善し DAU を 4.5倍に (元CPO が公開)。
4年間で600本超。それでも「ポテンシャルの3割」と担当 PM は評価している。
言語学習という古い市場で、プロダクトの賢さではなく 検証の回転数で勝った。
壁
その物量は、組織の固定費が買っている
- 仮説を量産する PM・グロースアナリスト群
- 設計と統計を担うデータサイエンティスト
- 実装するエンジニア + 10年の内製基盤
- 横断で数十人規模の専任体制 — 年 数億円
国内で最小構成を作っても
アナリスト2 + DS1 + 基盤エンジニア2 の5人でも
年 5,000万円〜
しかも人材市場に人がいない。 グロースアナリストは年800万円+で希少。 実験基盤はデータサイエンス組織が先にあって初めて成立するため、 実験文化が国内メガテック数社に閉じている。
実験文化の参入障壁は、ツールではなく組織の固定費である。
置き換え
その組織を、AIエージェントに置き換える
人間に残す4点
- 賭け先の選定
- PR レビュー
- 点火の承認
- 最終判定
判断は人間、作業は AI。
運用ノウハウも採用しない。 10年かけて公開されてきた実験のやり方は、最初から仕組みに組み込んである —— ノウハウが人に宿る時代から、AIと仕組みに宿る時代へ。
流れ
7ステージの実験ライフサイクル
- 1文脈収集
- 2仮説生成
- 3設計書
- 4実装 PR
- 5点火
- 6計測・分析
- 7後始末
設計書 YAML が唯一の真実。 設定名も集計クエリも判定の基準も、すべてそこから機械が作る。書き写す手間と、都合のいい解釈が入る余地をなくすため。
何を成功と呼ぶか (OEC) と、途中で見る数字 (KPI) を決めるところから、 イベントを送るコードまでが地続きになっている。 判定軸を設計書に書くと、abx が露出イベントの名前・パラメータ名・ファネルの step 名を出し、 実装 PR はその名前を写経する。名前がひとつずれてもエラーは出ない —— 集計が何にもマッチせず、実験が「流入ゼロ」ではなく静かに間違ったゼロを返すだけである。 計測を後から足すのではなく、実験の設計から降ろしてある。
フラグ隔離
A案・B案とも、OFF のあいだは何も起きない。異常が出たら OFF に戻すだけで即座に巻き戻る。
マージ前の自動チェック
OFF のときに何も起きないことの確認、A案・B案の見た目の記録、変更量の上限 —— これらを通らないとマージできない。
途中で結果を見られない
決めた日数が経つまで、勝ち負けの判定がそもそも出てこない。我慢を人に求めず、道具の側で守る。
ここだけは譲らない
アプリの安定性や主要な事業数値をはっきり悪化させた変更は、勝っていても全体公開しない。事前に決めておくのはこの1点だけ。
散らからない
実験を増やしても、コードは荒れない
普通は、実験を増やすほど if (フラグ) が画面のあちこちに散り、
レビューは重くなり、負けた実験のコードだけが残ります。
abx の SDK には真偽値を返す口がなく、入口は1つだけです。
// よくあるやり方 —— この if が、画面のあちこちに増えていく
val suggester =
if (flags.isEnabled("comment_suggestion")) OnDeviceSuggester()
else LegacySuggester()
// abx —— 入口はこの 1 つだけ
val suggester =
abx.resolve(commentSuggestion)- レビューが軽い実験の分岐が1か所に集まるので、コードを探し回らずに済む
- 片付けが残らない負けた案は、穴ごと抜けば消える
進め方も、口で伝えるのではなくAI が読む規約としてリポジトリに置いてあります —— たとえば「統計の判定を自分で計算し直さない」。 決めるのは人間、書くのは機械という線が、口約束ではなくファイルで引かれています。
ループ
差がつくのは、ツールではなく積み上がり方
本当の機会は、最良のモデルを選ぶことではない。 人に積む資本と AI に積む資本が複利で増えていく「learning loop」を、 モデルの上に築けるかである。
Satya Nadella — Microsoft CEO / 社内メモ (2026年6月)learning loop ＝ 使うたびに良くなる仕組み。 ソフトを更新したから良くなるのではなく、 起きたことを捕まえて、そこから学んで、直したから良くなる。
- 実験を回すフラグ付き PR で、小さく高頻度に
- 結果と学びが台帳に蓄積勝ち・負け・効かなかった仮説のすべてが記録される
- 履歴が次の仮説生成の文脈になるAI は「何を試して何が起きたか」を知って発想する
- 勝率と速度が上がる精度が上がるほど実験が増え、1 に戻る
同じツールは誰でも使えるようになる。けれど、あなたの実験の履歴だけは、あなたにしか貯まらない。
ただし ——偽の勝ちを積み上げると、溜まるのは学習ではなくノイズである。 3日目の「有意差が出ました」を台帳に入れれば、次の実験の前提は 勝ったことになっている負けで作られる。見積もりは回すほど狂い、 本数が増えるほど速く間違うようになる。
だから abx は、決めた日数が経つまで勝ち負けを出しません。 設定で緩められる数値ではなく、そもそも結果を書き込む場所を作っていないためです。 これは速度の制約ではなく、積み上がるものを学習にしておくための条件です。
$ abx analyze exp-042
━━ 判定は封印されています ━━
最低実施期間 14 日
経過 3 日
この出力に p値・信頼区間・勝敗は含まれません。
フィールドが存在しないので、覗くことができません。
$ echo $?
2なぜ今なのか
AI駆動開発と A/Bテストは、互いの弱点を埋め合う
AI駆動開発の現実
- 生成速度は圧倒的 —— だが品質保証と保守が追いつかない
- AI が書いた変更のうち、そのまま通るのは3割弱。残りは人のレビュー待ちで詰まる
- 大量に書かれたコードが、役に立ったか分からないまま保守の重荷として残る
A/Bテストという受け皿
- 変更は全部スイッチの裏側。OFF なら何も起きず、事故ればすぐ戻せる
- レビューは軽く、良し悪しは数字で決まる —— 小さく切り離され、計測が最初から付いている
- 勝った変更だけを本採用。負けたコードは自動で片付き、あとに残らない
AI の生成速度を、保守負債ではなく事業数値に変換する —— 保守リソースの投下先が「書いたコード全部」から「価値が証明されたコードだけ」に変わる。
そして落ちるのは金額だけではない。順番待ちも落ちる。 実験が回らない現場の律速は着想ではなく、設計する人と実装する人の手が空くのを待つことだった。
つなぐもの
接続要件は3つだけ
(Firebase アダプタ)
成果指標の読み取り
ソース込みの配布
新しいデータ基盤を建てる必要はない。 別ベンダーに繋ぐときも、管理 API に対するクラスを1つ書いて1行足すだけである。
よくある質問
できること、まだできないこと
- うちの本番データで動きますか？
- BigQuery / GA4 から数字を読み、Firebase Remote Config で A案・B案を出し分ける仕組みは用意してあります。 ただしまだ実際の環境に繋いだ事例がありません。 最初の接続はこちらで一緒にやります —— それが実証パートナー募集の中身です。 なお、画面ごとの通過率や普段の平均値など、実験を設計するときに使う数字は、 いまのところ手で設定します（自動では取ってきません）。
- 無料で試せますか？
- はい。CLI と MCP サーバはソースごとお渡しします。 モックアダプタを同梱しているのでクラウドの契約ゼロで全機能が手元で動きます。 モックなのは外側のデータ源だけで、その裏の統計・検証・状態遷移・封印は本物です。 ライセンスは社内で使い、改変する権利までで、第三者への再配布はできません。 組織で共有する台帳 (クラウド版) は準備中です。
- 3日目に結果を見ることはできますか？
- できません。設定で緩められる数値ではなく、そもそも結果を入れる場所がありません。 理由はループの節のとおりで、 まぐれの勝ちを記録に残すと、次の実験の見積もりが狂っていくからです。
- 集計ツールを直接見て、こっそり途中経過を確認されたら？
- それは止められません。 手元の集計ツールを開けば数字は見えますし、abx からは分かりません。 abx が持っているのは、abx を通して結果を見た回数が記録に残るということだけです。 破れないルールではなく、破ったかどうかが後から分かる仕組みだと考えてください。 （早すぎるタイミングで結果を見ることを、統計の用語で「覗き」と呼びます。）
- データはどこに置かれますか？
- ユーザーごとの生データは、あなたの手元から動きません。 abx は読むだけで、こちらに送ることはありません。 クラウド版に保存されるのは、いつ・何を根拠に・誰が決めたかという記録と、 集計済みの数字だけです。 CLI と MCP はあなたの環境で動き、AI の利用料もあなたのアカウントから支払う形になります。
- エンジニアがいないと使えませんか？
- MCP サーバ経由なら、PdM が仮説と実験設計書を書いて PR として出すところまでできます。 設計提案で変更できるファイルはサーバ側が検査するので、実装コードが混ざる経路がありません。 マージとデプロイは人間のレビューを経ます。
- いくらですか？
- いまは無料です。組織で共有する台帳を公開するときに、 その台帳を有料にします —— CLI と MCP は無料のままお渡しします。