データ精度を上げるレビュープロセス（スマホ料金比較で学んだこと）
ツール工房のツールはどれも「データ」が主役です。ホテル検索、スマホ料金比較、楽天最安値検索、子連れスポット検索、お金診断。どのツールも、信頼できるデータがないとツールとして成立しません。
特に スマホ料金比較ツール で、データ精度の難しさを痛感しました。この記事では、そのときに学んだことを書きます。
最初の AI生成データの問題
初期版のスマホ料金比較は、21ブランド・99プラン以上のデータからスタートしました（公開後も少しずつブランド・プラン数を増やしています。現在のプラン数は公開サイト側を参照してください）。最初は AI（Claude Code）に「主要キャリアのプランを調べて整理して」と依頼して、99件分のデータを plans.json にまとめてもらいました。
ところが、何度確認しても 新しい間違いが見つかる という状態でした。
- 割引込みの価格が割引前として登録されていた
- 家族割の条件が抜けていた
- すでに改定された旧プランが混ざっていた
- データ容量の単位（GB / GB+α）が混ざっていた
- 国内通話オプションの有無が反映されていない
「料金比較ツール」を名乗っているのに、料金が間違っていたら使い物になりません。これは公開できない状態でした。
なぜAIだけでは難しいか
AIに「主要キャリアの料金プランを調べて」と頼むと、それなりの精度のデータは出てきます。ただ、最新の細かい条件まで完全に正確 にはなりません。
理由は：
- 学習データの時点では古い情報が混じっている
- キャリアの公式サイトの構造が変わると、AIが情報を取り違える
- 割引・家族割・キャンペーンなど、条件が複雑な情報は読み解きが難しい
- 一部、ハルシネーション（事実でない情報の生成）が混じる
AIが書いた内容を そのまま信じて公開すると、必ず間違いが残る という体験をしました。
レビュープロセスを入れる
そこで、データ精度を上げるためのレビュープロセスを導入しました。
ステップ1：AIで一次データを作る
まず、AI（Claude Code）に各キャリア・MVNOのプランを整理してもらいます。これは出発点としてのドラフト。
ステップ2：別のAI（確認役）にまとめて検証させる
ドラフトに対して、別の Claude（確認役のAI）に「各プランの条件を、各社公式サイトと照らし合わせて検証してほしい」と依頼。AIが公式ページを自動で読みに行って、データのズレを報告してもらいます。
ステップ3：報告を疑って、自分で再確認
ここが重要です。確認役のAIの「全件一致」報告を信頼しすぎない ようにしました。
実例として、IIJmio のプランで、確認役のAIが「データが一致している」と報告したものの、メインの私が念のため公式ページを確認したら、実は間違いが残っていた、ということがありました。
確認役のAIはページを自動で読み取っているのですが、ページの一部だけを見て判断したり、見落としたり、というケースがあります。修正適用前に、メインのClaude（または私自身）が公式ページで裏取り することで、漏れを潰せました。
ステップ4：notes フィールドで例外を吸収
すべての条件を構造化データで完璧に表現するのは、現実的に難しいです。
そこで、各プランに notes フィールドを追加して、「この条件は注釈で説明する」 という運用にしました。割引・家族割・キャンペーン・特殊条件などは、notes で補足する形。
ステップ5：定期的な再検証
キャリアのプランは1〜2か月で改定されます。月次で再検証する自動処理を組んで、変化を検知できる仕組みにしました。
「正確に書かない」という選択肢
データ精度を追求しすぎると、逆に情報量が減る という発見もありました。
たとえば、料金プランの「実測速度」のデータ。各キャリアが公式に発表している速度は、ベストエフォートで実測値とは違います。一方で、ユーザーレポートの実測値は地域・時間帯で大きく変わるので「正確」とは言えません。
完全に正確なデータがない場合、「目安として参考になる数値を出して、注意書きを十分にする」 のが現実解だと感じました。「実測速度は公式値ではなく、公開されているユーザーレポートを参考にした目安です」と明記する形です。
私による最終確認
最後に、私自身が一度すべてのデータに目を通す ようにしました。
「AIに全部任せたい」気持ちはあるのですが、ツール公開後にユーザーから「このデータが間違っている」と指摘されるリスクを考えると、最後の人間チェックは外せません。
私が見ても気づかない間違いはありますが、それでも「AIだけ」よりは精度が上がります。
ユーザーフィードバックの組み込み
公開した後も、ユーザーから「このプランの条件が間違っているのでは？」というフィードバックを受け付けられるように、トップに「気づいた点があればリクエストフォームから」というリンクを設置しました。
これは恥ずかしさより実用性を優先した結果。完璧なデータを目指すよりも、間違いを訂正できる仕組みを持つほうが、サイト全体の信頼性は上がります。
私の感想
データ精度の問題は、AIで開発するときに 避けられない壁 だと感じました。
「AIが書いてくれた → 完成」ではなく、「AIが書いてくれた → 検証 → 修正 → 再検証 → 公開」という流れが必須。これに気づくまでに、実際に間違ったデータを公開しかけた経験もあります。
非エンジニアでもAIで開発できる時代ですが、最終的な責任は人間が持つ という意識は変わらないんだなと思いました。データ系ツールを作るときは、レビュープロセスをセットで設計するのがおすすめです。
← 他の制作記を見る ｜ トップ ｜ お問い合わせ