AIに正確なデータを出させるコツ(料金比較の続編)
スマホ料金比較ツールを作った記事で少し触れましたが、あのツールを作る過程で一番苦労したのが「データの正確さを保つこと」でした。AIに料金を調べてもらっても、新しい間違いが次々出てきて、「ようやく正確になったかな」と思ったら別の場所でまたミスが見つかる、というループを何度も繰り返しました。
このページでは、その経験から試行錯誤してたどり着いた、「AIを使って、なるべく正確なデータに近づける」ための工夫を書いておきます。
AIが間違えやすい、と感じたパターン
まず、ツール作成中に「ここはAIが間違えやすいな」と感じたパターンを整理します。
割引込みか、割引前か
料金プランの価格には、単純な月額のほかに「〇〇割引適用時」「家族割3回線以上の場合」などの条件付き価格が混在しています。私のケースでは、AIが「割引後の価格」を「通常価格」として登録してしまっていたことがあり、気づかずにいたら全然違う数字を公開するところでした。
「割引込みで表示してください」「割引前の定価だけを書いてください」と条件をはっきり伝えると、ぐっとミスが減りました。
古いプランが混ざり込む
キャリアや格安SIMのプランは改定が多く、「廃止されたプランの情報をまだどこかのウェブページが掲載している」ということが珍しくないようです(私の感触として)。AIがそのページを参照してしまうと、すでに存在しないプランが現行プランかのように出てくることがありました。
「現在申し込み可能なプランのみ対象にしてください」など、対象を明示すると多少改善しましたが、完全には防げませんでした。最終的には自分で公式サイトで確認するステップを省かないことにしました。
複雑な条件を簡略化してしまう
「容量超過後は速度制限あり(一定量を購入すると解除可)」のような複雑な条件が、「速度制限なし」とシンプルに要約されてしまうケースがありました。見逃していたら誤解を招く情報を載せるところで、これは特に怖いパターンでした。
試してよかったプロンプトの工夫
「1社ずつ確認してから整理して」と段階を区切る
最初は「少数のブランドのプランをまとめて整理して」と一気に依頼していましたが、複数まとめてやってもらうとミスが増える印象がありました。「1社ずつ、公式サイトで確認してから整理して」と段階を区切ると、丁寧に対応してもらえる感触があります。
チェック用の質問を別に投げる
データを作ってもらった後、「この中で割引条件が含まれている価格はありますか?」「廃止されたプランが混ざっていないか確認してください」という後から確認する質問を投げることがあります。出力を作る作業とチェック作業を分けると、AIも違う目線で見直してくれるような気がします(あくまで感触ですが)。
「分からない場合は『-』と書いて」と逃げ道を作る
AIに正確な情報を求めると、「分からないときにもそれらしい回答を出してしまう」ことがあると感じました。「不明な項目は『-』と書いてください」「確認できなかった場合は書かないでください」と指示すると、曖昧な情報を混ぜて出してくる頻度が下がったように思います。「正確さ」を求めると同時に、「不確かなときに素直に空欄にする許可」を与える、というイメージです。
最後は「人間が突き合わせる」しかない
結論として、私がたどり着いたのは「AIだけを信用してはいけない、最終確認は人間がやる」という当たり前に見えるルールでした。
スマホ料金比較ツールのデータ確認では、「AIが出した数値を、ブラウザで公式サイトを開いて、1件ずつ照合する」という地道な作業が必要でした。全部を確認するのは現実的ではないので、「金額が大きいプラン」「条件が複雑そうなプラン」「最近改定がありそうなブランド」に絞って重点的に確認しました。
この作業をやっていて改めて感じたのは、「AIは調査と整理のスピードを上げてくれる存在で、正確さを保証してくれる存在ではない」ということです。スピードが上がった分だけ確認に使える時間が生まれる——そのくらいの役割分担で考えると、ちょうどいいと感じています。
今のツールでも、ページに「表示価格は参考値です」と注記している通り、完全な正確さは保証できていません。それでも、「気づいたことをどんどんフィードバックしてもらえる仕組み」を用意してあるので、使ってくれた方のご指摘で精度を上げていく、という姿勢で続けています。
AIに頼りながら、最後は自分で確認する——その繰り返しが、今のところ私のいちばん現実的なやり方です。
← 他の制作記を見る | トップ | お問い合わせ