11,571本を貯めて、比べられたのは1区画だけでした

最初に出た数字

うちでは毎日、機械が世界中から見出しを集めます。5月から7月までの3か月で 11,571本。

数えたのは 「エージェント」という言葉です（AIが人の代わりに手順を進める仕組みを指す言い方で、去年からよく見るようになりました）。月曜に集めているAI・技術の話題によく出てきます。この言葉の出方が、3か月でどう変わったかを見ました。

• 5月：9.4%
• 7月：1.6%

およそ6分の1。はっきりした変化に見えます。「この話題は3か月で急速に冷めた」と書ける形をしています。

この数字は採用しませんでした。理由は、この2つの数字が同じものを測っていないからです。

構造から見てみます

うちの集め方には、決まった作りがあります。曜日ごとにテーマが違うのです。

月曜はAIと技術。火曜は世界の情勢。水曜は経済。木曜は暮らし。金曜は科学と医療。土曜はアニメと漫画。

曜日が変われば、取りに行く場所が変わります。場所が変われば、集まる言葉が変わります。

つまり 11,571本は、ひとつの塊ではありません。6種類の違うものが積み上がった山です。この山から全体の割合を出すと、その割合は「話題の変化」と「山の中の曜日の混ざり具合」を、分けずに足したものになります。

5月と7月とで、混ざり方が同じである保証はどこにもありません。実際、月によって回した回数は違います。

ひとつ揃えて、数え直す

同じ曜日どうしだけで数え直しました。

• 5月：58%
• 7月：21%

2点、変わりました。

ひとつ、割合そのものが桁違いに上がりました。その言葉が出る曜日だけを見ているので、当然の結果です。

もうひとつ、減り方が変わりました。6分の1から、2.7分の1へ。落ち込みの幅そのものが、条件をひとつ揃えただけで小さくなっています。最初の数字には、話題の変化のほかに、曜日の混ざり方が乗っていたということです。

もうひとつ揃えると、残りません

曜日だけでは足りません。同じ曜日の中に、取得元が複数あります。

掲示板。論文置き場。動画。新聞社。

掲示板の見出しに出る言葉と、論文の題に出る言葉が、同じ割合で並ぶことはありません。取得元の比率が月で動けば、それだけで割合が動きます。

そこで、曜日と取得元の両方を揃えた区画に分けました。「月曜・掲示板」「月曜・論文」「火曜・新聞社」というように区切って、5月と7月の両方に十分な本数が残っている区画を探します。

ひとつでした。

11,571本から、比較の成立する区画は1つ。残りは片側が空か、片側が数本しかない状態でした。極端な例を挙げます。ある掲示板からのぶんは、5月は97本あって、7月は1本。これでは比べようがありません。

では、唯一残った区画では何が起きていたのか。開発者向けの投稿サイトから取っているぶんです。

• 5月：40本のうち13本 ＝ 32.5%
• 7月：145本のうち34本 ＝ 23.4%

1.4分の1。減ってはいます。ただし、最初に出た「6分の1」とは別物です。

3つ並べます。

• 何も揃えない：6分の1
• 曜日を揃える：2.7分の1
• 曜日と取得元を揃える：1.4分の1

揃えるほど、落ち込みが小さくなっていきます。差の大部分は、話題が冷めたことではなく、条件が動いたことで出ていたと考えられます。

先ほどの掲示板が、その動いた条件です。この取得元は「エージェント」を含む見出しの割合が飛び抜けて高く、5月は97本中88本がそうでした。それが7月には1本になっています。この1か所が抜けただけで、全体の割合は大きく動きます。話題そのものは、そこまで動いていません。

この作業が示している構造

整理しましょう。ここで見えているのは、次の関係です。

データの量と、比較に使える量は、別の値です。

比較とは、比べたいもの以外を全部そろえて、初めて成立する作業です。曜日、取得元、その日に回した本数。どれかが違えば、出てきた差が何によるものか特定できません。特定できない差は、数字の形をしていても結論には使えません。

座標軸で言えば、縦軸に「その言葉の出方」を取り、横軸に「月」を取ったつもりでした。ところがさきほどの山を思い出すと、実際の横軸は「月」ではなく「月と曜日と取得元が混ざったもの」です。横軸が定まっていないグラフは、線がどちらを向いていても読めません。

そして、揃える作業は必ずデータを減らします。揃えるほど比較の質は上がり、残る量は減る。この2つは同時に動きます。今回は減りきって1になりました。

この3か月をどう扱うか

無駄だったとは見ていません。判断の材料が2つ出ています。

ひとつ。「比較できない」という結果が出た状態は、誤った数字を持っている状態より上です。数え直さずに「6分の1に減った」と書いていれば、根拠のない結論を根拠の顔で置いたことになります。

ふたつ。直す場所が決まりました。問題は数え方ではなく、集め方の側にあります。曜日ごとに取得元が変わる作りである以上、比較は最初から区画の内側でしか成立しません。全体を1つの塊として数える設計は、この作りとは噛み合っていないと考えられます。

最後に、判断の基準をひとつ置いておきます。

最初に出た「9.4%から1.6%へ」は、今回いちばん大きく動いた数字であり、いちばん記事にしやすい形をしていました。条件を揃えるほど、数字は地味になり、量は減っていきます。

見栄えのする数字が出たときは、何を揃えずに数えたのかを先に確認する。この順番を守るかどうかで、同じデータから出る結論が変わります。