AIはなぜあんなに賢く見えるのか？トークンと確率の話
ゆるAIラジオ 第3回｜AIスタートクラブ（山梨）
AIを使っていると、こんなことを感じたことはありませんか？
「自分が知らないことを聞いたら、すらすら答えてくれた」「デザインが苦手なのにAIに頼んだらかっこいいものが出てきた」「メールの言葉遣いに迷ったらAIが整えてくれた」
一方で、前回お話ししたハルシネーションのように間違えることもある。賢いのに、なぜ間違える？そもそもAIの「賢さ」とは何なのか？
今回は、エンジニアのりょうたと、AI登場からずっと使い続けているAI専門家のだいきの2人が、AIはなぜあんなに賢く見えるのかをテーマに語りました。
前回のハルシネーションを振り返る
第3回では、まず前回（ハルシネーション回）の振り返りから始まりました。
ハルシネーションとは、AIが情報があいまいな状態でも「これが正しい」とそれっぽく回答してしまう現象。前回はエンジニア目線で「存在しないメソッドを自信満々に生成してきた」というリアルな体験が紹介されました。
太自身もエンジニアとして思い当たる経験があるといいます。
「テストして問題ないって言われてるのに、いざ動かしてみたらエラーが出てきてなんでやねんみたいな」
AIを使っている人であれば業界を問わず、こういった経験は珍しくありません。文章を作成する場面でも、こちらの意図を組み取ろうとした結果、伝えた内容を優先しすぎて事実とは異なる内容で出力されることがあるといいます。
トークンとは何か——AIが文章を処理する単位
AIの賢さを理解するうえで欠かせないのがトークンという概念です。
トークンとは、AIが文章を処理する際の最小単位のことです。単語や文字のかたまりをブロックとして認識し、そのブロックをつなぎ合わせることで文章を生成しています。
大木はこれをレゴブロックに例えて説明してくれました。
「レゴブロックをつなぐみたいに、これが違うか、これはあってるかな、これはバランスいいみたいな感じで組み合わせていく。何回も繰り返して、やっと回答が出てくる」
このとき重要なのが確率です。あるトークンの次に何が来るかをAIが予測し、最もあり得そうな組み合わせを選び続けることで文章が生成されます。
ただし、繰り返し検討した末に出てきた回答が「正しいかどうか」は、あくまで確率論的な話です。予測が当たれば賢く見えるし、外れればハルシネーションになる——これがAIの賢さの正体です。
AIが苦手なこと——しりとりができない理由
ここで、前回欠席していた太が裏話として面白いエピソードを紹介してくれました。
AIはしりとりが苦手という話です。
なぜかというと、AIはトークン（単語や文字のかたまり）の単位で文章を処理しているため、単語の最後の1文字だけを正確に扱うことが難しいのです。
例えば「りんご」という単語があったとき、人間なら「りんご→ご→ゴリラ」と最後の文字から次の言葉を連想できます。しかしAIは「りんご」というかたまりとして認識しているため、最後の「ご」だけを切り出して次につなげるという処理が苦手です。
「得意な方面ばかり意識してたけど、こういうところが苦手なんだと発見するのも面白い」
AIの弱点を知ることは、普段の仕事での使い方を見直すきっかけにもなります。
AIが「賢く見える」理由——自分の苦手を補ってくれるから
ではなぜ、AIはあんなに賢く見えるのでしょうか。2人の会話から見えてきた答えは、自分ができないことをやってくれるからでした。
太はデザインが苦手で、UIがしっくりこないときにどう直せばいいかわからないといいます。そんなときにAIに「こういう仕組みで作りたい、デザインを考えてみて」と投げかけると、かっこいいデザインがパッと出てきた、という体験があります。
大木は丁寧な言葉遣いが苦手で、仕事上の連絡はほぼ必ずAIに一度通してから送るといいます。
「これは自分のダメなところを知ってるから、もうそれはAIに投げようって決めました」
自分の弱みをAIが補ってくれる——だからこそ「すごい」と感じる。これがAIの賢さの印象につながっているのです。
賢さとハルシネーションは表裏一体
ただし、ここには重要な落とし穴があります。
自分が知らない分野こそ、AIの回答が正しいかどうか判断できないという問題です。
デザインが苦手だからAIに頼む。でも出てきたデザインが本当にいいのかどうか、自分では判断しにくい。文章が苦手だからAIに整えてもらう。でも整えた内容が本当に正しい日本語かどうか、確信が持てない。
大木はこの点について、こう話してくれました。
「AIが出したものを確認する作業がすごく大切。一度AIに出してもらったものが正しいかどうかを、例えばWeb上で確認して再提出するっていう一手間が必要」
AIを信頼しながらも、疑いの目を持って使い続けること。この姿勢が、AIとうまく付き合うための核心です。
今日のまとめ
- トークンとは
AIが文章を処理する最小単位。単語や文字のかたまりをブロックのようにつなぎ合わせる - AIが賢く見える理由
確率的な予測が当たった時・自分の苦手を補ってくれる時に「すごい」と感じる - AIの苦手なこと
しりとりのように単語の最後の1文字だけを扱う処理が苦手 - 賢さとハルシネーションの関係
表裏一体。予測が当たれば賢く見え、外れればハルシネーションになる - 正しい使い方
AIを過信せず、出力結果を確認する一手間を省かない
次回予告
次回はファインチューニングとRAGとは？AIに覚えさせるってどういうことをテーマに話します。
AIをより自分好みに、より正確に使うための仕組みについて深掘りします。ハルシネーションをできるだけ抑えたい、自分のイメージ通りの出力を得たい、という方にとって特に役立つ内容になる予定です。
ゆるAIラジオは毎週火曜日配信。
YouTube・Podcastにてお聴きいただけます。チャンネル登録・フォローをよろしくお願いします。
YouTube https://www.youtube.com/@AIstartclub
ポッドキャスト各種 https://open.firstory.me/user/cmr7ghjb702b901vnf9zdd5j6/platforms
AIスタートクラブ（山梨）主催