部分強化とは？「たまに報われる」と行動が続く心理の仕組み

一度うまくいくと、「次もあるかも」と試したくなる。いつも報われるわけではないのに、行動が続くことがあります。部分強化は、このような行動の続き方を理解する手がかりです。ただし、「たまに褒めれば何でも続く」とまとめると、仕組みを取り違えます。

部分強化とは

ある行動のあとに、毎回ではなく一部の機会で強化が起きることを、部分強化、または間欠強化と呼びます。対になる連続強化は、対象の行動が起こるたびに強化することです。

ここでの強化は、行動がそのあと増えたり維持されたりすることに注目した言葉です。褒め言葉やプレゼントなら、受け取る人に関係なく必ず強化になるわけではありません。何がその行動を支えているかを見る必要があります。

フェルスターとスキナーの『Schedules of Reinforcement』では、ハトの行動にさまざまな強化の予定を適用し、行動のパターンを研究しています。どの動物にも、人のどんな生活にも同じ結果が出ると決めるより、条件を分けて考えることが大切です。

部分強化には、行動の回数で決める「比率」と、時間で決める「間隔」があります。それぞれ、一定の「固定」と、変わる「変動」に分けられます。以下の例は、違いを理解するための単純な設定です。

種類	強化する条件	仮の例
固定比率	一定回数の行動	問題に10回答えるごとにポイントを付ける
変動比率	必要な行動回数が変わる	平均10回でポイントが出るが、必要回数は毎回変わる
固定間隔	一定時間が経ったあとの最初の行動	前回から10分経ったあと、最初の回答にポイントを付ける
変動間隔	変わる時間が経ったあとの最初の行動	待ち時間が毎回変わり、その後の最初の回答にポイントを付ける

間隔は、「10分ごとに何もしなくてもプレゼントが届く」という意味ではありません。時間が経ったうえで、対象の行動があることが条件です。また、変動比率は必ず同じ確率の抽選をする方式だけに限りません。必要な回数を変える予定の組み方もあります。

部分強化を考える際の重要な特徴が、消去への抵抗です。消去は、行動を支えていた強化が得られなくなることで、行動が弱まっていく過程を指します。罰を与えることとは違います。

毎回ポイントが出ていたのに急に出なくなれば、「仕組みが止まった」と気づきやすい。一方、ときどきしか出なかった場合には、何回か出なくても、いつもの空振りと区別しづらい。こう考えると、行動が続く様子をイメージしやすくなります。

ただし、空振りを認識する仕方だけで、すべての学習を説明し尽くすわけではありません。どれだけ学習したか、強化の量や予定、行動の負担によっても変わります。

ギャンブルでは、外れることがあっても、ときどき当たります。その不確実な結果が、繰り返す行動を支える一つの要素になります。部分強化はこの構造を考える助けになりますが、依存のすべてが一つの学習原理だけで決まるわけではありません。

また、前の外れが次の当たりを保証することもありません。独立に当たり確率が10％の抽選なら、9回外れたあとでも次の確率は10％です。「空振りが続いたから、そろそろ当たる」は、別の思い込みです。

当たる経験が印象に残ることと、金額の期待値が有利であることも別です。お金の平均を考えるなら、期待値と期待効用の記事で整理しています。

何度も失敗してようやくクリアできたゲームは、うれしいものです。でも、そこには操作の上達、原因の理解、物語への興味などもあります。たまたま当たりが出ることと、学んで成功できることは違います。

たとえば、謎解きなら、失敗のたびに少し手がかりが見え、最後に意味がつながる楽しさがあります。答えに近づいている感覚まで「不確実な報酬」とだけ呼ぶと、設計で大事な部分が見えなくなります。

最初に何をすればよいか分からない段階では、行動への分かりやすい反応が役に立ちます。正しい操作ができたのかを毎回伝えることと、特別な演出をときどき出すことは、別に設計できます。

ゲーム作りでは、「やめられない」ことより、「遊んだ時間に満足できる」ことを目標にしたいと思います。手がかりと成功体験の設計については、謎解きのヒントの作り方も参考になります。

成果がまだ出ないからといって、続ける努力がすべて無駄とは限りません。一方で、たまの成功だけを理由に、時間や費用を使い続けていることもあります。

何が上達したのか、どれだけ負担があるのか、いつ見直すのか。この三つを決めておくと、「次こそ」という気分以外の基準を持てます。部分強化を知ることは、自分や相手を操作するより、続ける理由を確かめるために使いたい知識です。