品質を上げるために、確認する人を何人にすればよいのでしょうか。1人では見落としが心配です。しかし、10人、20人と増やせば、それに比例して新しい問題が見つかるとは限りません。

この話を考えるときによく引用されるのが、ユーザビリティ研究者のヤコブ・ニールセンが示した「5人の利用者で、ユーザビリティ上の問題の約85％を発見できる」という考え方です。

この数字は、あらゆる調査や検品に「5人いれば十分」と保証するものではありません。それでも、確認人数と費用対効果、そして一度に完璧を目指すより改善を繰り返すことの意味を考えるうえで参考になります。

「5人で85％」はどのような話か

ニールセン本人の解説では、1人の利用者が発見するユーザビリティ上の問題の割合を平均31％とし、利用者数を増やしたときに発見できる問題の割合を、次の式で表しています。

発見できる割合 ＝ 1 − (1 − L)のn乗

L：1人が発見する問題の割合
n：テストする人数

Lを31％、nを5人として計算すると、約85％になります。

最初の1人からは多くの問題が見つかります。2人目からも新しい問題が見つかりますが、1人目と同じ問題を発見することも増えます。人数を追加するほど重複が多くなり、一人当たりの新しい発見は少なくなっていきます。

この「追加した一人から得られる効果が次第に小さくなる」ことが重要です。

5人で終わりではなく、5人ずつ改善を繰り返す

ニールセンの提案で大切なのは、5人で85％を見つけて調査を終了することではありません。15人を一度にテストする予算があるなら、5人でテストして設計を直し、別の5人で再び試し、さらに改善する方法を勧めています。

1. 少人数に使ってもらい、問題を見つける
2. 見つかった問題をもとに画面や手順を修正する
3. 別の利用者で、修正が機能したか確認する
4. 新しく生まれた問題や、前回見えなかった問題を直す

調査の目的は、問題の一覧をできるだけ長くすることではなく、実際の製品や仕組みを改善することです。一度の調査へ人数を集中させるより、発見と改善を繰り返したほうが最終的な品質を上げやすいという考え方です。

これはユーザーインタビュー全般の法則ではない

「5人で85％」は、主に定性的なユーザビリティテストについて示された目安です。ウェブサイトやアプリを実際に操作してもらい、利用上の問題を見つける場面を想定しています。

次のような調査へ、そのまま適用することはできません。

• 利用者の何％が満足しているかを推定するアンケート
• 二つの画面の完了率を統計的に比較する調査
• 対象者の属性ごとの差を数値で示す調査
• 多様な経験やニーズを網羅するためのユーザーインタビュー

ニールセン自身も、定量調査ではより多くの参加者が必要であり、異なる利用者層が存在する場合は各グループを確認する必要があると説明しています。「5人」という数字だけを切り取らず、何を知りたい調査なのかを先に確認します。

品質管理と共通するのは「人数」よりも効果逓減

データ入力やアノテーションの検品も、確認者を増やせば見つかる誤りは増えます。しかし、2人目、3人目が前の確認者と同じ誤りを見つける割合も高くなります。

例えば、1,000件の成果物を5人がそれぞれ全件確認すれば、見落としを減らせる可能性はあります。一方で、確認費用は大きくなり、納期も延びます。しかも、仕様そのものが間違っていれば、5人全員が同じ基準で誤った判定をするかもしれません。

そこで、人数を増やす以外の方法も組み合わせます。

• 本番前に少量の作業者テストを行う
• 間違いが集中する項目を特定する
• マニュアルや作業画面を修正する
• 誤りの影響が大きい項目だけ全件確認する
• 通常項目は抜き取り検品にする
• 不一致や例外だけを熟練者へ回す
• 修正後の工程を別のサンプルで再確認する

確認者を増やし続けるより、誤りが生まれる工程を直すほうが、その後の全件へ効果が及びます。

最初の30件で作業者と仕様を確認する

大量の作業を始める前に、すべての作業者へ20件や30件などの少量を依頼する方法があります。これは作業者を選別するだけの試験ではありません。

例えば、特定の作業者だけが間違えるなら、理解度や適性に応じた説明、再テスト、担当変更を検討できます。ほぼ全員が同じ項目で迷うなら、原因は作業者ではなく、仕様書、見本、素材、画面にある可能性が高くなります。

少量テストの結果を見て仕様を直し、別のデータで再度試す。この反復は、ユーザビリティテストで少人数ごとに設計を改善する考え方とよく似ています。

最初から1,000件を配布し、最後に大量の誤りが見つかるより、30件の段階で原因を直すほうが手戻りを抑えられます。

全件検品でも工程は改善されない

全件検品は、成果物に残った誤りを発見・修正する方法です。誤りの影響が大きい仕事では必要ですが、検品を続けるだけでは、元工程で誤りが発生する原因は残ります。

作業者が間違えるたびに確認者を増やすと、品質はある程度上がっても、作業時間と管理負担が積み重なります。さらに検品者にも見落としや判断のばらつきがあるため、「検品を追加したから完全」とは限りません。

見つかった誤りを、次の作業設計へ戻す必要があります。

品質管理は、最後に誤りを取り除く工程だけではありません。発見した問題を上流へ戻し、同じ誤りが生まれにくい仕組みに変える活動でもあります。

確認人数は誤りの影響から決める

最適な人数は、5人や3人と一律には決まりません。少なくとも次の点を確認します。

• 何を発見・測定したいのか
• 対象となる作業者や利用者に異なるグループがあるか
• 一つの誤りが後工程へ与える影響
• 見落としをどこまで許容できるか
• 問題を発見した後に工程を修正できるか
• 追加確認に必要な費用と期間

大量の候補から後工程で必要なものを選ぶ作業と、金額や個人情報を扱う作業では、必要な確認水準が違います。安全性や法令に関わる判断へ「5人で85％」を根拠として使うこともできません。

品質、費用、期間のバランスを見ながら、少量テスト、抜き取り、全件検品、複数人の一致、熟練者判定を組み合わせます。

大人数で一度確認するより、小さく直して繰り返す

「5人で85％」から学べるのは、5という万能な人数ではありません。最初の少人数から得られる発見は大きく、人数を増やすほど新しい発見は重複しやすくなるということです。

そのため、限られた予算を一度の大規模な確認へ使うだけでなく、少人数で問題を発見し、工程を修正し、別の対象で再確認する方法を検討できます。

確認の目的は、検品を実施した記録を残すことではありません。同じ問題が次に起きにくい業務へ変えることです。人数を増やす前に、今回の確認結果をどの工程へ戻せるかを考えることが、品質と費用を両立させる鍵になります。