AIデータ制作ノート | 株式会社イングクラウド

2026年10月12日

「何かを置く」をどう撮り分ける？作業者自身が演じて作った動画データ

机にコップを置く。コップを置くふりをする。コップを別の物の後ろへ置く。人には違いが分かりますが、物体の見た目だけを手掛かりにするAIには、よく似た映像に見えます。このような細かな動作の違いを学習させるには、偶然見つかった動画を分類するだけでは足りません。必要な違いが映像に現れるよう、撮影する行動自体を設計する必要があります。 Something-Somet…

2026年10月8日

LLMはどこで危険な回答をする？レッドチーミング用データの作り方

LLMのレッドチーミングで必要なのは、危険そうな質問を大量に集めることではありません。どのシステムの、誰に対する、どの被害を探すかを決め、入力と応答の関係を再確認できる評価データにすることです。ケースの作り方から、評価者への指示、検品、修正後の再実行まで整理します。通常の品質評価と、弱点を探す評価を分ける通常の品質評価は想定利用における正確性や関連性など…

2026年10月7日

このデータはどこから来た？収集・加工・納品を追跡するデータプロベナンス

音声ファイルから発話を切り出し、文字起こしとラベルを付けて納品した後、元の収録に同意条件の相違が見つかったとします。納品ファイルだけでは、どの切り出しや注釈が影響を受けるか分かりません。収集時点から原本と各成果物の関係を記録しておけば、対象をたどって利用を止め、必要な版だけ作り直せます。データの出所から、処理と利用先までをつなぐデータプロベナンスは、取得…

2026年10月6日

評価データが学習に混ざったら？ベンチマーク汚染を防ぐデータ管理

評価問題を追加学習に使っていなくても、開発者が失敗例と期待回答を見てプロンプトを直し続ければ、その問題での点数は未知の質問への性能を表しにくくなります。評価データを作るときは、問題の内容に加えて出所、派生ケース、閲覧者、利用先を管理します。「汚染」で一括りにせず、三つの経路を区別する公開ベンチマークの混入は、公開された問題や回答が基盤モデルの事前学習デー…

2026年10月5日

データセットカードには何を書く？収集条件・アノテーション・変更履歴の残し方

「画像1,000件、品質確認済み」だけでは、誰からどの条件で集め、何を除外し、どの基準でラベルを付けたのか分かりません。データセットカードを書くための材料は公開直前に集めるのではなく、制作中の台帳や作業記録として残します。三つの文書化手法を区別し、必要な記録を決める GebruらのDatasheets for Datasetsは、目的、構成、収集、前処理・…

2026年10月2日

映像・音声・センサーの時刻をどうそろえる？マルチモーダル収集の同期設計

対話を映像と音声で記録し、視線や心拍も合わせて分析する場合、各機器の録画ボタンを同時に押すだけでは十分とは限りません。冒頭の手拍子が一致していても、終盤ではずれていることがあります。収集仕様では、必要な精度、収録中の確認方法、ずれたデータの扱いを先に決めます。分析する出来事から必要な精度を決める発話区間と話者映像の対応や数秒単位の行動区分では、まず区間同…

2026年10月1日

「良い回答」をどう採点する？LLM評価ルーブリックの作り方

「良い回答を5点満点で評価してください」と評価者に依頼しても、何を良いとするかが人によって違えば点数は比較できません。社内規程の回答なら根拠と適用条件、要約なら原文の内容を保った短縮、顧客対応なら質問への対応と禁止事項、アイデア生成なら条件への適合や発想の幅が重要になります。ルーブリックは、こうした利用場面ごとに「何を見て、どの状態なら何点か」を定める採点…

2026年9月30日

評価者の判断が割れたら誰が決める？アノテーションのアジュディケーション設計

同じデータに二人が別のラベルを付けたとき、「三人目に決めてもらう」だけでは問題が残ることがあります。一人が根拠を見落としたのか、ラベルの境界が曖昧なのか、判断に必要な資料がそもそも渡されていないのかによって、直すべき場所が違うからです。アジュディケーションは、複数人の判定が割れた項目を確認し、利用目的に照らして採用するラベルや次の処理を決め、その根拠を記録…

2026年9月29日

LLMの選好データはどう作る？A/B比較・同点・判断理由の記録方法

同じ質問へのLLM回答を二つ並べて「どちらがよいか」と尋ねても、評価者が正確さを重視するのか、読みやすさを重視するのかが決まっていなければ、票の意味はそろいません。片方は詳しいが条件を一つ間違え、もう片方は短いが必要事項を省いている場合、何を選べばよいのでしょうか。選好データを作る最初の仕事は、何についての好みを集めるか決めることです。製品の利用者が受け取…

2026年9月28日

LLM評価のゴールデンデータセットはどう作る？期待回答・失敗例・版管理

LLMの回答を評価しようとして、まず「質問と正解回答の一覧」を作ることがあります。しかし、正解文を一つ用意しただけでは、言い換えた回答をどう採点するか、資料に答えがないときは何を期待するか、モデルを改善した後も同じ点数を比較できるかが決まりません。ゴールデンデータセットは、評価対象の入力と、期待する結果や判定基準を確認済みのケース集です。ここでいう「ゴール…

2026年9月22日

口が動いている人が話者とは限らない　映像と音声から「誰が話しているか」を付ける

会話の映像に二人の顔が映っていて、一人の口が動いている。それだけで、その人を話者と判断できるでしょうか。映画やインタビューには、画面外から聞こえる声、声を出さずに口だけ動かす人物、別の人物の声に重なる反応、編集による映像と音声のずれがあります。映像だけを見て「口が動いている人」を選んでも、実際に聞こえている声の話者とは一致しません。 AVA ActiveS…

2026年9月18日

「失敗」はどの瞬間から始まる？人の意図が崩れる瞬間をデータにする

人が何かに失敗した動画を見れば、私たちは「ここまでは予定どおりだったが、ここから失敗した」とおおよその境界を判断できます。しかし、その境界をデータにするとなると簡単ではありません。ジャンプに失敗して転倒した場合、失敗が始まったのは着地した瞬間でしょうか。姿勢を崩した瞬間でしょうか。それとも、踏み切る位置を間違えた時点でしょうか。 Oops! Predict…

2026年9月18日

「少し」「いい感じに」をAIへ教えるには何を集めるか

「文章を少し短くしてください」「この表をいい感じに整えて」「細部は適当に処理してください」。人間同士なら通じることがある一方、AIへ同じ言葉を渡すと、削る量、目指す状態、任せてよい範囲のどれが不明なのかさえ分かりません。これらを一つの「曖昧表現」ラベルへまとめても、適切な応答は学習できません。数値へ置き換えられる程度なのか、候補の中から本人が選ぶ必要がある…

2026年9月18日

AIは人間同士の誤解をどう学ぶのか｜会話の失敗と修復をデータにする

人間同士の会話でも、誤解は頻繁に起こります。聞き間違い、言葉の意味の取り違え、前提の違い、曖昧な指示。重要なのは、誤解が一度も起きないことではなく、問題へ気づき、確認し、会話を修復できることです。 AIに誤解を学ばせるには、間違った一文だけでなく、誤解が生まれ、表面化し、解消されるまでの流れを残す必要があります。誤解には複数の原因がある音声を別の単語とし…

2026年9月18日

AIは曖昧な指示をどう解釈するのか｜勝手に補わず確認するためのデータ

「適当にまとめて」「少し短くして」「いつものように処理して」。人間同士では通じることがあっても、必要な条件が言葉にされていない指示です。 AIが足りない情報を勝手に補えば、軽微な好みの違いで済む場合もあれば、安全や金額に関わる事故になる場合もあります。重要なのは、何でも質問することではなく、確認が必要な曖昧さを見分けることです。曖昧さには種類がある種類例…

2026年9月18日

AIに道徳や社会規範を教えるデータはどう作るのか｜誰の常識を正解にするか

AIに「してよいこと」と「してはいけないこと」を教えるには、正解付きのデータが必要です。しかし、道徳や社会規範には、計算問題のような唯一の正解がありません。公共の場で電話をする、友人の秘密を守る、困っている人を手伝う。判断は場面、文化、立場、被害の大きさによって変わります。規範は辞書ではなく場面の中にある「嘘は悪い」という原則があっても、人を傷つけない…

2026年9月18日

AIは同じ言葉の地域差・世代差をどう学ぶのか｜標準語だけでは足りない理由

同じ日本語を話していても、地域や世代が違えば、使う語、発音、意味、丁寧さの感覚が変わります。ある世代には自然な表現が、別の世代には古く、あるいは新しく聞こえることもあります。標準語中心のデータで学習・評価したAIが、すべての日本語話者に同じように使えるとは限りません。言語差は発音だけではない同じ物を別の語で呼ぶ語彙差同じ語を異なる意味で使う意味差アクセ…

2026年9月18日

AIは「空気を読む」ことができるのか｜暗黙の文脈を学ぶデータの作り方

日本語の「大丈夫です」は、承諾にも断りにもなります。「検討します」が文字どおりの検討を意味する場合もあれば、直接断らないための表現になる場合もあります。人が「空気を読む」と呼ぶ働きは、一つの能力ではありません。場面、関係性、感情、直前の出来事、社会規範を組み合わせ、表面に書かれていない意図を推測することです。文章だけでは答えが決まらない「もういいよ」と…

2026年9月18日

AIは沈黙や言いよどみから何を学ぶのか｜音声にならない会話情報のデータ化

「ええと」「その……」「うーん」。書き起こしでは削除されがちな表現ですが、会話では重要な働きをします。考えている、言いにくい、発話を続けたい、相手へ順番を渡したいといった状態が表れるからです。 AIとの自然な音声対話を考えるなら、言葉の内容だけでなく、発話の始まりと終わり、沈黙、重なり、相づちをデータとして残す必要があります。沈黙には複数の意味がある答え…

2026年9月18日

AIは会話相手との関係性を理解できるのか｜恋人・友人・上司を推論するデータ

「あとで話そう」という一言は、親しい友人同士なら軽い約束でも、上司から部下へ向けられれば緊張を生むかもしれません。会話の意味は、言葉だけでなく、誰と誰が話しているかによって変わります。 AIが会話を適切に解釈するには、話者の関係性、親密さ、上下関係、場面を理解する必要があります。しかし、人間関係は名札のように会話へ書かれているわけではありません。関係性は会…

2026年9月18日

AIは嘘や冗談をどう見分けるのか｜言葉どおりではない発話を学ぶデータ

人は「最高だね」という一言を、心からの称賛にも、失敗への皮肉にも使います。冗談を真顔で言うこともあれば、本当の話が冗談のように聞こえることもあります。 AIが嘘や冗談を理解するには、単語の意味だけでなく、直前の出来事、話者の意図、声の調子、表情、聞き手の反応まで見る必要があります。本記事では、言葉どおりではない発話を研究する際、どのようなデータが使われるのか…

2026年9月17日

AIは皮肉や遠回しな表現をどう理解する？会話の「言外の意味」を学ぶデータ

「今日も早いですね」という言葉は、出勤が早い人への感心かもしれません。しかし、遅刻してきた人へ向けられたなら、反対の意味を持つ皮肉かもしれません。「検討します」「少し難しいかもしれません」「大丈夫です」といった表現も、文字どおりの意味だけでは判断できません。話者同士の関係、直前の会話、声の調子、共有している知識によって、承諾、保留、断りなどに意味が変わりま…

2026年9月17日

AIに「常識」を教えるデータはどう作る？因果関係・動機・社会規範の学習

床へコップを落とせば割れるかもしれない。約束に遅れれば相手が不快に感じる。贈り物を受け取ったら、お礼を伝えることが期待される。このような知識は、日常生活では一つずつ説明されません。人は経験や周囲とのやり取りを通じて身に付け、会話や行動を理解するときに使っています。一方、AIが文章に書かれた情報だけを処理すると、出来事の原因、次に起こりそうなこと、人物の動…

2026年9月17日

AIは人の感情や会話の文脈をどう学ぶ？公開論文から学習データを読み解く

AIに感情を覚えさせる、相手の気持ちを理解させる、会話の空気を読ませる。このような研究が進んでいると聞くと、AIが人間と同じように喜んだり悲しんだりする姿を想像するかもしれません。しかし、現在の研究で行われているのは、AIの内側に人間と同じ感情を生み出すこととは少し異なります。人が会話を見たり聞いたりして、「この発話は怒りを表している」「この出来事が悲し…

2026年9月17日

AI学習データの収集を受託会社へ相談するときに伝えること

AI学習データの収集を外部へ相談したいものの、「仕様が固まっていないので、まだ問い合わせられない」と考える研究者や開発担当者がいます。しかし、収集できる人数、必要な期間、検品方法、費用は互いに関係します。すべてを決めてから相談すると、実際には集めにくい条件や、予算に収まらない工程が後から分かることがあります。本記事では、AI学習データ収集を受託会社へ相談…

2026年9月17日

収集条件を一つ追加すると参加者はどれだけ減る？対象者設計の考え方

「20代から60代まで男女同数で、特定の職業経験があり、指定端末を持つ人を集めたい」。一つひとつは珍しくない条件でも、すべてを同時に満たす人は想像以上に少ないことがあります。対象条件は足し算ではありません。条件を重ねるたびに候補者が絞られ、参加可能な日時や作業負担まで加わると、実際に参加できる人数はさらに減ります。本記事では、収集条件を追加したときに何が…

2026年9月17日

AI学習データ収集のスケジュールはどう立てる？納期から逆算する工程設計

AI学習データの収集について、「1か月後までに1,000件必要です」と相談を受けることがあります。しかし、1日に100件集められるなら10日で終わる、という計算どおりに進むとは限りません。データ収集には、参加者を募集する前の準備と、集めた後の確認があります。試して初めて分かる条件違反もあり、不足分の再収集が必要になる場合もあります。本記事では、AI学習デ…

2026年9月17日

画像・音声・対話データでは収集の難しさがどう違う？

AI学習データの収集といっても、画像、音声、一人語り、複数人対話では、必要な運営が大きく異なります。同じ100人でも、一人で写真を提出する案件と、四人一組で会話を収録する案件では、日程と管理工数が違います。画像収集は撮影条件と対象物が中心になる画像収集では、端末、解像度、向き、距離、照明、背景、対象物の状態を決めます。参加者が撮影対象へアクセスできるか、…

2026年9月17日

学習用データの偏りは収集現場で生まれる｜集めやすい人だけに偏らない設計

AI学習データの偏りというと、モデルやアルゴリズムの問題を思い浮かべるかもしれません。しかし、偏りはデータを集める段階ですでに生まれています。オンライン募集へ反応しやすい人、撮影しやすい環境を持つ人、指定端末を使う人から先にデータが集まります。総数だけを目標にすると、集めやすい人のデータが多数を占めます。募集媒体によって参加者が偏るクラウドソーシング、…

2026年9月17日

人が評価したAIデータは本当に「人の評価」か｜生成AI時代の本人性確認

LLMの回答を比較する、文章の自然さを評価する、画像の印象を判定する。AI開発では、人の判断を正解データや評価指標として利用する機会が増えています。しかし、評価を依頼した参加者が、設問を別の生成AIへ入力し、その回答を提出していたらどうでしょうか。人間の評価を集めたつもりが、別のAIの出力を測っている可能性があります。本人確認と本人による回答は別である…

2026年9月17日

アノテーション仕様書は一度では完成しない｜判断基準をそろえる改善工程

画像へ枠を付ける、発話へラベルを付ける、文章を分類する。アノテーション作業は、仕様書にルールを書けば同じ結果が得られるように見えます。しかし、実際に作業を始めると、仕様書では想定していなかった例が必ず現れます。一部だけ写った物を含めるのか、二つのカテゴリに当てはまる場合はどうするのか、聞き取れない音声をどう表すのか。作業者が迷うたびに判断が分かれます。ア…

2026年9月17日

研究参加者募集とクラウドソーシングは何が違う？人を集める前に確認したいこと

オンラインアンケートや簡単な分類作業であれば、クラウドソーシングを使って短期間に多数の回答を集められます。そのため、研究参加者の募集にも同じ仕組みを利用できるように見えます。しかし、人間の反応や行動を研究する場合と、決められた成果物を納品してもらう場合では、確認すべき事項が異なります。本記事では、研究参加者募集と一般的なクラウドソーシングの違いを整理します…

2026年9月17日

AI学習データは小規模な試行から始める｜本収集前に確認したいこと

AI学習データを数千件、数万件集める計画でも、最初から全件を募集することはおすすめできません。仕様書では問題がないように見えても、実際に参加者へ依頼すると、説明が伝わらない、想定より時間がかかる、同じ箇所で不備が起きるといった問題が見つかるからです。本収集前の小規模な試行は、単なる動作確認ではありません。募集から提出、検品、納品までを少人数で一度通し、計画…

2026年9月17日

必要枚数を集めても使えるデータが不足する理由｜有効データ数の考え方

AI学習用の画像や音声を集めるとき、「1,000人へ依頼して、一人10件なら1万件集まる」と計算することがあります。クラウドソーシングで多数の参加者を募集すれば、短期間で大量のファイルが届くこともあります。ところが、提出物を確認すると、研究やAI学習に利用できるデータが想定より少ないことがあります。画像がぼけている、音声に雑音が入っている、同じ内容が重複し…

2026年9月17日

1,000人を集める案件が難しいとは限らない｜データ収集の難度を決める条件

研究参加者やAI学習データの収集について相談を受けるとき、最初に示されることが多いのは募集人数です。「100人なので小規模」「1,000人なので大規模」と考えたくなりますが、人数だけでは収集の難しさを判断できません。幅広い成人を対象とするオンラインアンケートなら、1,000人でも短期間に集まる可能性があります。一方、特定の職業、地域、設備、経験をすべて満た…

2026年9月17日

AI学習データの収集費用は何で決まる？見積もりに含まれる工程を解説

AI学習データの収集について、「一人当たりの謝礼はいくらですか」「画像一枚当たりではいくらですか」と聞かれることがあります。概算を考えるために単価は必要ですが、参加者数やデータ数へ単価を掛けるだけでは、実際の収集費用を見積もれません。データ収集では、参加者の募集前に条件を整理し、募集後には質問対応、進捗管理、提出物の確認、再提出依頼、不足区分の追加募集など…

2026年9月17日

AI学習データの収集は研究計画の段階で相談してほしい｜必要なデータが集まらない理由

AIや機械学習の研究では、どのようなデータを使うかが研究結果を大きく左右します。研究テーマを決め、必要なデータを想定し、研究費を確保してから、収集を依頼する会社を探す。このような順番で進めることも多いでしょう。しかし、データ収集について相談を受けた時点で、すでに予定どおりの実施が難しくなっていることがあります。必要な属性の参加者がほとんどいない。指定され…

2026年9月16日

データ作業の品質管理はどう設計する？許容エラー率と検品方法の決め方

データ入力やアノテーションのご相談では、「間違いがない状態で納品してほしい」と求められることがあります。もちろん、誤りを減らすことは重要です。しかし、人が作業し、人が確認する工程でエラー率0%を保証しようとすると、想像以上の費用と時間が必要になります。反対に、費用を抑えるために検品を減らせばよいとも限りません。誤りが後工程へ与える影響によっては、修正費用や…

2026年9月16日

多数決でデータ品質は上がる？複数人の一致を品質管理に使う条件

データ入力やアノテーションでは、同じ作業を複数人へ依頼し、回答が一致したものを採用する方法があります。2人の回答が一致すれば確定し、不一致だけを3人目が確認する仕組みもその一つです。一人の判断だけに頼らないため、直感的には品質が上がりそうです。しかし、複数人が同じ回答をしたことと、その回答が正しいことは同じではありません。作業仕様の読み違いや画面設計の問題…

2026年9月16日

なぜ5人で85％の問題が見つかる？品質管理における人数と反復の考え方

品質を上げるために、確認する人を何人にすればよいのでしょうか。1人では見落としが心配です。しかし、10人、20人と増やせば、それに比例して新しい問題が見つかるとは限りません。この話を考えるときによく引用されるのが、ユーザビリティ研究者のヤコブ・ニールセンが示した「5人の利用者で、ユーザビリティ上の問題の約85％を発見できる」という考え方です。この数字は、…

BPO業務設計ラボ

2026年9月15日