アノテーション | 株式会社イングクラウド

2026年10月5日

データセットカードには何を書く？収集条件・アノテーション・変更履歴の残し方

「画像1,000件、品質確認済み」だけでは、誰からどの条件で集め、何を除外し、どの基準でラベルを付けたのか分かりません。データセットカードを書くための材料は公開直前に集めるのではなく、制作中の台帳や作業記録として残します。三つの文書化手法を区別し、必要な記録を決める GebruらのDatasheets for Datasetsは、目的、構成、収集、前処理・…

2026年9月30日

評価者の判断が割れたら誰が決める？アノテーションのアジュディケーション設計

同じデータに二人が別のラベルを付けたとき、「三人目に決めてもらう」だけでは問題が残ることがあります。一人が根拠を見落としたのか、ラベルの境界が曖昧なのか、判断に必要な資料がそもそも渡されていないのかによって、直すべき場所が違うからです。アジュディケーションは、複数人の判定が割れた項目を確認し、利用目的に照らして採用するラベルや次の処理を決め、その根拠を記録…

2026年9月29日

LLMの選好データはどう作る？A/B比較・同点・判断理由の記録方法

同じ質問へのLLM回答を二つ並べて「どちらがよいか」と尋ねても、評価者が正確さを重視するのか、読みやすさを重視するのかが決まっていなければ、票の意味はそろいません。片方は詳しいが条件を一つ間違え、もう片方は短いが必要事項を省いている場合、何を選べばよいのでしょうか。選好データを作る最初の仕事は、何についての好みを集めるか決めることです。製品の利用者が受け取…

2026年9月18日

子ども同士と子ども・ロボットの遊びをどう記録する？PInSoRo

子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状…

2026年9月18日

相手を見るのは発話を譲る合図なのか？HCRC Map Task Corpusの視線研究

会話中に相手を見ると、発話の順番を渡す合図のように見えることがあります。しかし、相手を見る理由はそれだけではありません。説明が伝わったか確認したい、同意を求めたい、問題が起きたことを共有したい場合にも、話者は資料から顔を上げます。 2026年の研究「Gaze Behaviour & Conversation Unfolding in the HCRC…

2026年9月18日

会話の笑いはどこからどこまで？単独笑いと笑いながらの発話を記録したDUEL

会話の笑いは、いつも「楽しい」という感情だけを表すとは限りません。気まずさを和らげる笑い、相手と同時に起こる笑い、言いにくい内容を笑いながら話す場面もあります。しかし、音声を書き起こして「笑い」と一語だけ記録すると、笑いだけが発せられたのか、言葉と重なっていたのか、どの程度続いたのかが分かりません。 DUELは、ドイツ語、フランス語、中国語の対面会話を、音声…

2026年9月18日

「少し」「いい感じに」をAIへ教えるには何を集めるか

「文章を少し短くしてください」「この表をいい感じに整えて」「細部は適当に処理してください」。人間同士なら通じることがある一方、AIへ同じ言葉を渡すと、削る量、目指す状態、任せてよい範囲のどれが不明なのかさえ分かりません。これらを一つの「曖昧表現」ラベルへまとめても、適切な応答は学習できません。数値へ置き換えられる程度なのか、候補の中から本人が選ぶ必要がある…

2026年9月18日

遠回しな断りをどのように収集・評価するか｜CIRCA

「今夜、食事に行きませんか」と聞かれて、「明日は朝が早いんです」と返されたら、多くの人は断りに近いと受け取るでしょう。しかし、返答には「いいえ」も「行きません」も含まれていません。反対に、「近くに予約できそうな店があります」は、明示的な「はい」がなくても肯定に見えます。 CIRCAは、Yes・Noで答えられる質問と、Yes・Noを直接使わない英語の回答を組み…

2026年9月18日

複数人会話で「誰が誰に話しているか」を記録する

四人の会議で「それで大丈夫です」と言った人がいても、誰の提案に答えたのかは文字だけでは分からないことがあります。直前の話者への返答なのか、特定の担当者への指示なのか、全員へ同意を求めたのか。複数人会話では、話者IDだけでなく発話の宛先とどの発話への応答かを分けて記録する必要があります。 AMI Meeting Corpusは、約100時間の英語会議を同期収録…

2026年9月18日

敬語だけで上司と部下を見分けられるのか

「承知しました」と答えた人が部下で、「分かった」と答えた人が上司とは限りません。店員は客へ、役職者は社外の取引先へ敬語を使います。親しい先輩と後輩なら、双方がくだけた話し方をすることもあります。敬語から人間関係を分析するには、発話だけでなく、誰が誰に、どの場面で話したかが必要です。国立国語研究所の日本語日常会話コーパス（CEJC）は、その土台となる自然会話…

2026年9月18日

親密さ・上下関係・形式性をどうアノテーションするか

二人が「同僚」だと分かっても、その会話が対等で親しいとは限りません。上司と部下でありながら私生活では友人かもしれず、親子でも、その場では子ども側が判断を主導することがあります。関係名だけでは、会話に現れる距離感や力関係を表し切れません。 SCRIPTSは、英語と韓国語の映画脚本から1,147件の会話を集め、友人・恋人・親子といった関係候補に加え、親密さ、形式…

2026年9月18日

評価者によって善悪の判断が違うとき、正解をどう決めるか

同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。 SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題…

2026年9月18日

このあと何が起こる？動画の説明文から続きを選ぶSWAG

映像の場面説明を読んで、その後に続く行動を四つの文章から選ぶ。SWAGは、動画に対応する連続したキャプションを出発点に作られた英語の四択データセットです。ただし、問題を解くモデルへ動画そのものは渡しません。文章で与えられた場面に合う続きを選ぶ、grounded commonsense inference（現実の状況に基づく常識推論）の課題です。名称はSit…

2026年9月18日

人の行動の原因と結果を知識にしたATOMIC

誰かを褒めるという出来事から、その人の意図や相手の気持ち、次に起こりそうな行動を考えることができます。ATOMICは、このような出来事には書かれていない推論を、種類ごとに自由記述で集めた英語の知識グラフです。原論文の表1には、褒め言葉を伝える出来事から、話した人の意図、相手の反応、話した人の人物像を別々に表した例があります。名称は原論文の脚注でAn ATl…

2026年9月18日

感情が生まれた原因を会話から探すRECCON

発話を「喜び」「怒り」「悲しみ」と分類できても、なぜその感情になったかまで分かるとは限りません。原因は本人の発話内にあることも、相手が何ターンも前に話した出来事にあることもあります。感情語そのものを、原因と取り違える場合もあります。 RECCON（Recognizing Emotion Cause in CONversations）は、感情ラベルが付いた英語…

2026年9月18日

会話の途中で感情が変わる様子を記録したMELD

同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。 MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends…

2026年9月18日

AIは人間同士の誤解をどう学ぶのか｜会話の失敗と修復をデータにする

人間同士の会話でも、誤解は頻繁に起こります。聞き間違い、言葉の意味の取り違え、前提の違い、曖昧な指示。重要なのは、誤解が一度も起きないことではなく、問題へ気づき、確認し、会話を修復できることです。 AIに誤解を学ばせるには、間違った一文だけでなく、誤解が生まれ、表面化し、解消されるまでの流れを残す必要があります。誤解には複数の原因がある音声を別の単語とし…

2026年9月18日

AIに道徳や社会規範を教えるデータはどう作るのか｜誰の常識を正解にするか

AIに「してよいこと」と「してはいけないこと」を教えるには、正解付きのデータが必要です。しかし、道徳や社会規範には、計算問題のような唯一の正解がありません。公共の場で電話をする、友人の秘密を守る、困っている人を手伝う。判断は場面、文化、立場、被害の大きさによって変わります。規範は辞書ではなく場面の中にある「嘘は悪い」という原則があっても、人を傷つけない…

2026年9月18日

AIは沈黙や言いよどみから何を学ぶのか｜音声にならない会話情報のデータ化

「ええと」「その……」「うーん」。書き起こしでは削除されがちな表現ですが、会話では重要な働きをします。考えている、言いにくい、発話を続けたい、相手へ順番を渡したいといった状態が表れるからです。 AIとの自然な音声対話を考えるなら、言葉の内容だけでなく、発話の始まりと終わり、沈黙、重なり、相づちをデータとして残す必要があります。沈黙には複数の意味がある答え…

2026年9月18日

AIは会話相手との関係性を理解できるのか｜恋人・友人・上司を推論するデータ

「あとで話そう」という一言は、親しい友人同士なら軽い約束でも、上司から部下へ向けられれば緊張を生むかもしれません。会話の意味は、言葉だけでなく、誰と誰が話しているかによって変わります。 AIが会話を適切に解釈するには、話者の関係性、親密さ、上下関係、場面を理解する必要があります。しかし、人間関係は名札のように会話へ書かれているわけではありません。関係性は会…

2026年9月18日

AIは嘘や冗談をどう見分けるのか｜言葉どおりではない発話を学ぶデータ

人は「最高だね」という一言を、心からの称賛にも、失敗への皮肉にも使います。冗談を真顔で言うこともあれば、本当の話が冗談のように聞こえることもあります。 AIが嘘や冗談を理解するには、単語の意味だけでなく、直前の出来事、話者の意図、声の調子、表情、聞き手の反応まで見る必要があります。本記事では、言葉どおりではない発話を研究する際、どのようなデータが使われるのか…

2026年9月18日

発言の理由は会話のどこにある？原因・動機・反応を付けたCICERO

会話では、話し手が理由をすべて言葉にするとは限りません。「今日はマクドナルドにしよう」という発言だけを見ても、空腹なのか、時間がないのか、安く済ませたいのかは決められません。前後の発言と日常的な常識を合わせて、初めてもっともらしい理由を考えられます。 CICERO（Contextualized Commonsense Inference in Dialogu…

2026年9月18日

恋人か友人かを会話だけで推論するSCRIPTS

同じ「はい」でも、上司への返答と親しい友人への返答では、言葉遣いも距離感も異なります。しかし短い会話だけでは、二人が恋人、友人、同僚のどれかを一つに決められないことがあります。 SCRIPTSは、その曖昧さを残してLLMの関係推論を評価するため、英語と韓国語の映画脚本を対話単位へ切り出し、複数の関係候補を付けたベンチマークです。 SCRIPTSの正解は、映画…

2026年9月18日

「朝5時にミキサーを使うのは失礼」をデータにしたSocial Chemistry 101

「朝5時にミキサーを使うのは失礼だ」。多くの人はその意味を理解できますが、一般的な辞書や法律に書かれた知識ではありません。時間帯、騒音、同居人や近隣への配慮といった、暗黙の社会規範を使って判断しているからです。 Social Chemistry 101は、このような日常の社会的・道徳的判断を、短い「経験則」と複数の構造化ラベルにした英語データセットです。20…

2026年9月18日

感情は一つに決められる？58,009件を複数人で分類したGoEmotions

文章の感情を「喜び・怒り・悲しみ」だけに分けると、感謝、安堵、失望、困惑、後悔といった違いが失われます。一方で、ラベルを細かくするほど、「怒り」と「苛立ち」、「悲しみ」と「悲嘆」の境界は曖昧になります。それでは、細かな感情を扱いながら、評価者による判断の違いも記録するには、どのようなアノテーションを設計すればよいのでしょうか。 GoEmotionsは、英語…

2026年9月17日

人の動機や感情を三択問題にしたデータセットSocialIQA

「秘密を話すために相手へ近づいた」「床へ食べ物をこぼしてしまった」。人は、その人物がなぜそうしたのか、次に何をしそうか、どのような気持ちになるかを状況から推測できます。しかし、答えが文中に直接書かれているとは限りません。 SocialIQAは、こうした人の行動や感情に関する推論を三択問題にした英語データセットです。状況を示す文、質問、三つの回答候補をどのよう…

2026年9月17日

皮肉かどうかは誰が決める？投稿者本人の意図を集めたiSarcasm

「すばらしい一日だ」と書かれていても、本当に満足しているのか、出来事を皮肉っているのかは、文章だけでは決められません。第三者には皮肉に見えても、書いた本人にはそのつもりがないことがあります。反対に、本人が皮肉として書いた文章が、事情を知らない人には額面どおりに読まれることもあります。皮肉検出用データセットでは、誰の判断を記録するのでしょうか。iSarcas…

2026年9月17日

AIは皮肉や遠回しな表現をどう理解する？会話の「言外の意味」を学ぶデータ

「今日も早いですね」という言葉は、出勤が早い人への感心かもしれません。しかし、遅刻してきた人へ向けられたなら、反対の意味を持つ皮肉かもしれません。「検討します」「少し難しいかもしれません」「大丈夫です」といった表現も、文字どおりの意味だけでは判断できません。話者同士の関係、直前の会話、声の調子、共有している知識によって、承諾、保留、断りなどに意味が変わりま…

2026年9月17日

AIに「常識」を教えるデータはどう作る？因果関係・動機・社会規範の学習

床へコップを落とせば割れるかもしれない。約束に遅れれば相手が不快に感じる。贈り物を受け取ったら、お礼を伝えることが期待される。このような知識は、日常生活では一つずつ説明されません。人は経験や周囲とのやり取りを通じて身に付け、会話や行動を理解するときに使っています。一方、AIが文章に書かれた情報だけを処理すると、出来事の原因、次に起こりそうなこと、人物の動…

2026年9月17日

AIは人の感情や会話の文脈をどう学ぶ？公開論文から学習データを読み解く

AIに感情を覚えさせる、相手の気持ちを理解させる、会話の空気を読ませる。このような研究が進んでいると聞くと、AIが人間と同じように喜んだり悲しんだりする姿を想像するかもしれません。しかし、現在の研究で行われているのは、AIの内側に人間と同じ感情を生み出すこととは少し異なります。人が会話を見たり聞いたりして、「この発話は怒りを表している」「この出来事が悲し…

2026年9月17日

AI学習データの収集を受託会社へ相談するときに伝えること

AI学習データの収集を外部へ相談したいものの、「仕様が固まっていないので、まだ問い合わせられない」と考える研究者や開発担当者がいます。しかし、収集できる人数、必要な期間、検品方法、費用は互いに関係します。すべてを決めてから相談すると、実際には集めにくい条件や、予算に収まらない工程が後から分かることがあります。本記事では、AI学習データ収集を受託会社へ相談…

2026年9月17日

AI学習データ収集のスケジュールはどう立てる？納期から逆算する工程設計

AI学習データの収集について、「1か月後までに1,000件必要です」と相談を受けることがあります。しかし、1日に100件集められるなら10日で終わる、という計算どおりに進むとは限りません。データ収集には、参加者を募集する前の準備と、集めた後の確認があります。試して初めて分かる条件違反もあり、不足分の再収集が必要になる場合もあります。本記事では、AI学習デ…

2026年9月17日

アノテーション仕様書は一度では完成しない｜判断基準をそろえる改善工程

画像へ枠を付ける、発話へラベルを付ける、文章を分類する。アノテーション作業は、仕様書にルールを書けば同じ結果が得られるように見えます。しかし、実際に作業を始めると、仕様書では想定していなかった例が必ず現れます。一部だけ写った物を含めるのか、二つのカテゴリに当てはまる場合はどうするのか、聞き取れない音声をどう表すのか。作業者が迷うたびに判断が分かれます。ア…

2026年9月17日

AI学習データの収集は研究計画の段階で相談してほしい｜必要なデータが集まらない理由

AIや機械学習の研究では、どのようなデータを使うかが研究結果を大きく左右します。研究テーマを決め、必要なデータを想定し、研究費を確保してから、収集を依頼する会社を探す。このような順番で進めることも多いでしょう。しかし、データ収集について相談を受けた時点で、すでに予定どおりの実施が難しくなっていることがあります。必要な属性の参加者がほとんどいない。指定され…

2026年9月16日

データ作業の品質管理はどう設計する？許容エラー率と検品方法の決め方

データ入力やアノテーションのご相談では、「間違いがない状態で納品してほしい」と求められることがあります。もちろん、誤りを減らすことは重要です。しかし、人が作業し、人が確認する工程でエラー率0%を保証しようとすると、想像以上の費用と時間が必要になります。反対に、費用を抑えるために検品を減らせばよいとも限りません。誤りが後工程へ与える影響によっては、修正費用や…

2026年9月16日

クラウドソーシングとは？言葉が消えても身近に残る仕組み

「クラウドソーシング」という言葉を、以前ほど聞かなくなりました。インターネットを通じて仕事を依頼するサービスが注目された時期には、在宅ワークや副業とともに広く使われていました。現在は、AI、アノテーション、ギグワーク、オンラインBPO、Human-in-the-loopなど、別の言葉で説明される場面が増えています。しかし、クラウドソーシングの考え方がなく…

BPO業務設計ラボ

2026年9月16日