AIが書いた会議後のメールで、1行が提案を約束に変えているかもしれない
AIが書いたフォローアップメールの動詞を元の会議メモと一つずつ見比べ、提案を約束に変えてしまった行を見つけて、送る前に直す方法です。
会議のあとにAIが書くフォローアップメールは、たいていとてもなめらかに読めます。ここに、その一例を元のメモと並べて示します。5行のメールのうち1行は、会議で話した以上のことを言っています。
会議もチームも名前も、説明のために作った架空のものです。この記事は実際のメモを使わず、特定のAIモデルの性能も測っていません。
元のメモ（人事チームの会議、9月21日）：
- 新入社員の歓迎会を9月28日（月）の午前に開くことで、チーム内で合意した。
- ハインが、その朝に3階の会議室が空いているか受付に聞く予定。
- トゥンがウェルカムギフト12セットの購入を提案した。予算はまだ承認されていない。
- フックが、新入社員2人分のパソコンが2台あるか、倉庫の在庫を確認する予定。
- 労働安全研修の日程はまだ決まっていない。AIが書いたフォローアップメール：
皆さん、9月21日の会議を受けて、以下のとおり決まりました。
1. 新入社員の歓迎会は9月28日（月）の午前に行います。
2. ハイン：3階の会議室について受付に聞く。
3. トゥン：ウェルカムギフト12セットを購入する。
4. フック：パソコンの在庫を倉庫で確認する。
5. 労働安全研修の日程は後日お知らせします。メール全体ではなく、動詞を一つずつ読む
先を読む前に、自分で探してみてください。メモより多くのことを言っているのは、どの行でしょうか。
探し方は、「このメールはもっともらしい」という感覚を脇に置いて、各行の動詞をメモの動詞と見比べることです。1行目は「行います」で、メモは「開くことで合意した」なので一致しています。2行目と4行目は「聞く」「確認する」で、メモは「聞く予定」「確認する予定」です。どちらもまだやるべき作業であって結果ではないので、一致です。5行目の「後日お知らせします」は、メモの「まだ決まっていない」と一致します。
3行目だけが合いません。メモには「購入を提案した」と「予算はまだ承認されていない」とあります。メールは「購入する」と書き、冒頭にも「以下のとおり決まりました」とあります。メールを読んだ人は、ギフト12セットは承認済みだと受け取るでしょう。提案が、確定事項に格上げされた箇所です。
NISTは、生成AIのリスクに関する文書AI 600-1で、この種の誤りをconfabulation（作話）と呼んでいます。間違った内容を、自信ありげに示すことです。会議メールで起きる誤りは、意味不明な文であることはまれです。多くは、元の記述より動詞が一段強くなっているだけです。
見つけた箇所を、ちょうど1行で記録する
メールごとに、見つけた箇所を3つの部分からなる1行にして残します。
メールの文： 3. トゥン：ウェルカムギフト12セットを購入する。
メモの文： トゥンがウェルカムギフト12セットの購入を提案した。予算はまだ承認されていない。
修正後： トゥンがギフト12セットの購入を提案。予算の承認待ち。その文を直したら、冒頭の「以下のとおり決まりました」を「会議の要約」に変えます。「決まりました」が残っていると、5行すべてが確定事項のように見えてしまうからです。そこまで済んで、はじめてメールを送れる状態になります。問題が複数見つかったら、上のように1件1行で記録し、まとめてしまわないでください。
AIにも見直してもらう。ただし引用は自分で確かめる
2つの文章をAIに渡して、次のように頼むこともできます。
メールの各行をメモと照らし合わせてください。各行について、根拠になるメモの文をそのまま写してください。
根拠になる文がなければ「見つからない」と書いてください。メモより強い動詞を使っている行を指摘してください。
メモは直さないでください。（依頼文は、手元のメモと同じ言語で書いてください。）
メールが長いとき、AIは人より速く見つけてくれます。ただし、引用がそれらしく見えるだけで信用してはいけません。検索機能（Ctrl+F）で、その文が元のメモにあるか探してください。なければ、その行は未確認として扱います。
この確認だけでは足りないとき
この手順どおりにやっても、AIが3行目を「一致」と答える場合や、示された引用がメモにない場合は、依頼文を変え続けないでください。会議に出た人に確認してもらうべきというサインです。メモ自体が矛盾している場合や、実際の決定があなたの持っている部分の外で行われた場合も同じです。
会議に機微な情報が含まれるときは、組織が認めているアカウントとツールを使うか、機微な部分を取り除いてからチャットボットに渡してください。
Sources
- Best practices for prompt engineering with the OpenAI API — OpenAI — やってほしい作業、文脈、望む出力の形を明確にして依頼を書くためのガイド。AIに見直しを頼む依頼文の書き方を補うために使っています。
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) — NIST — 生成AIのリスクを扱った一次資料で、confabulationも含まれます。なめらかに書かれたメールが正しさの証拠にならない理由を確かめるために使っています。