アカウントを増やすかどうかは、金曜レポートの合計分数で決まる
作り物の金曜レポートでは、合計時間が減らなければ、チーム全員分のアカウントはまだ買いません。
この例での判断は、アカウントを追加で買わない、です。
倉庫チームの金曜の下書きは、出典の文がないまま「80%完了」と書き、試験の区切りである9月18日は[要確認]のまま残しました。メモが、倉庫の権限を誰が出すのかを書いていないからです。最初に測るのは、文がうまくなったかどうかではありません。手で書いた古い報告が3本あり、それぞれ100分、119分、101分かかっています。これは模擬の数字で、入力を集める時間、下書き、確認、足りない部分を聞く時間を足したものです。書く時間が25分短くなっても、確認が30分増えるなら、合計は減りません。
この記事は、チームリーダーと小さな事業のオーナーに向けたものです。一つのツールを何人かで使うために払う前に読みます。必要なのは、最終版を送ってよい人一名、すでに承認された古い報告が2本から4本、そして組織が許可しているツールです。先に匿名化したデータで行います。
下書きは、止まらなければならない場所を見せる
下の文は、印を付ける場所を示すために作った例です。特定のツールを一回動かした結果ではありません。
3. 決定が必要な障害
- 倉庫Aの権限がまだないため、データ入力が遅れている。
影響: 9月18日の試験の区切りが遅れるおそれがある。
必要な決定: [要確認: 権限を出す人と期限]。
出典のない数字:
- 「80%完了」— 入力の中に出典が見当たらない。残す価値があるのは[要確認]の印であり、丸く整った文ではありません。ツールが権限を出す人を自分で埋めたり、「遅れるおそれ」をすでに合意した約束に変えたりするなら、その下書きは試しを通過していません。
自分の報告で、四つの区間を足す
古い報告のそれぞれについて、四つの作業の実際の分数を書きます。入力を集める、下書きを書く、責任者が確認して直す、足りない情報を聞く、の四つです。合計はその四つです。二人が15分座って直したなら、労働時間は30分です。入力を整える分数は別に書きます。下書きの入力が速くなっても、入力を直す時間がその節約より長ければ、得にはなりません。
書類は一種類だけにします。たとえば毎週金曜に出す進捗報告です。顧客へのメール、売上の予測、人事の所見を同じ回に混ぜないでください。操作する人は最大二人です。給与、健康、未公表の契約、顧客の秘密、パスワードはツールに入れません。
NISTのAIリスク管理フレームワークは、役割をはっきりさせ、測り方をその作業に結び、やり直しができ、記録が残ることを求めています。小さなチームでは、最終版を送ってよい人の名前と、試しを止めてよい人の名前を書きます。
入力は同じ枠にそろえ、準備の分数と書く分数が混ざらないようにします。
プロジェクト／チーム:
報告の期間:
1. 完了したもの
- 作業:
- 根拠またはリンク:
- 確認した人:
2. 進行中
- 作業:
- 状態:
- 次の区切り:
- 担当:
3. 障害
- 問題:
- 影響:
- 必要な決定または支援:
4. 数字
- 指標:
- 値:
- 出典:
- 比べる期間:最初の週は、同じ入力で二本
最初の週は、同じメモから、手で書いた一本と、ツールを使った一本を作ります。手配できるなら、確認する人には、どちらに機械の手助けがあったかを知らせません。
<data>の中だけを使って、週次報告の下書きを作ってください。
数字、期限、担当、原因を自分で埋めないでください。
足りないときは[要確認]と書いてください。
構成:
1. 完了した結果
2. 進行中の作業
3. 決定が必要な障害
4. 指標と出典
5. 来週の作業
数字には必ず出典をかっこで付けてください。担当と区切りは
入力のまま残してください。下書きの末尾に、足りないデータ、
約束と読まれやすい文、出典のない数字を列挙してください。
<data>
[使ってよい入力を貼る]
</data>これは始めるための依頼文です。一つの決まったツールで実行してはいません。先に、どの文が正しいかを自分が知っている、匿名化済みの古い報告で動かします。ツールがデータを足すなら、それより機微な書類には進みません。
下書きが違っているとき
最初の版は残し、誤りに印を付け、出典と突き合わせるよう依頼します。
下書きの中の数字、担当、期限を一つずつ確認してください。
一覧を作ってください。書いた内容、<data>の中の出典の文、
結論に出典がある／ない。
出典がない項目は[要確認]に変えてください。
推測は足さないでください。その修正にかかった分数も合計に入れます。依頼文と入力を一度直したあとも同じ誤りが戻るなら、報告の種類を狭めるか、止めます。機微なデータが違う場所に渡ったとき、確認する人がいないまま下書きがお金や人事に触れたとき、一本ずつ読む時間のある人がいなくなったときは、すぐに止めます。
誤りは手で数えます。表は要りません。数字を自分で足した、人を取り違えた、障害を落とした、メモが確かめていないことを確かであるように書いた、データを漏らした、の五つです。データの漏えいは、文面を直して続ける理由ではなく、止める理由です。
NISTの生成AIプロファイルは、狭い一つの状況での確認結果が、別の作業に移っても同じとは限らない、と述べています。二週間で分かるのは、この種類の報告で続きを試す価値があるかどうかだけです。
見栄えのする数字を見る前に、線を書いておく
下の線は業界の基準ではありません。ツールを使った週の結果を見る前に書いておきます。
- 続けるのは、合計時間が少なくとも20%減り、重大な誤りが確認する人をすり抜けず、確認する人がその本数をまだ背負えるときです。
- 直してもう一度試すのは、時間は減ったが、繰り返す誤りが入力か依頼文に結びつき、変えるものが一つだけのときです。
- 止めるのは、合計が減らないとき、大部分を書き直すとき、重要な誤りが通ったとき、データのリスクがあるとき、確認する人が残っていないときです。
決定のメモに必要な行はこれだけです。報告の種類、本数、ツールと費用、前の合計分、後の合計分、繰り返した誤り、確認する人の分数、データのリスク、続けるか直すか止めるかの判断、翌週の範囲、署名する人、次に見る日。
続ける場合でも、広げるのは一段だけです。同じ種類の報告をするチームを一つ足すか、二週間足すかです。この試しは、記録した合計分、誤り、リスクから、買うか買わないかを決めるためのものです。ツールが一般に役立つことを証明するためのものではありません。
参考資料
- NIST AI Risk Management Framework 1.0 — 役割、責任、その作業に結び付いた測定。2023年1月公開。
- NIST AI 600-1, Generative AI Profile — 展開前の確認、狭い試しの限界、人が監督を続けること。2024年7月公開。