OpenAIのLifeValには採点方法がなく、AWSの小型エージェントには請求額がない
OpenAIは日常の作業で90〜100%のLifeValを公開し、AWSはエージェントを40億パラメータのモデルに蒸留。自分の仕事で試す小さな検証を2つ紹介します。
11月2日に公開された2つのページには、思わずうなずきたくなる数字が並んでいます。OpenAIは、幼稚園選びから、糖尿病と診断されたばかりの家族の食事計画まで、日常の5つの作業で90.4%から100%のスコアを示しました。AWSは、40億パラメータのモデル（パラメータはモデル内部の数値で、多いほどモデルは大きくなります）が、自分を教えた大きなモデルと買い物の作業で同等だと述べています。どちらの数字も、提示した側自身が測ったものです。そして、どちらにも判断に必要な部分が欠けています。OpenAIのページには採点の方法の説明がなく、AWSの記事には1件の作業を終えるまでの費用が載っていません。
OpenAIのLifeVal：日常の作業で高得点、採点方法は見当たらない
11月2日、OpenAIはLifeValを公開しました。AIが日々の用事をどこまでこなせるかを測る評価（モデルを採点するための固定された作業の集まり）で、保育先探し、行政手続き、予算づくり、通学の準備、食事の注文などを扱います。OpenAIによると、作業は、人々の時間の使い方を調べた2つの調査（American Time Use SurveyとMultinational Time Use Study）と、回答者3,995人の新しい調査から選び、この評価を過去1年のモデルの進歩を追うために使ったとのことです。
ページには得点付きの例が5つあります。引っ越し後の幼稚園選びが93.1%、洪水前のボランティアの調整が98.0%、予算と送り迎えの通勤に合う住宅探しが100%、祖母と離れた場所から試合を観る方法の用意が96.3%、糖尿病と診断されたばかりの親の食事計画が90.4%です。同社は、最新のモデルはLifeValの多くの作業で非常に高い得点を出していると書いています。
ベトナムで働く人にとって、この数字は「自分の仕事をこなせるのか」という問いにはまだ答えていません。紹介ページには、誰または何が採点するのか、住宅探しの100%が何を意味するのか（すべての条件を満たしたのか、1軒を選んだだけなのか）の説明がありません。また「最新のモデル」とあるだけで、モデル名も挙げていません。住宅探しの例は米国の郡に結び付いていて、譲渡税の計算や、権利証書をその郡のカートに入れる操作が含まれます。土台になった2つの調査の1つは米国のもので、どの作業がベトナムのサービスに当てはまるのかは書かれていません。
今週の課題は、LifeValの小さな版を自分で作ることです。繰り返している作業、たとえば3つの見積もりの比較や、子どものための学校3校の絞り込みを選び、AIに聞く前に成り立つべき条件を4〜5個書き出します。そのあと、各条件を公式の情報源と照らし合わせて、いくつ成り立ったか、AIが何回聞き返してきたか、直すのにどれだけ時間がかかったかを記録します。他人の93.1%ではなく、自分の作業についての本物の数字が手に入ります。
AWSがエージェントを蒸留：小さなモデルは大きなモデルと同等、請求額はまだ
同じ日、AWSはknowledge distillation（知識蒸留。大きなモデルに作業をさせ、その答えをまねるよう小さなモデルを教える方法）の技術解説を公開しました。大きなモデルのテキストだけを使う版で、SeqKDと呼ばれます。例は買い物をするエージェント（自分で何段階もツールを呼び出すAIソフトウェア）です。大きなモデルのGLM-5.3がAmazon Bedrock（用意されたモデルを呼び出すAWSのサービス）上でエージェント役を務めて作業の流れを生成し、ShoppingBench（買い物の試験セット）の採点器が、課題を正しく解けた流れだけを残します。それらを使って、Amazon SageMaker AI（モデルの学習と実行のためのAWSのサービス）上で小さなモデルQwen3.5-4Bを学習させます。
学習に使わず取っておいた324問で、蒸留した小さなモデルの平均成功率（ASR）は0.541で、学習前の0.297を上回りました。先生役の大きなモデルは、ランダムなサンプリングで0.511、最も決まった答えを出す設定で0.540です。中規模のフロンティアモデル（現在最も強力なモデル群）は0.546でした。AWS自身は、4Bのモデルは先生の品質のほとんどを取り戻し、実行ごとのばらつきの範囲内だと結論づけています。ツール呼び出しだけでなく先生の推論も残すと、約13ポイント上乗せされます。代償はIFEval（「ちょうど3つの箇条書きで答える」のような、確認できる指示に従う力を測る試験）で、プロンプト単位の厳密な基準では0.819から0.741に、指示単位の厳密な基準では0.872から0.813に下がりました。
判断する人にとって最も大事な部分は、記事の終わりにあります。AWSは、1件あたりの費用や遅延は利用量によって変わるため公表しないと書いています。大きなモデルをAPI（プログラムがサービスを呼び出すための入口）経由で呼ぶと、各ステップでトークン（モデルが処理する文字の単位）ごとに課金されます。一方、自分で立てたモデルをサーバーで動かすと、1件を処理しても何千件を処理しても時間単位で課金されます。つまり利用量が少ないと、小さなモデルが安いとは限りません。またAWSは、この方法は作業が小さなモデルの手の届く範囲にあるときだけ有効だと警告しています。差が大きすぎると、モデルは答えの形をまねるだけで、作業を解けません。
大きなモデルで動くエージェントに費用を払っているチームは、成功率1つだけを根拠に小さなモデルへの切り替えを承認しないでください。今週の課題は、答えが分かっている実際の作業を30〜50件集め、両方のモデルで走らせ、実際の利用量での1件あたりの費用を記録することです。AWSの0.541は、同社の買い物の試験についての数字にすぎません。
2つに共通する1つの問い
上の2つの試し方は、この記事の提案であり、まだ実行していません。
スコアを出した側に、測定のどの部分が公表されていないのかを1つ尋ねてください。LifeValでは採点方法、AWSの記事では請求額です。答えは、今日の午後に自分で試せる小さな作業の中にあることが多いものです。
参考資料
- OpenAI, “LifeVal”（2026年11月2日） — OpenAI自身の紹介ページ。この記事が読んだのはこのページだけです。
- Zappia, Agarwal, Dashti, Oguike, “Build efficient agents with knowledge distillation on Amazon SageMaker AI”, AWS Machine Learning Blog（2026年11月2日） — AWSの技術記事。