ケビン・ウェイルKevin Weil · 分析視点KW-P03PRODUCT ADVISORY COUNCIL
作業に合わせてモデルと計算量を選ぶ
ケビン・ウェイルKevin Weil · 分析視点KW-P03方法の裏面
作業に合わせてモデルと計算量を選ぶ
品質、速度、費用の要件を分け、適切なモデルと推論への投入量を選びます。
使う場面
- 作業の種類が異なり、出力品質を観察できるとき。
自分に問う
- 速い反復処理で足りる工程と、強い推論が必要な工程はどれか？
- 計算量を増やす改善は待ち時間と費用に見合うか？
行動に移す
- 作業別に品質、遅延、費用の基準を設けます。
- 同じ作業で候補を比較し、失敗時に上位モデルや人へ引き継ぐ経路を設計します。
適用の限界
- 高価・低速なモデルほど信頼できるとは限りません。重大な失敗の費用を平均成功率で隠しません。
- 提供元のコスト低下予測は予算の保証ではありません。現在の実測価格と作業データで決めます。
- 成功率の低い作業を繰り返すには正しさを独立に検証できることが必要です。試行回数で高リスク作業の受け入れ検証を代替しません。