Harness² - 実行結果の比較と知識の蓄積でエージェントのハーネスを再帰的に改善

GitHub Stars18k
Forks1.7k
観測: 2026年10月23日

Harness²は、モデルの重みを固定したまま、エージェントを動かすプロンプト、ツール指示、記憶、実行制御などの「ハーネス」を改善するフレームワークだ。同じタスクを変更前後の設定で実行し、振る舞いの違いから新しいハーネスを合成する。さらに、採用した設定と実行証拠に基づく教訓を保存し、次のタスクの改善へ引き継ぐ。 中心にあるのは、現在のタスクを改善する反復と、タスクをまたいで改善方法を更新する反復を接続する設計だ。ただし、技術説明の根拠はREADMEであり、実装や動作を独立検証したものではない。特に、正解フィードバックなしで変更を採用する具体的な判断基準と、誤った教訓の蓄積を防ぐ方法は確認できない。

ポッドキャスト形式で聴く

約4分

AI生成の会話音声です。記事の要点を短くまとめています。

なぜ注目されているか

10月23日の観測で17,993 stars、1,741 forks。リポジトリ作成日は10月6日で、公開初期に関心を集めている。ただし、取得データの収集元はGitHubの新着検索で、日次スター増加数やTrendingの実際の掲載順位は確認できない。

なぜ重要なのか

エージェントが未見のタスクで失敗したとき、見直す対象はモデルの能力だけではない。与える文脈、ツールの説明、委譲の仕方、記憶の扱いも実行結果に関わる。Harness²は、こうした周辺設定を実行比較の対象にし、採用設定と根拠を次の改善へ渡そうとする。これが機能するなら、ハーネスの保守は固定の指示文を調整する作業から、候補を試し、証拠を比較し、再利用できる知識を管理する工程へ広がる。ただし、その移行には改善の再現性と、探索に使う費用・時間の釣り合いを確認する必要がある。

この記事に出てくる言葉(6語)
ハーネス

モデルをエージェントとして動かす周辺システム。プロンプト、ツール、記憶、スキル、実行の調整などを含む。

Task-level recursion

現在のタスクで変更候補を試し、その実行証拠からハーネスを改善する反復。

Harnessing-level recursion

採用したハーネスと教訓を保持し、タスクをまたいで改善方法を更新する反復。

Improvement harness

採用ハーネスと証拠に基づく教訓を永続的に保持し、次の改善を導く仕組み。

Executor

初期ハーネスや変更候補を使い、対象タスクを実際に実行する役割。

k

タスク内の再帰予算。並列モードでは候補探索と合成の数、逐次モードでは改善段階数を指定する。

1. 読む前に知っておきたいこと

固定した設定から、実行で確かめる設定へ

比較の出発点は、既存のベースハーネスでモデルを動かす構成だ。設計時に想定したタスクには合っていても、未見のタスクで同じ指示やツールの使い方が適切とは限らない。モデルの重みを変更せずに適応させるなら、実行を取り巻く設定が変更対象になる。

ただし、設定を書き換えるだけでは改善を判断できない。変更前と候補を実行し、何が変わったかを比較する工程が必要だ。また、あるタスクで役立った変更を次にも生かすには、設定だけでなく採用した根拠も残したい。Harness²が一つの流れとして扱うのは、この比較と継承である。

改善対象はプロンプトより広い

READMEが定義するハーネスは、モデルをエージェントとして動かす周辺システム全体を指す。編集対象として挙げるのは、system prompt、guardrails、memory、tool guidance、subagents、skills、scripts、pluginsの8要素だ。コンテキストの構築、ツールインターフェース、委譲、ミドルウェアに関わる。

この範囲を押さえると、Harness²の狙いが理解しやすい。回答の指示文だけを調整するのではなく、タスクを遂行する際の文脈や手段、その使わせ方まで変更候補に含める設計である。ただし、各要素を公開コードが具体的にどう編集・適用するかまでは、今回の資料から確認できない。

改善と正しさの評価を分けて読む

READMEによると、タスク内の改善では正解フィードバックを使わない。同じタスクを実行した際の振る舞いの違いを材料に、変更案を試して合成する。一方、ベンチマークの採点と集計は、その改善実行とは別コマンドで行う。

したがって、「正解を使わずに改善する」という説明を、正しさの確認が不要になるという意味で読むべきではない。候補を作って採用する工程と、結果を事後評価する工程は別に存在する。候補間の違いを観測できることと、その違いが品質向上を表すことも区別が必要だ。採用判断の詳細が不明な点は、この仕組みを評価するうえで中心的な留保になる。

2. どう動くのか

初期実行を基準に変更案を作る

READMEが示すパイプラインでは、まずAgent executorが初期ハーネスで対象タスクを実行する。既定のexecutorはOpenCodeで、--substrate cxを指定するとCodexを選べる。Harness²はこれらをタスクの実行役として使う構成であり、既存executorと組み合わせてハーネスを改善する位置にある。

次にHarness editorが、汎用候補とドメイン固有候補を提案する。ここまでがProposeに当たる。初期実行に続いて設定の異なる候補を用意し、それらを同じタスクで試すことで比較材料を得る。役割としては、タスクを解くexecutorと、その実行環境の変更を提案するeditorが分かれている。

Probeで証拠を集め、Composeで合成する

Probeでは、candidate probesとして候補ハーネスを同じタスクで実行する。比較するのは、初期実行と候補、あるいは候補同士の振る舞いだ。続くComposeでは、Harness composerが複数の実行の違いをもとに、改善したハーネスを合成する。READMEはこの流れをPropose–Probe–Composeと呼ぶ。

重要なのは、変更案を文章として評価するだけでなく、実際にタスクを実行して得た証拠を合成へ渡す点である。一方、どの観測を良い変化とみなし、競合する変更をどう扱うかという具体的な採用規則は記載されていない。「合成」という役割は示されているが、その説明だけから品質の保証までは導けない。

並列は探索を広げ、逐次は証拠を引き継ぐ

タスク内の再帰には並列と逐次のモードがあり、kで予算を指定する。並列モードではK個の汎用候補とK個のドメイン固有候補を試し、共有した証拠からK個の合成を生成する。複数の変更方向を並べて探索し、その実行結果を合成に使う構成だ。

逐次モードでは、改善したハーネスと蓄積した証拠を次へ渡し、Propose–Probe–ComposeをK段階進める。前段の変更と証拠が後段の出発点になる。同じkでも、並列では候補探索と合成の数、逐次では改善段階数を表すため、同じ予算指定をそのまま同一の仕事量とみなすべきではない。どちらが適するかは、探索の幅と段階的な改善を比較する実験課題になる。

タスク後の振り返りが次の改善へつながる

タスク内の反復に加え、Experience reflectorが各タスクを振り返る。採用したハーネスと証拠に基づく教訓を、永続的なimprovement harnessへ保持し、将来の改善を導く。これがタスクをまたぐHarnessing-level recursionであり、二層目の再帰に当たる。

引き継ぐ対象は、採用設定とその設定を支える教訓である。現在のタスクで得たものを、次に何を変更するかという改善側の入力へ戻す構造だ。ただし、保存の内部形式、教訓を適用する条件、誤った教訓の再利用を防ぐ方法はREADMEでは説明されていない。持続的に知識を残す設計だからこそ、何を残してよいかという判断が重要になる。

実行記録と採点条件をそろえる

結果はruns/配下に保存され、タスク要約、成果物、採用ハーネス、振り返り、評価を保持する。同じコマンドで再開できる一方、モデルやタスク選択を変更するときは、新しいHARNESS2_RUNS_DIRを使う必要がある。実行条件を変えた実験は、保存先も分けて扱う運用になる。

CLIではharness2が改善実行、harness2-judgeが採点、harness2-reportが集計を担う。これらではbenchmark、executor、subset、k、mode、seedをそろえる。対応ベンチマークはJobBench、LAB、WorkBuddy-Benchだ。また、認証不要のローカルデモは、決定的なeditorと実際のPython実行で両再帰モードを動かす。構造の確認には使えるが、モデルによる改善効果の検証とは分けて考えたい。

3. 使いどころと限界

既存executorに改善と比較の工程を足す

適合するのは、モデルの重みを変えずに、未見タスクへハーネスを適応させる研究・検証だ。OpenCodeやCodexを実行役に使い、候補変更の効果を対応ベンチマークで比較したい場合に位置づけが明確になる。並列で候補を広げるか、逐次で証拠を積み重ねるかを調べる用途にも合う。

固定ハーネスとの違いは、変更提案、候補実行、合成、次のタスクへの継承を工程として持つことにある。OpenCodeやCodexを置き換える関係ではなく、それらを使った実行の周囲に改善工程を加える。READMEの利用例からは、まずCLIで改善と採点を行う実験環境として評価するのが妥当だ。APIの安定性やexecutorの対応バージョンは、今回の資料では確定できない。

最大改善幅は再現条件とセットで読む

著者は、1回の改善ステップでベースハーネス比の最大改善幅として、WorkBuddy-Benchで11.5ポイント、JobBenchで4.5ポイント、LABのpartial pass rateで11.8パーセントポイントを報告している。報告全体はGLM-5とGemini 3.5 Flash、3ベンチマーク、4つのモデル・ハーネス構成を対象とする。

ただし、各最大値に対応する構成、元スコア、タスク数、seed、反復回数は取得したREADMEにない。WorkBuddy-BenchとJobBenchは指標の詳細定義も不明だ。各最大値が同じ構成で得られたとは確認できず、一般的な期待改善幅には置き換えられない。さらにAPI費用が発生し、候補を追加実行する設計だが、改善幅に対する費用・所要時間の定量比較もない。応答時間や予算が厳しい処理では、この不足が導入判断に直結する。

実行権限と評価の隔離は利用側の課題

READMEは、executorのネットワークアクセスが無制限で、Codexのサンドボックスは無効になると明記している。また、公開された正解や採点基準へのアクセスを防ぐネットワーク制限を、評価前に設定するよう求める。改善工程で正解フィードバックを与えない設計でも、実行環境から正解へ到達できるなら、評価の独立性は別途確認しなければならない。

報告された評価にどのネットワーク制限が適用されたかは不明で、評価漏洩を排除できない。厳しい隔離要件があり、executorの追加設定を検証できない環境には適合しにくい。ハーネスの改善効果を測る前提として、実行役がアクセスできる範囲を管理する責任が残る。

実験環境の依存関係とサポート範囲

導入手順はLinux、Python 3.12、uvを指定する。他OSの対応可否はREADMEから確認できない。モデルを使うベンチマークにはNode.js 20以上、Google Cloud CLI、モデル設定と認証が必要だ。設定例ではVertex AIのプロジェクトとモデルIDを指定する。さらにLABにはPandocとPoppler、WorkBuddy-BenchにはDockerが必要になる。

CLIを起動できることに加えて、モデル接続とベンチマーク固有の実行環境を用意する必要がある。Harness²自体はApache 2.0ライセンスだが、第三者コード、ベンチマーク、データセットには各上流ライセンスが適用される。また、Googleが公式にサポートする製品ではないため、公式製品サポートを必須とする運用には合わない。

このツールから考える

ここからは、一次情報と限界を踏まえた編集上の考察です。

Harness²の着眼点は、実行結果を次の設定変更の証拠として使い、採用ハーネスと教訓をタスクの外へ持ち越すことにある。この構造が有効なら、エージェントを保守する仕事には、指示を編集するだけでなく、改善の根拠を保存し、再利用の妥当性を確かめる工程が加わる。CLIで改善と評価を行う研究・検証は、その責任を見極める場になる。

Apache 2.0で公開されていることは、この仕組みを自分たちで検証する土台になる。ただし、公開されていることと、蓄積する教訓の信頼性は別の問題だ。採用基準や誤った教訓への対策が不明な現段階では、残った知識を無条件に改善とみなせない。注視したいのは、反復回数だけでなく、採用した変更の根拠と、その効果を後から確かめられるかである。

検証に使用した一次情報

DevTool Lensでは、第三者の二次情報やREADMEの宣伝文句に依存せず、以下の公式リポジトリ・ドキュメント・リリース情報を精査して記事を作成しています。