{
  "aggregate": {
    "bc": {
      "cost_seed_means": [
        5.520833333333333,
        3.5,
        3.0416666666666665
      ],
      "cost_task_bootstrap": {
        "ci95_high": 4.493055555555555,
        "ci95_low": 3.5833333333333335,
        "mean": 4.020833333333333
      },
      "recovery_seed_means": [
        0.0,
        0.3333333333333333,
        0.0
      ],
      "recovery_task_bootstrap": {
        "ci95_high": 0.18055555555555555,
        "ci95_low": 0.041666666666666664,
        "mean": 0.1111111111111111
      },
      "steps_seed_means": [
        4.375,
        3.3333333333333335,
        3.0
      ],
      "steps_task_bootstrap": {
        "ci95_high": 3.8472222222222223,
        "ci95_low": 3.3333333333333335,
        "mean": 3.5694444444444446
      },
      "success_seed_means": [
        0.5416666666666666,
        1.0,
        0.9166666666666666
      ],
      "success_task_bootstrap": {
        "ci95_high": 0.9027777777777778,
        "ci95_low": 0.7222222222222222,
        "mean": 0.8194444444444444
      },
      "tool_errors_seed_means": [
        2.2916666666666665,
        0.3333333333333333,
        0.08333333333333333
      ],
      "tool_errors_task_bootstrap": {
        "ci95_high": 1.3336805555555535,
        "ci95_low": 0.5138888888888888,
        "mean": 0.9027777777777778
      }
    },
    "reinforce_shaped": {
      "cost_seed_means": [
        4.145833333333333,
        3.8333333333333335,
        3.2083333333333335
      ],
      "cost_task_bootstrap": {
        "ci95_high": 3.9722222222222223,
        "ci95_low": 3.486111111111111,
        "mean": 3.7291666666666665
      },
      "paired_delta_vs_bc": {
        "ci95_high": 0.2777777777777778,
        "ci95_low": 0.09722222222222222,
        "mean": 0.18055555555555555
      },
      "recovery_seed_means": [
        0.4583333333333333,
        0.3333333333333333,
        0.08333333333333333
      ],
      "recovery_task_bootstrap": {
        "ci95_high": 0.3888888888888889,
        "ci95_low": 0.18055555555555555,
        "mean": 0.2916666666666667
      },
      "steps_seed_means": [
        3.9166666666666665,
        3.6666666666666665,
        3.1666666666666665
      ],
      "steps_task_bootstrap": {
        "ci95_high": 3.8055555555555554,
        "ci95_low": 3.388888888888889,
        "mean": 3.5833333333333335
      },
      "success_seed_means": [
        1.0,
        1.0,
        1.0
      ],
      "success_task_bootstrap": {
        "ci95_high": 1.0,
        "ci95_low": 1.0,
        "mean": 1.0
      },
      "tool_errors_seed_means": [
        0.4583333333333333,
        0.3333333333333333,
        0.08333333333333333
      ],
      "tool_errors_task_bootstrap": {
        "ci95_high": 0.4027777777777778,
        "ci95_low": 0.19444444444444445,
        "mean": 0.2916666666666667
      }
    },
    "reinforce_terminal": {
      "cost_seed_means": [
        3.6875,
        3.5,
        3.125
      ],
      "cost_task_bootstrap": {
        "ci95_high": 3.6041666666666665,
        "ci95_low": 3.2916666666666665,
        "mean": 3.4375
      },
      "paired_delta_vs_bc": {
        "ci95_high": 0.2777777777777778,
        "ci95_low": 0.09722222222222222,
        "mean": 0.18055555555555555
      },
      "recovery_seed_means": [
        0.4583333333333333,
        0.3333333333333333,
        0.08333333333333333
      ],
      "recovery_task_bootstrap": {
        "ci95_high": 0.4027777777777778,
        "ci95_low": 0.19444444444444445,
        "mean": 0.2916666666666667
      },
      "steps_seed_means": [
        3.4583333333333335,
        3.3333333333333335,
        3.0833333333333335
      ],
      "steps_task_bootstrap": {
        "ci95_high": 3.4027777777777777,
        "ci95_low": 3.1944444444444446,
        "mean": 3.2916666666666665
      },
      "success_seed_means": [
        1.0,
        1.0,
        1.0
      ],
      "success_task_bootstrap": {
        "ci95_high": 1.0,
        "ci95_low": 1.0,
        "mean": 1.0
      },
      "tool_errors_seed_means": [
        0.4583333333333333,
        0.3333333333333333,
        0.08333333333333333
      ],
      "tool_errors_task_bootstrap": {
        "ci95_high": 0.4027777777777778,
        "ci95_low": 0.18055555555555555,
        "mean": 0.2916666666666667
      }
    }
  },
  "replay_check": "first evaluation trajectory reproduced exactly",
  "scale": "finite_tabular_policy_cpu",
  "seeds": {
    "17": {
      "bc": {
        "cost": 3.5,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.3333333333333333,
        "steps": 3.3333333333333335,
        "success": 1.0,
        "tool_errors": 0.3333333333333333
      },
      "reinforce_shaped": {
        "cost": 3.8333333333333335,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.3333333333333333,
        "steps": 3.6666666666666665,
        "success": 1.0,
        "tool_errors": 0.3333333333333333
      },
      "reinforce_terminal": {
        "cost": 3.5,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.3333333333333333,
        "steps": 3.3333333333333335,
        "success": 1.0,
        "tool_errors": 0.3333333333333333
      }
    },
    "29": {
      "bc": {
        "cost": 3.0416666666666665,
        "failure_taxonomy": {
          "premature_or_wrong_finish": 2,
          "success": 22
        },
        "recovery": 0.0,
        "steps": 3.0,
        "success": 0.9166666666666666,
        "tool_errors": 0.08333333333333333
      },
      "reinforce_shaped": {
        "cost": 3.2083333333333335,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.08333333333333333,
        "steps": 3.1666666666666665,
        "success": 1.0,
        "tool_errors": 0.08333333333333333
      },
      "reinforce_terminal": {
        "cost": 3.125,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.08333333333333333,
        "steps": 3.0833333333333335,
        "success": 1.0,
        "tool_errors": 0.08333333333333333
      }
    },
    "7": {
      "bc": {
        "cost": 5.520833333333333,
        "failure_taxonomy": {
          "budget_truncation": 11,
          "success": 13
        },
        "recovery": 0.0,
        "steps": 4.375,
        "success": 0.5416666666666666,
        "tool_errors": 2.2916666666666665
      },
      "reinforce_shaped": {
        "cost": 4.145833333333333,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.4583333333333333,
        "steps": 3.9166666666666665,
        "success": 1.0,
        "tool_errors": 0.4583333333333333
      },
      "reinforce_terminal": {
        "cost": 3.6875,
        "failure_taxonomy": {
          "success": 24
        },
        "recovery": 0.4583333333333333,
        "steps": 3.4583333333333335,
        "success": 1.0,
        "tool_errors": 0.4583333333333333
      }
    }
  }
}