{
  "aggregate": {
    "grpo_strict": {
      "hidden_pass_at_1_task_bootstrap": {
        "ci95_high": 0.059895833333333336,
        "ci95_low": 0.034722222222222224,
        "mean": 0.046875
      },
      "paired_delta_vs_sft": {
        "ci95_high": 0.005208333333333333,
        "ci95_low": -0.029513888888888888,
        "mean": -0.012152777777777778
      },
      "seed_means": [
        0.046875,
        0.033854166666666664,
        0.059895833333333336
      ]
    },
    "grpo_weak": {
      "hidden_pass_at_1_task_bootstrap": {
        "ci95_high": 0.06336805555555555,
        "ci95_low": 0.036458333333333336,
        "mean": 0.049479166666666664
      },
      "paired_delta_vs_sft": {
        "ci95_high": 0.0,
        "ci95_low": -0.019965277777777776,
        "mean": -0.009548611111111112
      },
      "seed_means": [
        0.049479166666666664,
        0.049479166666666664,
        0.049479166666666664
      ]
    },
    "rejection_strict": {
      "hidden_pass_at_1_task_bootstrap": {
        "ci95_high": 0.0685763888888889,
        "ci95_low": 0.043402777777777776,
        "mean": 0.05555555555555555
      },
      "paired_delta_vs_sft": {
        "ci95_high": 0.004340277777777778,
        "ci95_low": -0.011284722222222222,
        "mean": -0.003472222222222222
      },
      "seed_means": [
        0.0546875,
        0.0546875,
        0.057291666666666664
      ]
    },
    "sft": {
      "hidden_pass_at_1_task_bootstrap": {
        "ci95_high": 0.07291666666666667,
        "ci95_low": 0.04600694444444445,
        "mean": 0.059027777777777776
      },
      "seed_means": [
        0.059895833333333336,
        0.057291666666666664,
        0.059895833333333336
      ]
    }
  },
  "budget_note": {
    "best_of_n_deployment_samples_per_task": 16,
    "rejection_and_each_grpo_training_rollouts": 46080,
    "warning": "BoN uses extra deployment samples; RL pass@1 follows offline training rollouts and is not compute-equivalent end-to-end."
  },
  "scale": "tiny_numpy_policy_cpu",
  "seeds": {
    "17": {
      "grpo_strict": {
        "best_of_n_strict_oracle": 0.4166666666666667,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.4166666666666667,
        "pass_at_4": 0.12916666666666665,
        "sampled_pass_at_1": 0.033854166666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.109375
      },
      "grpo_weak": {
        "best_of_n_strict_oracle": 0.5,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.5,
        "pass_at_4": 0.17825091575091576,
        "sampled_pass_at_1": 0.049479166666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.140625
      },
      "rejection_strict": {
        "best_of_n_strict_oracle": 0.5833333333333334,
        "greedy_accuracy": 0.041666666666666664,
        "pass_at_16": 0.5833333333333334,
        "pass_at_4": 0.20238095238095236,
        "sampled_pass_at_1": 0.0546875,
        "samples_per_task": 16.0,
        "weak_reward": 0.12760416666666666
      },
      "sft": {
        "best_of_n_strict_oracle": 0.5833333333333334,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.5833333333333334,
        "pass_at_4": 0.20741758241758243,
        "sampled_pass_at_1": 0.057291666666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.11979166666666667
      }
    },
    "29": {
      "grpo_strict": {
        "best_of_n_strict_oracle": 0.625,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.625,
        "pass_at_4": 0.2193452380952381,
        "sampled_pass_at_1": 0.059895833333333336,
        "samples_per_task": 16.0,
        "weak_reward": 0.033854166666666664
      },
      "grpo_weak": {
        "best_of_n_strict_oracle": 0.625,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.625,
        "pass_at_4": 0.18958333333333333,
        "sampled_pass_at_1": 0.049479166666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.19270833333333334
      },
      "rejection_strict": {
        "best_of_n_strict_oracle": 0.6666666666666666,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.6666666666666666,
        "pass_at_4": 0.21488095238095237,
        "sampled_pass_at_1": 0.057291666666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.10677083333333333
      },
      "sft": {
        "best_of_n_strict_oracle": 0.6666666666666666,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.6666666666666666,
        "pass_at_4": 0.2232142857142857,
        "sampled_pass_at_1": 0.059895833333333336,
        "samples_per_task": 16.0,
        "weak_reward": 0.10416666666666667
      }
    },
    "7": {
      "grpo_strict": {
        "best_of_n_strict_oracle": 0.5,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.5,
        "pass_at_4": 0.17321428571428568,
        "sampled_pass_at_1": 0.046875,
        "samples_per_task": 16.0,
        "weak_reward": 0.049479166666666664
      },
      "grpo_weak": {
        "best_of_n_strict_oracle": 0.5,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.5,
        "pass_at_4": 0.1797619047619048,
        "sampled_pass_at_1": 0.049479166666666664,
        "samples_per_task": 16.0,
        "weak_reward": 0.049479166666666664
      },
      "rejection_strict": {
        "best_of_n_strict_oracle": 0.625,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.625,
        "pass_at_4": 0.20446428571428568,
        "sampled_pass_at_1": 0.0546875,
        "samples_per_task": 16.0,
        "weak_reward": 0.046875
      },
      "sft": {
        "best_of_n_strict_oracle": 0.625,
        "greedy_accuracy": 0.0,
        "pass_at_16": 0.625,
        "pass_at_4": 0.2193452380952381,
        "sampled_pass_at_1": 0.059895833333333336,
        "samples_per_task": 16.0,
        "weak_reward": 0.052083333333333336
      }
    }
  }
}