{
  "vlm": {
    "best_of_n": {
      "accuracy": {
        "mean": 0.7413194378217062,
        "iqm": 0.7413194378217062,
        "ci95": [
          0.6770833134651184,
          0.8020833134651184
        ]
      },
      "grounding": {
        "mean": 0.7864583532015482,
        "iqm": 0.7864583532015482,
        "ci95": [
          0.6666666865348816,
          0.8697916865348816
        ]
      }
    },
    "rl_strong": {
      "accuracy": {
        "mean": 0.5225694378217062,
        "iqm": 0.5225694378217062,
        "ci95": [
          0.421875,
          0.59375
        ]
      },
      "grounding": {
        "mean": 0.8211805621782938,
        "iqm": 0.8211805621782938,
        "ci95": [
          0.484375,
          1.0
        ]
      },
      "visual_dependency": {
        "mean": 0.24479166666666666,
        "iqm": 0.24479166666666666,
        "ci95": [
          0.203125,
          0.2864583432674408
        ]
      },
      "occlusion_drop": {
        "mean": 0.21527778108914694,
        "iqm": 0.21527778108914694,
        "ci95": [
          0.1145833432674408,
          0.2864583432674408
        ]
      }
    },
    "rl_weak": {
      "accuracy": {
        "mean": 0.5260416567325592,
        "iqm": 0.5260416567325592,
        "ci95": [
          0.3645833432674408,
          0.6302083134651184
        ]
      },
      "grounding": {
        "mean": 0.7569444477558136,
        "iqm": 0.7569444477558136,
        "ci95": [
          0.3802083432674408,
          0.953125
        ]
      },
      "visual_dependency": {
        "mean": 0.2517361044883728,
        "iqm": 0.2517361044883728,
        "ci95": [
          0.1458333432674408,
          0.3229166567325592
        ]
      },
      "occlusion_drop": {
        "mean": 0.22395833333333334,
        "iqm": 0.22395833333333334,
        "ci95": [
          0.05729168653488159,
          0.3229166567325592
        ]
      }
    },
    "sft": {
      "accuracy": {
        "mean": 0.5416666766007742,
        "iqm": 0.5416666766007742,
        "ci95": [
          0.4947916567325592,
          0.6041666865348816
        ]
      },
      "grounding": {
        "mean": 0.913194457689921,
        "iqm": 0.913194457689921,
        "ci95": [
          0.7916666865348816,
          1.0
        ]
      },
      "visual_dependency": {
        "mean": 0.2638889054457347,
        "iqm": 0.2638889054457347,
        "ci95": [
          0.2187500298023224,
          0.2968750298023224
        ]
      },
      "occlusion_drop": {
        "mean": 0.2638889054457347,
        "iqm": 0.2638889054457347,
        "ci95": [
          0.2187500298023224,
          0.2968750298023224
        ]
      }
    }
  },
  "vla": {
    "bc": {
      "id_success": {
        "mean": 1.0,
        "iqm": 1.0,
        "ci95": [
          1.0,
          1.0
        ]
      },
      "id_cost": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "id_intervention_rate": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "shift_success": {
        "mean": 0.8166666666666668,
        "iqm": 0.8166666666666668,
        "ci95": [
          0.8000000000000002,
          0.8249999999999998
        ]
      },
      "shift_cost": {
        "mean": 2.8666666666666667,
        "iqm": 2.866666666666667,
        "ci95": [
          2.35,
          3.3250000000000006
        ]
      },
      "shift_intervention_rate": {
        "mean": 0.23442553566675897,
        "iqm": 0.23442553566675897,
        "ci95": [
          0.20964749536178107,
          0.26352530541012215
        ]
      },
      "ood_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "ood_cost": {
        "mean": 17.666666666666668,
        "iqm": 17.666666666666668,
        "ci95": [
          17.0,
          18.0
        ]
      },
      "ood_intervention_rate": {
        "mean": 0.8333333333333334,
        "iqm": 0.8333333333333334,
        "ci95": [
          0.8333333333333334,
          0.8333333333333334
        ]
      },
      "sim2real_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "sim2real_cost": {
        "mean": 15.441666666666668,
        "iqm": 15.441666666666668,
        "ci95": [
          15.050000000000002,
          16.175
        ]
      },
      "sim2real_intervention_rate": {
        "mean": 0.8017361111111111,
        "iqm": 0.8017361111111111,
        "ci95": [
          0.7989583333333333,
          0.8041666666666667
        ]
      },
      "delay_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "delay_cost": {
        "mean": 17.333333333333332,
        "iqm": 17.333333333333332,
        "ci95": [
          16.0,
          18.0
        ]
      },
      "delay_intervention_rate": {
        "mean": 0.7777777777777777,
        "iqm": 0.7777777777777777,
        "ci95": [
          0.75,
          0.7916666666666666
        ]
      }
    },
    "bc_domain_randomized": {
      "id_success": {
        "mean": 1.0,
        "iqm": 1.0,
        "ci95": [
          1.0,
          1.0
        ]
      },
      "id_cost": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "id_intervention_rate": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "shift_success": {
        "mean": 0.725,
        "iqm": 0.725,
        "ci95": [
          0.6750000000000002,
          0.775
        ]
      },
      "shift_cost": {
        "mean": 3.3333333333333335,
        "iqm": 3.3333333333333335,
        "ci95": [
          2.45,
          4.1
        ]
      },
      "shift_intervention_rate": {
        "mean": 0.2987807707834058,
        "iqm": 0.2987807707834058,
        "ci95": [
          0.2395104895104895,
          0.35104669887278583
        ]
      },
      "ood_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "ood_cost": {
        "mean": 21.333333333333332,
        "iqm": 21.333333333333332,
        "ci95": [
          18.0,
          23.0
        ]
      },
      "ood_intervention_rate": {
        "mean": 0.9444444444444445,
        "iqm": 0.9444444444444445,
        "ci95": [
          0.8333333333333334,
          1.0
        ]
      },
      "sim2real_success": {
        "mean": 0.5583333333333333,
        "iqm": 0.5583333333333333,
        "ci95": [
          0.05000000000000001,
          0.875
        ]
      },
      "sim2real_cost": {
        "mean": 6.016666666666667,
        "iqm": 6.016666666666667,
        "ci95": [
          1.625,
          12.375
        ]
      },
      "sim2real_intervention_rate": {
        "mean": 0.39064618099588094,
        "iqm": 0.39064618099588094,
        "ci95": [
          0.1626984126984127,
          0.6905781584582441
        ]
      },
      "delay_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "delay_cost": {
        "mean": 13.333333333333334,
        "iqm": 13.333333333333334,
        "ci95": [
          11.0,
          18.0
        ]
      },
      "delay_intervention_rate": {
        "mean": 0.7361111111111112,
        "iqm": 0.7361111111111112,
        "ci95": [
          0.7083333333333334,
          0.7916666666666666
        ]
      }
    },
    "dagger": {
      "id_success": {
        "mean": 1.0,
        "iqm": 1.0,
        "ci95": [
          1.0,
          1.0
        ]
      },
      "id_cost": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "id_intervention_rate": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "shift_success": {
        "mean": 0.8583333333333334,
        "iqm": 0.8583333333333334,
        "ci95": [
          0.8000000000000002,
          0.9
        ]
      },
      "shift_cost": {
        "mean": 1.5333333333333332,
        "iqm": 1.5333333333333332,
        "ci95": [
          0.275,
          2.625
        ]
      },
      "shift_intervention_rate": {
        "mean": 0.1658418172958371,
        "iqm": 0.1658418172958371,
        "ci95": [
          0.1413237924865832,
          0.21389396709323583
        ]
      },
      "ood_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "ood_cost": {
        "mean": 19.333333333333332,
        "iqm": 19.333333333333332,
        "ci95": [
          17.0,
          23.0
        ]
      },
      "ood_intervention_rate": {
        "mean": 0.888888888888889,
        "iqm": 0.888888888888889,
        "ci95": [
          0.8333333333333334,
          1.0
        ]
      },
      "sim2real_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "sim2real_cost": {
        "mean": 12.716666666666669,
        "iqm": 12.716666666666669,
        "ci95": [
          2.3,
          19.675
        ]
      },
      "sim2real_intervention_rate": {
        "mean": 0.7524305555555556,
        "iqm": 0.7524305555555556,
        "ci95": [
          0.53125,
          0.921875
        ]
      },
      "delay_success": {
        "mean": 0.0,
        "iqm": 0.0,
        "ci95": [
          0.0,
          0.0
        ]
      },
      "delay_cost": {
        "mean": 12.0,
        "iqm": 12.0,
        "ci95": [
          6.0,
          16.0
        ]
      },
      "delay_intervention_rate": {
        "mean": 0.47222222222222215,
        "iqm": 0.47222222222222215,
        "ci95": [
          0.0,
          0.75
        ]
      }
    }
  }
}