{
 "generated": "2026-10-28T16:42:08",
 "results": {
  "D_default": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.3758333333333333,
   "f1_v3": 0.3758333333333333,
   "in_tok": 3017.6666666666665,
   "out_tok": 532.1111111111111,
   "secs": 5.588888888888889,
   "cost": 0.005678222222222222,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.727,
    "T3": 0.24233333333333332,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.2856666666666667
   }
  },
  "C_default": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.3866111111111111,
   "f1_v3": 0.3866111111111111,
   "in_tok": 4718.5,
   "out_tok": 494.1111111111111,
   "secs": 5.2,
   "cost": 0.007189055555555555,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.727,
    "T3": 0.5926666666666667,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.0
   }
  },
  "B_default": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.24888888888888885,
   "f1_v3": 0.24888888888888885,
   "in_tok": 27952.833333333332,
   "out_tok": 578.8888888888889,
   "secs": 6.0055555555555555,
   "cost": 0.030847277777777776,
   "per_task_v2": {
    "T1": 0.22233333333333336,
    "T2": 0.20466666666666666,
    "T3": 0.29633333333333334,
    "T4": 0.0,
    "T5": 0.6666666666666666,
    "T6": 0.10333333333333333
   }
  },
  "D_t0": {
   "n": 18,
   "compiled_before": 0.3333333333333333,
   "compiled": 0.3333333333333333,
   "f1_v2": 0.28783333333333333,
   "f1_v3": 0.28783333333333333,
   "in_tok": 3017.6666666666665,
   "out_tok": 495.3333333333333,
   "secs": 4.905555555555556,
   "cost": 0.005494333333333333,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.727,
    "T3": 0.0,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.0
   }
  },
  "C_t0": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.43600000000000005,
   "f1_v3": 0.43600000000000005,
   "in_tok": 4718.5,
   "out_tok": 449.1666666666667,
   "secs": 4.722222222222222,
   "cost": 0.006964333333333332,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.727,
    "T3": 0.8889999999999999,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.0
   }
  },
  "B_t0": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.33866666666666667,
   "f1_v3": 0.33866666666666667,
   "in_tok": 27952.833333333332,
   "out_tok": 577.1666666666666,
   "secs": 5.9222222222222225,
   "cost": 0.030838666666666674,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.0,
    "T3": 0.8889999999999999,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.143
   }
  },
  "D_t0_hints1": {
   "n": 18,
   "compiled_before": 0.8333333333333334,
   "compiled": 0.8333333333333334,
   "f1_v2": 0.5926666666666667,
   "f1_v3": 0.5926666666666667,
   "in_tok": 3205.6666666666665,
   "out_tok": 556.6666666666666,
   "secs": 5.338888888888889,
   "cost": 0.0059889999999999995,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.75,
    "T3": 0.8889999999999999,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.9170000000000001
   }
  },
  "D_t0_hints2": {
   "n": 18,
   "compiled_before": 0.8333333333333334,
   "compiled": 0.8333333333333334,
   "f1_v2": 0.6705,
   "f1_v3": 0.6705,
   "in_tok": 3262.6666666666665,
   "out_tok": 472.6111111111111,
   "secs": 5.1,
   "cost": 0.005625722222222223,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.8000000000000002,
    "T3": 0.8889999999999999,
    "T4": 0.6670000000000001,
    "T5": 1.0,
    "T6": 0.6670000000000001
   }
  },
  "C_t0_hints2": {
   "n": 18,
   "compiled_before": 0.5555555555555556,
   "compiled": 0.5555555555555556,
   "f1_v2": 0.5033888888888889,
   "f1_v3": 0.5033888888888889,
   "in_tok": 4963.5,
   "out_tok": 523.2777777777778,
   "secs": 5.111111111111111,
   "cost": 0.0075798888888888895,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.9090000000000001,
    "T3": 0.8889999999999999,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.22233333333333336
   }
  },
  "B_t0_hints2": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 0.5,
   "f1_v2": 0.18266666666666664,
   "f1_v3": 0.34933333333333333,
   "in_tok": 28197.833333333332,
   "out_tok": 611.5,
   "secs": 6.211111111111111,
   "cost": 0.03125533333333333,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.6670000000000001,
    "T3": 0.429,
    "T4": 0.0,
    "T5": 0.0,
    "T6": 0.0
   }
  },
  "D_json": {
   "n": 18,
   "compiled_before": 1.0,
   "compiled": 1.0,
   "f1_v2": 0.6001666666666667,
   "f1_v3": 0.6001666666666667,
   "in_tok": 5817.666666666667,
   "out_tok": 1188.3333333333333,
   "secs": 10.594444444444445,
   "cost": 0.011759333333333335,
   "per_task_v2": {
    "T1": 0.618,
    "T2": 0.455,
    "T3": 1.0,
    "T4": 0.571,
    "T5": 0.0,
    "T6": 0.957
   }
  },
  "C_json": {
   "n": 18,
   "compiled_before": 1.0,
   "compiled": 1.0,
   "f1_v2": 0.7224444444444446,
   "f1_v3": 0.7224444444444446,
   "in_tok": 8799.5,
   "out_tok": 1212.6666666666667,
   "secs": 10.788888888888888,
   "cost": 0.014862833333333332,
   "per_task_v2": {
    "T1": 0.762,
    "T2": 0.455,
    "T3": 1.0,
    "T4": 0.571,
    "T5": 0.6666666666666666,
    "T6": 0.88
   }
  },
  "E_wrong": {
   "n": 18,
   "compiled_before": 0.4444444444444444,
   "compiled": 0.4444444444444444,
   "f1_v2": 0.12161111111111111,
   "f1_v3": 0.17716666666666664,
   "in_tok": 27952.833333333332,
   "out_tok": 546.4444444444445,
   "secs": 5.372222222222223,
   "cost": 0.030685055555555556,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.16166666666666665,
    "T3": 0.29633333333333334,
    "T4": 0.0,
    "T5": 0.0,
    "T6": 0.27166666666666667
   }
  },
  "F_random": {
   "n": 18,
   "compiled_before": 0.3888888888888889,
   "compiled": 0.3888888888888889,
   "f1_v2": 0.18155555555555558,
   "f1_v3": 0.23711111111111116,
   "in_tok": 31436.5,
   "out_tok": 641.3888888888889,
   "secs": 6.277777777777778,
   "cost": 0.034643444444444456,
   "per_task_v2": {
    "T1": 0.024666666666666667,
    "T2": 0.46466666666666673,
    "T3": 0.0,
    "T4": 0.0,
    "T5": 0.6,
    "T6": 0.0
   }
  },
  "G_blind": {
   "n": 18,
   "compiled_before": 0.6111111111111112,
   "compiled": 0.6111111111111112,
   "f1_v2": 0.2232222222222222,
   "f1_v3": 0.38988888888888895,
   "in_tok": 39592.5,
   "out_tok": 534.9444444444445,
   "secs": 5.6722222222222225,
   "cost": 0.04226722222222222,
   "per_task_v2": {
    "T1": 0.20266666666666666,
    "T2": 0.311,
    "T3": 0.2353333333333333,
    "T4": 0.0,
    "T5": 0.4000000000000001,
    "T6": 0.19033333333333333
   }
  },
  "D_t0_hints2_repair": {
   "n": 18,
   "compiled_before": 0.8333333333333334,
   "compiled": 1.0,
   "f1_v2": 0.7905,
   "f1_v3": 0.7905,
   "in_tok": 3262.6666666666665,
   "out_tok": 472.6111111111111,
   "secs": 5.1,
   "cost": 0.006928222222222222,
   "per_task_v2": {
    "T1": 0.7200000000000001,
    "T2": 0.8000000000000002,
    "T3": 0.8889999999999999,
    "T4": 0.6670000000000001,
    "T5": 1.0,
    "T6": 0.6670000000000001
   }
  },
  "C_t0_hints2_repair": {
   "n": 18,
   "compiled_before": 0.5555555555555556,
   "compiled": 0.8333333333333334,
   "f1_v2": 0.6726666666666666,
   "f1_v3": 0.6726666666666666,
   "in_tok": 4963.5,
   "out_tok": 523.2777777777778,
   "secs": 5.111111111111111,
   "cost": 0.010023666666666667,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.9090000000000001,
    "T3": 0.8889999999999999,
    "T4": 0.571,
    "T5": 1.0,
    "T6": 0.6670000000000001
   }
  },
  "B_t0_hints2_repair": {
   "n": 18,
   "compiled_before": 0.5,
   "compiled": 1.0,
   "f1_v2": 0.5764999999999999,
   "f1_v3": 0.7431666666666666,
   "in_tok": 28197.833333333332,
   "out_tok": 611.5,
   "secs": 6.211111111111111,
   "cost": 0.034238333333333336,
   "per_task_v2": {
    "T1": 0.6960000000000001,
    "T2": 0.6670000000000001,
    "T3": 0.429,
    "T4": 0.0,
    "T5": 1.0,
    "T6": 0.6670000000000001
   }
  },
  "JB_hints2_repair": {
   "n": 18,
   "compiled_before": 0.6666666666666666,
   "compiled": 1.0,
   "f1_v2": 0.6418333333333334,
   "f1_v3": 0.6418333333333334,
   "in_tok": 2730.6666666666665,
   "out_tok": 641.8333333333334,
   "secs": 5.888888888888889,
   "cost": 0.01436433333333333,
   "per_task_v2": {
    "T1": 0.323,
    "T2": 0.9090000000000001,
    "T3": 0.8889999999999999,
    "T4": 0.444,
    "T5": 1.0,
    "T6": 0.286
   }
  },
  "C_sonnet_express": {
   "n": 18,
   "compiled_before": 1.0,
   "compiled": 1.0,
   "f1_v2": 0.6919444444444445,
   "f1_v3": 0.6919444444444445,
   "in_tok": 6010.333333333333,
   "out_tok": 928.0555555555555,
   "secs": 7.5777777777777775,
   "cost": 0.021301222222222225,
   "per_task_v2": {
    "T1": 0.8293333333333334,
    "T2": 0.5,
    "T3": 0.7276666666666666,
    "T4": 0.5236666666666666,
    "T5": 1.0,
    "T6": 0.571
   }
  },
  "C_sonnet_json": {
   "n": 18,
   "compiled_before": 0.8333333333333334,
   "compiled": 0.8333333333333334,
   "f1_v2": 0.5295000000000001,
   "f1_v3": 0.5295000000000001,
   "in_tok": 12073.666666666666,
   "out_tok": 1985.2222222222222,
   "secs": 15.13888888888889,
   "cost": 0.04399955555555555,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.3333333333333333,
    "T3": 0.9630000000000001,
    "T4": 0.5473333333333333,
    "T5": 1.0,
    "T6": 0.3333333333333333
   }
  },
  "C_sonnet_hints2": null,
  "D_sonnet_express": {
   "n": 18,
   "compiled_before": 1.0,
   "compiled": 1.0,
   "f1_v2": 0.7212777777777776,
   "f1_v3": 0.7212777777777776,
   "in_tok": 3887.3333333333335,
   "out_tok": 1194.111111111111,
   "secs": 9.13888888888889,
   "cost": 0.01971577777777778,
   "per_task_v2": {
    "T1": 0.8530000000000001,
    "T2": 0.48133333333333334,
    "T3": 0.8889999999999999,
    "T4": 0.5236666666666666,
    "T5": 1.0,
    "T6": 0.5806666666666667
   }
  },
  "D_sonnet_json": {
   "n": 18,
   "compiled_before": 0.7222222222222222,
   "compiled": 0.7222222222222222,
   "f1_v2": 0.4455,
   "f1_v3": 0.4455,
   "in_tok": 8005.0,
   "out_tok": 1748.9444444444443,
   "secs": 13.227777777777778,
   "cost": 0.03349944444444444,
   "per_task_v2": {
    "T1": 0.0,
    "T2": 0.48133333333333334,
    "T3": 0.29633333333333334,
    "T4": 0.505,
    "T5": 1.0,
    "T6": 0.39033333333333325
   }
  },
  "D_sonnet_hints2": null,
  "agent_3tools": {
   "n": 18,
   "rendered": 1.0,
   "f1_v2": 0.7743333333333333,
   "f1_v3": 0.941,
   "cost": 0.022192777777777777,
   "turns": 4.666666666666667
  },
  "catalogue": {
   "full_atoms": 557,
   "full_prompt_chars": 294155,
   "D_T5_json_prompt_chars": null
  }
 }
}