{
 "report": {
  "rows": 252,
  "groups": 72,
  "wall_s": 36.1,
  "accuracy": {
   "single_original": 0.7857,
   "single_expected": 0.7996,
   "rotations": 0.877,
   "all6": 0.881
  },
  "delta_vs_single_original_95ci": {
   "rotations": [
    0.0474,
    0.1378
   ],
   "all6": [
    0.0496,
    0.1434
   ]
  },
  "first_position_win_rate_mean": 0.3591,
  "by_set": {
   "authored144": {
    "single_original": 0.7986,
    "rotations": 0.8958,
    "all6": 0.9167
   },
   "perturbations108": {
    "single_original": 0.7685,
    "rotations": 0.8519,
    "all6": 0.8333
   }
  },
  "agree_rot: accuracy when unanimous vs split": {
   "unanimous": {
    "rows": 161,
    "accuracy": 0.9441
   },
   "split": {
    "rows": 91,
    "accuracy": 0.7582
   }
  },
  "agree_all6: accuracy when unanimous vs split": {
   "unanimous": {
    "rows": 144,
    "accuracy": 0.9444
   },
   "split": {
    "rows": 108,
    "accuracy": 0.7963
   }
  }
 },
 "rows": [
  {
   "id": "a3f18f3a63d45345942b",
   "set": "authored144",
   "group": "2fdaa8a61e6e989dd866",
   "gold": "contradicted",
   "single_original": false,
   "single_expected": 0.5,
   "rotations": false,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "f40beba9088c8db8bbd6",
   "set": "authored144",
   "group": "2fdaa8a61e6e989dd866",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "0b43ea8e24e74d621f1b",
   "set": "authored144",
   "group": "2fdaa8a61e6e989dd866",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "942ec65dac0bfb9874f9",
   "set": "authored144",
   "group": "2fdaa8a61e6e989dd866",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "e0c140e9222d1bce5647",
   "set": "authored144",
   "group": "f4bea3d3bcc01056740d",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "8e8c3804a3c15ebb31e3",
   "set": "authored144",
   "group": "f4bea3d3bcc01056740d",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "56c419b12cd37cbe790c",
   "set": "authored144",
   "group": "f4bea3d3bcc01056740d",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "75b470586834df8c568d",
   "set": "authored144",
   "group": "f4bea3d3bcc01056740d",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "834f3b3e10cc61b33d25",
   "set": "authored144",
   "group": "b51b300da2936decc6b7",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "76c7a79b1ff2363a60c5",
   "set": "authored144",
   "group": "b51b300da2936decc6b7",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "36c71bb649b7d5eccb1f",
   "set": "authored144",
   "group": "b51b300da2936decc6b7",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "eac5121a4a1bf391a08c",
   "set": "authored144",
   "group": "b51b300da2936decc6b7",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "44574c44e243ee1b2f52",
   "set": "authored144",
   "group": "e4cfd694c80e08d3e6a5",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "2608370d01783735c3ea",
   "set": "authored144",
   "group": "e4cfd694c80e08d3e6a5",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ec94ef909f7918695ab3",
   "set": "authored144",
   "group": "e4cfd694c80e08d3e6a5",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "03d919fd0e9b3a7cd1e6",
   "set": "authored144",
   "group": "e4cfd694c80e08d3e6a5",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "86a15618ba4cb90a307e",
   "set": "authored144",
   "group": "20460d4ae0db46091e84",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "3dd9c3ac98f8ddf7bdd3",
   "set": "authored144",
   "group": "20460d4ae0db46091e84",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "36273dd4777876a26338",
   "set": "authored144",
   "group": "20460d4ae0db46091e84",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "07ee70cfe4b01330ce89",
   "set": "authored144",
   "group": "20460d4ae0db46091e84",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "51ceab3ce622c7c759f1",
   "set": "authored144",
   "group": "51b91ba31984c5939c1c",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b8091be929b1e489fcc4",
   "set": "authored144",
   "group": "51b91ba31984c5939c1c",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "c89b86e3f55123bfa506",
   "set": "authored144",
   "group": "51b91ba31984c5939c1c",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "3b0958cabc339005cf66",
   "set": "authored144",
   "group": "51b91ba31984c5939c1c",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "f2b4ec4930322fe45118",
   "set": "authored144",
   "group": "770c1607f0a11f88f81e",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "61ac20b07a5189231e15",
   "set": "authored144",
   "group": "770c1607f0a11f88f81e",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4b3d794c004566610181",
   "set": "authored144",
   "group": "770c1607f0a11f88f81e",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b7c4e62d07986286fce0",
   "set": "authored144",
   "group": "770c1607f0a11f88f81e",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "9473603b44af63beab79",
   "set": "authored144",
   "group": "ffd081ada3bd9be9207a",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d41072dc35d8cd14c056",
   "set": "authored144",
   "group": "ffd081ada3bd9be9207a",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "33d6e5da58f0fee2490d",
   "set": "authored144",
   "group": "ffd081ada3bd9be9207a",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.16666666666666666,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "823bf736b92e9d8fa66d",
   "set": "authored144",
   "group": "ffd081ada3bd9be9207a",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "8a4c3de28be95c105ca1",
   "set": "authored144",
   "group": "2c3a0cb61f7bae78739e",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "ea7ec66a5e8eac886548",
   "set": "authored144",
   "group": "2c3a0cb61f7bae78739e",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "25172cd6ddc49ab0ca70",
   "set": "authored144",
   "group": "2c3a0cb61f7bae78739e",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "fb73a85d386cf59b0c51",
   "set": "authored144",
   "group": "2c3a0cb61f7bae78739e",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "a02fd582d2881cc462b2",
   "set": "authored144",
   "group": "42ed4cbfde7f2f64274b",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "19f37d5a97034bd7d04f",
   "set": "authored144",
   "group": "42ed4cbfde7f2f64274b",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "fda0ca94652c6d739ecf",
   "set": "authored144",
   "group": "42ed4cbfde7f2f64274b",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d0e36c4cb10a29b3191c",
   "set": "authored144",
   "group": "42ed4cbfde7f2f64274b",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "a0a39ace7e5337d038a7",
   "set": "authored144",
   "group": "6dd193172b9240a04bf9",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "eeae283841ce75dd25bf",
   "set": "authored144",
   "group": "6dd193172b9240a04bf9",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "00bb4cc043f7d2b288d4",
   "set": "authored144",
   "group": "6dd193172b9240a04bf9",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "1a81ead69e93e5d0c86a",
   "set": "authored144",
   "group": "6dd193172b9240a04bf9",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4444dad25e438f128673",
   "set": "authored144",
   "group": "3200eb252d6737e03027",
   "gold": "permitted",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "3226202ba1ada2570e9f",
   "set": "authored144",
   "group": "3200eb252d6737e03027",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.3333333333333333,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.5
  },
  {
   "id": "3f783eec5c90812479bc",
   "set": "authored144",
   "group": "3200eb252d6737e03027",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ffee861474a9665a093a",
   "set": "authored144",
   "group": "3200eb252d6737e03027",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "8c992e17e4fb54b044f5",
   "set": "authored144",
   "group": "c0cbeb97315307af8111",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "695dd61195ca025c4f4c",
   "set": "authored144",
   "group": "c0cbeb97315307af8111",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "e6155431ab7b0f8170d4",
   "set": "authored144",
   "group": "c0cbeb97315307af8111",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "b49ecda75086d8c68d2a",
   "set": "authored144",
   "group": "c0cbeb97315307af8111",
   "gold": "insufficient",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "587ced261c6092cd1325",
   "set": "authored144",
   "group": "428176cd8ad2c7a74eea",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "533d4423d311de82b27d",
   "set": "authored144",
   "group": "428176cd8ad2c7a74eea",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "2bf540d515a51755b25c",
   "set": "authored144",
   "group": "428176cd8ad2c7a74eea",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "fdb9fc214aea2710763a",
   "set": "authored144",
   "group": "428176cd8ad2c7a74eea",
   "gold": "insufficient",
   "single_original": false,
   "single_expected": 0.3333333333333333,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "f6d68126b43f8c9ed183",
   "set": "authored144",
   "group": "389e65bf1ba709b84b12",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "44bae0c8a1615a096c43",
   "set": "authored144",
   "group": "389e65bf1ba709b84b12",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.16666666666666666
  },
  {
   "id": "2175379f4c69e6207626",
   "set": "authored144",
   "group": "389e65bf1ba709b84b12",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "def9fe59d262357a673a",
   "set": "authored144",
   "group": "389e65bf1ba709b84b12",
   "gold": "insufficient",
   "single_original": false,
   "single_expected": 0.3333333333333333,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.16666666666666666
  },
  {
   "id": "712f6ffb763eef7c9a12",
   "set": "authored144",
   "group": "45f8ead2522a14384cdc",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "e1d610bd14e3d16c09b9",
   "set": "authored144",
   "group": "45f8ead2522a14384cdc",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "22ec57822db50ec121cf",
   "set": "authored144",
   "group": "45f8ead2522a14384cdc",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "3e75f2b84e8e08e3d3f2",
   "set": "authored144",
   "group": "45f8ead2522a14384cdc",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ebd74aa05324a1556288",
   "set": "authored144",
   "group": "3ecec8e2c166e397ad07",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d7e84e4245a29817da1f",
   "set": "authored144",
   "group": "3ecec8e2c166e397ad07",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "f41ae66b3c09630c7a42",
   "set": "authored144",
   "group": "3ecec8e2c166e397ad07",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "82c2cd97c160ad27951b",
   "set": "authored144",
   "group": "3ecec8e2c166e397ad07",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "7ada97b6f99f4788e5c7",
   "set": "authored144",
   "group": "a71a17a287f3d30db2aa",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "4d7a003342db5b0a17e3",
   "set": "authored144",
   "group": "a71a17a287f3d30db2aa",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "19d3d8d0bf773e88be7b",
   "set": "authored144",
   "group": "a71a17a287f3d30db2aa",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d6de731cca52359b1c87",
   "set": "authored144",
   "group": "a71a17a287f3d30db2aa",
   "gold": "insufficient",
   "single_original": false,
   "single_expected": 0.3333333333333333,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.3333333333333333,
   "first_position_wins": 0.16666666666666666
  },
  {
   "id": "b45c63fb92729af27f05",
   "set": "authored144",
   "group": "986d7eaba0c7e9738e79",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "46b7029b9a704138b77a",
   "set": "authored144",
   "group": "986d7eaba0c7e9738e79",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "caf773b23934fa7362a1",
   "set": "authored144",
   "group": "986d7eaba0c7e9738e79",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "f46f392ef9e9e9df564b",
   "set": "authored144",
   "group": "986d7eaba0c7e9738e79",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "005dcf6d2c0f21d64796",
   "set": "authored144",
   "group": "ca2e0b043985fa49bcd2",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "edb708bd0fe5fd67d6ee",
   "set": "authored144",
   "group": "ca2e0b043985fa49bcd2",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "97a35499bd8717f3e786",
   "set": "authored144",
   "group": "ca2e0b043985fa49bcd2",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "31eb4533d2c89959ec46",
   "set": "authored144",
   "group": "ca2e0b043985fa49bcd2",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "0aa24a6701ac9c56c4a0",
   "set": "authored144",
   "group": "85051ba3c30277824ebe",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "796d5c0da6eaadae6a3f",
   "set": "authored144",
   "group": "85051ba3c30277824ebe",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "599b3092b6fd18312d23",
   "set": "authored144",
   "group": "85051ba3c30277824ebe",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "960a4bcd27363e6db4b9",
   "set": "authored144",
   "group": "85051ba3c30277824ebe",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "c6a411e7f2bbdf377173",
   "set": "authored144",
   "group": "e7798dab5f4f121cab77",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "e332aa927d0c2ed044aa",
   "set": "authored144",
   "group": "e7798dab5f4f121cab77",
   "gold": "supported",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "a0128e551d095f3449f8",
   "set": "authored144",
   "group": "e7798dab5f4f121cab77",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "46d6a0731bd288c370f0",
   "set": "authored144",
   "group": "e7798dab5f4f121cab77",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "21ca7a8b970e36b8e20f",
   "set": "authored144",
   "group": "928ebc7817a8f1cac3e4",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4aa83af95bb69e90bc2d",
   "set": "authored144",
   "group": "928ebc7817a8f1cac3e4",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "cdfa9eed51fafcf09b72",
   "set": "authored144",
   "group": "928ebc7817a8f1cac3e4",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d51b05bfb9d6d7f09331",
   "set": "authored144",
   "group": "928ebc7817a8f1cac3e4",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "fdd902cc6e65fad7cb4f",
   "set": "authored144",
   "group": "53b0770ec36835b81d3a",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "42384af9ae56beb37ff5",
   "set": "authored144",
   "group": "53b0770ec36835b81d3a",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "cdf7f428857e1b841cb3",
   "set": "authored144",
   "group": "53b0770ec36835b81d3a",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.0
  },
  {
   "id": "774f7f9245f83c796d44",
   "set": "authored144",
   "group": "53b0770ec36835b81d3a",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "92ec2ffa3dd46ada1335",
   "set": "authored144",
   "group": "056cc5b726d6e8300a77",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "6149a17bc154f9c5b4a0",
   "set": "authored144",
   "group": "056cc5b726d6e8300a77",
   "gold": "supported",
   "single_original": false,
   "single_expected": 0.16666666666666666,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.3333333333333333,
   "first_position_wins": 0.8333333333333334
  },
  {
   "id": "be866e1dbec5d42d9423",
   "set": "authored144",
   "group": "056cc5b726d6e8300a77",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "97d2ed2591fc7638806c",
   "set": "authored144",
   "group": "056cc5b726d6e8300a77",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4533dd91267b4d815690",
   "set": "authored144",
   "group": "e3ce8ec496dbc9974f94",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d880e65fef5e2993fdd0",
   "set": "authored144",
   "group": "e3ce8ec496dbc9974f94",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "90494c76078ffc3c717a",
   "set": "authored144",
   "group": "e3ce8ec496dbc9974f94",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "9ac5cc82c4126c91174a",
   "set": "authored144",
   "group": "e3ce8ec496dbc9974f94",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "386e10b1c1ce906473a4",
   "set": "authored144",
   "group": "a5b234c2e4fb304f1071",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4da6aedc1139224eeff2",
   "set": "authored144",
   "group": "a5b234c2e4fb304f1071",
   "gold": "B",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "a22dab8ba073ff6cdb8d",
   "set": "authored144",
   "group": "a5b234c2e4fb304f1071",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "42c54fa2ad45743e24d8",
   "set": "authored144",
   "group": "a5b234c2e4fb304f1071",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "f3d13cf184f916677def",
   "set": "authored144",
   "group": "d142f7fd0efa0eddc788",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "1105577da4c8dad4609d",
   "set": "authored144",
   "group": "d142f7fd0efa0eddc788",
   "gold": "supported",
   "single_original": false,
   "single_expected": 0.3333333333333333,
   "rotations": false,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.3333333333333333,
   "first_position_wins": 0.8333333333333334
  },
  {
   "id": "0ebd299739302d8b057b",
   "set": "authored144",
   "group": "d142f7fd0efa0eddc788",
   "gold": "supported",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.5
  },
  {
   "id": "eafc22c8c40df3932a8e",
   "set": "authored144",
   "group": "d142f7fd0efa0eddc788",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "0aa1447680e4f25862bb",
   "set": "authored144",
   "group": "3476d3f4f32290fe57c3",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "980e76145c925747220c",
   "set": "authored144",
   "group": "3476d3f4f32290fe57c3",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4aee37a6a155747766aa",
   "set": "authored144",
   "group": "3476d3f4f32290fe57c3",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "6db17cc22bd656d78558",
   "set": "authored144",
   "group": "3476d3f4f32290fe57c3",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ef3e0f8e657bf59f8a29",
   "set": "authored144",
   "group": "c979db7416b206c1eb09",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.16666666666666666,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.0
  },
  {
   "id": "f756e1cb04e11766341e",
   "set": "authored144",
   "group": "c979db7416b206c1eb09",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "d167e51bb1f499099645",
   "set": "authored144",
   "group": "c979db7416b206c1eb09",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "674ca4e9346216255466",
   "set": "authored144",
   "group": "c979db7416b206c1eb09",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "1df851a202994a07f123",
   "set": "authored144",
   "group": "f7403e39d6796072491c",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b5e6788d95b8395d2888",
   "set": "authored144",
   "group": "f7403e39d6796072491c",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "32f36cd0fbbfb3604586",
   "set": "authored144",
   "group": "f7403e39d6796072491c",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "843185706adff0c60f8b",
   "set": "authored144",
   "group": "f7403e39d6796072491c",
   "gold": "insufficient",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b531dd603bf080dab820",
   "set": "authored144",
   "group": "a060fd4621be415e9f1a",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "be2dd67bc733c1213bef",
   "set": "authored144",
   "group": "a060fd4621be415e9f1a",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b8e2750307df9761e716",
   "set": "authored144",
   "group": "a060fd4621be415e9f1a",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "5d31b4bf2d0fc193f53b",
   "set": "authored144",
   "group": "a060fd4621be415e9f1a",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "a9230edfc6ec9e524af0",
   "set": "authored144",
   "group": "2b0f8eda8903e38a47de",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "c100e84585149a04be49",
   "set": "authored144",
   "group": "2b0f8eda8903e38a47de",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "579beed184ffc1104aa9",
   "set": "authored144",
   "group": "2b0f8eda8903e38a47de",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "c4e9bd463b6fde5be743",
   "set": "authored144",
   "group": "2b0f8eda8903e38a47de",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b863998d4be2721a5dfd",
   "set": "authored144",
   "group": "01020a1eaf46ec2fba5d",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "37cebc3792e98049439f",
   "set": "authored144",
   "group": "01020a1eaf46ec2fba5d",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "64d63f86e328aff1481c",
   "set": "authored144",
   "group": "01020a1eaf46ec2fba5d",
   "gold": "supported",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "6d64a8459f64eac7f4cc",
   "set": "authored144",
   "group": "01020a1eaf46ec2fba5d",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "2708193212d8a4a523c7",
   "set": "authored144",
   "group": "6a06a2f278301c1412ee",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "5a37d1dfcad20810a76a",
   "set": "authored144",
   "group": "6a06a2f278301c1412ee",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "acacd8b46acd25cb954b",
   "set": "authored144",
   "group": "6a06a2f278301c1412ee",
   "gold": "permitted",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "4089c199b8b796ec3ed8",
   "set": "authored144",
   "group": "6a06a2f278301c1412ee",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "02f2b95a5c5a4777a45c",
   "set": "authored144",
   "group": "2797f8c23d05c0ee06b3",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "ebea4681e3dcc7d92ca2",
   "set": "authored144",
   "group": "2797f8c23d05c0ee06b3",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": false,
   "all6": true,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.5,
   "first_position_wins": 0.0
  },
  {
   "id": "b8c5b9b285cbdddc9f8d",
   "set": "authored144",
   "group": "2797f8c23d05c0ee06b3",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.5,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.5,
   "first_position_wins": 0.0
  },
  {
   "id": "7ed75d854d99b3a81916",
   "set": "authored144",
   "group": "2797f8c23d05c0ee06b3",
   "gold": "insufficient",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "14790d6d50043b03420c",
   "set": "perturbations108",
   "group": "2fdaa8a61e6e989dd866/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "29566b5efbd2611e6eee",
   "set": "perturbations108",
   "group": "2fdaa8a61e6e989dd866/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "1a6e02f5b0bf923374c1",
   "set": "perturbations108",
   "group": "2fdaa8a61e6e989dd866/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "d83888299b2e202297be",
   "set": "perturbations108",
   "group": "f4bea3d3bcc01056740d/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "f42c36cd140557859819",
   "set": "perturbations108",
   "group": "f4bea3d3bcc01056740d/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "c2e8c6d1252eabe3e182",
   "set": "perturbations108",
   "group": "f4bea3d3bcc01056740d/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "70d7bdc8d5ee62366ee5",
   "set": "perturbations108",
   "group": "b51b300da2936decc6b7/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "26d6f758382576f65927",
   "set": "perturbations108",
   "group": "b51b300da2936decc6b7/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ecc5ee8175d414efdd35",
   "set": "perturbations108",
   "group": "b51b300da2936decc6b7/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "21ecfcb1d048958cb9b4",
   "set": "perturbations108",
   "group": "e4cfd694c80e08d3e6a5/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "5ce4f874ff2fa5295685",
   "set": "perturbations108",
   "group": "e4cfd694c80e08d3e6a5/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "04d55440accab2c5d0d9",
   "set": "perturbations108",
   "group": "e4cfd694c80e08d3e6a5/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "0e2caab29b17ff00a2c8",
   "set": "perturbations108",
   "group": "20460d4ae0db46091e84/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "a4428ee66c63c4f1e7f4",
   "set": "perturbations108",
   "group": "20460d4ae0db46091e84/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "22e54b5c44f60d5cd5c0",
   "set": "perturbations108",
   "group": "20460d4ae0db46091e84/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "9729054768eb7f90eb6d",
   "set": "perturbations108",
   "group": "51b91ba31984c5939c1c/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "674217922d611e718129",
   "set": "perturbations108",
   "group": "51b91ba31984c5939c1c/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "7a8a295f17d1296482dd",
   "set": "perturbations108",
   "group": "51b91ba31984c5939c1c/stability",
   "gold": "supported",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "8bceb31cf793fb26d1a5",
   "set": "perturbations108",
   "group": "770c1607f0a11f88f81e/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "2e895a0fc82d936936aa",
   "set": "perturbations108",
   "group": "770c1607f0a11f88f81e/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "c5a9fbb9bfa41e5293eb",
   "set": "perturbations108",
   "group": "770c1607f0a11f88f81e/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.3333333333333333,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "80970cf7e755a58a049e",
   "set": "perturbations108",
   "group": "ffd081ada3bd9be9207a/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d300f689be3cf2daa666",
   "set": "perturbations108",
   "group": "ffd081ada3bd9be9207a/stability",
   "gold": "permitted",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "3d8f3be170e01d2c78e5",
   "set": "perturbations108",
   "group": "ffd081ada3bd9be9207a/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "aef33dfba4338b1af990",
   "set": "perturbations108",
   "group": "2c3a0cb61f7bae78739e/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "f806bba07a63e30f7181",
   "set": "perturbations108",
   "group": "2c3a0cb61f7bae78739e/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "409e1ab1d29db22f8917",
   "set": "perturbations108",
   "group": "2c3a0cb61f7bae78739e/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": false,
   "all6": true,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "0471c62c50820b1d4203",
   "set": "perturbations108",
   "group": "42ed4cbfde7f2f64274b/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "10bac1f2a20209f3a4cd",
   "set": "perturbations108",
   "group": "42ed4cbfde7f2f64274b/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "59898712e090848aa8b9",
   "set": "perturbations108",
   "group": "42ed4cbfde7f2f64274b/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "20af0ba1b17131d525dd",
   "set": "perturbations108",
   "group": "6dd193172b9240a04bf9/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "c153f7547c7206472fda",
   "set": "perturbations108",
   "group": "6dd193172b9240a04bf9/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "36d25b31f325cc4cec04",
   "set": "perturbations108",
   "group": "6dd193172b9240a04bf9/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d6a681055a01ed788b91",
   "set": "perturbations108",
   "group": "3200eb252d6737e03027/stability",
   "gold": "permitted",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "3cafd544b9a8b89091a4",
   "set": "perturbations108",
   "group": "3200eb252d6737e03027/stability",
   "gold": "permitted",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "24c4e34db7cfbd13c409",
   "set": "perturbations108",
   "group": "3200eb252d6737e03027/stability",
   "gold": "permitted",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": true,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "69a2a9d14f62016e74c7",
   "set": "perturbations108",
   "group": "c0cbeb97315307af8111/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "f0519e8daaa832f8c594",
   "set": "perturbations108",
   "group": "c0cbeb97315307af8111/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "97b7222868f23ec1cdec",
   "set": "perturbations108",
   "group": "c0cbeb97315307af8111/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "dfdd8717200917fdbee2",
   "set": "perturbations108",
   "group": "428176cd8ad2c7a74eea/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "9bdf7dba759fc9919f7a",
   "set": "perturbations108",
   "group": "428176cd8ad2c7a74eea/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "f32ffa0158733f44991c",
   "set": "perturbations108",
   "group": "428176cd8ad2c7a74eea/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "e02cc1d78a9a02284d06",
   "set": "perturbations108",
   "group": "389e65bf1ba709b84b12/stability",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "870ee31666893f8a0298",
   "set": "perturbations108",
   "group": "389e65bf1ba709b84b12/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "ff15024839a7943a46f8",
   "set": "perturbations108",
   "group": "389e65bf1ba709b84b12/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d73c99ef45d5d49688c5",
   "set": "perturbations108",
   "group": "45f8ead2522a14384cdc/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "10777cd59d67780f2938",
   "set": "perturbations108",
   "group": "45f8ead2522a14384cdc/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "1e1feb87b303b0c66ca6",
   "set": "perturbations108",
   "group": "45f8ead2522a14384cdc/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "c62600144038b1f20132",
   "set": "perturbations108",
   "group": "3ecec8e2c166e397ad07/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "0c34b0762c1f92a806fa",
   "set": "perturbations108",
   "group": "3ecec8e2c166e397ad07/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d5f4985849895549f014",
   "set": "perturbations108",
   "group": "3ecec8e2c166e397ad07/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "9ad92b012bc3b7b1298b",
   "set": "perturbations108",
   "group": "a71a17a287f3d30db2aa/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "9bfefd9320c1ec9dc05a",
   "set": "perturbations108",
   "group": "a71a17a287f3d30db2aa/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "7062c93ddaabe9b19133",
   "set": "perturbations108",
   "group": "a71a17a287f3d30db2aa/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "a6861c422c6374527b79",
   "set": "perturbations108",
   "group": "986d7eaba0c7e9738e79/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "868cc04ff6c8321975c2",
   "set": "perturbations108",
   "group": "986d7eaba0c7e9738e79/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "5763d6ac9583bfbd179a",
   "set": "perturbations108",
   "group": "986d7eaba0c7e9738e79/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "7c1aefb79903e6234b4b",
   "set": "perturbations108",
   "group": "ca2e0b043985fa49bcd2/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "bd04047294bf97c56669",
   "set": "perturbations108",
   "group": "ca2e0b043985fa49bcd2/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.3333333333333333,
   "rotations": true,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.3333333333333333,
   "first_position_wins": 0.0
  },
  {
   "id": "c5e09f0caa6939ae1c04",
   "set": "perturbations108",
   "group": "ca2e0b043985fa49bcd2/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "54e50afc4284f5e45e99",
   "set": "perturbations108",
   "group": "85051ba3c30277824ebe/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "84b0fc54c146eacf4b63",
   "set": "perturbations108",
   "group": "85051ba3c30277824ebe/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "0b580003cbe6b93cefd6",
   "set": "perturbations108",
   "group": "85051ba3c30277824ebe/stability",
   "gold": "B",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "9e04a89f6da01a73345f",
   "set": "perturbations108",
   "group": "e7798dab5f4f121cab77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "61052547b62b4f38f768",
   "set": "perturbations108",
   "group": "e7798dab5f4f121cab77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "242df59a71ae30abc744",
   "set": "perturbations108",
   "group": "e7798dab5f4f121cab77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "65d53bafebb50d9273a4",
   "set": "perturbations108",
   "group": "928ebc7817a8f1cac3e4/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4c5cb6822a27c029976a",
   "set": "perturbations108",
   "group": "928ebc7817a8f1cac3e4/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "fbfc0c5ab92dbb5b7638",
   "set": "perturbations108",
   "group": "928ebc7817a8f1cac3e4/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "84bdb2d001c7e024f8d8",
   "set": "perturbations108",
   "group": "53b0770ec36835b81d3a/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "9e00994bdec725f3dba5",
   "set": "perturbations108",
   "group": "53b0770ec36835b81d3a/stability",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "ad063020bdde29193686",
   "set": "perturbations108",
   "group": "53b0770ec36835b81d3a/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "797d14fb61b9c31b2a73",
   "set": "perturbations108",
   "group": "056cc5b726d6e8300a77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "b7848a79b779fa6213a6",
   "set": "perturbations108",
   "group": "056cc5b726d6e8300a77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "2b41fd051743512b14f8",
   "set": "perturbations108",
   "group": "056cc5b726d6e8300a77/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "2355e01207ae3ee96f58",
   "set": "perturbations108",
   "group": "e3ce8ec496dbc9974f94/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "7eeb4266198f316747bd",
   "set": "perturbations108",
   "group": "e3ce8ec496dbc9974f94/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "dc45f218e1da88dcefe3",
   "set": "perturbations108",
   "group": "e3ce8ec496dbc9974f94/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "420328119f73acbcc528",
   "set": "perturbations108",
   "group": "a5b234c2e4fb304f1071/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "e6d9003f307ac0c06184",
   "set": "perturbations108",
   "group": "a5b234c2e4fb304f1071/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d89ff26feee2aab0c674",
   "set": "perturbations108",
   "group": "a5b234c2e4fb304f1071/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "994e845d231fbbc1b314",
   "set": "perturbations108",
   "group": "d142f7fd0efa0eddc788/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "4a962c2278e610119138",
   "set": "perturbations108",
   "group": "d142f7fd0efa0eddc788/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "1b55d33eb5abc7719a4a",
   "set": "perturbations108",
   "group": "d142f7fd0efa0eddc788/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "6ed6a1f9c601b82a11d9",
   "set": "perturbations108",
   "group": "3476d3f4f32290fe57c3/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "bbc7a7fab955884da496",
   "set": "perturbations108",
   "group": "3476d3f4f32290fe57c3/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "fed61559ec517062e424",
   "set": "perturbations108",
   "group": "3476d3f4f32290fe57c3/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "854da63689519c5eeffe",
   "set": "perturbations108",
   "group": "c979db7416b206c1eb09/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.16666666666666666,
   "rotations": true,
   "all6": false,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.5,
   "first_position_wins": 0.0
  },
  {
   "id": "cbebaf6e14bfd85ee672",
   "set": "perturbations108",
   "group": "c979db7416b206c1eb09/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "507f126320b35c49b3b3",
   "set": "perturbations108",
   "group": "c979db7416b206c1eb09/stability",
   "gold": "B",
   "single_original": false,
   "single_expected": 0.16666666666666666,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.0
  },
  {
   "id": "21557955028145701b15",
   "set": "perturbations108",
   "group": "f7403e39d6796072491c/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "050a4186a02b28f0dccc",
   "set": "perturbations108",
   "group": "f7403e39d6796072491c/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "aeb5013da56a9dd53665",
   "set": "perturbations108",
   "group": "f7403e39d6796072491c/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "9cb7a576fead7fc845ab",
   "set": "perturbations108",
   "group": "a060fd4621be415e9f1a/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "ddd254fae8e415615a8a",
   "set": "perturbations108",
   "group": "a060fd4621be415e9f1a/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "2b51ed50ef91d14bfb1e",
   "set": "perturbations108",
   "group": "a060fd4621be415e9f1a/stability",
   "gold": "prohibited",
   "single_original": true,
   "single_expected": 0.6666666666666666,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "65b87e9b46818cc758c0",
   "set": "perturbations108",
   "group": "2b0f8eda8903e38a47de/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "d39d7fc35c42bb898ea8",
   "set": "perturbations108",
   "group": "2b0f8eda8903e38a47de/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "61ef89ceb2a564f24805",
   "set": "perturbations108",
   "group": "2b0f8eda8903e38a47de/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "2bdff68fef60c15b8929",
   "set": "perturbations108",
   "group": "01020a1eaf46ec2fba5d/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "d727a02607d044abafed",
   "set": "perturbations108",
   "group": "01020a1eaf46ec2fba5d/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 0.5,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "c89cb1e57ed5b22d794b",
   "set": "perturbations108",
   "group": "01020a1eaf46ec2fba5d/stability",
   "gold": "contradicted",
   "single_original": true,
   "single_expected": 1.0,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 1.0,
   "first_position_wins": 0.3333333333333333
  },
  {
   "id": "b1521d74fb803e551fdd",
   "set": "perturbations108",
   "group": "6a06a2f278301c1412ee/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "3117510a0d5b768c4096",
   "set": "perturbations108",
   "group": "6a06a2f278301c1412ee/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.3333333333333333,
   "agree_all6": 0.5,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "90632d8d2066bd79c796",
   "set": "perturbations108",
   "group": "6a06a2f278301c1412ee/stability",
   "gold": "prohibited",
   "single_original": false,
   "single_expected": 0.0,
   "rotations": false,
   "all6": false,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.6666666666666666,
   "first_position_wins": 0.6666666666666666
  },
  {
   "id": "ffb51cef94e857eb8c8a",
   "set": "perturbations108",
   "group": "2797f8c23d05c0ee06b3/stability",
   "gold": "A",
   "single_original": true,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 1.0,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "a34e8187417ab3b52f30",
   "set": "perturbations108",
   "group": "2797f8c23d05c0ee06b3/stability",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  },
  {
   "id": "31f53baf67e4cb25aeff",
   "set": "perturbations108",
   "group": "2797f8c23d05c0ee06b3/stability",
   "gold": "A",
   "single_original": false,
   "single_expected": 0.8333333333333334,
   "rotations": true,
   "all6": true,
   "agree_rot": 0.6666666666666666,
   "agree_all6": 0.8333333333333334,
   "first_position_wins": 0.5
  }
 ]
}