vh
739aa03123
Latency, measured from nh3-dev (3 runs x 20 per condition; network floor 31 ms): - /decide short: 71 ms end to end, 38 ms server-side; - /decide with a ~2,000-token state: 210 / 169 ms; - shared, 3 rotations: 113 / 79 ms; - shared, 6 orderings: 137 / 99 ms. Qwen3.5's fast kernels (causal_conv1d, flash-linear-attention) are not installed, so transformers falls back to its reference PyTorch paths. That is a speed lever, and using it needs a parity re-check. Averaging over option orderings, on SemIf authored144 + perturbations108 (252 rows, 72 groups): - a single ordering scores 78.6%; - log-mean over the 3 rotations scores 87.7% (+9.1 pts, group-bootstrap 95% CI +4.7 to +13.8); - all 6 permutations score 88.1%. Rotations capture nearly all of the gain. Rows where the rotations agree unanimously (161) are 94.4% accurate; split rows (91) are 75.8%.
3334 lines
81 KiB
JSON
3334 lines
81 KiB
JSON
{
|
|
"report": {
|
|
"rows": 252,
|
|
"groups": 72,
|
|
"wall_s": 36.1,
|
|
"accuracy": {
|
|
"single_original": 0.7857,
|
|
"single_expected": 0.7996,
|
|
"rotations": 0.877,
|
|
"all6": 0.881
|
|
},
|
|
"delta_vs_single_original_95ci": {
|
|
"rotations": [
|
|
0.0474,
|
|
0.1378
|
|
],
|
|
"all6": [
|
|
0.0496,
|
|
0.1434
|
|
]
|
|
},
|
|
"first_position_win_rate_mean": 0.3591,
|
|
"by_set": {
|
|
"authored144": {
|
|
"single_original": 0.7986,
|
|
"rotations": 0.8958,
|
|
"all6": 0.9167
|
|
},
|
|
"perturbations108": {
|
|
"single_original": 0.7685,
|
|
"rotations": 0.8519,
|
|
"all6": 0.8333
|
|
}
|
|
},
|
|
"agree_rot: accuracy when unanimous vs split": {
|
|
"unanimous": {
|
|
"rows": 161,
|
|
"accuracy": 0.9441
|
|
},
|
|
"split": {
|
|
"rows": 91,
|
|
"accuracy": 0.7582
|
|
}
|
|
},
|
|
"agree_all6: accuracy when unanimous vs split": {
|
|
"unanimous": {
|
|
"rows": 144,
|
|
"accuracy": 0.9444
|
|
},
|
|
"split": {
|
|
"rows": 108,
|
|
"accuracy": 0.7963
|
|
}
|
|
}
|
|
},
|
|
"rows": [
|
|
{
|
|
"id": "a3f18f3a63d45345942b",
|
|
"set": "authored144",
|
|
"group": "2fdaa8a61e6e989dd866",
|
|
"gold": "contradicted",
|
|
"single_original": false,
|
|
"single_expected": 0.5,
|
|
"rotations": false,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "f40beba9088c8db8bbd6",
|
|
"set": "authored144",
|
|
"group": "2fdaa8a61e6e989dd866",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "0b43ea8e24e74d621f1b",
|
|
"set": "authored144",
|
|
"group": "2fdaa8a61e6e989dd866",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "942ec65dac0bfb9874f9",
|
|
"set": "authored144",
|
|
"group": "2fdaa8a61e6e989dd866",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "e0c140e9222d1bce5647",
|
|
"set": "authored144",
|
|
"group": "f4bea3d3bcc01056740d",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "8e8c3804a3c15ebb31e3",
|
|
"set": "authored144",
|
|
"group": "f4bea3d3bcc01056740d",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "56c419b12cd37cbe790c",
|
|
"set": "authored144",
|
|
"group": "f4bea3d3bcc01056740d",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "75b470586834df8c568d",
|
|
"set": "authored144",
|
|
"group": "f4bea3d3bcc01056740d",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "834f3b3e10cc61b33d25",
|
|
"set": "authored144",
|
|
"group": "b51b300da2936decc6b7",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "76c7a79b1ff2363a60c5",
|
|
"set": "authored144",
|
|
"group": "b51b300da2936decc6b7",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "36c71bb649b7d5eccb1f",
|
|
"set": "authored144",
|
|
"group": "b51b300da2936decc6b7",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "eac5121a4a1bf391a08c",
|
|
"set": "authored144",
|
|
"group": "b51b300da2936decc6b7",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "44574c44e243ee1b2f52",
|
|
"set": "authored144",
|
|
"group": "e4cfd694c80e08d3e6a5",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "2608370d01783735c3ea",
|
|
"set": "authored144",
|
|
"group": "e4cfd694c80e08d3e6a5",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ec94ef909f7918695ab3",
|
|
"set": "authored144",
|
|
"group": "e4cfd694c80e08d3e6a5",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "03d919fd0e9b3a7cd1e6",
|
|
"set": "authored144",
|
|
"group": "e4cfd694c80e08d3e6a5",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "86a15618ba4cb90a307e",
|
|
"set": "authored144",
|
|
"group": "20460d4ae0db46091e84",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "3dd9c3ac98f8ddf7bdd3",
|
|
"set": "authored144",
|
|
"group": "20460d4ae0db46091e84",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "36273dd4777876a26338",
|
|
"set": "authored144",
|
|
"group": "20460d4ae0db46091e84",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "07ee70cfe4b01330ce89",
|
|
"set": "authored144",
|
|
"group": "20460d4ae0db46091e84",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "51ceab3ce622c7c759f1",
|
|
"set": "authored144",
|
|
"group": "51b91ba31984c5939c1c",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b8091be929b1e489fcc4",
|
|
"set": "authored144",
|
|
"group": "51b91ba31984c5939c1c",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "c89b86e3f55123bfa506",
|
|
"set": "authored144",
|
|
"group": "51b91ba31984c5939c1c",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "3b0958cabc339005cf66",
|
|
"set": "authored144",
|
|
"group": "51b91ba31984c5939c1c",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "f2b4ec4930322fe45118",
|
|
"set": "authored144",
|
|
"group": "770c1607f0a11f88f81e",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "61ac20b07a5189231e15",
|
|
"set": "authored144",
|
|
"group": "770c1607f0a11f88f81e",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4b3d794c004566610181",
|
|
"set": "authored144",
|
|
"group": "770c1607f0a11f88f81e",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b7c4e62d07986286fce0",
|
|
"set": "authored144",
|
|
"group": "770c1607f0a11f88f81e",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "9473603b44af63beab79",
|
|
"set": "authored144",
|
|
"group": "ffd081ada3bd9be9207a",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d41072dc35d8cd14c056",
|
|
"set": "authored144",
|
|
"group": "ffd081ada3bd9be9207a",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "33d6e5da58f0fee2490d",
|
|
"set": "authored144",
|
|
"group": "ffd081ada3bd9be9207a",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.16666666666666666,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "823bf736b92e9d8fa66d",
|
|
"set": "authored144",
|
|
"group": "ffd081ada3bd9be9207a",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "8a4c3de28be95c105ca1",
|
|
"set": "authored144",
|
|
"group": "2c3a0cb61f7bae78739e",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "ea7ec66a5e8eac886548",
|
|
"set": "authored144",
|
|
"group": "2c3a0cb61f7bae78739e",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "25172cd6ddc49ab0ca70",
|
|
"set": "authored144",
|
|
"group": "2c3a0cb61f7bae78739e",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "fb73a85d386cf59b0c51",
|
|
"set": "authored144",
|
|
"group": "2c3a0cb61f7bae78739e",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "a02fd582d2881cc462b2",
|
|
"set": "authored144",
|
|
"group": "42ed4cbfde7f2f64274b",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "19f37d5a97034bd7d04f",
|
|
"set": "authored144",
|
|
"group": "42ed4cbfde7f2f64274b",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "fda0ca94652c6d739ecf",
|
|
"set": "authored144",
|
|
"group": "42ed4cbfde7f2f64274b",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d0e36c4cb10a29b3191c",
|
|
"set": "authored144",
|
|
"group": "42ed4cbfde7f2f64274b",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "a0a39ace7e5337d038a7",
|
|
"set": "authored144",
|
|
"group": "6dd193172b9240a04bf9",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "eeae283841ce75dd25bf",
|
|
"set": "authored144",
|
|
"group": "6dd193172b9240a04bf9",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "00bb4cc043f7d2b288d4",
|
|
"set": "authored144",
|
|
"group": "6dd193172b9240a04bf9",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "1a81ead69e93e5d0c86a",
|
|
"set": "authored144",
|
|
"group": "6dd193172b9240a04bf9",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4444dad25e438f128673",
|
|
"set": "authored144",
|
|
"group": "3200eb252d6737e03027",
|
|
"gold": "permitted",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "3226202ba1ada2570e9f",
|
|
"set": "authored144",
|
|
"group": "3200eb252d6737e03027",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "3f783eec5c90812479bc",
|
|
"set": "authored144",
|
|
"group": "3200eb252d6737e03027",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ffee861474a9665a093a",
|
|
"set": "authored144",
|
|
"group": "3200eb252d6737e03027",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "8c992e17e4fb54b044f5",
|
|
"set": "authored144",
|
|
"group": "c0cbeb97315307af8111",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "695dd61195ca025c4f4c",
|
|
"set": "authored144",
|
|
"group": "c0cbeb97315307af8111",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "e6155431ab7b0f8170d4",
|
|
"set": "authored144",
|
|
"group": "c0cbeb97315307af8111",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "b49ecda75086d8c68d2a",
|
|
"set": "authored144",
|
|
"group": "c0cbeb97315307af8111",
|
|
"gold": "insufficient",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "587ced261c6092cd1325",
|
|
"set": "authored144",
|
|
"group": "428176cd8ad2c7a74eea",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "533d4423d311de82b27d",
|
|
"set": "authored144",
|
|
"group": "428176cd8ad2c7a74eea",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "2bf540d515a51755b25c",
|
|
"set": "authored144",
|
|
"group": "428176cd8ad2c7a74eea",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "fdb9fc214aea2710763a",
|
|
"set": "authored144",
|
|
"group": "428176cd8ad2c7a74eea",
|
|
"gold": "insufficient",
|
|
"single_original": false,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "f6d68126b43f8c9ed183",
|
|
"set": "authored144",
|
|
"group": "389e65bf1ba709b84b12",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "44bae0c8a1615a096c43",
|
|
"set": "authored144",
|
|
"group": "389e65bf1ba709b84b12",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.16666666666666666
|
|
},
|
|
{
|
|
"id": "2175379f4c69e6207626",
|
|
"set": "authored144",
|
|
"group": "389e65bf1ba709b84b12",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "def9fe59d262357a673a",
|
|
"set": "authored144",
|
|
"group": "389e65bf1ba709b84b12",
|
|
"gold": "insufficient",
|
|
"single_original": false,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.16666666666666666
|
|
},
|
|
{
|
|
"id": "712f6ffb763eef7c9a12",
|
|
"set": "authored144",
|
|
"group": "45f8ead2522a14384cdc",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "e1d610bd14e3d16c09b9",
|
|
"set": "authored144",
|
|
"group": "45f8ead2522a14384cdc",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "22ec57822db50ec121cf",
|
|
"set": "authored144",
|
|
"group": "45f8ead2522a14384cdc",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "3e75f2b84e8e08e3d3f2",
|
|
"set": "authored144",
|
|
"group": "45f8ead2522a14384cdc",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ebd74aa05324a1556288",
|
|
"set": "authored144",
|
|
"group": "3ecec8e2c166e397ad07",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d7e84e4245a29817da1f",
|
|
"set": "authored144",
|
|
"group": "3ecec8e2c166e397ad07",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "f41ae66b3c09630c7a42",
|
|
"set": "authored144",
|
|
"group": "3ecec8e2c166e397ad07",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "82c2cd97c160ad27951b",
|
|
"set": "authored144",
|
|
"group": "3ecec8e2c166e397ad07",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "7ada97b6f99f4788e5c7",
|
|
"set": "authored144",
|
|
"group": "a71a17a287f3d30db2aa",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "4d7a003342db5b0a17e3",
|
|
"set": "authored144",
|
|
"group": "a71a17a287f3d30db2aa",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "19d3d8d0bf773e88be7b",
|
|
"set": "authored144",
|
|
"group": "a71a17a287f3d30db2aa",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d6de731cca52359b1c87",
|
|
"set": "authored144",
|
|
"group": "a71a17a287f3d30db2aa",
|
|
"gold": "insufficient",
|
|
"single_original": false,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.3333333333333333,
|
|
"first_position_wins": 0.16666666666666666
|
|
},
|
|
{
|
|
"id": "b45c63fb92729af27f05",
|
|
"set": "authored144",
|
|
"group": "986d7eaba0c7e9738e79",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "46b7029b9a704138b77a",
|
|
"set": "authored144",
|
|
"group": "986d7eaba0c7e9738e79",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "caf773b23934fa7362a1",
|
|
"set": "authored144",
|
|
"group": "986d7eaba0c7e9738e79",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "f46f392ef9e9e9df564b",
|
|
"set": "authored144",
|
|
"group": "986d7eaba0c7e9738e79",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "005dcf6d2c0f21d64796",
|
|
"set": "authored144",
|
|
"group": "ca2e0b043985fa49bcd2",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "edb708bd0fe5fd67d6ee",
|
|
"set": "authored144",
|
|
"group": "ca2e0b043985fa49bcd2",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "97a35499bd8717f3e786",
|
|
"set": "authored144",
|
|
"group": "ca2e0b043985fa49bcd2",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "31eb4533d2c89959ec46",
|
|
"set": "authored144",
|
|
"group": "ca2e0b043985fa49bcd2",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "0aa24a6701ac9c56c4a0",
|
|
"set": "authored144",
|
|
"group": "85051ba3c30277824ebe",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "796d5c0da6eaadae6a3f",
|
|
"set": "authored144",
|
|
"group": "85051ba3c30277824ebe",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "599b3092b6fd18312d23",
|
|
"set": "authored144",
|
|
"group": "85051ba3c30277824ebe",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "960a4bcd27363e6db4b9",
|
|
"set": "authored144",
|
|
"group": "85051ba3c30277824ebe",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "c6a411e7f2bbdf377173",
|
|
"set": "authored144",
|
|
"group": "e7798dab5f4f121cab77",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "e332aa927d0c2ed044aa",
|
|
"set": "authored144",
|
|
"group": "e7798dab5f4f121cab77",
|
|
"gold": "supported",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "a0128e551d095f3449f8",
|
|
"set": "authored144",
|
|
"group": "e7798dab5f4f121cab77",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "46d6a0731bd288c370f0",
|
|
"set": "authored144",
|
|
"group": "e7798dab5f4f121cab77",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "21ca7a8b970e36b8e20f",
|
|
"set": "authored144",
|
|
"group": "928ebc7817a8f1cac3e4",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4aa83af95bb69e90bc2d",
|
|
"set": "authored144",
|
|
"group": "928ebc7817a8f1cac3e4",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "cdfa9eed51fafcf09b72",
|
|
"set": "authored144",
|
|
"group": "928ebc7817a8f1cac3e4",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d51b05bfb9d6d7f09331",
|
|
"set": "authored144",
|
|
"group": "928ebc7817a8f1cac3e4",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "fdd902cc6e65fad7cb4f",
|
|
"set": "authored144",
|
|
"group": "53b0770ec36835b81d3a",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "42384af9ae56beb37ff5",
|
|
"set": "authored144",
|
|
"group": "53b0770ec36835b81d3a",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "cdf7f428857e1b841cb3",
|
|
"set": "authored144",
|
|
"group": "53b0770ec36835b81d3a",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "774f7f9245f83c796d44",
|
|
"set": "authored144",
|
|
"group": "53b0770ec36835b81d3a",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "92ec2ffa3dd46ada1335",
|
|
"set": "authored144",
|
|
"group": "056cc5b726d6e8300a77",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "6149a17bc154f9c5b4a0",
|
|
"set": "authored144",
|
|
"group": "056cc5b726d6e8300a77",
|
|
"gold": "supported",
|
|
"single_original": false,
|
|
"single_expected": 0.16666666666666666,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.3333333333333333,
|
|
"first_position_wins": 0.8333333333333334
|
|
},
|
|
{
|
|
"id": "be866e1dbec5d42d9423",
|
|
"set": "authored144",
|
|
"group": "056cc5b726d6e8300a77",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "97d2ed2591fc7638806c",
|
|
"set": "authored144",
|
|
"group": "056cc5b726d6e8300a77",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4533dd91267b4d815690",
|
|
"set": "authored144",
|
|
"group": "e3ce8ec496dbc9974f94",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d880e65fef5e2993fdd0",
|
|
"set": "authored144",
|
|
"group": "e3ce8ec496dbc9974f94",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "90494c76078ffc3c717a",
|
|
"set": "authored144",
|
|
"group": "e3ce8ec496dbc9974f94",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "9ac5cc82c4126c91174a",
|
|
"set": "authored144",
|
|
"group": "e3ce8ec496dbc9974f94",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "386e10b1c1ce906473a4",
|
|
"set": "authored144",
|
|
"group": "a5b234c2e4fb304f1071",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4da6aedc1139224eeff2",
|
|
"set": "authored144",
|
|
"group": "a5b234c2e4fb304f1071",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "a22dab8ba073ff6cdb8d",
|
|
"set": "authored144",
|
|
"group": "a5b234c2e4fb304f1071",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "42c54fa2ad45743e24d8",
|
|
"set": "authored144",
|
|
"group": "a5b234c2e4fb304f1071",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "f3d13cf184f916677def",
|
|
"set": "authored144",
|
|
"group": "d142f7fd0efa0eddc788",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "1105577da4c8dad4609d",
|
|
"set": "authored144",
|
|
"group": "d142f7fd0efa0eddc788",
|
|
"gold": "supported",
|
|
"single_original": false,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": false,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.3333333333333333,
|
|
"first_position_wins": 0.8333333333333334
|
|
},
|
|
{
|
|
"id": "0ebd299739302d8b057b",
|
|
"set": "authored144",
|
|
"group": "d142f7fd0efa0eddc788",
|
|
"gold": "supported",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "eafc22c8c40df3932a8e",
|
|
"set": "authored144",
|
|
"group": "d142f7fd0efa0eddc788",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "0aa1447680e4f25862bb",
|
|
"set": "authored144",
|
|
"group": "3476d3f4f32290fe57c3",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "980e76145c925747220c",
|
|
"set": "authored144",
|
|
"group": "3476d3f4f32290fe57c3",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4aee37a6a155747766aa",
|
|
"set": "authored144",
|
|
"group": "3476d3f4f32290fe57c3",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "6db17cc22bd656d78558",
|
|
"set": "authored144",
|
|
"group": "3476d3f4f32290fe57c3",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ef3e0f8e657bf59f8a29",
|
|
"set": "authored144",
|
|
"group": "c979db7416b206c1eb09",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.16666666666666666,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "f756e1cb04e11766341e",
|
|
"set": "authored144",
|
|
"group": "c979db7416b206c1eb09",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "d167e51bb1f499099645",
|
|
"set": "authored144",
|
|
"group": "c979db7416b206c1eb09",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "674ca4e9346216255466",
|
|
"set": "authored144",
|
|
"group": "c979db7416b206c1eb09",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "1df851a202994a07f123",
|
|
"set": "authored144",
|
|
"group": "f7403e39d6796072491c",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b5e6788d95b8395d2888",
|
|
"set": "authored144",
|
|
"group": "f7403e39d6796072491c",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "32f36cd0fbbfb3604586",
|
|
"set": "authored144",
|
|
"group": "f7403e39d6796072491c",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "843185706adff0c60f8b",
|
|
"set": "authored144",
|
|
"group": "f7403e39d6796072491c",
|
|
"gold": "insufficient",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b531dd603bf080dab820",
|
|
"set": "authored144",
|
|
"group": "a060fd4621be415e9f1a",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "be2dd67bc733c1213bef",
|
|
"set": "authored144",
|
|
"group": "a060fd4621be415e9f1a",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b8e2750307df9761e716",
|
|
"set": "authored144",
|
|
"group": "a060fd4621be415e9f1a",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "5d31b4bf2d0fc193f53b",
|
|
"set": "authored144",
|
|
"group": "a060fd4621be415e9f1a",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "a9230edfc6ec9e524af0",
|
|
"set": "authored144",
|
|
"group": "2b0f8eda8903e38a47de",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "c100e84585149a04be49",
|
|
"set": "authored144",
|
|
"group": "2b0f8eda8903e38a47de",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "579beed184ffc1104aa9",
|
|
"set": "authored144",
|
|
"group": "2b0f8eda8903e38a47de",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "c4e9bd463b6fde5be743",
|
|
"set": "authored144",
|
|
"group": "2b0f8eda8903e38a47de",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b863998d4be2721a5dfd",
|
|
"set": "authored144",
|
|
"group": "01020a1eaf46ec2fba5d",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "37cebc3792e98049439f",
|
|
"set": "authored144",
|
|
"group": "01020a1eaf46ec2fba5d",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "64d63f86e328aff1481c",
|
|
"set": "authored144",
|
|
"group": "01020a1eaf46ec2fba5d",
|
|
"gold": "supported",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "6d64a8459f64eac7f4cc",
|
|
"set": "authored144",
|
|
"group": "01020a1eaf46ec2fba5d",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "2708193212d8a4a523c7",
|
|
"set": "authored144",
|
|
"group": "6a06a2f278301c1412ee",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "5a37d1dfcad20810a76a",
|
|
"set": "authored144",
|
|
"group": "6a06a2f278301c1412ee",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "acacd8b46acd25cb954b",
|
|
"set": "authored144",
|
|
"group": "6a06a2f278301c1412ee",
|
|
"gold": "permitted",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "4089c199b8b796ec3ed8",
|
|
"set": "authored144",
|
|
"group": "6a06a2f278301c1412ee",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "02f2b95a5c5a4777a45c",
|
|
"set": "authored144",
|
|
"group": "2797f8c23d05c0ee06b3",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "ebea4681e3dcc7d92ca2",
|
|
"set": "authored144",
|
|
"group": "2797f8c23d05c0ee06b3",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": false,
|
|
"all6": true,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "b8c5b9b285cbdddc9f8d",
|
|
"set": "authored144",
|
|
"group": "2797f8c23d05c0ee06b3",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "7ed75d854d99b3a81916",
|
|
"set": "authored144",
|
|
"group": "2797f8c23d05c0ee06b3",
|
|
"gold": "insufficient",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "14790d6d50043b03420c",
|
|
"set": "perturbations108",
|
|
"group": "2fdaa8a61e6e989dd866/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "29566b5efbd2611e6eee",
|
|
"set": "perturbations108",
|
|
"group": "2fdaa8a61e6e989dd866/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "1a6e02f5b0bf923374c1",
|
|
"set": "perturbations108",
|
|
"group": "2fdaa8a61e6e989dd866/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "d83888299b2e202297be",
|
|
"set": "perturbations108",
|
|
"group": "f4bea3d3bcc01056740d/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "f42c36cd140557859819",
|
|
"set": "perturbations108",
|
|
"group": "f4bea3d3bcc01056740d/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "c2e8c6d1252eabe3e182",
|
|
"set": "perturbations108",
|
|
"group": "f4bea3d3bcc01056740d/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "70d7bdc8d5ee62366ee5",
|
|
"set": "perturbations108",
|
|
"group": "b51b300da2936decc6b7/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "26d6f758382576f65927",
|
|
"set": "perturbations108",
|
|
"group": "b51b300da2936decc6b7/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ecc5ee8175d414efdd35",
|
|
"set": "perturbations108",
|
|
"group": "b51b300da2936decc6b7/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "21ecfcb1d048958cb9b4",
|
|
"set": "perturbations108",
|
|
"group": "e4cfd694c80e08d3e6a5/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "5ce4f874ff2fa5295685",
|
|
"set": "perturbations108",
|
|
"group": "e4cfd694c80e08d3e6a5/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "04d55440accab2c5d0d9",
|
|
"set": "perturbations108",
|
|
"group": "e4cfd694c80e08d3e6a5/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "0e2caab29b17ff00a2c8",
|
|
"set": "perturbations108",
|
|
"group": "20460d4ae0db46091e84/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "a4428ee66c63c4f1e7f4",
|
|
"set": "perturbations108",
|
|
"group": "20460d4ae0db46091e84/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "22e54b5c44f60d5cd5c0",
|
|
"set": "perturbations108",
|
|
"group": "20460d4ae0db46091e84/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "9729054768eb7f90eb6d",
|
|
"set": "perturbations108",
|
|
"group": "51b91ba31984c5939c1c/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "674217922d611e718129",
|
|
"set": "perturbations108",
|
|
"group": "51b91ba31984c5939c1c/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "7a8a295f17d1296482dd",
|
|
"set": "perturbations108",
|
|
"group": "51b91ba31984c5939c1c/stability",
|
|
"gold": "supported",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "8bceb31cf793fb26d1a5",
|
|
"set": "perturbations108",
|
|
"group": "770c1607f0a11f88f81e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "2e895a0fc82d936936aa",
|
|
"set": "perturbations108",
|
|
"group": "770c1607f0a11f88f81e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "c5a9fbb9bfa41e5293eb",
|
|
"set": "perturbations108",
|
|
"group": "770c1607f0a11f88f81e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "80970cf7e755a58a049e",
|
|
"set": "perturbations108",
|
|
"group": "ffd081ada3bd9be9207a/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d300f689be3cf2daa666",
|
|
"set": "perturbations108",
|
|
"group": "ffd081ada3bd9be9207a/stability",
|
|
"gold": "permitted",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "3d8f3be170e01d2c78e5",
|
|
"set": "perturbations108",
|
|
"group": "ffd081ada3bd9be9207a/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "aef33dfba4338b1af990",
|
|
"set": "perturbations108",
|
|
"group": "2c3a0cb61f7bae78739e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "f806bba07a63e30f7181",
|
|
"set": "perturbations108",
|
|
"group": "2c3a0cb61f7bae78739e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "409e1ab1d29db22f8917",
|
|
"set": "perturbations108",
|
|
"group": "2c3a0cb61f7bae78739e/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": false,
|
|
"all6": true,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "0471c62c50820b1d4203",
|
|
"set": "perturbations108",
|
|
"group": "42ed4cbfde7f2f64274b/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "10bac1f2a20209f3a4cd",
|
|
"set": "perturbations108",
|
|
"group": "42ed4cbfde7f2f64274b/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "59898712e090848aa8b9",
|
|
"set": "perturbations108",
|
|
"group": "42ed4cbfde7f2f64274b/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "20af0ba1b17131d525dd",
|
|
"set": "perturbations108",
|
|
"group": "6dd193172b9240a04bf9/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "c153f7547c7206472fda",
|
|
"set": "perturbations108",
|
|
"group": "6dd193172b9240a04bf9/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "36d25b31f325cc4cec04",
|
|
"set": "perturbations108",
|
|
"group": "6dd193172b9240a04bf9/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d6a681055a01ed788b91",
|
|
"set": "perturbations108",
|
|
"group": "3200eb252d6737e03027/stability",
|
|
"gold": "permitted",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "3cafd544b9a8b89091a4",
|
|
"set": "perturbations108",
|
|
"group": "3200eb252d6737e03027/stability",
|
|
"gold": "permitted",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "24c4e34db7cfbd13c409",
|
|
"set": "perturbations108",
|
|
"group": "3200eb252d6737e03027/stability",
|
|
"gold": "permitted",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "69a2a9d14f62016e74c7",
|
|
"set": "perturbations108",
|
|
"group": "c0cbeb97315307af8111/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "f0519e8daaa832f8c594",
|
|
"set": "perturbations108",
|
|
"group": "c0cbeb97315307af8111/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "97b7222868f23ec1cdec",
|
|
"set": "perturbations108",
|
|
"group": "c0cbeb97315307af8111/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "dfdd8717200917fdbee2",
|
|
"set": "perturbations108",
|
|
"group": "428176cd8ad2c7a74eea/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "9bdf7dba759fc9919f7a",
|
|
"set": "perturbations108",
|
|
"group": "428176cd8ad2c7a74eea/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "f32ffa0158733f44991c",
|
|
"set": "perturbations108",
|
|
"group": "428176cd8ad2c7a74eea/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "e02cc1d78a9a02284d06",
|
|
"set": "perturbations108",
|
|
"group": "389e65bf1ba709b84b12/stability",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "870ee31666893f8a0298",
|
|
"set": "perturbations108",
|
|
"group": "389e65bf1ba709b84b12/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "ff15024839a7943a46f8",
|
|
"set": "perturbations108",
|
|
"group": "389e65bf1ba709b84b12/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d73c99ef45d5d49688c5",
|
|
"set": "perturbations108",
|
|
"group": "45f8ead2522a14384cdc/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "10777cd59d67780f2938",
|
|
"set": "perturbations108",
|
|
"group": "45f8ead2522a14384cdc/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "1e1feb87b303b0c66ca6",
|
|
"set": "perturbations108",
|
|
"group": "45f8ead2522a14384cdc/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "c62600144038b1f20132",
|
|
"set": "perturbations108",
|
|
"group": "3ecec8e2c166e397ad07/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "0c34b0762c1f92a806fa",
|
|
"set": "perturbations108",
|
|
"group": "3ecec8e2c166e397ad07/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d5f4985849895549f014",
|
|
"set": "perturbations108",
|
|
"group": "3ecec8e2c166e397ad07/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "9ad92b012bc3b7b1298b",
|
|
"set": "perturbations108",
|
|
"group": "a71a17a287f3d30db2aa/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "9bfefd9320c1ec9dc05a",
|
|
"set": "perturbations108",
|
|
"group": "a71a17a287f3d30db2aa/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "7062c93ddaabe9b19133",
|
|
"set": "perturbations108",
|
|
"group": "a71a17a287f3d30db2aa/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "a6861c422c6374527b79",
|
|
"set": "perturbations108",
|
|
"group": "986d7eaba0c7e9738e79/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "868cc04ff6c8321975c2",
|
|
"set": "perturbations108",
|
|
"group": "986d7eaba0c7e9738e79/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "5763d6ac9583bfbd179a",
|
|
"set": "perturbations108",
|
|
"group": "986d7eaba0c7e9738e79/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "7c1aefb79903e6234b4b",
|
|
"set": "perturbations108",
|
|
"group": "ca2e0b043985fa49bcd2/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "bd04047294bf97c56669",
|
|
"set": "perturbations108",
|
|
"group": "ca2e0b043985fa49bcd2/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.3333333333333333,
|
|
"rotations": true,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.3333333333333333,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "c5e09f0caa6939ae1c04",
|
|
"set": "perturbations108",
|
|
"group": "ca2e0b043985fa49bcd2/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "54e50afc4284f5e45e99",
|
|
"set": "perturbations108",
|
|
"group": "85051ba3c30277824ebe/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "84b0fc54c146eacf4b63",
|
|
"set": "perturbations108",
|
|
"group": "85051ba3c30277824ebe/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "0b580003cbe6b93cefd6",
|
|
"set": "perturbations108",
|
|
"group": "85051ba3c30277824ebe/stability",
|
|
"gold": "B",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "9e04a89f6da01a73345f",
|
|
"set": "perturbations108",
|
|
"group": "e7798dab5f4f121cab77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "61052547b62b4f38f768",
|
|
"set": "perturbations108",
|
|
"group": "e7798dab5f4f121cab77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "242df59a71ae30abc744",
|
|
"set": "perturbations108",
|
|
"group": "e7798dab5f4f121cab77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "65d53bafebb50d9273a4",
|
|
"set": "perturbations108",
|
|
"group": "928ebc7817a8f1cac3e4/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4c5cb6822a27c029976a",
|
|
"set": "perturbations108",
|
|
"group": "928ebc7817a8f1cac3e4/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "fbfc0c5ab92dbb5b7638",
|
|
"set": "perturbations108",
|
|
"group": "928ebc7817a8f1cac3e4/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "84bdb2d001c7e024f8d8",
|
|
"set": "perturbations108",
|
|
"group": "53b0770ec36835b81d3a/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "9e00994bdec725f3dba5",
|
|
"set": "perturbations108",
|
|
"group": "53b0770ec36835b81d3a/stability",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "ad063020bdde29193686",
|
|
"set": "perturbations108",
|
|
"group": "53b0770ec36835b81d3a/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "797d14fb61b9c31b2a73",
|
|
"set": "perturbations108",
|
|
"group": "056cc5b726d6e8300a77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "b7848a79b779fa6213a6",
|
|
"set": "perturbations108",
|
|
"group": "056cc5b726d6e8300a77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "2b41fd051743512b14f8",
|
|
"set": "perturbations108",
|
|
"group": "056cc5b726d6e8300a77/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "2355e01207ae3ee96f58",
|
|
"set": "perturbations108",
|
|
"group": "e3ce8ec496dbc9974f94/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "7eeb4266198f316747bd",
|
|
"set": "perturbations108",
|
|
"group": "e3ce8ec496dbc9974f94/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "dc45f218e1da88dcefe3",
|
|
"set": "perturbations108",
|
|
"group": "e3ce8ec496dbc9974f94/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "420328119f73acbcc528",
|
|
"set": "perturbations108",
|
|
"group": "a5b234c2e4fb304f1071/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "e6d9003f307ac0c06184",
|
|
"set": "perturbations108",
|
|
"group": "a5b234c2e4fb304f1071/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d89ff26feee2aab0c674",
|
|
"set": "perturbations108",
|
|
"group": "a5b234c2e4fb304f1071/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "994e845d231fbbc1b314",
|
|
"set": "perturbations108",
|
|
"group": "d142f7fd0efa0eddc788/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "4a962c2278e610119138",
|
|
"set": "perturbations108",
|
|
"group": "d142f7fd0efa0eddc788/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "1b55d33eb5abc7719a4a",
|
|
"set": "perturbations108",
|
|
"group": "d142f7fd0efa0eddc788/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "6ed6a1f9c601b82a11d9",
|
|
"set": "perturbations108",
|
|
"group": "3476d3f4f32290fe57c3/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "bbc7a7fab955884da496",
|
|
"set": "perturbations108",
|
|
"group": "3476d3f4f32290fe57c3/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "fed61559ec517062e424",
|
|
"set": "perturbations108",
|
|
"group": "3476d3f4f32290fe57c3/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "854da63689519c5eeffe",
|
|
"set": "perturbations108",
|
|
"group": "c979db7416b206c1eb09/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.16666666666666666,
|
|
"rotations": true,
|
|
"all6": false,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "cbebaf6e14bfd85ee672",
|
|
"set": "perturbations108",
|
|
"group": "c979db7416b206c1eb09/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "507f126320b35c49b3b3",
|
|
"set": "perturbations108",
|
|
"group": "c979db7416b206c1eb09/stability",
|
|
"gold": "B",
|
|
"single_original": false,
|
|
"single_expected": 0.16666666666666666,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.0
|
|
},
|
|
{
|
|
"id": "21557955028145701b15",
|
|
"set": "perturbations108",
|
|
"group": "f7403e39d6796072491c/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "050a4186a02b28f0dccc",
|
|
"set": "perturbations108",
|
|
"group": "f7403e39d6796072491c/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "aeb5013da56a9dd53665",
|
|
"set": "perturbations108",
|
|
"group": "f7403e39d6796072491c/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "9cb7a576fead7fc845ab",
|
|
"set": "perturbations108",
|
|
"group": "a060fd4621be415e9f1a/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "ddd254fae8e415615a8a",
|
|
"set": "perturbations108",
|
|
"group": "a060fd4621be415e9f1a/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "2b51ed50ef91d14bfb1e",
|
|
"set": "perturbations108",
|
|
"group": "a060fd4621be415e9f1a/stability",
|
|
"gold": "prohibited",
|
|
"single_original": true,
|
|
"single_expected": 0.6666666666666666,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "65b87e9b46818cc758c0",
|
|
"set": "perturbations108",
|
|
"group": "2b0f8eda8903e38a47de/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "d39d7fc35c42bb898ea8",
|
|
"set": "perturbations108",
|
|
"group": "2b0f8eda8903e38a47de/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "61ef89ceb2a564f24805",
|
|
"set": "perturbations108",
|
|
"group": "2b0f8eda8903e38a47de/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "2bdff68fef60c15b8929",
|
|
"set": "perturbations108",
|
|
"group": "01020a1eaf46ec2fba5d/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "d727a02607d044abafed",
|
|
"set": "perturbations108",
|
|
"group": "01020a1eaf46ec2fba5d/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 0.5,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "c89cb1e57ed5b22d794b",
|
|
"set": "perturbations108",
|
|
"group": "01020a1eaf46ec2fba5d/stability",
|
|
"gold": "contradicted",
|
|
"single_original": true,
|
|
"single_expected": 1.0,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 1.0,
|
|
"first_position_wins": 0.3333333333333333
|
|
},
|
|
{
|
|
"id": "b1521d74fb803e551fdd",
|
|
"set": "perturbations108",
|
|
"group": "6a06a2f278301c1412ee/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "3117510a0d5b768c4096",
|
|
"set": "perturbations108",
|
|
"group": "6a06a2f278301c1412ee/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.3333333333333333,
|
|
"agree_all6": 0.5,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "90632d8d2066bd79c796",
|
|
"set": "perturbations108",
|
|
"group": "6a06a2f278301c1412ee/stability",
|
|
"gold": "prohibited",
|
|
"single_original": false,
|
|
"single_expected": 0.0,
|
|
"rotations": false,
|
|
"all6": false,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.6666666666666666,
|
|
"first_position_wins": 0.6666666666666666
|
|
},
|
|
{
|
|
"id": "ffb51cef94e857eb8c8a",
|
|
"set": "perturbations108",
|
|
"group": "2797f8c23d05c0ee06b3/stability",
|
|
"gold": "A",
|
|
"single_original": true,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 1.0,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "a34e8187417ab3b52f30",
|
|
"set": "perturbations108",
|
|
"group": "2797f8c23d05c0ee06b3/stability",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
},
|
|
{
|
|
"id": "31f53baf67e4cb25aeff",
|
|
"set": "perturbations108",
|
|
"group": "2797f8c23d05c0ee06b3/stability",
|
|
"gold": "A",
|
|
"single_original": false,
|
|
"single_expected": 0.8333333333333334,
|
|
"rotations": true,
|
|
"all6": true,
|
|
"agree_rot": 0.6666666666666666,
|
|
"agree_all6": 0.8333333333333334,
|
|
"first_position_wins": 0.5
|
|
}
|
|
]
|
|
} |