From 739aa031230f472817b7fea347a4979c7d16878f Mon Sep 17 00:00:00 2001 From: Vuong Hoang Date: Sun, 27 Sep 2026 02:50:14 -0700 Subject: [PATCH] spike(semif): latency profile and order-averaging measurement (no service change) Latency, measured from nh3-dev (3 runs x 20 per condition; network floor 31 ms): - /decide short: 71 ms end to end, 38 ms server-side; - /decide with a ~2,000-token state: 210 / 169 ms; - shared, 3 rotations: 113 / 79 ms; - shared, 6 orderings: 137 / 99 ms. Qwen3.5's fast kernels (causal_conv1d, flash-linear-attention) are not installed, so transformers falls back to its reference PyTorch paths. That is a speed lever, and using it needs a parity re-check. Averaging over option orderings, on SemIf authored144 + perturbations108 (252 rows, 72 groups): - a single ordering scores 78.6%; - log-mean over the 3 rotations scores 87.7% (+9.1 pts, group-bootstrap 95% CI +4.7 to +13.8); - all 6 permutations score 88.1%. Rotations capture nearly all of the gain. Rows where the rotations agree unanimously (161) are 94.4% accurate; split rows (91) are 75.8%. --- .../spike/averaging-spike-2026-09-27.json | 3334 +++++++++++++++++ services/semif-serve/spike/averaging_spike.py | 89 + .../semif-serve/spike/latency-2026-09-27.txt | 7 + services/semif-serve/spike/latency.py | 58 + 4 files changed, 3488 insertions(+) create mode 100644 services/semif-serve/spike/averaging-spike-2026-09-27.json create mode 100644 services/semif-serve/spike/averaging_spike.py create mode 100644 services/semif-serve/spike/latency-2026-09-27.txt create mode 100644 services/semif-serve/spike/latency.py diff --git a/services/semif-serve/spike/averaging-spike-2026-09-27.json b/services/semif-serve/spike/averaging-spike-2026-09-27.json new file mode 100644 index 0000000..6b1d5a8 --- /dev/null +++ b/services/semif-serve/spike/averaging-spike-2026-09-27.json @@ -0,0 +1,3334 @@ +{ + "report": { + "rows": 252, + "groups": 72, + "wall_s": 36.1, + "accuracy": { + "single_original": 0.7857, + "single_expected": 0.7996, + "rotations": 0.877, + "all6": 0.881 + }, + "delta_vs_single_original_95ci": { + "rotations": [ + 0.0474, + 0.1378 + ], + "all6": [ + 0.0496, + 0.1434 + ] + }, + "first_position_win_rate_mean": 0.3591, + "by_set": { + "authored144": { + "single_original": 0.7986, + "rotations": 0.8958, + "all6": 0.9167 + }, + "perturbations108": { + "single_original": 0.7685, + "rotations": 0.8519, + "all6": 0.8333 + } + }, + "agree_rot: accuracy when unanimous vs split": { + "unanimous": { + "rows": 161, + "accuracy": 0.9441 + }, + "split": { + "rows": 91, + "accuracy": 0.7582 + } + }, + "agree_all6: accuracy when unanimous vs split": { + "unanimous": { + "rows": 144, + "accuracy": 0.9444 + }, + "split": { + "rows": 108, + "accuracy": 0.7963 + } + } + }, + "rows": [ + { + "id": "a3f18f3a63d45345942b", + "set": "authored144", + "group": "2fdaa8a61e6e989dd866", + "gold": "contradicted", + "single_original": false, + "single_expected": 0.5, + "rotations": false, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "f40beba9088c8db8bbd6", + "set": "authored144", + "group": "2fdaa8a61e6e989dd866", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "0b43ea8e24e74d621f1b", + "set": "authored144", + "group": "2fdaa8a61e6e989dd866", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "942ec65dac0bfb9874f9", + "set": "authored144", + "group": "2fdaa8a61e6e989dd866", + "gold": "insufficient", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "e0c140e9222d1bce5647", + "set": "authored144", + "group": "f4bea3d3bcc01056740d", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "8e8c3804a3c15ebb31e3", + "set": "authored144", + "group": "f4bea3d3bcc01056740d", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "56c419b12cd37cbe790c", + "set": "authored144", + "group": "f4bea3d3bcc01056740d", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "75b470586834df8c568d", + "set": "authored144", + "group": "f4bea3d3bcc01056740d", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "834f3b3e10cc61b33d25", + "set": "authored144", + "group": "b51b300da2936decc6b7", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "76c7a79b1ff2363a60c5", + "set": "authored144", + "group": "b51b300da2936decc6b7", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "36c71bb649b7d5eccb1f", + "set": "authored144", + "group": "b51b300da2936decc6b7", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "eac5121a4a1bf391a08c", + "set": "authored144", + "group": "b51b300da2936decc6b7", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "44574c44e243ee1b2f52", + "set": "authored144", + "group": "e4cfd694c80e08d3e6a5", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "2608370d01783735c3ea", + "set": "authored144", + "group": "e4cfd694c80e08d3e6a5", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ec94ef909f7918695ab3", + "set": "authored144", + "group": "e4cfd694c80e08d3e6a5", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "03d919fd0e9b3a7cd1e6", + "set": "authored144", + "group": "e4cfd694c80e08d3e6a5", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "86a15618ba4cb90a307e", + "set": "authored144", + "group": "20460d4ae0db46091e84", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "3dd9c3ac98f8ddf7bdd3", + "set": "authored144", + "group": "20460d4ae0db46091e84", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "36273dd4777876a26338", + "set": "authored144", + "group": "20460d4ae0db46091e84", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "07ee70cfe4b01330ce89", + "set": "authored144", + "group": "20460d4ae0db46091e84", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "51ceab3ce622c7c759f1", + "set": "authored144", + "group": "51b91ba31984c5939c1c", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b8091be929b1e489fcc4", + "set": "authored144", + "group": "51b91ba31984c5939c1c", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "c89b86e3f55123bfa506", + "set": "authored144", + "group": "51b91ba31984c5939c1c", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "3b0958cabc339005cf66", + "set": "authored144", + "group": "51b91ba31984c5939c1c", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "f2b4ec4930322fe45118", + "set": "authored144", + "group": "770c1607f0a11f88f81e", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "61ac20b07a5189231e15", + "set": "authored144", + "group": "770c1607f0a11f88f81e", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4b3d794c004566610181", + "set": "authored144", + "group": "770c1607f0a11f88f81e", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b7c4e62d07986286fce0", + "set": "authored144", + "group": "770c1607f0a11f88f81e", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "9473603b44af63beab79", + "set": "authored144", + "group": "ffd081ada3bd9be9207a", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d41072dc35d8cd14c056", + "set": "authored144", + "group": "ffd081ada3bd9be9207a", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "33d6e5da58f0fee2490d", + "set": "authored144", + "group": "ffd081ada3bd9be9207a", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.16666666666666666, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "823bf736b92e9d8fa66d", + "set": "authored144", + "group": "ffd081ada3bd9be9207a", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "8a4c3de28be95c105ca1", + "set": "authored144", + "group": "2c3a0cb61f7bae78739e", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "ea7ec66a5e8eac886548", + "set": "authored144", + "group": "2c3a0cb61f7bae78739e", + "gold": "permitted", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "25172cd6ddc49ab0ca70", + "set": "authored144", + "group": "2c3a0cb61f7bae78739e", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "fb73a85d386cf59b0c51", + "set": "authored144", + "group": "2c3a0cb61f7bae78739e", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "a02fd582d2881cc462b2", + "set": "authored144", + "group": "42ed4cbfde7f2f64274b", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "19f37d5a97034bd7d04f", + "set": "authored144", + "group": "42ed4cbfde7f2f64274b", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "fda0ca94652c6d739ecf", + "set": "authored144", + "group": "42ed4cbfde7f2f64274b", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d0e36c4cb10a29b3191c", + "set": "authored144", + "group": "42ed4cbfde7f2f64274b", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "a0a39ace7e5337d038a7", + "set": "authored144", + "group": "6dd193172b9240a04bf9", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "eeae283841ce75dd25bf", + "set": "authored144", + "group": "6dd193172b9240a04bf9", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "00bb4cc043f7d2b288d4", + "set": "authored144", + "group": "6dd193172b9240a04bf9", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "1a81ead69e93e5d0c86a", + "set": "authored144", + "group": "6dd193172b9240a04bf9", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4444dad25e438f128673", + "set": "authored144", + "group": "3200eb252d6737e03027", + "gold": "permitted", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "3226202ba1ada2570e9f", + "set": "authored144", + "group": "3200eb252d6737e03027", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.3333333333333333, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.5 + }, + { + "id": "3f783eec5c90812479bc", + "set": "authored144", + "group": "3200eb252d6737e03027", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ffee861474a9665a093a", + "set": "authored144", + "group": "3200eb252d6737e03027", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "8c992e17e4fb54b044f5", + "set": "authored144", + "group": "c0cbeb97315307af8111", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "695dd61195ca025c4f4c", + "set": "authored144", + "group": "c0cbeb97315307af8111", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "e6155431ab7b0f8170d4", + "set": "authored144", + "group": "c0cbeb97315307af8111", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "b49ecda75086d8c68d2a", + "set": "authored144", + "group": "c0cbeb97315307af8111", + "gold": "insufficient", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "587ced261c6092cd1325", + "set": "authored144", + "group": "428176cd8ad2c7a74eea", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "533d4423d311de82b27d", + "set": "authored144", + "group": "428176cd8ad2c7a74eea", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "2bf540d515a51755b25c", + "set": "authored144", + "group": "428176cd8ad2c7a74eea", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "fdb9fc214aea2710763a", + "set": "authored144", + "group": "428176cd8ad2c7a74eea", + "gold": "insufficient", + "single_original": false, + "single_expected": 0.3333333333333333, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "f6d68126b43f8c9ed183", + "set": "authored144", + "group": "389e65bf1ba709b84b12", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "44bae0c8a1615a096c43", + "set": "authored144", + "group": "389e65bf1ba709b84b12", + "gold": "B", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.16666666666666666 + }, + { + "id": "2175379f4c69e6207626", + "set": "authored144", + "group": "389e65bf1ba709b84b12", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "def9fe59d262357a673a", + "set": "authored144", + "group": "389e65bf1ba709b84b12", + "gold": "insufficient", + "single_original": false, + "single_expected": 0.3333333333333333, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.16666666666666666 + }, + { + "id": "712f6ffb763eef7c9a12", + "set": "authored144", + "group": "45f8ead2522a14384cdc", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "e1d610bd14e3d16c09b9", + "set": "authored144", + "group": "45f8ead2522a14384cdc", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "22ec57822db50ec121cf", + "set": "authored144", + "group": "45f8ead2522a14384cdc", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "3e75f2b84e8e08e3d3f2", + "set": "authored144", + "group": "45f8ead2522a14384cdc", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ebd74aa05324a1556288", + "set": "authored144", + "group": "3ecec8e2c166e397ad07", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d7e84e4245a29817da1f", + "set": "authored144", + "group": "3ecec8e2c166e397ad07", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "f41ae66b3c09630c7a42", + "set": "authored144", + "group": "3ecec8e2c166e397ad07", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "82c2cd97c160ad27951b", + "set": "authored144", + "group": "3ecec8e2c166e397ad07", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "7ada97b6f99f4788e5c7", + "set": "authored144", + "group": "a71a17a287f3d30db2aa", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "4d7a003342db5b0a17e3", + "set": "authored144", + "group": "a71a17a287f3d30db2aa", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "19d3d8d0bf773e88be7b", + "set": "authored144", + "group": "a71a17a287f3d30db2aa", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d6de731cca52359b1c87", + "set": "authored144", + "group": "a71a17a287f3d30db2aa", + "gold": "insufficient", + "single_original": false, + "single_expected": 0.3333333333333333, + "rotations": true, + "all6": true, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.3333333333333333, + "first_position_wins": 0.16666666666666666 + }, + { + "id": "b45c63fb92729af27f05", + "set": "authored144", + "group": "986d7eaba0c7e9738e79", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "46b7029b9a704138b77a", + "set": "authored144", + "group": "986d7eaba0c7e9738e79", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "caf773b23934fa7362a1", + "set": "authored144", + "group": "986d7eaba0c7e9738e79", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "f46f392ef9e9e9df564b", + "set": "authored144", + "group": "986d7eaba0c7e9738e79", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "005dcf6d2c0f21d64796", + "set": "authored144", + "group": "ca2e0b043985fa49bcd2", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "edb708bd0fe5fd67d6ee", + "set": "authored144", + "group": "ca2e0b043985fa49bcd2", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "97a35499bd8717f3e786", + "set": "authored144", + "group": "ca2e0b043985fa49bcd2", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "31eb4533d2c89959ec46", + "set": "authored144", + "group": "ca2e0b043985fa49bcd2", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "0aa24a6701ac9c56c4a0", + "set": "authored144", + "group": "85051ba3c30277824ebe", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "796d5c0da6eaadae6a3f", + "set": "authored144", + "group": "85051ba3c30277824ebe", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "599b3092b6fd18312d23", + "set": "authored144", + "group": "85051ba3c30277824ebe", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "960a4bcd27363e6db4b9", + "set": "authored144", + "group": "85051ba3c30277824ebe", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "c6a411e7f2bbdf377173", + "set": "authored144", + "group": "e7798dab5f4f121cab77", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "e332aa927d0c2ed044aa", + "set": "authored144", + "group": "e7798dab5f4f121cab77", + "gold": "supported", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "a0128e551d095f3449f8", + "set": "authored144", + "group": "e7798dab5f4f121cab77", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "46d6a0731bd288c370f0", + "set": "authored144", + "group": "e7798dab5f4f121cab77", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "21ca7a8b970e36b8e20f", + "set": "authored144", + "group": "928ebc7817a8f1cac3e4", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4aa83af95bb69e90bc2d", + "set": "authored144", + "group": "928ebc7817a8f1cac3e4", + "gold": "permitted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "cdfa9eed51fafcf09b72", + "set": "authored144", + "group": "928ebc7817a8f1cac3e4", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d51b05bfb9d6d7f09331", + "set": "authored144", + "group": "928ebc7817a8f1cac3e4", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "fdd902cc6e65fad7cb4f", + "set": "authored144", + "group": "53b0770ec36835b81d3a", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "42384af9ae56beb37ff5", + "set": "authored144", + "group": "53b0770ec36835b81d3a", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "cdf7f428857e1b841cb3", + "set": "authored144", + "group": "53b0770ec36835b81d3a", + "gold": "B", + "single_original": true, + "single_expected": 0.5, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.0 + }, + { + "id": "774f7f9245f83c796d44", + "set": "authored144", + "group": "53b0770ec36835b81d3a", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "92ec2ffa3dd46ada1335", + "set": "authored144", + "group": "056cc5b726d6e8300a77", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "6149a17bc154f9c5b4a0", + "set": "authored144", + "group": "056cc5b726d6e8300a77", + "gold": "supported", + "single_original": false, + "single_expected": 0.16666666666666666, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.3333333333333333, + "first_position_wins": 0.8333333333333334 + }, + { + "id": "be866e1dbec5d42d9423", + "set": "authored144", + "group": "056cc5b726d6e8300a77", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "97d2ed2591fc7638806c", + "set": "authored144", + "group": "056cc5b726d6e8300a77", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4533dd91267b4d815690", + "set": "authored144", + "group": "e3ce8ec496dbc9974f94", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d880e65fef5e2993fdd0", + "set": "authored144", + "group": "e3ce8ec496dbc9974f94", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "90494c76078ffc3c717a", + "set": "authored144", + "group": "e3ce8ec496dbc9974f94", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "9ac5cc82c4126c91174a", + "set": "authored144", + "group": "e3ce8ec496dbc9974f94", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "386e10b1c1ce906473a4", + "set": "authored144", + "group": "a5b234c2e4fb304f1071", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4da6aedc1139224eeff2", + "set": "authored144", + "group": "a5b234c2e4fb304f1071", + "gold": "B", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "a22dab8ba073ff6cdb8d", + "set": "authored144", + "group": "a5b234c2e4fb304f1071", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "42c54fa2ad45743e24d8", + "set": "authored144", + "group": "a5b234c2e4fb304f1071", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "f3d13cf184f916677def", + "set": "authored144", + "group": "d142f7fd0efa0eddc788", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "1105577da4c8dad4609d", + "set": "authored144", + "group": "d142f7fd0efa0eddc788", + "gold": "supported", + "single_original": false, + "single_expected": 0.3333333333333333, + "rotations": false, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.3333333333333333, + "first_position_wins": 0.8333333333333334 + }, + { + "id": "0ebd299739302d8b057b", + "set": "authored144", + "group": "d142f7fd0efa0eddc788", + "gold": "supported", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.5 + }, + { + "id": "eafc22c8c40df3932a8e", + "set": "authored144", + "group": "d142f7fd0efa0eddc788", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "0aa1447680e4f25862bb", + "set": "authored144", + "group": "3476d3f4f32290fe57c3", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "980e76145c925747220c", + "set": "authored144", + "group": "3476d3f4f32290fe57c3", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4aee37a6a155747766aa", + "set": "authored144", + "group": "3476d3f4f32290fe57c3", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "6db17cc22bd656d78558", + "set": "authored144", + "group": "3476d3f4f32290fe57c3", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ef3e0f8e657bf59f8a29", + "set": "authored144", + "group": "c979db7416b206c1eb09", + "gold": "B", + "single_original": false, + "single_expected": 0.16666666666666666, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.0 + }, + { + "id": "f756e1cb04e11766341e", + "set": "authored144", + "group": "c979db7416b206c1eb09", + "gold": "A", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "d167e51bb1f499099645", + "set": "authored144", + "group": "c979db7416b206c1eb09", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "674ca4e9346216255466", + "set": "authored144", + "group": "c979db7416b206c1eb09", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "1df851a202994a07f123", + "set": "authored144", + "group": "f7403e39d6796072491c", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b5e6788d95b8395d2888", + "set": "authored144", + "group": "f7403e39d6796072491c", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "32f36cd0fbbfb3604586", + "set": "authored144", + "group": "f7403e39d6796072491c", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "843185706adff0c60f8b", + "set": "authored144", + "group": "f7403e39d6796072491c", + "gold": "insufficient", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b531dd603bf080dab820", + "set": "authored144", + "group": "a060fd4621be415e9f1a", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "be2dd67bc733c1213bef", + "set": "authored144", + "group": "a060fd4621be415e9f1a", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b8e2750307df9761e716", + "set": "authored144", + "group": "a060fd4621be415e9f1a", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "5d31b4bf2d0fc193f53b", + "set": "authored144", + "group": "a060fd4621be415e9f1a", + "gold": "insufficient", + "single_original": true, + "single_expected": 0.5, + "rotations": false, + "all6": false, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "a9230edfc6ec9e524af0", + "set": "authored144", + "group": "2b0f8eda8903e38a47de", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "c100e84585149a04be49", + "set": "authored144", + "group": "2b0f8eda8903e38a47de", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "579beed184ffc1104aa9", + "set": "authored144", + "group": "2b0f8eda8903e38a47de", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "c4e9bd463b6fde5be743", + "set": "authored144", + "group": "2b0f8eda8903e38a47de", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b863998d4be2721a5dfd", + "set": "authored144", + "group": "01020a1eaf46ec2fba5d", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "37cebc3792e98049439f", + "set": "authored144", + "group": "01020a1eaf46ec2fba5d", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "64d63f86e328aff1481c", + "set": "authored144", + "group": "01020a1eaf46ec2fba5d", + "gold": "supported", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "6d64a8459f64eac7f4cc", + "set": "authored144", + "group": "01020a1eaf46ec2fba5d", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "2708193212d8a4a523c7", + "set": "authored144", + "group": "6a06a2f278301c1412ee", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "5a37d1dfcad20810a76a", + "set": "authored144", + "group": "6a06a2f278301c1412ee", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "acacd8b46acd25cb954b", + "set": "authored144", + "group": "6a06a2f278301c1412ee", + "gold": "permitted", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "4089c199b8b796ec3ed8", + "set": "authored144", + "group": "6a06a2f278301c1412ee", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "02f2b95a5c5a4777a45c", + "set": "authored144", + "group": "2797f8c23d05c0ee06b3", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "ebea4681e3dcc7d92ca2", + "set": "authored144", + "group": "2797f8c23d05c0ee06b3", + "gold": "B", + "single_original": true, + "single_expected": 0.5, + "rotations": false, + "all6": true, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.5, + "first_position_wins": 0.0 + }, + { + "id": "b8c5b9b285cbdddc9f8d", + "set": "authored144", + "group": "2797f8c23d05c0ee06b3", + "gold": "B", + "single_original": false, + "single_expected": 0.5, + "rotations": true, + "all6": true, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.5, + "first_position_wins": 0.0 + }, + { + "id": "7ed75d854d99b3a81916", + "set": "authored144", + "group": "2797f8c23d05c0ee06b3", + "gold": "insufficient", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "14790d6d50043b03420c", + "set": "perturbations108", + "group": "2fdaa8a61e6e989dd866/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.5, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "29566b5efbd2611e6eee", + "set": "perturbations108", + "group": "2fdaa8a61e6e989dd866/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "1a6e02f5b0bf923374c1", + "set": "perturbations108", + "group": "2fdaa8a61e6e989dd866/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "d83888299b2e202297be", + "set": "perturbations108", + "group": "f4bea3d3bcc01056740d/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "f42c36cd140557859819", + "set": "perturbations108", + "group": "f4bea3d3bcc01056740d/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "c2e8c6d1252eabe3e182", + "set": "perturbations108", + "group": "f4bea3d3bcc01056740d/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "70d7bdc8d5ee62366ee5", + "set": "perturbations108", + "group": "b51b300da2936decc6b7/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "26d6f758382576f65927", + "set": "perturbations108", + "group": "b51b300da2936decc6b7/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ecc5ee8175d414efdd35", + "set": "perturbations108", + "group": "b51b300da2936decc6b7/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "21ecfcb1d048958cb9b4", + "set": "perturbations108", + "group": "e4cfd694c80e08d3e6a5/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "5ce4f874ff2fa5295685", + "set": "perturbations108", + "group": "e4cfd694c80e08d3e6a5/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "04d55440accab2c5d0d9", + "set": "perturbations108", + "group": "e4cfd694c80e08d3e6a5/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "0e2caab29b17ff00a2c8", + "set": "perturbations108", + "group": "20460d4ae0db46091e84/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "a4428ee66c63c4f1e7f4", + "set": "perturbations108", + "group": "20460d4ae0db46091e84/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "22e54b5c44f60d5cd5c0", + "set": "perturbations108", + "group": "20460d4ae0db46091e84/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "9729054768eb7f90eb6d", + "set": "perturbations108", + "group": "51b91ba31984c5939c1c/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "674217922d611e718129", + "set": "perturbations108", + "group": "51b91ba31984c5939c1c/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "7a8a295f17d1296482dd", + "set": "perturbations108", + "group": "51b91ba31984c5939c1c/stability", + "gold": "supported", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "8bceb31cf793fb26d1a5", + "set": "perturbations108", + "group": "770c1607f0a11f88f81e/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "2e895a0fc82d936936aa", + "set": "perturbations108", + "group": "770c1607f0a11f88f81e/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "c5a9fbb9bfa41e5293eb", + "set": "perturbations108", + "group": "770c1607f0a11f88f81e/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.3333333333333333, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "80970cf7e755a58a049e", + "set": "perturbations108", + "group": "ffd081ada3bd9be9207a/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d300f689be3cf2daa666", + "set": "perturbations108", + "group": "ffd081ada3bd9be9207a/stability", + "gold": "permitted", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "3d8f3be170e01d2c78e5", + "set": "perturbations108", + "group": "ffd081ada3bd9be9207a/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "aef33dfba4338b1af990", + "set": "perturbations108", + "group": "2c3a0cb61f7bae78739e/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "f806bba07a63e30f7181", + "set": "perturbations108", + "group": "2c3a0cb61f7bae78739e/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "409e1ab1d29db22f8917", + "set": "perturbations108", + "group": "2c3a0cb61f7bae78739e/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": false, + "all6": true, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "0471c62c50820b1d4203", + "set": "perturbations108", + "group": "42ed4cbfde7f2f64274b/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "10bac1f2a20209f3a4cd", + "set": "perturbations108", + "group": "42ed4cbfde7f2f64274b/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "59898712e090848aa8b9", + "set": "perturbations108", + "group": "42ed4cbfde7f2f64274b/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "20af0ba1b17131d525dd", + "set": "perturbations108", + "group": "6dd193172b9240a04bf9/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "c153f7547c7206472fda", + "set": "perturbations108", + "group": "6dd193172b9240a04bf9/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "36d25b31f325cc4cec04", + "set": "perturbations108", + "group": "6dd193172b9240a04bf9/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d6a681055a01ed788b91", + "set": "perturbations108", + "group": "3200eb252d6737e03027/stability", + "gold": "permitted", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "3cafd544b9a8b89091a4", + "set": "perturbations108", + "group": "3200eb252d6737e03027/stability", + "gold": "permitted", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "24c4e34db7cfbd13c409", + "set": "perturbations108", + "group": "3200eb252d6737e03027/stability", + "gold": "permitted", + "single_original": true, + "single_expected": 0.5, + "rotations": true, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "69a2a9d14f62016e74c7", + "set": "perturbations108", + "group": "c0cbeb97315307af8111/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "f0519e8daaa832f8c594", + "set": "perturbations108", + "group": "c0cbeb97315307af8111/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "97b7222868f23ec1cdec", + "set": "perturbations108", + "group": "c0cbeb97315307af8111/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "dfdd8717200917fdbee2", + "set": "perturbations108", + "group": "428176cd8ad2c7a74eea/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "9bdf7dba759fc9919f7a", + "set": "perturbations108", + "group": "428176cd8ad2c7a74eea/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "f32ffa0158733f44991c", + "set": "perturbations108", + "group": "428176cd8ad2c7a74eea/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "e02cc1d78a9a02284d06", + "set": "perturbations108", + "group": "389e65bf1ba709b84b12/stability", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "870ee31666893f8a0298", + "set": "perturbations108", + "group": "389e65bf1ba709b84b12/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "ff15024839a7943a46f8", + "set": "perturbations108", + "group": "389e65bf1ba709b84b12/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d73c99ef45d5d49688c5", + "set": "perturbations108", + "group": "45f8ead2522a14384cdc/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "10777cd59d67780f2938", + "set": "perturbations108", + "group": "45f8ead2522a14384cdc/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "1e1feb87b303b0c66ca6", + "set": "perturbations108", + "group": "45f8ead2522a14384cdc/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "c62600144038b1f20132", + "set": "perturbations108", + "group": "3ecec8e2c166e397ad07/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "0c34b0762c1f92a806fa", + "set": "perturbations108", + "group": "3ecec8e2c166e397ad07/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d5f4985849895549f014", + "set": "perturbations108", + "group": "3ecec8e2c166e397ad07/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "9ad92b012bc3b7b1298b", + "set": "perturbations108", + "group": "a71a17a287f3d30db2aa/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "9bfefd9320c1ec9dc05a", + "set": "perturbations108", + "group": "a71a17a287f3d30db2aa/stability", + "gold": "B", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "7062c93ddaabe9b19133", + "set": "perturbations108", + "group": "a71a17a287f3d30db2aa/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "a6861c422c6374527b79", + "set": "perturbations108", + "group": "986d7eaba0c7e9738e79/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "868cc04ff6c8321975c2", + "set": "perturbations108", + "group": "986d7eaba0c7e9738e79/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "5763d6ac9583bfbd179a", + "set": "perturbations108", + "group": "986d7eaba0c7e9738e79/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "7c1aefb79903e6234b4b", + "set": "perturbations108", + "group": "ca2e0b043985fa49bcd2/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "bd04047294bf97c56669", + "set": "perturbations108", + "group": "ca2e0b043985fa49bcd2/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.3333333333333333, + "rotations": true, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.3333333333333333, + "first_position_wins": 0.0 + }, + { + "id": "c5e09f0caa6939ae1c04", + "set": "perturbations108", + "group": "ca2e0b043985fa49bcd2/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.5, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "54e50afc4284f5e45e99", + "set": "perturbations108", + "group": "85051ba3c30277824ebe/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "84b0fc54c146eacf4b63", + "set": "perturbations108", + "group": "85051ba3c30277824ebe/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "0b580003cbe6b93cefd6", + "set": "perturbations108", + "group": "85051ba3c30277824ebe/stability", + "gold": "B", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "9e04a89f6da01a73345f", + "set": "perturbations108", + "group": "e7798dab5f4f121cab77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "61052547b62b4f38f768", + "set": "perturbations108", + "group": "e7798dab5f4f121cab77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "242df59a71ae30abc744", + "set": "perturbations108", + "group": "e7798dab5f4f121cab77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "65d53bafebb50d9273a4", + "set": "perturbations108", + "group": "928ebc7817a8f1cac3e4/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4c5cb6822a27c029976a", + "set": "perturbations108", + "group": "928ebc7817a8f1cac3e4/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "fbfc0c5ab92dbb5b7638", + "set": "perturbations108", + "group": "928ebc7817a8f1cac3e4/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "84bdb2d001c7e024f8d8", + "set": "perturbations108", + "group": "53b0770ec36835b81d3a/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "9e00994bdec725f3dba5", + "set": "perturbations108", + "group": "53b0770ec36835b81d3a/stability", + "gold": "A", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "ad063020bdde29193686", + "set": "perturbations108", + "group": "53b0770ec36835b81d3a/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "797d14fb61b9c31b2a73", + "set": "perturbations108", + "group": "056cc5b726d6e8300a77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "b7848a79b779fa6213a6", + "set": "perturbations108", + "group": "056cc5b726d6e8300a77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "2b41fd051743512b14f8", + "set": "perturbations108", + "group": "056cc5b726d6e8300a77/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "2355e01207ae3ee96f58", + "set": "perturbations108", + "group": "e3ce8ec496dbc9974f94/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "7eeb4266198f316747bd", + "set": "perturbations108", + "group": "e3ce8ec496dbc9974f94/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "dc45f218e1da88dcefe3", + "set": "perturbations108", + "group": "e3ce8ec496dbc9974f94/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "420328119f73acbcc528", + "set": "perturbations108", + "group": "a5b234c2e4fb304f1071/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "e6d9003f307ac0c06184", + "set": "perturbations108", + "group": "a5b234c2e4fb304f1071/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d89ff26feee2aab0c674", + "set": "perturbations108", + "group": "a5b234c2e4fb304f1071/stability", + "gold": "A", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "994e845d231fbbc1b314", + "set": "perturbations108", + "group": "d142f7fd0efa0eddc788/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "4a962c2278e610119138", + "set": "perturbations108", + "group": "d142f7fd0efa0eddc788/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "1b55d33eb5abc7719a4a", + "set": "perturbations108", + "group": "d142f7fd0efa0eddc788/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "6ed6a1f9c601b82a11d9", + "set": "perturbations108", + "group": "3476d3f4f32290fe57c3/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "bbc7a7fab955884da496", + "set": "perturbations108", + "group": "3476d3f4f32290fe57c3/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "fed61559ec517062e424", + "set": "perturbations108", + "group": "3476d3f4f32290fe57c3/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "854da63689519c5eeffe", + "set": "perturbations108", + "group": "c979db7416b206c1eb09/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.16666666666666666, + "rotations": true, + "all6": false, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.5, + "first_position_wins": 0.0 + }, + { + "id": "cbebaf6e14bfd85ee672", + "set": "perturbations108", + "group": "c979db7416b206c1eb09/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "507f126320b35c49b3b3", + "set": "perturbations108", + "group": "c979db7416b206c1eb09/stability", + "gold": "B", + "single_original": false, + "single_expected": 0.16666666666666666, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.0 + }, + { + "id": "21557955028145701b15", + "set": "perturbations108", + "group": "f7403e39d6796072491c/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "050a4186a02b28f0dccc", + "set": "perturbations108", + "group": "f7403e39d6796072491c/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "aeb5013da56a9dd53665", + "set": "perturbations108", + "group": "f7403e39d6796072491c/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "9cb7a576fead7fc845ab", + "set": "perturbations108", + "group": "a060fd4621be415e9f1a/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "ddd254fae8e415615a8a", + "set": "perturbations108", + "group": "a060fd4621be415e9f1a/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.5, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "2b51ed50ef91d14bfb1e", + "set": "perturbations108", + "group": "a060fd4621be415e9f1a/stability", + "gold": "prohibited", + "single_original": true, + "single_expected": 0.6666666666666666, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "65b87e9b46818cc758c0", + "set": "perturbations108", + "group": "2b0f8eda8903e38a47de/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "d39d7fc35c42bb898ea8", + "set": "perturbations108", + "group": "2b0f8eda8903e38a47de/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "61ef89ceb2a564f24805", + "set": "perturbations108", + "group": "2b0f8eda8903e38a47de/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "2bdff68fef60c15b8929", + "set": "perturbations108", + "group": "01020a1eaf46ec2fba5d/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "d727a02607d044abafed", + "set": "perturbations108", + "group": "01020a1eaf46ec2fba5d/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 0.5, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "c89cb1e57ed5b22d794b", + "set": "perturbations108", + "group": "01020a1eaf46ec2fba5d/stability", + "gold": "contradicted", + "single_original": true, + "single_expected": 1.0, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 1.0, + "first_position_wins": 0.3333333333333333 + }, + { + "id": "b1521d74fb803e551fdd", + "set": "perturbations108", + "group": "6a06a2f278301c1412ee/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "3117510a0d5b768c4096", + "set": "perturbations108", + "group": "6a06a2f278301c1412ee/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.3333333333333333, + "agree_all6": 0.5, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "90632d8d2066bd79c796", + "set": "perturbations108", + "group": "6a06a2f278301c1412ee/stability", + "gold": "prohibited", + "single_original": false, + "single_expected": 0.0, + "rotations": false, + "all6": false, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.6666666666666666, + "first_position_wins": 0.6666666666666666 + }, + { + "id": "ffb51cef94e857eb8c8a", + "set": "perturbations108", + "group": "2797f8c23d05c0ee06b3/stability", + "gold": "A", + "single_original": true, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 1.0, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "a34e8187417ab3b52f30", + "set": "perturbations108", + "group": "2797f8c23d05c0ee06b3/stability", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + }, + { + "id": "31f53baf67e4cb25aeff", + "set": "perturbations108", + "group": "2797f8c23d05c0ee06b3/stability", + "gold": "A", + "single_original": false, + "single_expected": 0.8333333333333334, + "rotations": true, + "all6": true, + "agree_rot": 0.6666666666666666, + "agree_all6": 0.8333333333333334, + "first_position_wins": 0.5 + } + ] +} \ No newline at end of file diff --git a/services/semif-serve/spike/averaging_spike.py b/services/semif-serve/spike/averaging_spike.py new file mode 100644 index 0000000..b079c74 --- /dev/null +++ b/services/semif-serve/spike/averaging_spike.py @@ -0,0 +1,89 @@ +"""SPIKE (2026-09-27): does averaging over option orderings help, and is agreement a useful +ambiguity signal? Throwaway measurement, no service change: every labelled row goes out as ONE +/decide/shared request carrying all 3! = 6 orderings of its options. + +Data: SemIf authored144 + perturbations108 (labelled, 3 options each), pinned commit. +Conditions derived from the same 6 scored orderings per row: + single-original the caller's own order (what the service does today) + single-expected mean accuracy over the 6 single orderings (a caller's expected luck) + rotations the 3 cyclic shifts of the original order, log-mean combined + all-6 all 6 permutations, log-mean combined +Paired group-bootstrap (resampling group_id, 10k) for each combined condition minus +single-original, so the delta is judged against its own sampling noise. + SEMIF_DIR=... SEMIF_URL=... SEMIF_TOKEN=... uv run --with httpx python averaging_spike.py out.json +""" +import itertools, json, math, os, random, statistics as st, sys, time +from pathlib import Path +import httpx + +S, U = Path(os.environ["SEMIF_DIR"]), os.environ["SEMIF_URL"] +H = {"Authorization": f"Bearer {os.environ['SEMIF_TOKEN']}"} +rows = [] +for name in ("authored144", "perturbations108"): + rows += [dict(json.loads(l), set=name) for l in (S / f"benchmarks/data/{name}.jsonl").read_text().splitlines() if l.strip()] + + +def logmean(dists): # dists: list of {option_id: p}; mean log p per option, renormalised + ids = dists[0].keys() + m = {k: st.fmean(math.log(max(d[k], 1e-12)) for d in dists) for k in ids} + top = max(m.values()) + z = sum(math.exp(v - top) for v in m.values()) + return {k: math.exp(v - top) / z for k, v in m.items()} + + +argmax = lambda d: max(d, key=d.get) +out, t0 = [], time.time() +for r in rows: + opts = r["options"] + perms = list(itertools.permutations(range(len(opts)))) + body = {"state": r["state"], "decisions": [ + {"id": f"p{i}", "question": r["question"], "options": [opts[j] for j in p]} for i, p in enumerate(perms)]} + res = httpx.post(f"{U}/decide/shared", headers=H, json=body, timeout=120) + res.raise_for_status() + dists = [dict(zip(x["option_ids"], x["probabilities"])) for x in res.json()["results"]] + by_perm = dict(zip(perms, dists)) + ident = tuple(range(len(opts))) + rot = [tuple((k + i) % len(opts) for k in ident) for i in range(len(opts))] + gold = opts[r["label"]]["id"] + rot_d, all_d = logmean([by_perm[p] for p in rot]), logmean(dists) + out.append({ + "id": r["id"], "set": r["set"], "group": r["group_id"], "gold": gold, + "single_original": argmax(by_perm[ident]) == gold, + "single_expected": st.fmean(argmax(d) == gold for d in dists), + "rotations": argmax(rot_d) == gold, + "all6": argmax(all_d) == gold, + "agree_rot": sum(argmax(by_perm[p]) == argmax(rot_d) for p in rot) / len(rot), + "agree_all6": sum(argmax(d) == argmax(all_d) for d in dists) / len(dists), + "first_position_wins": sum(argmax(d) == opts[p[0]]["id"] for p, d in by_perm.items()) / len(perms), + }) +wall = time.time() - t0 + + +def boot(key, reps=10000, seed=7): + groups = {} + for o in out: + groups.setdefault(o["group"], []).append(o) + keys, rng, deltas = list(groups), random.Random(seed), [] + for _ in range(reps): + sample = [o for g in (rng.choice(keys) for _ in keys) for o in groups[g]] + deltas.append(st.fmean(o[key] for o in sample) - st.fmean(o["single_original"] for o in sample)) + deltas.sort() + return round(deltas[int(0.025 * reps)], 4), round(deltas[int(0.975 * reps)], 4) + + +acc = lambda key, sub=out: round(st.fmean(o[key] for o in sub), 4) +report = {"rows": len(out), "groups": len({o['group'] for o in out}), "wall_s": round(wall, 1), + "accuracy": {k: acc(k) for k in ("single_original", "single_expected", "rotations", "all6")}, + "delta_vs_single_original_95ci": {k: boot(k) for k in ("rotations", "all6")}, + "first_position_win_rate_mean": acc("first_position_wins"), + "by_set": {s: {k: acc(k, [o for o in out if o["set"] == s]) for k in ("single_original", "rotations", "all6")} + for s in ("authored144", "perturbations108")}} +for key in ("agree_rot", "agree_all6"): + unan = [o for o in out if o[key] == 1.0] + split = [o for o in out if o[key] < 1.0] + cond = "rotations" if key == "agree_rot" else "all6" + report[f"{key}: accuracy when unanimous vs split"] = { + "unanimous": {"rows": len(unan), "accuracy": acc(cond, unan) if unan else None}, + "split": {"rows": len(split), "accuracy": acc(cond, split) if split else None}} +json.dump({"report": report, "rows": out}, open(sys.argv[1], "w"), indent=1) +print(json.dumps(report, indent=1)) diff --git a/services/semif-serve/spike/latency-2026-09-27.txt b/services/semif-serve/spike/latency-2026-09-27.txt new file mode 100644 index 0000000..90e086e --- /dev/null +++ b/services/semif-serve/spike/latency-2026-09-27.txt @@ -0,0 +1,7 @@ +condition e2e p50 (runs) server p50 (runs) +health (floor) 31.1 [30.1-33.4] - +decide, short (~130 tok) 71.2 [70.6-71.4] 38.4 [38.4-38.4] +decide, long (~2,000 tok) 210.0 [209.5-211.0] 168.7 [168.3-168.9] +shared, 3 rotations (short) 112.6 [111.9-113.4] 78.8 [78.7-78.9] +shared, 6 orderings (short) 136.6 [135.2-139.5] 98.9 [98.6-99.0] +shared, 3 rotations (long) 272.1 [270.3-273.7] 228.1 [227.9-228.7] diff --git a/services/semif-serve/spike/latency.py b/services/semif-serve/spike/latency.py new file mode 100644 index 0000000..ba74f8c --- /dev/null +++ b/services/semif-serve/spike/latency.py @@ -0,0 +1,58 @@ +"""semif-serve latency, 2026-09-27. Sequential client on nh3-dev, fresh connection per request, +3 runs x 20 timed after 3 warm-ups per condition, conditions interleaved per run. +e2e = wall time around the request; srv = what SemIf reports (direct: total_seconds; shared: +timing.total_seconds), i.e. no network or HTTP. + SEMIF_URL=... SEMIF_TOKEN=... uv run --with httpx python latency.py +""" +import os, statistics as st, time, httpx, itertools + +U, H = os.environ["SEMIF_URL"], {"Authorization": f"Bearer {os.environ['SEMIF_TOKEN']}"} +OPTS = [{"id": "casual_outing", "description": "A casual outing"}, + {"id": "romantic_date", "description": "A romantic date"}, + {"id": "booty_call", "description": "A booty call"}] +CALL = "She calls up and says, hey, what're you doing right now? It's 2AM and I'm bored." +LONG = "The service logged a routine heartbeat from node alpha at the scheduled interval without incident. " * 120 +Q = "What kind of invitation is this?" +BIN = [{"id": "yes", "description": "Yes"}, {"id": "no", "description": "No"}] + + +def rot(opts): + return [opts[i:] + opts[:i] for i in range(len(opts))] + + +CONDS = { + "health (floor)": ("GET", "/health", None), + "decide, short (~130 tok)": ("POST", "/decide", {"id": "a", "state": CALL, "question": Q, "options": OPTS}), + "decide, long (~2,000 tok)": ("POST", "/decide", {"id": "b", "state": LONG, "question": "Was there an incident?", "options": BIN}), + "shared, 3 rotations (short)": ("POST", "/decide/shared", {"state": CALL, "decisions": [ + {"id": f"r{i}", "question": Q, "options": o} for i, o in enumerate(rot(OPTS))]}), + "shared, 6 orderings (short)": ("POST", "/decide/shared", {"state": CALL, "decisions": [ + {"id": f"p{i}", "question": Q, "options": list(o)} for i, o in enumerate(itertools.permutations(OPTS))]}), + "shared, 3 rotations (long)": ("POST", "/decide/shared", {"state": LONG, "decisions": [ + {"id": f"r{i}", "question": "Was there an incident?", "options": o} for i, o in enumerate(rot(BIN + [{"id": "unsure", "description": "Cannot tell"}]))]}), +} + + +def once(method, path, body): + t = time.perf_counter() + r = httpx.request(method, U + path, json=body, headers=H, timeout=120) + r.raise_for_status() + e2e = (time.perf_counter() - t) * 1000 + j = r.json() + srv = (j["timing"]["total_seconds"] if "timing" in j else j.get("total_seconds")) if path != "/health" else None + return e2e, (srv * 1000 if srv is not None else None) + + +res = {k: {"e2e": [], "srv": []} for k in CONDS} +for run in range(3): + for name, (m, p, b) in CONDS.items(): + for _ in range(3): + once(m, p, b) + e, s = zip(*(once(m, p, b) for _ in range(20))) + res[name]["e2e"].append(st.median(e)) + if s[0] is not None: + res[name]["srv"].append(st.median(s)) +print(f"{'condition':<30} {'e2e p50 (runs)':<28} {'server p50 (runs)'}") +for name, r in res.items(): + fmt = lambda xs: f"{st.median(xs):6.1f} [{min(xs):.1f}-{max(xs):.1f}]" if xs else "-" + print(f"{name:<30} {fmt(r['e2e']):<28} {fmt(r['srv'])}")