vh/esh-pfi-infrastructure
1
0
Fork 0
Code Issues 7 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
a816443acdc6df65c50dfb168a5de209ba83e59f
esh-pfi-infrastructure/services/intern-decision-serve/acceptance/systemone-2026-09-30/gpu1-32k-warm.csv
T
vh f65e27b08f feat(intern-decision): persist the triton autotune cache across recreates 
The ~6.5-9 s first-call-per-bucket autotune lived in the container's writable
layer and died on every recreate. 0.1.3 creates /tmp/triton-cache in the image
owned by 10001 so the named volume intern-decision_triton-cache inherits a
writable mount point, and compose mounts it.

Bucket model PROVEN, not inferred: 2,048-token buckets, 16 up to 32,768. After
one warmed call per bucket, 12 random sizes across 8k-32k were all warm (worst
2.09 s); cold entries cost 6.5-9 s. Full cold warm-up 109 s; warm re-run 17 s.

scripts/intern-decision-warmup: one noul call per bucket, MAX_TOKENS from
/health, two-point live calibration of the tokenizer's linear token model (a
single probe overcorrects and the aim oscillates around the bucket edge),
per-bucket wall times, non-zero exit on a missed bucket. Run it after an IMAGE
CHANGE only; the volume carries ordinary recreates (measured: force-recreate,
then a warmed 32k call answered in 2.11 s).

Acceptance on 0.1.3: JevBench 202/231, hard 83/111, 0 diffs / 924; warm 32k GPU
1 peak 15,218 MiB (budget 15,220; a COLD autotune touched 15,224 once, README
caveat); /decide answers. Artifacts in the acceptance dir.
2026-09-30 16:02:16 -07:00

601 lines
3.0 KiB
CSV
Raw Blame History

8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
15218
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8832
8832
8832
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8834
8812
9306
9300
8812
9300
9300
8884
9118
9118
9200
9300
8812
9296
9298
8812
8988
9646
9540
9500
8812
9566
9518
9032
9122
9124
9124
9380
9352
9346
8812
9352
8916
8916
8916
8916
9350
8812
9352
8880
8880
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
8944
9294
9346
9346
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
8812
Reference in New Issue View Git Blame Copy Permalink