KV-cache single-graph model (prefill once + k=2 decode internally)

dit_fp16.onnx → genframe_fp16.onnx

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e993ef405d2dee38f3e4538fef8f32dc3183d36adc7260ba7574632afeb7c95a
-size 261701703
+oid sha256:3fbbf2313f60065aaa83253bf91e8cd0b003903199326f2faa416b1488cacfef
+size 261743145

index.html

@@ -194,7 +194,7 @@ async function boot_(){
 
     setBar(.05);
     setStatus("downloading dynamics model…");
-    const ditBuf=await fetchProgress("dit_fp16.onnx","dynamics"); setBar(.7);
+    const ditBuf=await fetchProgress("genframe_fp16.onnx","dynamics"); setBar(.7);
     setStatus("compiling dynamics on "+DEV+"…");
     dit=await ort.InferenceSession.create(ditBuf,{executionProviders:eps, graphOptimizationLevel:"all"}); setBar(.85);
     setStatus("downloading decoder…");
@@ -227,23 +227,18 @@ function curAction(){
 }
 
 async function genFrame(act){
-  const zbuf=new Float32Array(8*N);
-  for(let f=0;f<7;f++) zbuf.set(ctx[f], f*N);
-  const abuf=new Float32Array(8*ROW);
-  for(let f=0;f<7;f++) abuf.set(acts[f], f*ROW);
-  abuf.set(act, 7*ROW);
-  const aT=new ort.Tensor("float32",abuf,[1,8,ROW]);
-  let cur=randn(N);
-  for(let st=0; st<K; st++){
-    zbuf.set(cur, 7*N);
-    const zT=new ort.Tensor("float32",zbuf,[1,8,META.z_ch,META.hz,META.wz]);
-    const tb=new Float32Array(8).fill(1); tb[7]=st/K;
-    const tT=new ort.Tensor("float32",tb,[1,8]);
-    const out=await dit.run({z:zT,t:tT,a:aT});
-    const v=out.v.data; const base=7*N;
-    for(let j=0;j<N;j++) cur[j]+=(1/K)*v[base+j];
-  }
-  return cur;
+  // single graph does prefill(7 ctx frames) once + k decode steps internally (KV-cache)
+  const czbuf=new Float32Array(7*N);
+  for(let f=0;f<7;f++) czbuf.set(ctx[f], f*N);
+  const cabuf=new Float32Array(7*ROW);
+  for(let f=0;f<7;f++) cabuf.set(acts[f], f*ROW);
+  const out=await dit.run({
+    ctx_z:new ort.Tensor("float32",czbuf,[1,7,META.z_ch,META.hz,META.wz]),
+    ctx_a:new ort.Tensor("float32",cabuf,[1,7,ROW]),
+    cur_a:new ort.Tensor("float32",act,[1,ROW]),
+    noise:new ort.Tensor("float32",randn(N),[1,META.z_ch,META.hz,META.wz])
+  });
+  return out.cur.data;
 }
 
 const oc=$("screen").getContext("2d"); const IMG=oc.createImageData(384,192);