| { |
| "metrics": [ |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 0.06840165630065666 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 0.10070904955785041 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 0.21774230538722392 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 0.09249640113737709 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 0.09545050990782125 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 0.09740541366377221 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Sequence recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 0.07846294437013661 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 0.28375344 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 0.38800424 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 0.5511607199999999 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 0.46487456 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 0.49784174 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 0.42719421999999996 |
| }, |
| { |
| "task": "t2p", |
| "metric": "TM-score", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 0.32202692 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 59.45439879999999 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 61.755318 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 57.45689599999999 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 65.4815954 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 68.05155040000001 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 50.0405722 |
| }, |
| { |
| "task": "t2p", |
| "metric": "pLDDT", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 42.2006794 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 54.66304 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtT3-ft", |
| "n": 500, |
| "mean": 24.51536 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtT3", |
| "n": 500, |
| "mean": 22.908839999999998 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "Esm2Text-ft", |
| "n": 500, |
| "mean": 14.626880000000002 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "Esm2Text", |
| "n": 500, |
| "mean": 14.649199999999999 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "Galactica-ft", |
| "n": 500, |
| "mean": 10.981380000000001 |
| }, |
| { |
| "task": "p2t", |
| "metric": "BLEU-4", |
| "split": "swissprot_time_cutoff", |
| "model": "Galactica", |
| "n": 500, |
| "mean": 0.38802 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 65.35492572279264 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtT3-ft", |
| "n": 500, |
| "mean": 38.67256021554208 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtT3", |
| "n": 500, |
| "mean": 33.75807242893061 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "Esm2Text-ft", |
| "n": 500, |
| "mean": 30.94319533998033 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "Esm2Text", |
| "n": 500, |
| "mean": 31.061176609413472 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "Galactica-ft", |
| "n": 500, |
| "mean": 21.91380892550931 |
| }, |
| { |
| "task": "p2t", |
| "metric": "ROUGE-L", |
| "split": "swissprot_time_cutoff", |
| "model": "Galactica", |
| "n": 500, |
| "mean": 6.316360105563781 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 11.416746495995671 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 9.95387212177366 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 11.283528972193599 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 3.9853699590303004 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 4.177734241440892 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 1.6105031643882395 |
| }, |
| { |
| "task": "t2p", |
| "metric": "ProTrek score", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 8.07194059274532 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 476, |
| "mean": 0.59171835400827 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 476, |
| "mean": 0.4048065438296531 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 476, |
| "mean": 0.4911272084591412 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 476, |
| "mean": 0.24700167945966264 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 476, |
| "mean": 0.10203013023391175 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 476, |
| "mean": 0.0 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Keyword recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 476, |
| "mean": 0.34750627523736766 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 0.3038814001440656 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "Ouroboros", |
| "n": 500, |
| "mean": 128.686 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 0.4028382082029997 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-1.2B", |
| "n": 500, |
| "mean": 124.632 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 0.4213037772012822 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "Pinal-15B", |
| "n": 500, |
| "mean": 125.862 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 0.3390390472018748 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "ESM-3", |
| "n": 500, |
| "mean": 120.284 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 0.17933594558415994 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "ProteinDT", |
| "n": 500, |
| "mean": 127.964 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 0.32337088516434465 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "Chroma", |
| "n": 500, |
| "mean": 125.83 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding recovery", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 0.22630971813997303 |
| }, |
| { |
| "task": "t2p", |
| "metric": "Inverse folding SW", |
| "split": "swissprot_time_cutoff", |
| "model": "ProtDAT", |
| "n": 500, |
| "mean": 128.964 |
| } |
| ], |
| "scaling": [ |
| { |
| "size": "Small", |
| "parameters": 88370176, |
| "recovery": 11.752343177534103, |
| "n": 500 |
| }, |
| { |
| "size": "Base", |
| "parameters": 356310528, |
| "recovery": 13.755317975732662, |
| "n": 500 |
| }, |
| { |
| "size": "Medium", |
| "parameters": 756684288, |
| "recovery": 15.291115981916583, |
| "n": 500 |
| }, |
| { |
| "size": "Large", |
| "parameters": 1226512384, |
| "recovery": 21.77423053872239, |
| "n": 500 |
| } |
| ], |
| "date": "2026-10-07", |
| "dataset": { |
| "id": "swissprot_time_cutoff", |
| "name": "Swiss-Prot time-cutoff", |
| "pairs": 500, |
| "keywordScoredPairs": 476, |
| "sourceSplits": [ |
| "hard1", |
| "hard" |
| ] |
| } |
| } |
|
|
