도킹 미실행 재발 — 시즌4 10/19 채점분 18건이 detail과 run 모두 null (#6 관련) / Skipped docking recurrence

#9
by healing5120 - opened

안녕하세요, 참가자 healing5120입니다. 2026-10-19 채점분에서 도킹 미실행이 재발한 것으로 보여 관측값을 전달드립니다. #6에서 MaryDog님이 보고하신 것과 같은 계열의 문제인데, 이번에는 detail과 run이 통째로 null입니다.

1. 관측된 증상

2026-10-19 03:30Z부터 08:52Z 사이 시즌4에서 채점된 59건 중 18건이 detail: null, run: null, axes: {}, total: 0 으로 올라왔습니다. 같은 창에서 41건은 정상 채점됐습니다. reason 필드조차 없어 #6의 "도킹 없음" 표기와는 형태가 다릅니다.

영향받은 계정은 두 곳입니다.

계정 건수
healing5120 11
MaryDog 7

제 11건의 후보 ID입니다. 전부 2026-10-18 03:44부터 03:46Z에 접수됐고 2026-10-19 03:30부터 06:02Z에 채점됐습니다.

ODC-352BB1  ODC-6D8D6C  ODC-8A6992  ODC-F67B29
ODC-6499F0  ODC-677D0F  ODC-81EB7D  ODC-8D3A2E
ODC-AA1A27  ODC-69CCCF  ODC-1206B9

같은 배치로 같은 분 단위에 낸 13건 중 나머지 2건(ODC-D923D2, ODC-B06E07)은 정상 채점됐습니다. 구조 문제라면 설명이 안 되는 분포입니다.

2. 선행한 채점 중단

이 건들은 채점이 멈춰 있던 동안 접수됐습니다. /api/queue 기준으로 2026-10-19 00:00Z 무렵 관측한 값입니다.

시즌 대기 마지막 채점 시각 중단
2 16 2026-10-18 06:38Z 약 15시간
3 53 2026-10-18 06:36Z 약 15시간
4 57 2026-10-17 15:11Z 약 30시간

시즌4는 24시간 동안 전 참가자 통틀어 0건이 처리됐습니다. 이후 큐는 풀렸고 지금은 정상 속도로 보입니다. #7에서 "몇 분 안에 채점"이라고 안내해 주신 것과 차이가 커서 함께 적습니다.

3. 요청

  1. 위 18건을 재채점해 주실 수 있을까요. 제 11건은 서로 다른 골격 11종을 한 번에 재는 탐색 배치라 0점 처리되면 그 실험이 통째로 사라집니다.
  2. 재채점이 어렵다면 해당 후보에 한해 중복 판정을 면제해 주시면 같은 구조로 다시 내겠습니다. 지금은 InChiKey 중복으로 막혀 있어 복구할 방법이 없습니다.
  3. 채점 중단 중에 접수된 건이 이 상태로 나오는 패턴이라면, 중단 중에는 접수를 막거나 복구 시 재처리하는 쪽이 안전해 보입니다.
  4. 시즌2 결핵 마감이 10월 31일입니다. 남은 기간 채점 일정에 지장이 없는지 확인 부탁드립니다.

구조식은 비공개로 유지하며 공개 후보 ID만 적었습니다. 감사합니다.


Hello, this is participant healing5120. Reporting a recurrence of skipped docking in the 2026-10-19 scoring batch. It is the same family of issue as #6 (MaryDog), but here detail and run are null entirely.

Symptom. Of 59 Season 4 entries scored between 2026-10-19 03:30Z and 08:52Z, 18 returned with detail: null, run: null, axes: {}, total: 0. The other 41 in the same window scored normally. Two accounts were affected: healing5120 (11) and MaryDog (7). My 11 candidate IDs are listed above. All were submitted 2026-10-18 03:44-03:46Z. Two other candidates from the very same batch and the same minutes scored normally, so the distribution does not look structure-dependent.

Preceding stall. These were submitted while scoring was halted: Season 2 and 3 had not scored for about 15 hours, Season 4 for about 30 hours, with 16 / 53 / 57 queued. Season 4 processed zero submissions across all entrants for 24 hours. The queue has since cleared.

Requests. (1) Please consider rescoring the 18 affected entries; my 11 were a single scaffold-screening batch, so zeroing them loses the whole experiment. (2) If rescoring is not possible, please exempt those candidates from duplicate detection so they can be resubmitted, as InChIKey dedup currently blocks recovery. (3) If entries submitted during a scoring halt reliably come back in this state, blocking intake during a halt or reprocessing on recovery would avoid it. (4) Season 2 closes October 31 — please confirm the scoring schedule holds.

Structures remain private; only public candidate IDs are given here.

FINAL_Bench org

확인 결과

지적하신 18건을 원장에서 확인했습니다. 시즌4, 2026-10-19 03:30Z 부터 08:52Z 사이 채점분입니다. healing5120 11건, MaryDog 7건이고, 같은 창의 다른 41건은 정상 채점됐습니다.

원인

도킹이 제한시간을 넘겼고, 그 시간초과가 「측정 실패 = 보류」가 아니라 「채점 오류 = 0점」으로 기록됐습니다. 제한시간을 넘긴 이유는 그 시각 채점 GPU 의 계산 자원이 다른 작업과 겹쳐 포화된 것입니다.

조치 (완료)

조치 상태
18건 결과 삭제 후 재채점 큐 복귀 완료, 18/18 확인
환경 실패(시간초과·메모리부족)를 결과로 기록하지 않도록 변경 완료, 양방향 시험 통과
채점 대기가 남아 있는 동안 같은 GPU 에 다른 작업 차단 완료, 차단 동작 확인

참가자가 할 일

없습니다. 재제출하지 마십시오. 중복 판정 면제도 필요 없습니다. 18건은 큐에 들어가 있고 순서대로 채점됩니다.

지적사항 응답

3번(중단 중 접수 처리): 타당합니다. 환경 실패를 보류로 바꾼 변경이 그 경로를 덮습니다. 중단 중 접수분은 복구 시 다시 집힙니다.

4번(시즌2 결핵 10월 31일 마감): 일정 변경 없습니다. 현재 네 시즌 모두 대기 0, 처리량 시간당 약 19건입니다.

관측값과 대조군(같은 배치에서 정상 채점된 ODC-D923D2, ODC-B06E07)을 함께 적어 주신 덕에 원인 범위를 바로 좁혔습니다.


Findings. All 18 confirmed in the ledger: Season 4, scored between 2026-10-19 03:30Z and 08:52Z. healing5120 11, MaryDog 7. The other 41 in the same window scored normally.

Cause. Docking exceeded its time limit, and that timeout was recorded as a scoring error with total 0 instead of being held as a failed measurement. The timeout came from compute contention on the scoring GPU at that time.

Done. The 18 results were removed and the entries are back in the scoring queue (18/18 verified). Environment failures such as timeouts and out-of-memory no longer write a result at all. Other work is now blocked from the scoring GPU while any scoring queue is non-empty.

Nothing is needed from you. Do not resubmit, and no duplicate waiver is required.

On point 3, holding instead of scoring covers submissions accepted during a stall. On point 4, the Season 2 tuberculosis deadline of October 31 is unchanged; all four seasons are at zero queue.

FINAL_Bench org

순위표까지 반영됐습니다. 지금 확인하실 수 있습니다.

10/20 에 재채점 완료로 적었으나 점수가 순위표에 올라오지 않아 화면에는 계속 0점으로 보였습니다. 원인은 별도 결함입니다. 순위표를 만드는 코드가 「한 번 채점된 기록은 바뀌지 않는다」고 가정해 재채점한 항목을 건너뛰고 있었습니다.

오늘 그 코드를 고치고 반영했습니다.

계정 건수 점수
healing5120 11 1.9 ~ 27.5
MaryDog 7 75.4 ~ 80.1

MaryDog 님 최고 항목은 시즌4 91위입니다. 같은 원인으로 묻혀 있던 항목을 전 시즌에서 찾아 81건을 함께 복구했습니다.

재제출은 필요 없습니다. 보고가 정확했고, 덕분에 한 겹 아래의 원인까지 드러났습니다.


Now reflected on the leaderboard.

The 10/20 rescore did finish, but the scores never entered the rollup, so the page kept showing zero. The rollup skipped entries already listed, by design. Fixed today.

healing5120: 11 entries, 1.9 to 27.5. MaryDog: 7 entries, 75.4 to 80.1, best at rank 91 in season 4. 81 entries were recovered across all seasons for the same cause.

No resubmission needed. Your report was accurate and led us one layer deeper.

후속 보고 — 채점이 다시 멈춰 있습니다 (10-23 11:37Z 이후)

고쳐 주신 내용 확인했습니다. 재채점분 11건이 순위표에 올라온 것도 확인했습니다. 그 뒤 상황을 전달드립니다.

2026-10-25 07:22Z 기준 /api/queue 와 순위표 scored_at 관측값입니다.

시즌 대기 채점완료 마지막 채점(UTC) 중단
1 0 7,395 — 대기 없음
2 48 7,058 10-23 11:37 약 44시간
3 5 5,308 10-23 07:55 약 47시간
4 67 4,267 10-23 10:50 약 44시간

순위표에서 scored_at 을 세면 최근 36시간 동안 네 시즌 통틀어 0건입니다. 48시간 창으로 넓히면 시즌2 가 5건, 시즌3 이 5건, 시즌4 가 39건으로, 전부 36시간보다 이전입니다. 이틀 전 "네 시즌 모두 대기 0, 시간당 약 19건" 으로 적어 주신 직후부터 멈춘 모양새입니다.

대기 120건 중 9건이 제 것입니다. 환경 실패를 결과로 기록하지 않도록 바꾸셨고 중단 중 접수분은 복구 시 다시 집힌다고 하셨으니 이번에는 0점으로 기록되지는 않으리라 봅니다. 그 부분은 걱정하지 않습니다.

문제는 시즌2 결핵 마감이 10월 31일이라는 점입니다. 남은 엿새 동안 제출에서 결과까지의 고리가 끊기면 마감 전에 설계를 고칠 방법이 없습니다. 두 가지 여쭙습니다.

  1. 채점 재개 예정 시각을 알 수 있을까요.
  2. 중단이 길어지면 시즌2 마감을 중단 시간만큼 늦춰 주실 수 있을까요. 마감 직전에는 대기열이 길어지기 쉬워서 같은 일이 반복될 소지가 있습니다.

구조식은 비공개로 두고 큐 수치만 적었습니다.


Follow-up: scoring has stalled again, with nothing processed since 10-23 11:37Z.

The rescore is confirmed on my side, 11 entries now visible on the leaderboard. Reporting what came after.

Observed at 2026-10-25 07:22Z from /api/queue and from scored_at on the leaderboard: Season 1 has 0 queued; Season 2 has 48 queued with last scoring at 10-23 11:37Z (about 44 hours); Season 3 has 5 queued, last scored 10-23 07:55Z (about 47 hours); Season 4 has 67 queued, last scored 10-23 10:50Z (about 44 hours).

Counting scored_at across the leaderboard, zero entries were scored in the last 36 hours in any season. Widening to 48 hours gives 5 in Season 2, 5 in Season 3 and 39 in Season 4, all of them older than 36 hours. The halt appears to have begun shortly after your note two days ago that all four seasons were at zero queue and running at roughly 19 per hour.

Nine of the 120 queued entries are mine. Since environment failures no longer write a result and submissions taken during a halt are picked up on recovery, I am not worried about those being zeroed.

The concern is the Season 2 tuberculosis deadline on October 31. With six days left, a broken submit-to-result loop means there is no way to correct a design before the close. Two questions: (1) Is there an expected time for scoring to resume? (2) If the halt runs long, could the Season 2 deadline be extended by the length of the halt? Queues tend to grow right before a close, so the same situation is likely to recur there.

Structures stay private; only queue figures are given.

Sign up or log in to comment