Spaces:
Paused
Paused
Commit History
-
Scoped tokens, bounded archives and frames, build deadline, circuit breaker, honest note caps
Malina +1: Claude Fable 5.1- auth.py shared with NINA: scope + iat checks, jti persisted across restarts; NINA secret fallback removed - extract: ZIP members through real parsers with per-member and total byte caps, media listed as not read; doc/ppt/rtf/xls/ods refused with a conversion hint; PDF page cap announced - frames: bounded reservoir for streams without a duration (64 frames, stride doubling, downscaled at pick) - pipeline: reading and note-taking stop at 6 minutes and the Note is written from what is there; note cap grows to the REDUCE budget for small tasks and says when it cuts; long video transcripts read past the first window; transcript says where it stops; stage timings; prompt not logged - synthesis: prompt-marker lines stripped from file notes; failure reasons without provider messages - models: circuit breaker after 5 consecutive transport failures (30 s fail-fast) - app: clarify scope, max_file_size; parsers pinned; README python_version and API table - tests: 96 (18 new) Co-Authored-By: Cla…da9de03
-
Dlugie nagranie tez idzie w czesciach, a poprawka promptu uniewaznia cache
Malina +1: Claude Opus 5 (1M context)Dwie luki z przegladu architektury, obie w tej samej rodzinie co poprawka dlugich plikow. Dzielenie na czesci obejmowalo tylko pliki tekstowe, wiec polgodzinne nagranie nadal docieralo do modelu jako pierwsze 16000 znakow transkrypcji. Transkrypt idzie teraz ta sama sciezka, a budzet rezerwuje na nagranie cztery wywolania, bo dlugosci mowy nie znamy przed uruchomieniem Whispera. Klucz cache nie zawieral tresci briefu MAP. Notatki pisane starym, przepisujacym promptem przezylyby poprawke o szesc godzin i wracalyby jako ta sama fotokopia. Klucz zawiera teraz skrot briefu, wiec kazda zmiana promptu sama uniewaznia cache. Testy: 78. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>0e52a62 -
Notatka zamiast fotokopii, caly plik zamiast okladki, awaria zamiast udawania
Malina +1: Claude Opus 5 (1M context)Trzy niezalezne wady zlozyly sie na Notatke, ktora nie byla Notatka. 1. Synteza. Router HF potrafi odpowiedziec "model nie jest obslugiwany przez zadnego dostawce" na model zywy u trzech dostawcow. Bylo to liczone jako blad trwaly: zero ponowien, zero modeli zapasowych, a wynikiem byla sklejka surowych notatek sformatowana dokladnie jak gotowa Notatka. Zapisywana, naliczana, bez jednego slowa, ze model nigdy nie odpowiedzial. Od 9 czerwca kazdy build konczyl sie tak samo. Teraz kazda rola ma liste kandydatow, odmowa routera przypina dostawce, a nieudana synteza mowi o sobie wprost i wraca do Workera przez status, zeby oddal dzienny build. 2. MAP przepisywal plik zamiast pisac notatki. Zmierzone: pierwsze 7343 znaki odpowiedzi modelu bajt w bajt rowne wejsciu. Prompt zabrania teraz kopiowania (15 kolejnych slow = porazka), ogranicza cytaty i kaze rozlozyc notatki na calosc materialu, bo okladka i spis tresci to nie tresc. 3. Dlugi plik istnial tylko do p…a483b94
-
MAP wyciaga, nie ocenia
Ocena relevance nigdy niczego nie rozstrzygala. Plik oznaczony "none" byl trzymany i wysylany do REDUCE dokladnie tak samo jak kazdy inny, wiec ocena tylko sortowala bloki i drukowala sie w naglowku. Kosztowala za to realnie: polowe promptu MAP, pole JSON, ktore przy wyczerpanym budzecie tokenow ucinalo ekstrakcje, tabele synonimow na slowa, ktore model wymyslal zamiast naszych czterech, i normalizator na reszte. REDUCE widzi wszystkie pliki naraz i zawsze to on decydowal. Nadal decyduje, tylko bez drugiej opinii, na ktora nikt nie reagowal. Prompt REDUCE mowi teraz wprost, ze wczesniejszego zdania nie ma, zamiast kazac "ufac, ale moc nadpisac" ocenie. Sortowanie wg oceny zastapione kolejnoscia wgrywania. Mialo znaczenie tylko przy wyczerpaniu budzetu, a przy limicie 100 plikow i budzecie dzielonym po rowno setka plikow sie miesci. Sprawdzone na gemma-3-27b: JSON parsuje sie, klucze to notes i topics, liczby i nazwy przepisane wiernie, notatka w jezyku pliku. Plik kompletnie nie na …939e33b -
Bez sekretu LUNA nie buduje nic
check_usage_token zwracalo "ok", kiedy SIGNING_SECRET byl pusty, a na tym Space nigdy nie zostal ustawiony. Endpoint build jest publiczny i opisany w README, wiec przez caly ten czas kazdy mogl go wolac: bez logowania, poza limitem trzech zadan na dobe, na naszych kredytach na inferencje. To nie byla teoretyczna dziura, tylko stan produkcyjny. Pusty sekret zwraca teraz "unconfigured", pipeline mowi wprost, ze to blad po naszej stronie, a nie wygasla sesja uzytkownika, i auth.py krzyczy o tym przy starcie. LUNA_SIGNING_SECRET jest wlasnym sekretem LUNY; fallback na NINA_SIGNING_SECRET zostaje tylko po to, zeby starszy deploy workera dzialal, i powinien zniknac. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>e0ee73b -
Zawieszony strumien REDUCE mogl zjesc caly budzet zadania
Malina +1: Claude Opus 5 (1M context)Znalezione przez przypadek, na wlasnym przebiegu kontrolnym: proces stal szesnascie minut na zerowym procesorze, z kompletem siedmiu wpisow w cache, czyli MAP dawno skonczyl, a REDUCE siedzial na streamie, ktory sie otworzyl i zamilkl. Powtorzony przebieg zajal 22 sekundy, wiec to byla chwilowa awaria dostawcy - dokladnie ta, ktorej nikt nie pilnowal. LLM_TIMEOUT pokrywa dotarcie do dostawcy, nie strumien, ktory juz plynie, a iterowanie zamilklego strumienia blokuje bez wyjscia. Strumien jest teraz konsumowany przez kolejke z wątku demona: cisza dluzsza niz 45 sekund albo caly strumien dluzszy niz 300 sekund konczy odbior i oddaje to, co splynelo, z dopiskiem, ze Notatka urywa sie w tym miejscu. Oba progi sa pod osmiominutowym limitem strony, wiec to LUNA decyduje o zakonczeniu, a nie worker ucinajacy ja w polowie zdania. Trzy testy: zamilkniecie przerywane w niecale 8 sekund zamiast czekania 30, normalne zakonczenie nietkniete, blad w polowie strumienia dalej zachowuje to, co juz pr…62fe8fd -
Transkrypcja byla jedyna trescia, ktora szla do modelu bez ograniczenia
Malina +1: Claude Opus 5 (1M context)Kazdy inny typ pliku przechodzi przez extract(), gdzie obowiazuje PER_FILE_CHARS. Transkrypcja nie: idzie prosto z Whispera albo ze sciezki napisow do map_text, z pominieciem tej drogi. Trzy godziny napisow to grubo ponad sto tysiecy znakow, czyli daleko poza to, co model MAP przyjmie w jednym wywolaniu, a awaria wygladalaby na kapryszacy model, nie na zbyt duze zapytanie. Ograniczenie siedzi teraz w _map_user, wiec zaden wywolujacy go nie obejdzie, i jest powiedziane wprost w zapytaniu, zeby model nie udawal, ze przeczytal plik, ktorego widzial tylko poczatek. Przy okazji dwie rzeczy po stronie napisow: - Napisy nie podlegaly limitowi TRANSCRIBE_MAX_SECONDS, ktory obowiazuje Whispera. Ta sama robota sluchala innej reguly zaleznie tylko od tego, skad wzielismy slowa. Teraz obie konczą w tym samym miejscu. - Napisy przewijane (rodzina eia_608 szczegolnie) powtarzaja te sama linijke przez kolejne kwestie, gdy tekst sie przesuwa. Kazda kopia byla placona w tokenach. Scalane sa t…eac204b -
Test pilnuje, zeby mapa rozszerzen nie rozjechala sie miedzy repozytoriami
Malina +1: Claude Opus 5 (1M context)Mapa rozszerzenie -> kategoria zyje w dwoch kopiach: extract.py tutaj i EXT w luna.js po stronie strony. Decyduje o tym, ktory limit rozmiaru obowiazuje dla pliku, wiec identycznosc dzisiaj nie jest pointa - pointa jest to, ze jedna strone mozna wyedytowac samotnie i nikt tego nie zauwazy. Wlasnie tak sie stalo wczoraj, gdy dodalem tu kategorie vector dla SVG. Dwa testy: obie mapy musza zawierac te same rozszerzenia z tymi samymi kategoriami, i kazda kategoria, ktora Space potrafi zwrocic, musi miec etykiete w kreatorze. Pomijaja sie same tam, gdzie repozytorium strony nie jest wypakowane, wiec na Space nie przeszkadzaja. Sprawdzone, ze naprawde lapia: usuniecie svg z jednej strony czerwieni test, przywrocenie zieleni. Testy: 58 -> 60. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>cadec28 -
Nierozpoznana ocena trafnosci grzebala plik zamiast zostawic go posrodku
Malina +1: Claude Opus 5 (1M context)Gdy model odpowiadal slowem spoza naszej czworki - "moderate", "very high", "irrelevant", albo po prostu po polsku "srednia" - parser sprowadzal to do "none". To jedyna wartosc, ktora sadza plik na samym koncu kolejnosci REDUCE i daje mu najmniejszy udzial w budzecie syntezy. Caly ten etap istnieje po to, zeby ocenic i zostawic decyzje REDUCE, wiec grzebanie pliku dlatego, ze nie znalismy slowa wybranego przez model, robi dokladnie odwrotnie. Ocena jest teraz normalizowana: znane synonimy w obu jezykach, dopasowanie po fragmencie ("medium-high", "relevance: low"), a wartosc nierozpoznana, ale OBECNA, laduje na "medium". Puste albo brakujace pole dalej znaczy "none", bo tam model faktycznie nic nie powiedzial. Przy okazji rozplatana linia w _salvage wyciagajaca tematy: miala galaz `or re.match("", "")`, ktora rzucilaby IndexError, bo dopasowanie pustego wzorca nie ma grupy 1. Nigdy sie nie wykonywala, bo osłaniał ja warunek na koncu wyrazenia, ale czytalo sie to jak zabezpieczenie, kt…759c848 -
Dostawca nie moze uspic nas na dluzej, niz trwa cale zadanie
Malina +1: Claude Opus 5 (1M context)Dwie rzeczy, ktore przy zlym dniu dostawcy inferencji koncza sie zadaniem przeterminowanym bez jednej linijki Notatki. 1. Ponawianie honorowalo naglowek Retry-After bez zadnego ograniczenia. To liczba serwera, a build ma osiem minut w sumie: odpowiedz "wroc za piec minut" na 429 zaparkowalaby wszystkie osiem watkow MAP za linia konca i cale zadanie przepadloby, czekajac grzecznie. Czas oczekiwania jest teraz ograniczony do 20 sekund (LUNA_RETRY_MAX_WAIT), a log mowi, kiedy przyciete. 2. check_models wolalo trzy modele synchronicznie przy imporcie, czyli zanim Gradio zaczelo obslugiwac. Kazde z tych wywolan moze siedziec na LLM_TIMEOUT, ktory wynosi 180 s, wiec jeden niereagujacy dostawca mogl wstrzymac wstanie Space'u o dziewiec minut - na platformie, ktora budzi go ze snu do zadania i tak ograniczonego do osmiu. Sonda idzie teraz w tlo, bo jej wynikiem jest wylacznie linijka w logu i nic na nia nie czeka. Testy na oba, plus na to, ze blad trwaly (uniewazn…30ec081 -
Czas klatki byl ucinany w dol i publikowany w Notatce
Malina +1: Claude Opus 5 (1M context)frames.py zapisuje prawdziwy czas prezentacji zdekodowanej klatki z dokladnoscia do dziesiatej sekundy, a synthesis.py renderowal go przez int(), czyli UCINAL: klatka z 1,7 s szla do modelu jako "Frame at 1s", zawsze za wczesnie, nawet o sekunde. Model cytuje te etykiety w notatkach, a uzytkownik czyta je w gotowej Notatce, wiec blad byl publikowany. Przy dluzszym nagraniu sam format przestawal byc czasem: "3725s" to godzina i dwie minuty, tylko nikt tego tak nie czyta. Ponizej minuty jest teraz "1.7s", powyzej "1:02:05". Sprawdzone na prawdziwym modelu, trzyslajdowa prezentacja: przed zmiana model pisal "Frame at 1s / 5s / 10s", po zmianie cytuje "1.7s", "5s i 6.7s", "10s i 11.7s", czyli dokladnie te klatki, ktore dostal. Naprawione tez wlasne niedopatrzenie z poprzedniego commita: werdykt "nie udalo sie odczytac wideo (brak klatek i mowy)" oznaczylem jako trwaly, a dokladnie tak samo wyglada z tego miejsca brak PyAV albo Whisper, ktory sie nie zaladowal. Na Space z chwilowo niedos…e4a00dc -
Cache pamieta to, co sie nie zmieni, i nie pamieta naszych awarii
Malina +1: Claude Opus 5 (1M context)Dwie dziury w tym, co cache obejmowal. 1. Klucz zawieral polecenie, a transkrypcja Whisperem od polecenia nie zalezy. Kreator wprost zacheca, zeby dopracowac prompt i zbudowac ponownie, a kazde takie podejscie placilo za te sama transkrypcje od nowa: okolo czterdziestu sekund na piec minut nagrania. Doszla warstwa kluczowana samym plikiem (cache.load_raw / store_raw), z osobnymi rodzajami, zeby sie nie zderzaly. Pusta transkrypcja tez jest zapisywana, bo cisza zostanie cisza, a udowadnianie tego kosztuje kolejny pelny przebieg. 2. cache.store wolalo sie tylko na sciezce udanej, wiec plik odlozony przechodzil pelna ekstrakcje przy kazdym powtorzeniu. Teraz odklada sie razem z powodem, ale tylko wtedy, gdy ten powod sie nie zmieni: "to plik binarny" albo "nie udalo sie przepisac mowy" powiedza to samo za kazdym razem. Awaria po naszej stronie - nieosiagalny model, brakujaca zaleznosc, czyli komunikaty "couldn't read (...)" i wszystko z m["error"] - NIE …1a8a270
-
Wygasly token to problem kolejki, nie autoryzacji, i tak brzmi komunikat
Malina +1: Claude Opus 5 (1M context)Token zyl 120 sekund, a sprawdzany jest dopiero przy zdejmowaniu z kolejki. Space liczy cztery zadania naraz, a build LUNY trwa minuty, wiec piate czekalo, az token zwietrzeje, i uzytkownik dostawal "This task could not be authorized. Please reload and sign in again." - czyli byl odsylany do naprawiania czegos, co dzialalo. check_usage_token zwraca teraz powod zamiast samego prawda/falsz, a przy "expired" mowimy, ze zadanie za dlugo czekalo i nic nie zostalo zuzyte. Pozostale powody - brak tokenu, zly podpis, uzyty drugi raz - dalej daja komunikat o autoryzacji, bo tam faktycznie o nia chodzi. verify_usage_token zostaje jako opakowanie logiczne, bo app.py uzywa go przy clarify. Wazne: waznosc tokenu nie jest tym, co chroni przed powtorzeniem. Kazdy token niesie jti, ktore Space zapisuje jako zuzyte i odmawia za drugim razem, wiec wydluzenie waznosci po stronie workera do 600 s nic nie oslabia. Testy: 36 -> 38. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>acf555c -
Notatka nazywa pliki tak, jak uzytkownik je wgral, i mowi czemu ktorys odlozyla
Malina +1: Claude Opus 5 (1M context)Dwie wady wyszly na przebiegu korpusu "co to jest oaza i czym sie zajmuje". 1. Model przepisuje kazda nazwe pliku, ktora cytuje, i po drodze ja po cichu "poprawia". Plik nazwany formacja_do2ONZ_szanse_i_zagrozenia.pdf wrocil w Sources jako ...zagrożenia.pdf, z kreska, ktorej autor nie postawil. Sources i linia odlozonych to jedyne rozliczenie, jakie uzytkownik dostaje za swoj upload, wiec nazwa, ktorej nie da sie dopasowac do wyslanego pliku, to realna wada, nie kosmetyka. Naprawione w kodzie, nie promptem: instrukcje "nie zmieniaj pisowni" model nadpisuje dokladnie wtedy, gdy pisownia wyglada mu na bledna. Porownanie znosi wielkosc liter, znaki diakrytyczne i separatory, wiec lapie tez "wrzesien 2024.pdf" zamiast "wrzesien-2024.pdf" i dziala na nazwach ze spacjami. Na przebiegu: 2 naprawione nazwy. 2. Linia odlozonych prosila o jeden wspolny powod, i to opcjonalnie, wiec model pomijal go calkiem. Teraz powod jest wymagany przy kazdym pliku i ma n…9257486 -
SVG i pliki danych nie zasmiecaja juz wejscia modelu
Malina +1: Claude Opus 5 (1M context)Dwa pliki z korpusu testowego szly do MAP jako "tresc", choc nie niosly zadnej: - logonnnl.svg: 16000 znakow sciezek i base64. SVG to tekst, wiec zwykly czytnik oddawal caly plik. Teraz zostaje to, co czlowiek by przeczytal: title, desc i wezly text, plus wymiary. 16000 -> 62 znaki. Przy okazji znikl falszywy trafiony "oaz" znaleziony wewnatrz blobu base64. - filech3_0: 9316 znakow cyfr. Plik bez znanego rozszerzenia czytamy jako tekst na wypadek, gdyby byl proza. Gdy nia nie jest, mowimy czym jest i pokazujemy probke. 9316 -> 371 znakow. Prog to gestosc slow ponizej 0,15; proza siedzi powyzej 0,6. Razem okolo 25 tysiecy znakow mniej na jedno zadanie o siedmiu plikach, przy zachowanym rozliczeniu: oba pliki nadal trafiaja na liste odlozonych z uczciwym powodem, zamiast znikac. Czytnik SVG ma wyjscie awaryjne: niezadeklarowany prefiks xlink zatrzymuje parser XML, a eksportery to robia. Wtedy skan wyciaga same slowa, zamiast zglaszac plik jako nieczytelny. Zlapane przez wl…8413646 -
Etapy 5b-6: cache po odcisku tresci i testy jednostkowe
MalinaCACHE_DIR byl zadeklarowany w config.py i nigdy nieuzywany: kazde zadanie czytalo i mapowalo wszystko od nowa, lacznie z ponowieniem zadania, ktore przed chwila padlo. Uploady laduja za kazdym razem pod nowa sciezka tymczasowa, wiec cache po sciezce nigdy by nie trafil; odcisk tresci trafia. Klucz to rozmiar pliku plus pierwszy i ostatni megabajt, razem z promptem i nazwami modeli, bo wynik MAP zalezy od nich wszystkich. Hashowanie 200 MB w calosci kosztowaloby wiecej niz praca, ktora cache oszczedza. Zmierzone na piu plikach: pusty cache 13,6 s, cieply 8,4 s (39% szybciej, reszta to REDUCE, ktory nie jest cache'owany). Te same pliki pod INNYMI sciezkami: 5 trafien na 5, czyli ponowny upload nie placi drugi raz. Inne polecenie: 0 trafien, poprawnie. 24 testy jednostkowe bez sieci, pokrywajace miejsca, w ktorych faktycznie byly bledy: wykrywanie jezyka (w tym polskie bez ogonkow), parsowanie odpowiedzi MAP wraz ze sciezkami awaryjnymi, wykrywanie binariow, walidacje wygaslych uploado…0e03c98