Spaces:
Paused
Paused
Commit History
-
Scoped tokens, bounded archives and frames, build deadline, circuit breaker, honest note caps
Malina +1: Claude Fable 5.1- auth.py shared with NINA: scope + iat checks, jti persisted across restarts; NINA secret fallback removed - extract: ZIP members through real parsers with per-member and total byte caps, media listed as not read; doc/ppt/rtf/xls/ods refused with a conversion hint; PDF page cap announced - frames: bounded reservoir for streams without a duration (64 frames, stride doubling, downscaled at pick) - pipeline: reading and note-taking stop at 6 minutes and the Note is written from what is there; note cap grows to the REDUCE budget for small tasks and says when it cuts; long video transcripts read past the first window; transcript says where it stops; stage timings; prompt not logged - synthesis: prompt-marker lines stripped from file notes; failure reasons without provider messages - models: circuit breaker after 5 consecutive transport failures (30 s fail-fast) - app: clarify scope, max_file_size; parsers pinned; README python_version and API table - tests: 96 (18 new) Co-Authored-By: Cla…da9de03
-
Dlugie nagranie tez idzie w czesciach, a poprawka promptu uniewaznia cache
Malina +1: Claude Opus 5 (1M context)Dwie luki z przegladu architektury, obie w tej samej rodzinie co poprawka dlugich plikow. Dzielenie na czesci obejmowalo tylko pliki tekstowe, wiec polgodzinne nagranie nadal docieralo do modelu jako pierwsze 16000 znakow transkrypcji. Transkrypt idzie teraz ta sama sciezka, a budzet rezerwuje na nagranie cztery wywolania, bo dlugosci mowy nie znamy przed uruchomieniem Whispera. Klucz cache nie zawieral tresci briefu MAP. Notatki pisane starym, przepisujacym promptem przezylyby poprawke o szesc godzin i wracalyby jako ta sama fotokopia. Klucz zawiera teraz skrot briefu, wiec kazda zmiana promptu sama uniewaznia cache. Testy: 78. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>0e52a62 -
Notatka zamiast fotokopii, caly plik zamiast okladki, awaria zamiast udawania
Malina +1: Claude Opus 5 (1M context)Trzy niezalezne wady zlozyly sie na Notatke, ktora nie byla Notatka. 1. Synteza. Router HF potrafi odpowiedziec "model nie jest obslugiwany przez zadnego dostawce" na model zywy u trzech dostawcow. Bylo to liczone jako blad trwaly: zero ponowien, zero modeli zapasowych, a wynikiem byla sklejka surowych notatek sformatowana dokladnie jak gotowa Notatka. Zapisywana, naliczana, bez jednego slowa, ze model nigdy nie odpowiedzial. Od 9 czerwca kazdy build konczyl sie tak samo. Teraz kazda rola ma liste kandydatow, odmowa routera przypina dostawce, a nieudana synteza mowi o sobie wprost i wraca do Workera przez status, zeby oddal dzienny build. 2. MAP przepisywal plik zamiast pisac notatki. Zmierzone: pierwsze 7343 znaki odpowiedzi modelu bajt w bajt rowne wejsciu. Prompt zabrania teraz kopiowania (15 kolejnych slow = porazka), ogranicza cytaty i kaze rozlozyc notatki na calosc materialu, bo okladka i spis tresci to nie tresc. 3. Dlugi plik istnial tylko do p…a483b94
-
MAP wyciaga, nie ocenia
Ocena relevance nigdy niczego nie rozstrzygala. Plik oznaczony "none" byl trzymany i wysylany do REDUCE dokladnie tak samo jak kazdy inny, wiec ocena tylko sortowala bloki i drukowala sie w naglowku. Kosztowala za to realnie: polowe promptu MAP, pole JSON, ktore przy wyczerpanym budzecie tokenow ucinalo ekstrakcje, tabele synonimow na slowa, ktore model wymyslal zamiast naszych czterech, i normalizator na reszte. REDUCE widzi wszystkie pliki naraz i zawsze to on decydowal. Nadal decyduje, tylko bez drugiej opinii, na ktora nikt nie reagowal. Prompt REDUCE mowi teraz wprost, ze wczesniejszego zdania nie ma, zamiast kazac "ufac, ale moc nadpisac" ocenie. Sortowanie wg oceny zastapione kolejnoscia wgrywania. Mialo znaczenie tylko przy wyczerpaniu budzetu, a przy limicie 100 plikow i budzecie dzielonym po rowno setka plikow sie miesci. Sprawdzone na gemma-3-27b: JSON parsuje sie, klucze to notes i topics, liczby i nazwy przepisane wiernie, notatka w jezyku pliku. Plik kompletnie nie na …939e33b -
Bez sekretu LUNA nie buduje nic
check_usage_token zwracalo "ok", kiedy SIGNING_SECRET byl pusty, a na tym Space nigdy nie zostal ustawiony. Endpoint build jest publiczny i opisany w README, wiec przez caly ten czas kazdy mogl go wolac: bez logowania, poza limitem trzech zadan na dobe, na naszych kredytach na inferencje. To nie byla teoretyczna dziura, tylko stan produkcyjny. Pusty sekret zwraca teraz "unconfigured", pipeline mowi wprost, ze to blad po naszej stronie, a nie wygasla sesja uzytkownika, i auth.py krzyczy o tym przy starcie. LUNA_SIGNING_SECRET jest wlasnym sekretem LUNY; fallback na NINA_SIGNING_SECRET zostaje tylko po to, zeby starszy deploy workera dzialal, i powinien zniknac. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>e0ee73b -
Czas klatki byl ucinany w dol i publikowany w Notatce
Malina +1: Claude Opus 5 (1M context)frames.py zapisuje prawdziwy czas prezentacji zdekodowanej klatki z dokladnoscia do dziesiatej sekundy, a synthesis.py renderowal go przez int(), czyli UCINAL: klatka z 1,7 s szla do modelu jako "Frame at 1s", zawsze za wczesnie, nawet o sekunde. Model cytuje te etykiety w notatkach, a uzytkownik czyta je w gotowej Notatce, wiec blad byl publikowany. Przy dluzszym nagraniu sam format przestawal byc czasem: "3725s" to godzina i dwie minuty, tylko nikt tego tak nie czyta. Ponizej minuty jest teraz "1.7s", powyzej "1:02:05". Sprawdzone na prawdziwym modelu, trzyslajdowa prezentacja: przed zmiana model pisal "Frame at 1s / 5s / 10s", po zmianie cytuje "1.7s", "5s i 6.7s", "10s i 11.7s", czyli dokladnie te klatki, ktore dostal. Naprawione tez wlasne niedopatrzenie z poprzedniego commita: werdykt "nie udalo sie odczytac wideo (brak klatek i mowy)" oznaczylem jako trwaly, a dokladnie tak samo wyglada z tego miejsca brak PyAV albo Whisper, ktory sie nie zaladowal. Na Space z chwilowo niedos…e4a00dc -
Cache pamieta to, co sie nie zmieni, i nie pamieta naszych awarii
Malina +1: Claude Opus 5 (1M context)Dwie dziury w tym, co cache obejmowal. 1. Klucz zawieral polecenie, a transkrypcja Whisperem od polecenia nie zalezy. Kreator wprost zacheca, zeby dopracowac prompt i zbudowac ponownie, a kazde takie podejscie placilo za te sama transkrypcje od nowa: okolo czterdziestu sekund na piec minut nagrania. Doszla warstwa kluczowana samym plikiem (cache.load_raw / store_raw), z osobnymi rodzajami, zeby sie nie zderzaly. Pusta transkrypcja tez jest zapisywana, bo cisza zostanie cisza, a udowadnianie tego kosztuje kolejny pelny przebieg. 2. cache.store wolalo sie tylko na sciezce udanej, wiec plik odlozony przechodzil pelna ekstrakcje przy kazdym powtorzeniu. Teraz odklada sie razem z powodem, ale tylko wtedy, gdy ten powod sie nie zmieni: "to plik binarny" albo "nie udalo sie przepisac mowy" powiedza to samo za kazdym razem. Awaria po naszej stronie - nieosiagalny model, brakujaca zaleznosc, czyli komunikaty "couldn't read (...)" i wszystko z m["error"] - NIE …1a8a270
-
Wygasly token to problem kolejki, nie autoryzacji, i tak brzmi komunikat
Malina +1: Claude Opus 5 (1M context)Token zyl 120 sekund, a sprawdzany jest dopiero przy zdejmowaniu z kolejki. Space liczy cztery zadania naraz, a build LUNY trwa minuty, wiec piate czekalo, az token zwietrzeje, i uzytkownik dostawal "This task could not be authorized. Please reload and sign in again." - czyli byl odsylany do naprawiania czegos, co dzialalo. check_usage_token zwraca teraz powod zamiast samego prawda/falsz, a przy "expired" mowimy, ze zadanie za dlugo czekalo i nic nie zostalo zuzyte. Pozostale powody - brak tokenu, zly podpis, uzyty drugi raz - dalej daja komunikat o autoryzacji, bo tam faktycznie o nia chodzi. verify_usage_token zostaje jako opakowanie logiczne, bo app.py uzywa go przy clarify. Wazne: waznosc tokenu nie jest tym, co chroni przed powtorzeniem. Kazdy token niesie jti, ktore Space zapisuje jako zuzyte i odmawia za drugim razem, wiec wydluzenie waznosci po stronie workera do 600 s nic nie oslabia. Testy: 36 -> 38. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>acf555c -
Etapy 5b-6: cache po odcisku tresci i testy jednostkowe
MalinaCACHE_DIR byl zadeklarowany w config.py i nigdy nieuzywany: kazde zadanie czytalo i mapowalo wszystko od nowa, lacznie z ponowieniem zadania, ktore przed chwila padlo. Uploady laduja za kazdym razem pod nowa sciezka tymczasowa, wiec cache po sciezce nigdy by nie trafil; odcisk tresci trafia. Klucz to rozmiar pliku plus pierwszy i ostatni megabajt, razem z promptem i nazwami modeli, bo wynik MAP zalezy od nich wszystkich. Hashowanie 200 MB w calosci kosztowaloby wiecej niz praca, ktora cache oszczedza. Zmierzone na piu plikach: pusty cache 13,6 s, cieply 8,4 s (39% szybciej, reszta to REDUCE, ktory nie jest cache'owany). Te same pliki pod INNYMI sciezkami: 5 trafien na 5, czyli ponowny upload nie placi drugi raz. Inne polecenie: 0 trafien, poprawnie. 24 testy jednostkowe bez sieci, pokrywajace miejsca, w ktorych faktycznie byly bledy: wykrywanie jezyka (w tym polskie bez ogonkow), parsowanie odpowiedzi MAP wraz ze sciezkami awaryjnymi, wykrywanie binariow, walidacje wygaslych uploado…0e03c98 -
Etap 5a: skany PDF, napisy z kontenera, binaria, EXIF, duplikaty klatek
MalinaSkan PDF byl calkowicie tracony. PDF bez warstwy tekstowej wracal jako 'no readable text found' i ladowal na liscie nieczytelnych, co dla faktury albo podpisanej umowy oznacza wyrzucenie calej tresci pliku. pypdf potrafi wyciagnac osadzony obraz strony wprost, wiec nie trzeba zadnej nowej zaleznosci do rasteryzacji. Strony ida do modelu wizyjnego, zgodnie z werdyktem zapisanym w NINIE, ze VLM czyta tekst z obrazu lepiej niz OCR. Sprawdzone na testowej fakturze: numer 2026/09/441, kwota 3 936,00 PLN i termin 12 pazdziernika odczytane doslownie. Napisy z kontenera zamiast Whispera. Wgrane MKV i MP4 czesto maja sciezke tekstowa; odczyt zajmuje 0,07 s zamiast dziesiatek sekund transkrypcji na CPU, jest dokladniejszy i nie przekreca nazw wlasnych. Gdy sciezki nie ma, Whisper przejmuje sprawe bez zmian. Port z NINA/subtitles.py. Pliki binarne nie ida juz do modelu jako mojibake. Nieznane rozszerzenie bylo czytane jako UTF-8 z podmiana bledow: zmierzone na pliku testowym 1192 z 2000 pierwsz…602f9e5 -
Etapy 2-3: model MAP nie byl serwowany, heurystyka trybu i ponawianie
MalinaNAJWAZNIEJSZE: Qwen2.5-7B-Instruct, czyli model MAP uzywany do KAZDEGO pliku, nie jest juz serwowany przez zadnego wlaczonego dostawce. Kazde wywolanie MAP w produkcji konczylo sie bledem. Awaria jest cicha z zalozenia (map_text przy bledzie zostawia surowy tekst), wiec caly etap ekstrakcji od dawna dzialal jako "pierwsze 2000 surowych znakow", bez ocen trafnosci i bez tematow, a nikt tego nie widzial. MAP_MODEL zmieniony na Qwen/Qwen3-8B, sprawdzony na prawdziwych dokumentach. app.py odpytuje teraz wszystkie trzy modele przy starcie i mowi glosno, ktory nie odpowiada. Usuniety tryb globalny: is_global_prompt i _MAP_SYSTEM_GLOBAL. Po commicie 983d2be, ktory zamienil binarna bramke na ocene, tryb ten nie chronil juz przed niczym, a spłaszczal wszystkie oceny do "high", czyli kasowal sygnal potrzebny REDUCE. Mylil sie na 7 z 10 realistycznych konkretnych polecen, w tym na "Omow wyniki tylko z pliku sprzedaz.xlsx". Wykrywanie jezyka przepisane na slowa funkcyjne. Stara wersja opierala s…3712e45 -
Etap 1: przestac gubic tresc i palic dzienny limit
MalinaWygasle uploady palily limit. Space kasuje pliki po godzinie, a front wgrywa je w kroku 1 kreatora i buduje w kroku 4. _validate lapalo OSError przy getsize i robilo continue, wiec walidacja przechodzila mimo znikniętych plikow. Kazdy plik potem nie dawal sie odczytac, REDUCE generowal uprzejma Notatke "nie znaleziono trafnych materialow", a ta jest niepusta, wiec worker uznawal zadanie za udane i naliczal jedno z trzech dziennych uzyc. Teraz brak pliku to FileNotFoundError i czytelny blad, wiec worker nic nie zapisuje i nic nie nalicza. Awaria VLM na wideo kasowala transkrypcje. map_video zwracalo puste notatki, przez co plik ladowal jako nieczytelny, mimo ze Whisper wlasnie go przemielil i transkrypcja siedziala w argumencie. Teraz degraduje do sciezki tekstowej. Komunikat przy padnietym modelu nie zrzuca juz winy na plik. Pliki poza budzetem REDUCE znikaly z rozliczenia: nie trafialy ani do syntezy, ani na liste "Not used". Teraz sa ksiegowane jako odlozone. Sprawdzone: przy 100 p…a416f24
-
LUNA: grade relevance instead of a destructive binary gate; REDUCE decides
Malina +1: Claude Opus 4.8The cheap per-file MAP model judged relevance in isolation and, on a false "not relevant", DISCARDED the file's extracted notes (notes=""). One shaky call by the weak model could therefore permanently lose a file's content, producing three user-visible failures: 1. Relevance flips wrongly (single-file, no cross-file context). 2. Files reported "not used" yet still summarized — REDUCE wrote both the body and the Not-used line from separate instincts and could contradict itself. 3. "what did Kris text at 19:34" + screenshots → "No relevant files found": the strict ("BE ACCURATE, NOT GENEROUS") MAP marked the screenshot irrelevant and nuked its notes, so the fallback had nothing to rescue. Fix — decouple extraction from relevance: - MAP now ALWAYS extracts notes and emits a GRADED signal (high/medium/low/none) instead of a binary keep/drop. Notes are never discarded for a readable file. _parse_json tolerates the legacy boolean. - pipeline keeps every readable file with i…983d2be
-
LUNA: real video understanding (frames+VLM), generous relevance + fallback, clarify endpoint, console job logs, 1h cache TTL
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>24ef38b -
LUNA: mirror prompt language reliably; split format directives from prompt
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>d8e9a81 -
LUNA: global-intent detection — broad prompts (summarize/everything) keep all files
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>122b2b6 -
LUNA v0.1 — multi-file task → structured Note (map-reduce backend)
Malina +1: Claude Opus 4.8Drop ≤100 files of any type, give a prompt, get one structured Note (Title · Agenda · Body · Sources). Parallel two-tier map-reduce over HF Inference Providers; faster-whisper for audio/video, VLM for images. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>281f5b1