Spaces:
Paused
Paused
Commit History
-
Pin PyAV to 16.1.0: faster-whisper 1.2.1 passes metadata_errors, which PyAV 17+ removed
Malina +1: Claude Fable 5.1Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>672424e -
Scoped tokens, bounded archives and frames, build deadline, circuit breaker, honest note caps
Malina +1: Claude Fable 5.1- auth.py shared with NINA: scope + iat checks, jti persisted across restarts; NINA secret fallback removed - extract: ZIP members through real parsers with per-member and total byte caps, media listed as not read; doc/ppt/rtf/xls/ods refused with a conversion hint; PDF page cap announced - frames: bounded reservoir for streams without a duration (64 frames, stride doubling, downscaled at pick) - pipeline: reading and note-taking stop at 6 minutes and the Note is written from what is there; note cap grows to the REDUCE budget for small tasks and says when it cuts; long video transcripts read past the first window; transcript says where it stops; stage timings; prompt not logged - synthesis: prompt-marker lines stripped from file notes; failure reasons without provider messages - models: circuit breaker after 5 consecutive transport failures (30 s fail-fast) - app: clarify scope, max_file_size; parsers pinned; README python_version and API table - tests: 96 (18 new) Co-Authored-By: Cla…da9de03
-
Brief MAP przestal sam sobie przeczyc, a dlugie nagranie nie gubi polowy po cichu
Malina +1: Claude Opus 5 (1M context)Dwie rzeczy z przegladu kompletnosci. Nowy brief MAP zabranial kopiowania, ale dwa zdania ze starej wersji dalej mowily "the faithful extraction" i "keep quotes verbatim". Model dostawal sprzeczna instrukcje dokladnie w tym miejscu, ktore bylo cala przyczyna awarii. map_video ucinal transkrypcje na 8000 znakach, czyli okolo 25 minutach mowy, bez slowa do modelu i bez sladu dla uzytkownika. Okno to teraz pelne wywolanie, a to, co sie nie zmiescilo, jest powiedziane wprost. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>4bcc2f3 -
Dlugie nagranie tez idzie w czesciach, a poprawka promptu uniewaznia cache
Malina +1: Claude Opus 5 (1M context)Dwie luki z przegladu architektury, obie w tej samej rodzinie co poprawka dlugich plikow. Dzielenie na czesci obejmowalo tylko pliki tekstowe, wiec polgodzinne nagranie nadal docieralo do modelu jako pierwsze 16000 znakow transkrypcji. Transkrypt idzie teraz ta sama sciezka, a budzet rezerwuje na nagranie cztery wywolania, bo dlugosci mowy nie znamy przed uruchomieniem Whispera. Klucz cache nie zawieral tresci briefu MAP. Notatki pisane starym, przepisujacym promptem przezylyby poprawke o szesc godzin i wracalyby jako ta sama fotokopia. Klucz zawiera teraz skrot briefu, wiec kazda zmiana promptu sama uniewaznia cache. Testy: 78. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>0e52a62 -
Notatka zamiast fotokopii, caly plik zamiast okladki, awaria zamiast udawania
Malina +1: Claude Opus 5 (1M context)Trzy niezalezne wady zlozyly sie na Notatke, ktora nie byla Notatka. 1. Synteza. Router HF potrafi odpowiedziec "model nie jest obslugiwany przez zadnego dostawce" na model zywy u trzech dostawcow. Bylo to liczone jako blad trwaly: zero ponowien, zero modeli zapasowych, a wynikiem byla sklejka surowych notatek sformatowana dokladnie jak gotowa Notatka. Zapisywana, naliczana, bez jednego slowa, ze model nigdy nie odpowiedzial. Od 9 czerwca kazdy build konczyl sie tak samo. Teraz kazda rola ma liste kandydatow, odmowa routera przypina dostawce, a nieudana synteza mowi o sobie wprost i wraca do Workera przez status, zeby oddal dzienny build. 2. MAP przepisywal plik zamiast pisac notatki. Zmierzone: pierwsze 7343 znaki odpowiedzi modelu bajt w bajt rowne wejsciu. Prompt zabrania teraz kopiowania (15 kolejnych slow = porazka), ogranicza cytaty i kaze rozlozyc notatki na calosc materialu, bo okladka i spis tresci to nie tresc. 3. Dlugi plik istnial tylko do p…a483b94
-
Limit wideo 200 -> 500 MB
Zgodnie z frontem na app.nnlabs.pl, ktory odrzuca wieksze pliki przed wyslaniem. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>4f5f311
-
MAP wyciaga, nie ocenia
Ocena relevance nigdy niczego nie rozstrzygala. Plik oznaczony "none" byl trzymany i wysylany do REDUCE dokladnie tak samo jak kazdy inny, wiec ocena tylko sortowala bloki i drukowala sie w naglowku. Kosztowala za to realnie: polowe promptu MAP, pole JSON, ktore przy wyczerpanym budzecie tokenow ucinalo ekstrakcje, tabele synonimow na slowa, ktore model wymyslal zamiast naszych czterech, i normalizator na reszte. REDUCE widzi wszystkie pliki naraz i zawsze to on decydowal. Nadal decyduje, tylko bez drugiej opinii, na ktora nikt nie reagowal. Prompt REDUCE mowi teraz wprost, ze wczesniejszego zdania nie ma, zamiast kazac "ufac, ale moc nadpisac" ocenie. Sortowanie wg oceny zastapione kolejnoscia wgrywania. Mialo znaczenie tylko przy wyczerpaniu budzetu, a przy limicie 100 plikow i budzecie dzielonym po rowno setka plikow sie miesci. Sprawdzone na gemma-3-27b: JSON parsuje sie, klucze to notes i topics, liczby i nazwy przepisane wiernie, notatka w jezyku pliku. Plik kompletnie nie na …939e33b -
Bez sekretu LUNA nie buduje nic
check_usage_token zwracalo "ok", kiedy SIGNING_SECRET byl pusty, a na tym Space nigdy nie zostal ustawiony. Endpoint build jest publiczny i opisany w README, wiec przez caly ten czas kazdy mogl go wolac: bez logowania, poza limitem trzech zadan na dobe, na naszych kredytach na inferencje. To nie byla teoretyczna dziura, tylko stan produkcyjny. Pusty sekret zwraca teraz "unconfigured", pipeline mowi wprost, ze to blad po naszej stronie, a nie wygasla sesja uzytkownika, i auth.py krzyczy o tym przy starcie. LUNA_SIGNING_SECRET jest wlasnym sekretem LUNY; fallback na NINA_SIGNING_SECRET zostaje tylko po to, zeby starszy deploy workera dzialal, i powinien zniknac. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>e0ee73b -
Zawieszony strumien REDUCE mogl zjesc caly budzet zadania
Malina +1: Claude Opus 5 (1M context)Znalezione przez przypadek, na wlasnym przebiegu kontrolnym: proces stal szesnascie minut na zerowym procesorze, z kompletem siedmiu wpisow w cache, czyli MAP dawno skonczyl, a REDUCE siedzial na streamie, ktory sie otworzyl i zamilkl. Powtorzony przebieg zajal 22 sekundy, wiec to byla chwilowa awaria dostawcy - dokladnie ta, ktorej nikt nie pilnowal. LLM_TIMEOUT pokrywa dotarcie do dostawcy, nie strumien, ktory juz plynie, a iterowanie zamilklego strumienia blokuje bez wyjscia. Strumien jest teraz konsumowany przez kolejke z wątku demona: cisza dluzsza niz 45 sekund albo caly strumien dluzszy niz 300 sekund konczy odbior i oddaje to, co splynelo, z dopiskiem, ze Notatka urywa sie w tym miejscu. Oba progi sa pod osmiominutowym limitem strony, wiec to LUNA decyduje o zakonczeniu, a nie worker ucinajacy ja w polowie zdania. Trzy testy: zamilkniecie przerywane w niecale 8 sekund zamiast czekania 30, normalne zakonczenie nietkniete, blad w polowie strumienia dalej zachowuje to, co juz pr…62fe8fd -
Transkrypcja byla jedyna trescia, ktora szla do modelu bez ograniczenia
Malina +1: Claude Opus 5 (1M context)Kazdy inny typ pliku przechodzi przez extract(), gdzie obowiazuje PER_FILE_CHARS. Transkrypcja nie: idzie prosto z Whispera albo ze sciezki napisow do map_text, z pominieciem tej drogi. Trzy godziny napisow to grubo ponad sto tysiecy znakow, czyli daleko poza to, co model MAP przyjmie w jednym wywolaniu, a awaria wygladalaby na kapryszacy model, nie na zbyt duze zapytanie. Ograniczenie siedzi teraz w _map_user, wiec zaden wywolujacy go nie obejdzie, i jest powiedziane wprost w zapytaniu, zeby model nie udawal, ze przeczytal plik, ktorego widzial tylko poczatek. Przy okazji dwie rzeczy po stronie napisow: - Napisy nie podlegaly limitowi TRANSCRIBE_MAX_SECONDS, ktory obowiazuje Whispera. Ta sama robota sluchala innej reguly zaleznie tylko od tego, skad wzielismy slowa. Teraz obie konczą w tym samym miejscu. - Napisy przewijane (rodzina eia_608 szczegolnie) powtarzaja te sama linijke przez kolejne kwestie, gdy tekst sie przesuwa. Kazda kopia byla placona w tokenach. Scalane sa t…eac204b -
Test pilnuje, zeby mapa rozszerzen nie rozjechala sie miedzy repozytoriami
Malina +1: Claude Opus 5 (1M context)Mapa rozszerzenie -> kategoria zyje w dwoch kopiach: extract.py tutaj i EXT w luna.js po stronie strony. Decyduje o tym, ktory limit rozmiaru obowiazuje dla pliku, wiec identycznosc dzisiaj nie jest pointa - pointa jest to, ze jedna strone mozna wyedytowac samotnie i nikt tego nie zauwazy. Wlasnie tak sie stalo wczoraj, gdy dodalem tu kategorie vector dla SVG. Dwa testy: obie mapy musza zawierac te same rozszerzenia z tymi samymi kategoriami, i kazda kategoria, ktora Space potrafi zwrocic, musi miec etykiete w kreatorze. Pomijaja sie same tam, gdzie repozytorium strony nie jest wypakowane, wiec na Space nie przeszkadzaja. Sprawdzone, ze naprawde lapia: usuniecie svg z jednej strony czerwieni test, przywrocenie zieleni. Testy: 58 -> 60. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>cadec28 -
Nierozpoznana ocena trafnosci grzebala plik zamiast zostawic go posrodku
Malina +1: Claude Opus 5 (1M context)Gdy model odpowiadal slowem spoza naszej czworki - "moderate", "very high", "irrelevant", albo po prostu po polsku "srednia" - parser sprowadzal to do "none". To jedyna wartosc, ktora sadza plik na samym koncu kolejnosci REDUCE i daje mu najmniejszy udzial w budzecie syntezy. Caly ten etap istnieje po to, zeby ocenic i zostawic decyzje REDUCE, wiec grzebanie pliku dlatego, ze nie znalismy slowa wybranego przez model, robi dokladnie odwrotnie. Ocena jest teraz normalizowana: znane synonimy w obu jezykach, dopasowanie po fragmencie ("medium-high", "relevance: low"), a wartosc nierozpoznana, ale OBECNA, laduje na "medium". Puste albo brakujace pole dalej znaczy "none", bo tam model faktycznie nic nie powiedzial. Przy okazji rozplatana linia w _salvage wyciagajaca tematy: miala galaz `or re.match("", "")`, ktora rzucilaby IndexError, bo dopasowanie pustego wzorca nie ma grupy 1. Nigdy sie nie wykonywala, bo osłaniał ja warunek na koncu wyrazenia, ale czytalo sie to jak zabezpieczenie, kt…759c848 -
Wideo bez metadanych o dlugosci bylo probkowane tylko z poczatku
Malina +1: Claude Opus 5 (1M context)Galaz awaryjna w sample_frames brala co trzydziesta klatke i przerywala po osmiu. Przy 25 klatkach na sekunde to jest dziesiec pierwszych sekund nagrania, podawane modelowi jako przeglad calosci. Nie mialo tez zadnej deduplikacji, wiec statyczne nagranie ekranu placilo pelnym kosztem tokenow za osiem kopii tego samego obrazu. Teraz, gdy metadane nie podaja dlugosci, mierzymy ja demuxujac strumien bez dekodowania - pakiety niosa wlasne znaczniki, a pominiecie dekodera czyni to tanim - i wracamy na normalna sciezke rownomiernego rozlozenia. Sonda idzie na WLASNYM uchwycie: demuxowanie przewija strumien do konca, a surowy strumien elementarny nie umie sie cofnac, wiec badanie przez ten sam kontener, z ktorego zaraz dekodujemy, zostawialo go na koncu pliku i sampler zwracal pusta liste. Gdy nie da sie zmierzyc nawet tak, probka rozklada sie na caly strumien zamiast na jego poczatek, z deduplikacja. Surowy strumien nie ma znacznikow czasu w ogole, wiec czas szacujemy z numeru klatki i nom…b5e6cd5 -
Dostawca nie moze uspic nas na dluzej, niz trwa cale zadanie
Malina +1: Claude Opus 5 (1M context)Dwie rzeczy, ktore przy zlym dniu dostawcy inferencji koncza sie zadaniem przeterminowanym bez jednej linijki Notatki. 1. Ponawianie honorowalo naglowek Retry-After bez zadnego ograniczenia. To liczba serwera, a build ma osiem minut w sumie: odpowiedz "wroc za piec minut" na 429 zaparkowalaby wszystkie osiem watkow MAP za linia konca i cale zadanie przepadloby, czekajac grzecznie. Czas oczekiwania jest teraz ograniczony do 20 sekund (LUNA_RETRY_MAX_WAIT), a log mowi, kiedy przyciete. 2. check_models wolalo trzy modele synchronicznie przy imporcie, czyli zanim Gradio zaczelo obslugiwac. Kazde z tych wywolan moze siedziec na LLM_TIMEOUT, ktory wynosi 180 s, wiec jeden niereagujacy dostawca mogl wstrzymac wstanie Space'u o dziewiec minut - na platformie, ktora budzi go ze snu do zadania i tak ograniczonego do osmiu. Sonda idzie teraz w tlo, bo jej wynikiem jest wylacznie linijka w logu i nic na nia nie czeka. Testy na oba, plus na to, ze blad trwaly (uniewazn…30ec081 -
Czas klatki byl ucinany w dol i publikowany w Notatce
Malina +1: Claude Opus 5 (1M context)frames.py zapisuje prawdziwy czas prezentacji zdekodowanej klatki z dokladnoscia do dziesiatej sekundy, a synthesis.py renderowal go przez int(), czyli UCINAL: klatka z 1,7 s szla do modelu jako "Frame at 1s", zawsze za wczesnie, nawet o sekunde. Model cytuje te etykiety w notatkach, a uzytkownik czyta je w gotowej Notatce, wiec blad byl publikowany. Przy dluzszym nagraniu sam format przestawal byc czasem: "3725s" to godzina i dwie minuty, tylko nikt tego tak nie czyta. Ponizej minuty jest teraz "1.7s", powyzej "1:02:05". Sprawdzone na prawdziwym modelu, trzyslajdowa prezentacja: przed zmiana model pisal "Frame at 1s / 5s / 10s", po zmianie cytuje "1.7s", "5s i 6.7s", "10s i 11.7s", czyli dokladnie te klatki, ktore dostal. Naprawione tez wlasne niedopatrzenie z poprzedniego commita: werdykt "nie udalo sie odczytac wideo (brak klatek i mowy)" oznaczylem jako trwaly, a dokladnie tak samo wyglada z tego miejsca brak PyAV albo Whisper, ktory sie nie zaladowal. Na Space z chwilowo niedos…e4a00dc -
Cache pamieta to, co sie nie zmieni, i nie pamieta naszych awarii
Malina +1: Claude Opus 5 (1M context)Dwie dziury w tym, co cache obejmowal. 1. Klucz zawieral polecenie, a transkrypcja Whisperem od polecenia nie zalezy. Kreator wprost zacheca, zeby dopracowac prompt i zbudowac ponownie, a kazde takie podejscie placilo za te sama transkrypcje od nowa: okolo czterdziestu sekund na piec minut nagrania. Doszla warstwa kluczowana samym plikiem (cache.load_raw / store_raw), z osobnymi rodzajami, zeby sie nie zderzaly. Pusta transkrypcja tez jest zapisywana, bo cisza zostanie cisza, a udowadnianie tego kosztuje kolejny pelny przebieg. 2. cache.store wolalo sie tylko na sciezce udanej, wiec plik odlozony przechodzil pelna ekstrakcje przy kazdym powtorzeniu. Teraz odklada sie razem z powodem, ale tylko wtedy, gdy ten powod sie nie zmieni: "to plik binarny" albo "nie udalo sie przepisac mowy" powiedza to samo za kazdym razem. Awaria po naszej stronie - nieosiagalny model, brakujaca zaleznosc, czyli komunikaty "couldn't read (...)" i wszystko z m["error"] - NIE …1a8a270
-
Wygasly token to problem kolejki, nie autoryzacji, i tak brzmi komunikat
Malina +1: Claude Opus 5 (1M context)Token zyl 120 sekund, a sprawdzany jest dopiero przy zdejmowaniu z kolejki. Space liczy cztery zadania naraz, a build LUNY trwa minuty, wiec piate czekalo, az token zwietrzeje, i uzytkownik dostawal "This task could not be authorized. Please reload and sign in again." - czyli byl odsylany do naprawiania czegos, co dzialalo. check_usage_token zwraca teraz powod zamiast samego prawda/falsz, a przy "expired" mowimy, ze zadanie za dlugo czekalo i nic nie zostalo zuzyte. Pozostale powody - brak tokenu, zly podpis, uzyty drugi raz - dalej daja komunikat o autoryzacji, bo tam faktycznie o nia chodzi. verify_usage_token zostaje jako opakowanie logiczne, bo app.py uzywa go przy clarify. Wazne: waznosc tokenu nie jest tym, co chroni przed powtorzeniem. Kazdy token niesie jti, ktore Space zapisuje jako zuzyte i odmawia za drugim razem, wiec wydluzenie waznosci po stronie workera do 600 s nic nie oslabia. Testy: 36 -> 38. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>acf555c -
Notatka nazywa pliki tak, jak uzytkownik je wgral, i mowi czemu ktorys odlozyla
Malina +1: Claude Opus 5 (1M context)Dwie wady wyszly na przebiegu korpusu "co to jest oaza i czym sie zajmuje". 1. Model przepisuje kazda nazwe pliku, ktora cytuje, i po drodze ja po cichu "poprawia". Plik nazwany formacja_do2ONZ_szanse_i_zagrozenia.pdf wrocil w Sources jako ...zagrożenia.pdf, z kreska, ktorej autor nie postawil. Sources i linia odlozonych to jedyne rozliczenie, jakie uzytkownik dostaje za swoj upload, wiec nazwa, ktorej nie da sie dopasowac do wyslanego pliku, to realna wada, nie kosmetyka. Naprawione w kodzie, nie promptem: instrukcje "nie zmieniaj pisowni" model nadpisuje dokladnie wtedy, gdy pisownia wyglada mu na bledna. Porownanie znosi wielkosc liter, znaki diakrytyczne i separatory, wiec lapie tez "wrzesien 2024.pdf" zamiast "wrzesien-2024.pdf" i dziala na nazwach ze spacjami. Na przebiegu: 2 naprawione nazwy. 2. Linia odlozonych prosila o jeden wspolny powod, i to opcjonalnie, wiec model pomijal go calkiem. Teraz powod jest wymagany przy kazdym pliku i ma n…9257486 -
SVG i pliki danych nie zasmiecaja juz wejscia modelu
Malina +1: Claude Opus 5 (1M context)Dwa pliki z korpusu testowego szly do MAP jako "tresc", choc nie niosly zadnej: - logonnnl.svg: 16000 znakow sciezek i base64. SVG to tekst, wiec zwykly czytnik oddawal caly plik. Teraz zostaje to, co czlowiek by przeczytal: title, desc i wezly text, plus wymiary. 16000 -> 62 znaki. Przy okazji znikl falszywy trafiony "oaz" znaleziony wewnatrz blobu base64. - filech3_0: 9316 znakow cyfr. Plik bez znanego rozszerzenia czytamy jako tekst na wypadek, gdyby byl proza. Gdy nia nie jest, mowimy czym jest i pokazujemy probke. 9316 -> 371 znakow. Prog to gestosc slow ponizej 0,15; proza siedzi powyzej 0,6. Razem okolo 25 tysiecy znakow mniej na jedno zadanie o siedmiu plikach, przy zachowanym rozliczeniu: oba pliki nadal trafiaja na liste odlozonych z uczciwym powodem, zamiast znikac. Czytnik SVG ma wyjscie awaryjne: niezadeklarowany prefiks xlink zatrzymuje parser XML, a eksportery to robia. Wtedy skan wyciaga same slowa, zamiast zglaszac plik jako nieczytelny. Zlapane przez wl…8413646 -
Ocena trafnosci znosi teraz rozne nazwy tego samego, plus zakaz rozwijania skrotow
MalinaDrugie dno zgloszenia o ignorowanych plikach. Po naprawie limitu tokenow pliki wracaly z trescia, ale MAP nadal ocenial je nisko: dokumenty mowia o Ruchu Swiatlo-Zycie, ONZ, formacji i Ewangelicznej Rewizji Zycia, czyli nazwami wlasnymi Oazy, a slowo 'oaza' w nich nie pada. MAP rozumial tresc doskonale, sam wypisywal tematy 'Light-Life Movement' i 'ONZ formation', tylko nie kojarzyl ich z pytaniem. _MAP_SYSTEM dostal instrukcje, ze polecenie moze nazywac swoj temat inaczej niz plik: skrotem, nazwa formalna, terminem lokalnym albo wlasnym slownictwem organizacji, i zeby ocenial, czy TRESC pliku moze odpowiedziec na pytanie, a nie czy slowa z pytania w nim wystepuja. Zmierzone dwa razy na materialach uzytkownika, wynik stabilny: dokumenty o Oazie podniesione z jednego do trzech na cztery przy medium, zaden nietrafny plik nie zostal zawyzony. Logo Allrent, plik z liczbami i plik SVG nadal none. To istotne, bo podniesienie wszystkiego do high byloby bledem, nie sukcesem, i przywrocilo by…b568601 -
MAP byl ucinany limitem tokenow i tracil cala ekstrakcje
MalinaZgloszenie: LUNA ignoruje wazne pliki. Odtworzone na materialach z folderu 'testy claude' dla polecenia 'co to jest oaza i czym sie zajmuje'. Przyczyna nie byla ta, ktora wygladala na oczywista. Ekstrakcja dzialala bez zarzutu i wyciagala po 16 000 znakow z kazdego dokumentu. To MAP pisal okolo 2850 znakow rzetelnego streszczenia i byl ucinany limitem 900 tokenow w polowie JSON-a. Niedomkniety JSON nie parsowal sie, wiec _parse_json zwracal wartosc domyslna: relevance none, notatki puste. Deterministycznie, 3 proby na 3 z finish_reason=length, wiec ponawianie nic nie dawalo. Plik dostawal potem komunikat, ze nie dalo sie odczytac jego tresci, co bylo nieprawda. Nie wyszlo to wczesniej, bo moje pliki testowe mialy po 300 znakow i nigdy nie zblizyly sie do limitu. Te maja po 16 000. Trzy warstwy naprawy, bo kazda lapie inny przypadek: - _salvage wyciaga pole notes z odpowiedzi urwanej w polowie, zamiast wyrzucac cala ekstrakcje 16-tysiecznego dokumentu - budzet 900 na 2000, z ponowi…b221c41 -
Model MAP: gemma-3-27b-it zamiast modelu myslacego
MalinaQwen3-8B, ktory wybralem w etapie 2, okazal sie modelem rozumujacym: emituje swoje myslenie jako tokeny. Przy budzecie 160 tokenow w clarify cale myslenie zjadalo budzet i endpoint zwracal PUSTY napis, co wylapalem dopiero testujac wdrozony Space. Przy 900 tokenach w MAP bylo po prostu zawodne, i to wlasnie tlumaczy jedno losowe pudlo zaobserwowane wczesniej. Parametr enable_thinking nie dziala u tego dostawcy, a doklejanie /no_think do promptu uzytkownika to krucha sztuczka zwiazana z jedna rodzina modeli. Llama-3.1-8B jest tania i dostepna, ale halucynuje. Zmierzone na pytaniu o czynsz: ocenila arkusz kosztow jako wysoce trafny i dopisala mu notatke 'Koszty w umowie najmu' nad danymi, ktore nic takiego nie zawieraja, a jako tematy raportu sprzedazy podala czterokrotnie 'wynajmujacy', slowo w tym pliku nieobecne. Dla narzedzia, ktorego cala obietnica to pozostawanie w plikach, to dyskwalifikuje. gemma-3-27b-it ocenia poprawnie: umowa high, pozostale pliki none albo low, notatki wier…6587912 -
Etapy 5b-6: cache po odcisku tresci i testy jednostkowe
MalinaCACHE_DIR byl zadeklarowany w config.py i nigdy nieuzywany: kazde zadanie czytalo i mapowalo wszystko od nowa, lacznie z ponowieniem zadania, ktore przed chwila padlo. Uploady laduja za kazdym razem pod nowa sciezka tymczasowa, wiec cache po sciezce nigdy by nie trafil; odcisk tresci trafia. Klucz to rozmiar pliku plus pierwszy i ostatni megabajt, razem z promptem i nazwami modeli, bo wynik MAP zalezy od nich wszystkich. Hashowanie 200 MB w calosci kosztowaloby wiecej niz praca, ktora cache oszczedza. Zmierzone na piu plikach: pusty cache 13,6 s, cieply 8,4 s (39% szybciej, reszta to REDUCE, ktory nie jest cache'owany). Te same pliki pod INNYMI sciezkami: 5 trafien na 5, czyli ponowny upload nie placi drugi raz. Inne polecenie: 0 trafien, poprawnie. 24 testy jednostkowe bez sieci, pokrywajace miejsca, w ktorych faktycznie byly bledy: wykrywanie jezyka (w tym polskie bez ogonkow), parsowanie odpowiedzi MAP wraz ze sciezkami awaryjnymi, wykrywanie binariow, walidacje wygaslych uploado…0e03c98 -
Etap 5a: skany PDF, napisy z kontenera, binaria, EXIF, duplikaty klatek
MalinaSkan PDF byl calkowicie tracony. PDF bez warstwy tekstowej wracal jako 'no readable text found' i ladowal na liscie nieczytelnych, co dla faktury albo podpisanej umowy oznacza wyrzucenie calej tresci pliku. pypdf potrafi wyciagnac osadzony obraz strony wprost, wiec nie trzeba zadnej nowej zaleznosci do rasteryzacji. Strony ida do modelu wizyjnego, zgodnie z werdyktem zapisanym w NINIE, ze VLM czyta tekst z obrazu lepiej niz OCR. Sprawdzone na testowej fakturze: numer 2026/09/441, kwota 3 936,00 PLN i termin 12 pazdziernika odczytane doslownie. Napisy z kontenera zamiast Whispera. Wgrane MKV i MP4 czesto maja sciezke tekstowa; odczyt zajmuje 0,07 s zamiast dziesiatek sekund transkrypcji na CPU, jest dokladniejszy i nie przekreca nazw wlasnych. Gdy sciezki nie ma, Whisper przejmuje sprawe bez zmian. Port z NINA/subtitles.py. Pliki binarne nie ida juz do modelu jako mojibake. Nieznane rozszerzenie bylo czytane jako UTF-8 z podmiana bledow: zmierzone na pliku testowym 1192 z 2000 pierwsz…602f9e5 -
Etap 4: adaptacyjny przydzial budzetu syntezy na plik
MalinaSztywny limit 4000 znakow na plik przy budzecie 60 000 oznaczal, ze do syntezy docieralo okolo czternastu plikow niezaleznie od tego, ile ich wgrano. Reszta byla czytana, placono za nia wywolania MAP, i nie trafiala do Notatki. Teraz budzet dzieli sie na liczbe plikow, z rezerwa na naglowek bloku i podloga 400 znakow. Zmierzone: przy 100 plikach po 4000 znakow do syntezy trafia 100 ze 100, wczesniej 14. Male zadania sa nietkniete, bo przydzial jest wtedy znacznie wiekszy niz to, co MAP w ogole produkuje.bebc2cf -
Etapy 2-3: model MAP nie byl serwowany, heurystyka trybu i ponawianie
MalinaNAJWAZNIEJSZE: Qwen2.5-7B-Instruct, czyli model MAP uzywany do KAZDEGO pliku, nie jest juz serwowany przez zadnego wlaczonego dostawce. Kazde wywolanie MAP w produkcji konczylo sie bledem. Awaria jest cicha z zalozenia (map_text przy bledzie zostawia surowy tekst), wiec caly etap ekstrakcji od dawna dzialal jako "pierwsze 2000 surowych znakow", bez ocen trafnosci i bez tematow, a nikt tego nie widzial. MAP_MODEL zmieniony na Qwen/Qwen3-8B, sprawdzony na prawdziwych dokumentach. app.py odpytuje teraz wszystkie trzy modele przy starcie i mowi glosno, ktory nie odpowiada. Usuniety tryb globalny: is_global_prompt i _MAP_SYSTEM_GLOBAL. Po commicie 983d2be, ktory zamienil binarna bramke na ocene, tryb ten nie chronil juz przed niczym, a spłaszczal wszystkie oceny do "high", czyli kasowal sygnal potrzebny REDUCE. Mylil sie na 7 z 10 realistycznych konkretnych polecen, w tym na "Omow wyniki tylko z pliku sprzedaz.xlsx". Wykrywanie jezyka przepisane na slowa funkcyjne. Stara wersja opierala s…3712e45 -
Etap 1: przestac gubic tresc i palic dzienny limit
MalinaWygasle uploady palily limit. Space kasuje pliki po godzinie, a front wgrywa je w kroku 1 kreatora i buduje w kroku 4. _validate lapalo OSError przy getsize i robilo continue, wiec walidacja przechodzila mimo znikniętych plikow. Kazdy plik potem nie dawal sie odczytac, REDUCE generowal uprzejma Notatke "nie znaleziono trafnych materialow", a ta jest niepusta, wiec worker uznawal zadanie za udane i naliczal jedno z trzech dziennych uzyc. Teraz brak pliku to FileNotFoundError i czytelny blad, wiec worker nic nie zapisuje i nic nie nalicza. Awaria VLM na wideo kasowala transkrypcje. map_video zwracalo puste notatki, przez co plik ladowal jako nieczytelny, mimo ze Whisper wlasnie go przemielil i transkrypcja siedziala w argumencie. Teraz degraduje do sciezki tekstowej. Komunikat przy padnietym modelu nie zrzuca juz winy na plik. Pliki poza budzetem REDUCE znikaly z rozliczenia: nie trafialy ani do syntezy, ani na liste "Not used". Teraz sa ksiegowane jako odlozone. Sprawdzone: przy 100 p…a416f24
-
LUNA: grade relevance instead of a destructive binary gate; REDUCE decides
Malina +1: Claude Opus 4.8The cheap per-file MAP model judged relevance in isolation and, on a false "not relevant", DISCARDED the file's extracted notes (notes=""). One shaky call by the weak model could therefore permanently lose a file's content, producing three user-visible failures: 1. Relevance flips wrongly (single-file, no cross-file context). 2. Files reported "not used" yet still summarized — REDUCE wrote both the body and the Not-used line from separate instincts and could contradict itself. 3. "what did Kris text at 19:34" + screenshots → "No relevant files found": the strict ("BE ACCURATE, NOT GENEROUS") MAP marked the screenshot irrelevant and nuked its notes, so the fallback had nothing to rescue. Fix — decouple extraction from relevance: - MAP now ALWAYS extracts notes and emits a GRADED signal (high/medium/low/none) instead of a binary keep/drop. Notes are never discarded for a readable file. _parse_json tolerates the legacy boolean. - pipeline keeps every readable file with i…983d2be
-
LUNA: keep out-of-scope items out of the Agenda/title too (bind Agenda to real sections)
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>32a59c5 -
LUNA: silently omit out-of-scope request parts (no acknowledgement section)
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>04e6322 -
LUNA: scope/injection hardening — only synthesize from files, ignore embedded/side commands
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>cd520d2 -
LUNA: strict relevance for specific prompts (no irrelevant dilution); drop static clarify opener
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>c6c43a6 -
LUNA: real video understanding (frames+VLM), generous relevance + fallback, clarify endpoint, console job logs, 1h cache TTL
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>24ef38b -
LUNA: binary PL/EN language detection + forceful directive (no topic-language drift)
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>d70b247 -
LUNA: let the model identify request language itself (drop unreliable langdetect hint)
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>61c7718 -
LUNA: treat describe/analyze/explain prompts as global (fixes 0-relevant on 'Describe this picture')
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>9a5b92d -
LUNA: mirror prompt language reliably; split format directives from prompt
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>d8e9a81 -
LUNA: robust short-prompt language detection (PL hints + English default)
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>ad961fd -
LUNA: global-intent detection — broad prompts (summarize/everything) keep all files
Malina +1: Claude Opus 4.8Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>122b2b6 -
LUNA v0.1 — multi-file task → structured Note (map-reduce backend)
Malina +1: Claude Opus 4.8Drop ≤100 files of any type, give a prompt, get one structured Note (Title · Agenda · Body · Sources). Parallel two-tier map-reduce over HF Inference Providers; faster-whisper for audio/video, VLM for images. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>281f5b1
-
initial commit
Verified signatureb67e3ef -
Duplicate from gradio-templates/chatbot
Co-authored-by: Pete <pngwn@users.noreply.huggingface.co>62d6859