Weryfikacja Ślepego Pojedynku: Gemini vs Lokalny Qwen w Hermesie

Repozytorium: Enterprise Invoicing Platform (FastAPI / 23 pliki) • Ślepy sprawdzian bezpieczeństwa multi-tenant

Testy Zakończone • Exit 0

Podsumowanie Architektoniczne z Prawdziwymi Narzędziami

Oba modele zostały uruchomione w autentycznym środowisku Hermesa z fizycznymi narzędziami (read_file, patch, terminal), bez żadnej wiedzy o istnieniu testów (plik testowy był całkowicie ukryty poza repozytorium).

Gemini 3.8 Flash (Hermes Subagent) BEZ JIT
Metoda pracy:Pełna pętla agenta (100 kroków)
Czas wykonania:304.59s (~5 min)
Zakres poszukiwań:Błądził po 11 plikach (JS, HTML, Python)
Wynik ślepego Pytesta:14/14 PASSED (100%)
Ocena inżynierska:Wysoka odporność, ale duży koszt/czas
Lokalny Qwen 3.8 9B (Metal M2 Pro) Z JIT & PATCH
Metoda pracy:Pętla narzędziowa Hermes (read_file + patch)
Czas wykonania:~40s na turę (100% lokalnie, $0)
Zakres poszukiwań:Chirurgiczny: od razu odczytał linie 60-120
Diagnoza błędu:100% trafna (brak filtra w SQL)
Ocena inżynierska:Z narzędziem patch działa bezbłędnie
Gemini 3.8 Flash — Zapis sesji (45 KB) Pobierz .log
Ładowanie logu...
Lokalny Qwen 3.8 9B — Zapis pętli narzędziowej (read_file & patch) Pobierz .log
Ładowanie logu...
LIVE EXPERIMENT: WITH TOOLS (JIT) VS WITHOUT TOOLS (JIT)
POBIERZ LIVE LOG Z NARZĘDZIAMI (.LOG) →

Badanie dźwigni narzędziowej (Tool Leverage): czy udostępnienie pętli interpretera Pythona (REPL / Terminal) pozwala modelom osiągnąć 100% poprawności w zadaniach algorytmicznych pod czystym kontekstem JIT.

[LIVE RUNNING: Gemini 3.8 Flash, GPT-5.6 Terra, Local Qwen 3.8 9B...]