2026-08-31 07:56 UTC
Jakieś pomysły? Model to Gemma4 Q8 Coding, ma zaledwie 12GB, więc spokojnie powinno wystarczyć miejsca na KV...
Replies (1)
-
@grycmat@101010.pl 2026-08-31 08:04
Ok, wygląda na to, że Vulkan jakoś specyficznie zarządza pamięcią, a Q8 ma duże potrzeby na KV Cache. Spróbuję z Q6, poniżej nie chcę schodzić. Albo najpierw jeszcze eksperymenty z Memory Pool