← Feed
@skobkin@gts.skobk.in
2026-01-18 15:15 UTC
@iowoof@social.iowoof.com
Если бы выбор делал я, то в первую очередь постарался бы подождать следующего поколения AMD. Если бы нужно было сейчас - взял бы 9070.
Для серьёзной генерации мало почти любых объёмов памяти доступных сейчас в домашних решениях. И карты от Intel с двумя чипами (которые не очень-то и домашние) тоже не решили проблему.
Современные интересные агентские модели либо еле вписываются в 16 (графическая среда десктопа уже будет им мешать), либо не вписываются.
Разве что какая-нибудь Gemma 3, которая норм подходит для какого-нибудь ролеплея будет нормально себя чувствовать и на 12 GB, но это при учёте что ты не захочешь иметь нормальный контекст - иначе тебе снова нужна VRAM.
Неочевидное примечание: если ты видишь где-нибудь в каталоге Ollama что у модели контекст 128K или 1M токенов, то это не значит, что если модель влезла в память - она будет тебе их давать. Под эти 128K или 1M тебе нужно ещё ДОХЕРА видеопамяти и в целом на домашней карточке у тебя ноль шансов получить даже 128K (даже если выгрузишь десктопную графику).
Мощные модели для картинок вроде FLUX тоже нифига не влезают (да, есть квантование, но с нюансами) на своих штатных разрешениях. Есть, правда, китайский Z-Image, но ему тоже в 16G тесно будет на нормальном разрешении.
P.S. На AMD многое ML вполне можно запускать. Вообще без проблем будут бегать штуки вроде Ollama или Invoke (есть баг с квантованными моделями, который нужно чинить со стороны Invoke если запускаешь в Docker). Но у каких-то проектов из коробки поддержки не будет. Тот же Piper сейчас всё ещё по-моему нельзя тренировать на AMD. Ну, либо тебе придётся самому чинить всё питоноговно, которое для этого нужно.
Replies (3)
-
@skobkin@gts.skobk.in То, что никакая десктопная карта за 550$ MSRP ex VAT не даст опыта использования облачных нейронок, на которые корпораты тратят миллиарды долларов и мегаватты энергии, было понятно с самого начала.
Скажу больше: меня вполне устраивает, как бегают легкие LLM'ки на базовом Apple M4 с 16 Гб объединенной памяти xDD. Мой юзкейс локального ИИ: это приватное выполнение грязной монотонной работы, а не поиск лекарства от рака.
Open ##2607700
-
@skobkin@gts.skobk.in я вижу, ты в курсе, что можно из моделек покрутить локально. Поделись источниками инфы или экспертным знанием, пожалуйста? @iowoof@social.iowoof.com
Open ##2607703
-
@skobkin@gts.skobk.in @iowoof@social.iowoof.com
На AMD многое ML вполне можно запускатьГлавное только не сравнивать производительность Vulcan и Cuda
Open ##2607715