Elektrine lite

← Feed

@skobkin@gts.skobk.in

2026-01-18 15:15 UTC

@iowoof@social.iowoof.com Если бы выбор делал я, то в первую очередь постарался бы подождать следующего поколения AMD. Если бы нужно было сейчас - взял бы 9070. Для серьёзной генерации мало почти любых объёмов памяти доступных сейчас в домашних решениях. И карты от Intel с двумя чипами (которые не очень-то и домашние) тоже не решили проблему. Современные интересные агентские модели либо еле вписываются в 16 (графическая среда десктопа уже будет им мешать), либо не вписываются. Разве что какая-нибудь Gemma 3, которая норм подходит для какого-нибудь ролеплея будет нормально себя чувствовать и на 12 GB, но это при учёте что ты не захочешь иметь нормальный контекст - иначе тебе снова нужна VRAM. Неочевидное примечание: если ты видишь где-нибудь в каталоге Ollama что у модели контекст 128K или 1M токенов, то это не значит, что если модель влезла в память - она будет тебе их давать. Под эти 128K или 1M тебе нужно ещё ДОХЕРА видеопамяти и в целом на домашней карточке у тебя ноль шансов получить даже 128K (даже если выгрузишь десктопную графику). Мощные модели для картинок вроде FLUX тоже нифига не влезают (да, есть квантование, но с нюансами) на своих штатных разрешениях. Есть, правда, китайский Z-Image, но ему тоже в 16G тесно будет на нормальном разрешении. P.S. На AMD многое ML вполне можно запускать. Вообще без проблем будут бегать штуки вроде Ollama или Invoke (есть баг с квантованными моделями, который нужно чинить со стороны Invoke если запускаешь в Docker). Но у каких-то проектов из коробки поддержки не будет. Тот же Piper сейчас всё ещё по-моему нельзя тренировать на AMD. Ну, либо тебе придётся самому чинить всё питоноговно, которое для этого нужно.

Replies (3)

  • @iowoof@social.iowoof.com 2026-01-18 15:52

    @skobkin@gts.skobk.in То, что никакая десктопная карта за 550$ MSRP ex VAT не даст опыта использования облачных нейронок, на которые корпораты тратят миллиарды долларов и мегаватты энергии, было понятно с самого начала. Скажу больше: меня вполне устраивает, как бегают легкие LLM'ки на базовом Apple M4 с 16 Гб объединенной памяти xDD. Мой юзкейс локального ИИ: это приватное выполнение грязной монотонной работы, а не поиск лекарства от рака.

    Open ##2607700

  • @skobkin@gts.skobk.in я вижу, ты в курсе, что можно из моделек покрутить локально. Поделись источниками инфы или экспертным знанием, пожалуйста? @iowoof@social.iowoof.com

    Open ##2607703

  • @skobkin@gts.skobk.in @iowoof@social.iowoof.com На AMD многое ML вполне можно запускатьГлавное только не сравнивать производительность Vulcan и Cuda

    Open ##2607715