2026-09-15 10:40 UTC
@guacamole@chaos.social Naja für Gemma4 mit einigermaßen Context braucht man mindestens 18 GB VRAM und entsprechender GPU, auf normalen AWS Cluster wird das wohl nix. Und das ist ja noch klein und wenig precision.
Deepseek v4 flash braucht für 1M Context window mindestens 190 GB VRAM. Und das ist effizienteste Model aktuell.
Also unauffällig irgendwo laufen können große Modelle auf jeden Fall nicht.
Replies (1)
-
@guacamole@chaos.social 2026-09-15 11:19
@leftlink@infosec.exchange Bei AWS kannst Du mittlerweile bis zu 405 TB an VRAM buchen. Natürlich unbezahlbar, aber eben buchbar. (Natürlich nicht selber ausprobiert aus Gründen, aber laut der AWS - Seite buchbar)