2026-09-15 08:09 UTC
@fraunora@chaos.social @tante Jein IMHO. Für das reine ausführen der KI brauchts gar nicht so krasse Hardware. Die ist fürs Trainieren notwendig, aber die Nutzung braucht doch vergleichsweise "normale" Hardware. Das was da zu Hause rumsteht wird nicht reichen, aber das ist dann schon im Bereich kann man auf AWS oder Azure laufen lassen.
Ich sehe auch nicht, dass die LLMs sich jetzt selbst kopieren, aber Hardware ist da AFAIK nicht dir Hürde
Replies (1)
-
@leftlink@infosec.exchange 2026-09-15 10:40
@guacamole@chaos.social Naja für Gemma4 mit einigermaßen Context braucht man mindestens 18 GB VRAM und entsprechender GPU, auf normalen AWS Cluster wird das wohl nix. Und das ist ja noch klein und wenig precision. Deepseek v4 flash braucht für 1M Context window mindestens 190 GB VRAM. Und das ist effizienteste Model aktuell. Also unauffällig irgendwo laufen können große Modelle auf jeden Fall nicht.