VRAM (Video RAM) ist der dedizierte Arbeitsspeicher einer Grafikkarte. Bei lokaler KI ist er der entscheidende Faktor, denn ein Sprachmodell muss vollständig in den VRAM passen, um schnell zu antworten.
Faustregel: 8 GB VRAM reichen für kleinere, quantisierte Modelle (ca. 7–8 Mrd. Parameter), größere Modelle benötigen entsprechend mehr. Passt ein Modell nicht in den VRAM, wird es spürbar langsamer.
Mehr dazu: OIT KI Gateway.
Sie sehen gerade einen Platzhalterinhalt von Facebook. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Instagram. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von X. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen
