Zum Inhalt springen
/ Home / Glossar / Ollama

Ollama

Ollama ist eine quelloffene Software, die das Herunterladen, Verwalten und Ausführen lokaler Sprachmodelle (LLMs) auf einen einzigen Befehl reduziert. Sie kapselt die Komplexität von CUDA, ROCm und Metal und bietet eine einheitliche Schnittstelle für verschiedene Hardware.

Damit lassen sich Modelle wie Llama, Mistral oder Gemma ohne Cloud, API-Keys oder Datenabfluss lokal betreiben – ideal als datenschutzfreundlicher KI-Baustein im Unternehmen.

Mehr dazu: OIT KI Gateway.