Ollama

Ollama ist eine quelloffene Laufzeitumgebung, mit der sich Modelle wie Llama, Mistral und Gemma lokal ausführen lassen. Eine einfache Programmierschnittstelle stellt die Modelle für Anwendungen auf der eigenen Hardware bereit.

Modelle werden über die Kommandozeile geladen und als lokaler Dienst gestartet. Anwendungen senden ihre Anfragen an die bereitgestellte Schnittstelle, sodass Eingaben und Ausgaben auf dem eigenen System verarbeitet werden können.

Hauptvorteile:

• Lokale Modelle Sprachmodelle auf der eigenen Hardware ausführen.
• Modellbibliothek Unterstützte offene Modelle einfach laden.
• Kommandozeile Modelle mit wenigen Befehlen starten und verwalten.
• Lokale API Anwendungen mit dem laufenden Modell verbinden.
• Modellwechsel Unterschiedliche Modelle über denselben Ablauf testen.
• Datenkontrolle Eingaben ohne zwingenden externen Modelldienst verarbeiten.

Ollama wird von einem Anbieter mit Sitz in Irland entwickelt. Damit unterliegt das Unternehmen den Datenschutz- und Verbraucherregeln der Europäischen Union.