Modell erstellen

Beschreibung

Hier wird beschrieben, wie man von einem GGUF ein Modell in Ollama ausführt.

Download

GGUF Datei z.B. von https://huggingface.co herunterladen.

Modelfile anlegen

Zunächst springen wir ins Verzeichnis, in dem wir die Modelle speichern wollen. Dort nun eine Datei "Modelfile" anlegen.

Modelfile Inhalt

FROM <FILENAME>.gguf
PARAMETER temperature 0.7
PARAMETER top_p       0.9
SYSTEM """You are Tesslate, a helpful assistant specialized in UI generation."""

Die Werte von temperature, top_p und SYSTEM etc. entimmt man der Beschreibung des Modells.

Modell erstellen und in Ollama ausführbar machen

CMD oder Powershell im Verzeichnis öffnen

ollama create "<DEIN GEWÜNSCHTER NAME>" -f .\Modelfile

Test

ollama ls
ollama run <DEIN GEWÜNSCHTER NAME>