Wissenscenter

cxmTest Lokalisierte Bereitstellung des DeepSeek-R1 Large Language Model auf Greenlink NAS Tutorial

1. Einführung in Deepseek

DeepSeek ist ein von Hangzhou Deepseek Artificial Intelligence Basic Technology Research Co., Ltd (gegründet am 17. Juli 2023) entwickeltes Inferenzmodell, das Verstärkungslernen für das Post-Training verwendet und darauf abzielt, die Inferenzfähigkeit zu verbessern, besonders gut bei komplexen Aufgaben wie mathematischen, kodierenden und natürlichsprachlichen Inferenzen.Am 20. Januar 2025 veröffentlichte DeepSeek offiziell das DeepSeek-R1-Modell und gab gleichzeitig die Modellgewichte frei. Bevor Sie DeepSeek einsetzen, müssen Sie Ollama installieren. Ollama ist ein groß angelegtes Sprachmodellierungs-Framework, das als Host für das KI-Modell verstanden werden kann. Wenn Sie eine schöne Benutzeroberfläche benötigen, müssen Sie andere Anwendungen installieren, um damit zu arbeiten. In diesem Tutorial führen wir das DeepSeek-R1-Modell aus, indem wir die Anwendung OpenWebUI einsetzen.

EinführunginOpen WebUI

ist eine erweiterbare, funktionsreiche, benutzerfreundliche, selbst gehostete Weboberfläche, die vollständig offline betrieben werden kann. Sie unterstützt eine breite Palette von LLM-Runnern, einschließlich Ollama- und OpenAl-kompatibler APIs.

Hauptmerkmale von Open WebUI

Einfache Einrichtung: Unterstützt Docker- und Kubernetes-Installationen und bietet eine einfache Image-Verwaltung.

API-Integration: Kompatibel mit Ollama- und OpenAI-APIs, benutzerdefinierten API-URLs und passt sich an mehrere LLM-Dienste wie LMStudio und OpenRouter an. Weitere Details finden Sie in der offiziellen Open WebUI-Dokumentation.

Bereitstellen von OpenWebUI-Containern mit Docker Compose (Ollama-Integration)

Auf dem UGOS Pro-System empfehlen wir die Verwendung des Docker Compose-Projekts zur schnellen Bereitstellung von Containern. Diese Methode eignet sich für Szenarien, in denen Sie mehrere Container gleichzeitig verwalten müssen, und vereinfacht die Bereitstellung und Verwaltung von Containern. Nachfolgend finden Sie die detaillierten Schritte für die Bereitstellung von OpenWebUI mit Docker Compose.

Klicken Sie, um mehr zu erfahren: Was ist ein Projekt (Docker Compose)?

2.1 Eingabe der Docker-Projektschnittstelle

Öffnen Sie auf dem UGOS Pro-System die Docker-Anwendung und klicken Sie auf [Projekt] > [Erstellen], um den Assistenten zur Projekterstellung zu starten.

2.2 Konfigurieren Sie die Docker Compose-Datei

Laden Sie im Projekterstellungsassistenten die folgende Docker Compose-Konfigurationsdatei für OpenWebUI hoch:

version: '3.8' services: open-webui: container_name: open-webui image: ghcr.io/open-webui/open-webui:ollama # image name # Accelerator configuration is recommended to add https://docker. nju.edu.cn/ restart: always # restart policy ports: - "3000:8080" # Webservice-Zugangsport Volumes: - . /ollama:/root/.ollama # Speichern von ollama-bezogenen Daten - . /open-webui:/app/backend/data # Speichern von Backend-Daten für die Web-UI.

2.3 Parameter Beschreibung

Parameter

Parameter Beschreibung

image

Geben Sie die Version des Container-Images als ghcr.io/open-webui/open-webui:ollama an, das den Ollama-Dienst integriert hat. Wenn die Download-Geschwindigkeit langsam ist, wird empfohlen, https://docker.nju.edu.cn/ zur Beschleunigerkonfiguration hinzuzufügen .

neu starten

Setzen Sie die Neustart-Richtlinie auf always, um sicherzustellen, dass der Container automatisch neu gestartet wird, wenn er abstürzt oder anhält, damit der Dienst kontinuierlich läuft.

Anschlüsse

Portzuordnung: Zuordnung von Port 3000 des NAS zu Port 8080 des Containers und Zugriff auf die WebUI über http://NAS_IP:3000.

Datenträger

Zuordnung des Datenspeichers, um die Datenpersistenz zu gewährleisten:

./ollama:/root/.ollama: Abbildung des lokalen NAS-Verzeichnisses . /ollama-Verzeichnis wird dem Container /root/.ollama zugeordnet, um Ollama-Daten zu speichern.

./open-webui:/app/backend/data: NAS Local . /open-webui wird auf den Container /app/backend/data abgebildet, um OpenWebUI-Backend-Daten zu speichern.

Achtung!

  • ./ gibt das Verzeichnis an, in dem sich die aktuelle Docker Compose Datei befindet;

  • Der Pfad vor dem Doppelpunkt ist der Speicherpfad des NAS, und der Pfad nach dem Doppelpunkt ist der zugeordnete Pfad im Container.

2.4 Anweisungen für die Bereitstellung

  • Quelle spiegeln: Verwenden Sie den Mirror ghcr.io/open-webui/open-webui:ollama, der OpenWebUI und Ollama integriert hat, so dass Sie den Ollama-Dienst nicht separat starten müssen und das System den Start und die Integration automatisch abschließt.

  • Port-Einstellungen: Der Standardport von OpenWebUI ist 8080, kann aber über den Parameter ports angepasst werden. In diesem Artikel wird er auf Port 3000 abgebildet, und die Zugriffsadresse lautet http://NAS_IP:3000. Der Standardport von Ollama ist 11434, aber es besteht keine Notwendigkeit, ihn freizugeben, da der Mirror das interne Andocken abgeschlossen hat und OpenWebUI den Ollama-Dienst direkt aufrufen kann.

Verwandte Lektüre

FAQ] Wie wird der Mount-Pfad für Volumes in der Docker Compose-Konfigurationsdatei korrekt dargestellt?

2.5 Bereitstellen des Projekts

Nachdem Sie die Konfigurationsdatei hochgeladen haben, klicken Sie auf [Deploy Now]. Das System zieht automatisch das Image und startet den Container.

Das System zieht automatisch das Image und startet den Container:

  • open-webui image pull failure:Es wird empfohlen, einen Beschleuniger zu konfigurieren, um die Download-Geschwindigkeit des Images zu erhöhen, insbesondere in der Netzwerkumgebung auf dem chinesischen Festland.SieheDocker Configuring Image AccelerationandMirrorSourcesfür detaillierte Schrittezur Einrichtung.

2.6 Zugriff auf die Open WebUI

Führen Sie die folgenden Schritte aus, um auf die Open WebUI-Webschnittstelle zuzugreifen:

  1. Öffnen Sie einen Browser im LAN, besuchen Sie die Bereitstellungsadresse, geben Sie die Anmeldeseite ein und klicken Sie auf Erste Schritte.

  1. Für den ersten Zugriff müssen Sie ein Administratorkonto erstellen und den Benutzernamen, die E-Mail-Adresse und das Passwort festlegen.

  1. Verwenden Sie das neu erstellte Konto, um sich anzumelden.

Hinweis: Beim ersten Zugriff auf die Seite kann ein interner Fehler oder eine verweigerte Verbindung auftreten. Bitte warten Sie einige Minuten, bevor Sie erneut versuchen, die Seite zu laden.

Problem mit dem leeren Bildschirm

Bei der Anmeldung kann es vorkommen, dass die Oberfläche vorübergehend leer ist, weil Daten im Hintergrund geladen werden. Sie können die Protokolldatei überprüfen, um den Fortschritt und den Status des Ladevorgangs zu bestätigen.

  1. Nach erfolgreicher Anmeldung gelangen Sie auf die Hauptschnittstelle.

Fehlerbehebung für die leere Schnittstelle:

  1. Öffnen Sie die Docker-Anwendung von UGOS Pro.

  2. Klicken Sie auf [Container] > wählen Sie den Open WebUI-Container aus > klicken Sie auf [Log].

  3. Prüfen Sie, ob das Protokoll Informationen über den Fortschritt des Modellladens enthält, z. B. "get_all_models" oder "Loading models". Wenn das Protokoll einen normalen Ladevorgang anzeigt, warten Sie bitte 1-2 Minuten. Die Seite wird dann automatisch aktualisiert und kehrt in den Normalzustand zurück; wenn eine Fehlermeldung erscheint, beheben Sie das Problem anhand der Protokollinformationen.

3、Herunterladen und Bereitstellen vonDeepseek-R1-Modellen.

1. Gehen Sie auf die offizielle Website von Ollama: https://ollama.com下载模型, klicken Sie auf "Modelle" in der oberen linken Ecke.

2. Wählen Sie das Modell "deepseek-r1" aus und klicken Sie darauf, um Details anzuzeigen.

DeepSeek-R1 Hardware-Anforderungen und Anweisungen für jede Version:

  • Das 1.5b-Modell erfordert in der Regel mindestens 8 GB RAM und ist eine leichtgewichtige Version, die für schnelle Inferenzen auf Edge-Geräten optimiert ist.

  • Modelle der Größe 7b benötigen in der Regel mindestens 16 GB Arbeitsspeicher und sind ausgewogene Modelle für allgemeine Schlussfolgerungsaufgaben.

  • Modelle der Größe 8b benötigen in der Regel mindestens 32 GB Arbeitsspeicher und bieten eine höhere Genauigkeit und ein besseres Kontextverständnis.

  • Modelle der Größe 14b benötigen in der Regel mindestens 64 GB Arbeitsspeicher und verfügen über bessere Argumentations- und Problemlösungsfähigkeiten.

  • Modelle der Größe 32b benötigen in der Regel mindestens 128 GB Arbeitsspeicher und verfügen über eine bessere logische Analyse und eine detailliertere Schritt-für-Schritt-Ausgabe.

  • Modelle der Größe 70b benötigen in der Regel mindestens 256 GB RAM für High-End-Versionen fortschrittlicher KI-gesteuerter Anwendungen.

  • Modelle der Größe 671b benötigen in der Regel mindestens 512 GB RAM für Mixed-Mode-of-Expertise-Modelle (MoE), die 37 Milliarden Parameter pro Token aktivieren und so eine hochmoderne Inferenzleistung bieten.

3. Hier wählen Sie die Modellgröße auf der Grundlage der NAS-Hardwarekonfiguration aus.Wenn Sie keine Angaben machen, ist der Standardwert 7B, für dieses Tutorial haben wir uns für ein Modell der Größe 1,5B entschieden.

4. Kopieren Sie den Befehlpullcommandollamarun deepseek-r1:1.5bnext dorthin.

  1. Loggen Sie sich in die Weboberfläche von Open WebUI ein, klicken Sie auf die obere linke Ecke der Suche und geben Sie den Modellnamen ein (z.B.: ollama run deepseek-r1:1.5b ), um es direkt herunterzuladen und zu verwenden.

  1. (Optional) Oder gehen Sie zurück zur Docker-Anwendung von UGOS Pro, gehen Sie zu [Container] > wählen Sie den Open WebUI-Container > klicken Sie auf [Terminal] > Bash-Verbindung hinzufügen.

  1. (Optional) Fügen Sie den Pull-Befehl in das Bash-Terminal ein und warten Sie, bis der Download des Modells abgeschlossen ist.

ollama run deepseek-r1:1.5b

  1. (Optional) Zeigen Sie den Erfolg an, um anzuzeigen, dass der Download des Modells abgeschlossen ist, und starten Sie den Container neu.

  2. (Optional) Melden Sie sich bei Open WebUI an und überprüfen Sie, ob das Modell geladen wurde.

4. Verwendung des Deepseek-R1 Modells

Verwenden Sie das Modell in einem neuen Dialog, indem Sie "hello world!" oder eine andere Frage eingeben, und Sie können sehen, dass es bereits funktioniert.

Bitte beachten Sie: Der Einsatz eines großen Modells erhöht die CPU- und Speicherlast auf dem NAS erheblich, und es wird empfohlen, es nicht für Aufgaben mit hoher Last zu verwenden.

5. Vorsichtsmaßnahmen

Bitte beachten Sie, dass die Bilder in dieser Anleitung von einem Dritten entwickelt und gepflegt werden und dass die Anleitung nur als Referenz dient. Greenlink übernimmt keine Verantwortung für Risiken, die durch unsachgemäße Bedienung durch den Benutzer, Software-Schwachstellen von Drittanbietern oder Spiegel-Updates verursacht werden, einschließlich aber nicht beschränkt auf:

- Spiegel von Drittanbietern können eine versehentliche Änderung oder Löschung Ihrer Dateien im UGOS Pro-System verursachen.

- Die Verwendung von unsicheren Spiegeln kann dazu führen, dass Daten auf Server von Drittanbietern hochgeladen werden, was ein Risiko für den Schutz der Privatsphäre und Datenverluste darstellt.

- Um die Systemstabilität und die Datensicherheit zu gewährleisten, wählen Sie bitte sorgfältig Drittanbieter-Spiegelserver aus vertrauenswürdigen Quellen aus.

Andere Vorsichtsmaßnahmen:

1. Der Datei-/Ordnerpfad des Containers dient nur als Referenz, Sie können ihn nach Ihren persönlichen Gewohnheiten erstellen.

2. Der Container-Port und der lokale Port für den Web-Zugang sollten identisch sein. Wenn es einen Konflikt gibt, wechseln Sie bitte zu einem unbenutzten Port. Der lokale Port kann nicht zwischen Containern identisch sein, ein Portkonflikt führt dazu, dass der Container nicht gestartet werden kann.

3. Der Web-Link zum Container ist nur im Bridge-Modus zugänglich.

4. Mirror stellt nur Tutorials zur Verfügung, bitte suchen Sie online nach spezifischen Anwendungen und detailliertem Gameplay.

5. Der Mirror wird von einer dritten Partei entwickelt, bitte beachten Sie die entsprechenden offiziellen Informationen für spezifische Konfigurationsänderungen und Fehlerbehebungen.

6. Es wird empfohlen, das Docker-Konfigurationsverzeichnis auf einer SSD-Festplatte zu speichern, um zu vermeiden, dass mechanische Festplatten die Systemleistung beeinträchtigen.