Centro conoscenze

cxmTest Distribuzione localizzata di DeepSeek-R1 Large Language Model su Greenlink NAS Tutorial

1. Introduzione a Deepseek

DeepSeek è un modello di inferenza sviluppato da Hangzhou Deepseek Artificial Intelligence Basic Technology Research Co., Ltd (fondata il 17 luglio 2023), che utilizza l'apprendimento per rinforzo per il post-training, con l'obiettivo di migliorare la capacità di inferenza, in particolare per compiti complessi come l'inferenza matematica, di codifica e del linguaggio naturale.Il 20 gennaio 2025, DeepSeek ha ufficialmente rilasciato il modello DeepSeek- R1 e contemporaneamente ha reso open-sourced i pesi del modello. Prima di distribuire DeepSeek, è necessario installare Ollama , Ollama è un framework di modellazione linguistica su larga scala, che può essere inteso come l'host del modello AI. Se si ha bisogno di una bella interfaccia UI, è necessario installare altre applicazioni per lavorare con essa; in questo tutorial, eseguiamo il modello DeepSeek-R1 distribuendo l'applicazione OpenWebUI.

IntroduzioneaOpen WebUI

è un'interfaccia web self-hosted estensibile e ricca di funzionalità, progettata per funzionare completamente offline. Supporta un'ampia gamma di runner LLM, comprese le API compatibili con Ollama e OpenAl.

Caratteristiche principali di Open WebUI

Facile configurazione: Supporta installazioni Docker e Kubernetes e fornisce una facile gestione delle immagini.

Integrazione API: Compatibile con le API di Ollama e OpenAI, con URL API personalizzati e si adatta a diversi servizi LLM come LMStudio e OpenRouter. Per maggiori dettagli, consultare la documentazione ufficiale di Open WebUI.

Distribuzione dei contenitori OpenWebUI con Docker Compose (integrazione Ollama)

Sul sistema UGOS Pro, si consiglia di utilizzare il progetto Docker Compose per distribuire rapidamente i container; questo metodo è adatto a scenari in cui è necessario gestire più container contemporaneamente e semplifica la distribuzione e la gestione dei container. Di seguito sono riportati i passaggi dettagliati per la distribuzione di OpenWebUI utilizzando Docker Compose.

Fate clic per saperne di più: Cos'è un progetto (Docker Compose)?

2.1 Accesso all'interfaccia del progetto Docker

Sul sistema UGOS Pro, aprite l'applicazione Docker e fate clic su [Progetto] > [Crea] per avviare la procedura guidata di creazione del progetto.

2.2 Configurazione del file Docker Compose

Nella procedura guidata di creazione del progetto, caricare il seguente file di configurazione di Docker Compose per OpenWebUI:

version: '3.8' services: open-webui: container_name: open-webui image: ghcr.io/open-webui/open-webui:ollama # image name # La configurazione dell'acceleratore è consigliata per aggiungere https://docker. nju.edu.cn/ restart: always # restart policy ports: - "3000:8080" # Porta di accesso al servizio web volumi: - . /ollama:/root/.ollama # Memorizza i dati relativi a ollama - . . /open-webui:/app/backend/data # Memorizza i dati del backend per l'interfaccia web.

2.3 Descrizione dei parametri

Parametro

Parametro Descrizione

immagine

Specificare la versione dell'immagine del contenitore come ghcr.io/open-webui/open-webui:ollama, che ha integrato il servizio Ollama. Se la velocità di download è lenta, si consiglia di aggiungere https://docker.nju.edu.cn/ alla configurazione dell'acceleratore .

riavvio

Impostare la politica di riavvio su sempre, per garantire che il contenitore si riavvii automaticamente quando si blocca o si arresta, per mantenere il servizio in funzione in modo continuo.

Porte

Mappatura delle porte: mappatura della porta 3000 del NAS sulla porta 8080 del contenitore e accesso alla WebUI tramite http://NAS_IP:3000.

volumi

Mappatura dell'archiviazione dei dati per garantire la persistenza dei dati:

./ollama:/root/.ollama: mappa la directory locale del NAS . /ollama è mappata nel contenitore /root/.ollama per memorizzare i dati di Ollama.

./open-webui:/app/backend/data: NAS locale . /open-webui è mappata nel contenitore /app/backend/data per memorizzare i dati del backend OpenWebUI.

Attenzione:

  • ./ indica la directory in cui si trova il file Docker Compose corrente;

  • Il percorso prima dei due punti è il percorso di archiviazione del NAS e il percorso dopo i due punti è il percorso mappato nel contenitore.

2.4 Istruzioni per la distribuzione

  • Sorgente mirror: Usare il mirror ghcr.io/open-webui/open-webui:ollama, che ha integrato OpenWebUI e Ollama, quindi non è necessario eseguire il servizio Ollama separatamente e il sistema terminerà l'avvio e l'integrazione automaticamente.

  • Impostazioni della porta: La porta predefinita di OpenWebUI è 8080, ma può essere regolata attraverso il parametro delle porte. In questo articolo, è mappata sulla porta 3000 e l'indirizzo di accesso è http://NAS_IP:3000. La porta predefinita di Ollama è 11434, ma non è necessario esporla, perché il mirror ha completato l'aggancio interno e OpenWebUI può chiamare direttamente il servizio Ollama.

Letture correlate

FAQ] Come rappresentare correttamente il percorso di montaggio dei volumi nel file di configurazione di Docker Compose?

2.5 Distribuzione del progetto

Dopo aver caricato il file di configurazione, fate clic su [Deploy Now]: il sistema preleverà automaticamente l'immagine e avvierà il contenitore.

Il sistema estrarrà automaticamente l'immagine e avvierà il contenitore:

  • Si consigliadiconfigurare un acceleratore per aumentare la velocità di scaricamento dell'immagine, in particolare nell'ambiente di rete della Cina continentale.

2.6 Accesso alla WebUI di Open

Per accedere all'interfaccia web Open WebUI, procedere come segue:

  1. Aprire un browser sulla LAN, visitare l'indirizzo di distribuzione, accedere alla pagina di login e fare clic su Getting Started.

  1. Per accedere per la prima volta, è necessario creare un account amministratore e impostare il nome utente, l'indirizzo e-mail e la password.

  1. Utilizzare l'account appena creato per accedere.

Nota: quando si accede alla pagina per la prima volta, è possibile che si verifichi un errore interno o una connessione negata; attendere qualche minuto prima di riprovare a caricare.

Problema di schermo vuoto

Durante l'accesso, l'interfaccia potrebbe apparire temporaneamente vuota a causa del caricamento dei dati in background. È possibile controllare il file di registro per verificare l'avanzamento e lo stato del caricamento.

  1. Una volta effettuato il login, si accede all'interfaccia principale.

Risoluzione del problema dell'interfaccia vuota:

  1. Accedere all'applicazione Docker di UGOS Pro.

  2. Fare clic su [Container] > selezionare il container Open WebUI > fare clic su [Log].

  3. Controllare se il log contiene informazioni sull'avanzamento del caricamento dei modelli, come "get_all_models" o "Loading models". Se il log mostra un caricamento normale, attendere 1-2 minuti, la pagina verrà automaticamente aggiornata e tornerà normale; se c'è un messaggio di errore, risolvere il problema in base alle informazioni del log.

3. Scaricare e distribuirei modelli Deepseek-R1.

1. Accedere al sito ufficiale di Ollama: https://ollama.com下载模型, fare clic su "Modelli" nell'angolo in alto a sinistra.

2. Selezionare il modello "deepseek-R1" e fare clic per visualizzare i dettagli.

I requisiti hardware di DeepSeek-R1 e le istruzioni per ogni versione:

  • Il modello 1.5b richiede in genere almeno 8 GB di RAM ed è una versione leggera ottimizzata per l'inferenza veloce su dispositivi edge.

  • I modelli di dimensione 7b richiedono in genere almeno 16 GB di RAM e sono modelli bilanciati per attività di ragionamento generiche.

  • I modelli di dimensione 8b richiedono in genere almeno 32 GB di RAM e presentano una maggiore precisione e una migliore comprensione del contesto.

  • I modelli di dimensione 14b richiedono in genere almeno 64 GB di RAM, con migliori capacità di ragionamento e di risoluzione dei problemi.

  • I modelli di dimensione 32b richiedono in genere almeno 128 GB di RAM, con un'analisi logica più approfondita e un output passo-passo più granulare.

  • I modelli di dimensioni 70b richiedono in genere almeno 256 GB di RAM per le versioni di fascia alta di applicazioni avanzate basate sull'intelligenza artificiale.

  • I modelli di dimensioni 671b richiedono in genere almeno 512 GB di RAM per i modelli Mixed-Mode of Expertise (MoE), che attivano 37 miliardi di parametri per token per prestazioni di inferenza all'avanguardia.

3. Qui si sceglie la dimensione del modello in base alla configurazione hardware del NAS,se non la si specifica l'impostazione predefinita è 7B, per questa esercitazione abbiamo scelto un modello da 1,5B.

4. Copiare il comandopullcommandollamarun deepseek-r1:1.5b accanto ad esso.

  1. Accedere all'interfaccia web di Open WebUI, fare clic sull'angolo superiore sinistro della ricerca e inserire il nome del modello (ad esempio: ollama run deepseek-r1:1.5b ) per scaricarlo e utilizzarlo direttamente.

  1. (Facoltativo) Oppure tornate all'applicazione Docker di UGOS Pro, andate su [Containers] > selezionate il container Open WebUI > fate clic su [Terminal] > Aggiungi connessione Bash.

  1. (Facoltativo) Incollare il comando pull nel terminale Bash e attendere che il modello finisca di essere scaricato.

ollama run deepseek-r1:1.5b

  1. (Facoltativo) Visualizzare il successo per indicare che il download del modello è stato completato e riavviare il contenitore.

  2. (Facoltativo) Accedere a Open WebUI e verificare se il modello è stato caricato.

4. Uso del modelloDeepseek-R1

Utilizzando il modello in una nuova finestra di dialogo, digitando "hello world!" o qualche altra domanda, si può vedere che è già funzionante.

Nota bene: la distribuzione di un modello di grandi dimensioni aumenterà significativamente il carico di CPU e di memoria del NAS e si consiglia di evitare di utilizzarlo in attività ad alto carico.

5. Precauzioni

Si prega di notare che le immagini di questa esercitazione sono sviluppate e mantenute da terzi e l'esercitazione è solo un riferimento. Greenlink non si assume i rischi causati da un funzionamento improprio dell'utente, dalla vulnerabilità del software di terzi o dall'aggiornamento del mirror, inclusi, ma non solo, i seguenti:

- I mirror di terze parti possono causare la modifica o la cancellazione accidentale dei vostri file nel sistema UGOS Pro.

- L'uso di mirror non sicuri può comportare il caricamento di dati su server di terzi, con il rischio di violazione della privacy e di perdita di dati.

- Per garantire la stabilità del sistema e la sicurezza dei dati, scegliere con attenzione i mirror di terze parti provenienti da fonti affidabili.

Altre precauzioni:

1. Il percorso dei file/cartelle del contenitore è solo di riferimento, potete crearlo secondo le vostre abitudini personali.

2. La porta del contenitore e la porta locale per l'accesso al Web devono essere uguali. In caso di conflitto, passare a una porta non utilizzata. La porta locale non può essere la stessa tra i contenitori; un conflitto di porte provocherà il mancato avvio del contenitore.

3. Il collegamento web al contenitore è accessibile solo in modalità bridge.

4. Mirror fornisce solo tutorial, si prega di cercare online per un uso specifico e un gameplay approfondito.

5. Il mirror è sviluppato da una terza parte, si prega di prestare attenzione alle informazioni ufficiali pertinenti per modifiche specifiche alla configurazione e correzioni di bug.

6. Si consiglia di memorizzare la directory di configurazione di Docker in un disco rigido SSD per evitare che i dischi rigidi meccanici influiscano sulle prestazioni del sistema.