cxmTest Implantación localizada de DeepSeek-R1 Large Language Model en el Tutorial NAS de Greenlink

1. Introducción a Deepseek

DeepSeek es un modelo de inferencia desarrollado por Hangzhou Deepseek Artificial Intelligence Basic Technology Research Co., Ltd (fundada el 17 de julio de 2023), que utiliza el aprendizaje por refuerzo para el post-entrenamiento, con el objetivo de mejorar la capacidad de inferencia, especialmente bueno en tareas complejas como las matemáticas, la codificación, y la inferencia del lenguaje natural.El 20 de enero de 2025, DeepSeek lanzó oficialmente el modelo DeepSeek- R1 y simultáneamente open-sourced los pesos del modelo. Antes de desplegar DeepSeek, es necesario instalar Ollama , Ollama es un marco de modelado de lenguaje a gran escala, que puede ser entendido como el anfitrión del modelo de IA. En este tutorial, ejecutamos el modelo DeepSeek-R1 desplegando la aplicación OpenWebUI.

IntroducciónaOpen WebUI

es una interfaz web auto-alojada, extensible, rica en características y fácil de usar, diseñada para ejecutarse completamente offline. Es compatible con una amplia gama de ejecutores LLM incluyendo APIs compatibles con Ollama y OpenAl.

Características principales de Open WebUI

Fácil configuración: Admite instalaciones de Docker y Kubernetes y proporciona una fácil gestión de imágenes.

Integración API: Compatible con las API de Ollama y OpenAI, URL de API personalizadas y se adapta a múltiples servicios LLM como LMStudio y OpenRouter. Para más detalles, consulte la documentación oficial de Open WebUI.

Desplegando contenedores OpenWebUI con Docker Compose (integración Ollama)

En el sistema UGOS Pro, se recomienda utilizar el proyecto Docker Compose para desplegar rápidamente contenedores, que es adecuado para escenarios en los que es necesario gestionar varios contenedores al mismo tiempo, y este método simplifica el despliegue y la gestión de contenedores. A continuación se detallan los pasos para implementar OpenWebUI utilizando Docker Compose.

Haz clic para obtener más información: ¿Qué es un proyecto (Docker Compose)?

2.1 Entrando en la interfaz del proyecto Docker

En el sistema UGOS Pro, abre la aplicación Docker y haz click en [Proyecto] > [Crear] para iniciar el asistente de creación del proyecto.

2.2 Configurar el archivo Docker Compose

En el asistente de creación de proyecto, carga el siguiente archivo de configuración Docker Compose para OpenWebUI:

version: '3.8' services: open-webui: container_name: open-webui image: ghcr.io/open-webui/open-webui:ollama # image name # Se recomienda la configuración del acelerador para añadir https://docker. nju.edu.cn/ restart: always # restart policy ports: - "3000:8080" # puerto de acceso al servicio web volúmenes: - . /ollama:/root/.ollama # Almacenar datos relacionados con ollama - . /open-webui:/app/backend/data # Almacenar datos de backend para la Web UI.

2.3 Descripción de parámetros

Atención:

• ./ indica el directorio donde se encuentra el archivo actual de Docker Compose;

• La ruta antes de los dos puntos es la ruta de almacenamiento del NAS, y la ruta después de los dos puntos es la ruta mapeada en el contenedor.

2.4 Instrucciones de despliegue

• Fuente en espejo: Utiliza el mirror ghcr.io/open-webui/open-webui:ollama, que ha integrado OpenWebUI y Ollama, por lo que no necesitas ejecutar el servicio Ollama por separado, y el sistema terminará el arranque y la integración automáticamente.

• Configuración de Puerto: El puerto por defecto de OpenWebUI es 8080, pero puede ser ajustado a través del parámetro de puertos. En este artículo, está mapeado al puerto 3000, y la dirección de acceso es http://NAS_IP:3000. El puerto por defecto de Ollama es 11434, pero no hay necesidad de exponerlo, porque la réplica ha completado el acoplamiento interno, y OpenWebUI puede llamar directamente al servicio Ollama.

Lecturas relacionadas

FAQ] ¿Cómo representar correctamente la ruta de montaje de los volúmenes en el archivo de configuración de Docker Compose?

2.5 Desplegando el Proyecto

Después de subir el archivo de configuración, haz click en [Deploy Now], el sistema automáticamente extraerá la imagen e iniciará el contenedor.

El sistema extraerá automáticamente la imagen e iniciará el contenedor:

• Fallo en la extracción de la imagen open-webui: Se recomienda configurar un acelerador para aumentar la velocidad de descarga de la imagen, especialmente en el entorno de red de China continental.

• Configuración del proxy:En algunos casos, es posible que necesite configurar un proxy HTTP/HTTPS para ayudar con la descarga,consulte Descarga de imágenes mediante configuración de proxypara obtener más información.

2.6 Acceso a la Open WebUI

Para acceder a la interfaz web Open WebUI, siga estos pasos:

1. Abra un navegador en la LAN, visite la dirección de despliegue, entre en la página de inicio de sesión y haga clic en Getting Started.

2. Para acceder por primera vez, debe crear una cuenta de administrador y establecer el nombre de usuario, la dirección de correo electrónico y la contraseña.

3. Utilice la cuenta recién creada para iniciar sesión.

Nota: Cuando acceda a la página por primera vez, puede encontrarse con un error interno o conexión denegada, por favor espere unos minutos antes de intentar cargar de nuevo.

Problema de pantalla en blanco

Al iniciar sesión, la interfaz puede aparecer temporalmente en blanco debido a la carga de datos en segundo plano. Puede consultar el archivo de registro para confirmar el progreso y el estado de la carga.

4. Una vez iniciada la sesión, accederá a la interfaz principal.

Solución del problema de la interfaz en blanco:

1. Entra en la aplicación Docker de UGOS Pro.

2. Haz clic en [Contenedor] > selecciona el contenedor Open WebUI > haz clic en [Registro].

3. Por favor, compruebe si el registro contiene información sobre el progreso de la carga de modelos, como "get_all_models" o "Loading models". Si el registro muestra una carga normal, por favor espere 1-2 minutos, la página se actualizará automáticamente y volverá a la normalidad; si hay un mensaje de error, entonces solucione el problema de acuerdo con la información del registro.

3、Descargue e instale los modelos Deepseek-R1.

1. Vaya al sitio web oficial de Ollama: https://ollama.com下载模型, haga clic en "Modelos" en la esquina superior izquierda.

2. 2 .Seleccione el modelo "deepseek-r1" y haga clic para ver los detalles.

Requisitos de hardware de DeepSeek-R1 e instrucciones para cada versión:

• El modelo de 1,5b suele requerir al menos 8 GB de RAM y es una versión ligera optimizada para la inferencia rápida en dispositivos edge.

• Los modelos de tamaño 7b suelen requerir al menos 16 GB de RAM y son modelos equilibrados para tareas de razonamiento de uso general.

• Los modelos de tamaño 8b suelen requerir al menos 32 GB de RAM y ofrecen una mayor precisión y una mejor comprensión contextual.

• Los modelos de tamaño 14b suelen requerir al menos 64 GB de RAM, con mejores capacidades de razonamiento y resolución de problemas.

• Los modelos de tamaño 32b suelen requerir al menos 128 GB de RAM, con un análisis lógico más sólido y resultados paso a paso más detallados.

• Los modelos de tamaño 70b suelen requerir al menos 256 GB de RAM para las versiones de gama alta de las aplicaciones avanzadas basadas en IA.

• Los modelos de tamaño 671b suelen requerir al menos 512 GB de RAM para los modelos MoE (Mixed-Mode of Expertise), que activan 37.000 millones de parámetros por token para un rendimiento de inferencia de vanguardia.

3. Aquí se elige el tamaño del modelo en función de la configuración del hardware del NAS,si no se especifica el valor predeterminado es 7B, para este tutorial elegimos el modelo de tamaño 1,5B.

4. 4.Copie el comandopullcomollamarun deepseek-r1:1.5b junto a él.

5. 5 . Accede a la interfaz web de Open WebUI, haz clic en la esquina superior izquierda de la búsqueda e introduce el nombre del modelo (por ejemplo: ollama run deepseek-r1:1.5b ) para descargarlo y usarlo directamente.

6. (Opcional) O vuelve a la aplicación Docker de UGOS Pro, ve a [Contenedores] > selecciona el contenedor Open WebUI > haz clic en [Terminal] > Añadir conexión Bash.

7. (Opcional) Pega el comando pull en el terminal Bash y espera a que el modelo termine de descargarse.

ollama run deepseek-r1:1.5b

8. (Opcional) Mostrar éxito para indicar que la descarga del modelo se ha completado y reiniciar el contenedor.

9. (Opcional) Inicie sesión en Open WebUI y compruebe si se ha cargado el modelo.

4. Uso del modeloDeepseek-R1

Utilice el modelo en un nuevo diálogo escribiendo "¡hola mundo!" o alguna otra pregunta, y podrá comprobar que ya está funcionando.

Tenga en cuenta lo siguiente: desplegar un modelo grande aumentará significativamente la carga de CPU y memoria del NAS, por lo que se recomienda evitar su uso en tareas de alta carga.

5. Precauciones

Tenga en cuenta que las imágenes de este tutorial están desarrolladas y mantenidas por terceros, y que el tutorial sólo sirve de referencia. Greenlink no asume el riesgo causado por la operación incorrecta del usuario, la vulnerabilidad del software de terceros o la actualización de los espejos, incluyendo pero no limitado a:

- Las réplicas de terceros pueden provocar la modificación o eliminación accidental de sus archivos en el sistema UGOS Pro.

- El uso de réplicas inseguras puede provocar la subida de datos a servidores de terceros, lo que supone un riesgo de privacidad y fuga de datos.

- Para garantizar la estabilidad del sistema y la seguridad de los datos, por favor, elija espejos de terceros de fuentes de confianza cuidadosamente.

Otras Precauciones:

1. La ruta de archivos/carpetas del contenedor es sólo de referencia, puede crearla según sus hábitos personales.

2. 2. El puerto del contenedor y el puerto local para el acceso web deben ser el mismo. Si hay algún conflicto, por favor cambie a un puerto no utilizado. El puerto local no puede ser el mismo entre contenedores, el conflicto de puertos resultará en un fallo al iniciar el contenedor.

3. El enlace web al contenedor sólo es accesible en modo puente.

4. Mirror sólo proporciona tutoriales, por favor busque en línea para el uso específico y el juego en profundidad.

5. El espejo está desarrollado por un tercero, por favor, preste atención a la información oficial relevante para los cambios de configuración específicos y correcciones de errores.

6. Se recomienda almacenar el directorio de configuración de Docker en un disco duro SSD para evitar que los discos duros mecánicos afecten al rendimiento del sistema.