Cómo instalar Ollama en local con GNU/Linux

¿QUÉ ES OLLAMA?

Ollama es una herramienta que permite ejecutar modelos de inteligencia artificial directamente en vuestro ordenador, sin necesidad de depender de servicios externos o conexiones constantes a internet. Básicamente, os deja usar modelos de IA de forma local, manteniendo más privacidad y control sobre vuestros datos.

Imaginad que queréis tener un asistente de inteligencia artificial funcionando en vuestro propio equipo para generar texto, ayudar con programación, responder preguntas o automatizar tareas. Con Ollama podéis descargar modelos y ejecutarlos fácilmente desde una terminal, sin configuraciones complicadas.

Lo interesante es que Ollama simplifica mucho el proceso. En lugar de instalar librerías complejas o configurar entornos difíciles, solo necesitáis ejecutar un comando para descargar y usar un modelo.

Por ejemplo:

• Podéis usar modelos de lenguaje para escribir contenido.
• Generar ayuda para programación.
• Probar asistentes de IA sin enviar datos a la nube.
• Integrarlo con otras herramientas mediante API local.

Lo mejor es que funciona de forma bastante sencilla y es ideal para desarrolladores, curiosos de la IA o personas que quieren experimentar con inteligencia artificial en local.

Ollama es como tener vuestro propio ChatGPT instalado en el ordenador, funcionando directamente desde vuestra máquina.

Web: https://ollama.com

Con Ollama podréis tener vuestro propio ChatGPT en local.

1.- ELEMENTOS NECESARIOS PARA ESTE TUTORIAL

• Equipo con GNU/Linux
• Conexión a Internet
• Tarjeta con GPU potente (muy recomendable)

2.- OLLAMA GPU vs OLLAMA CPU

Un aspecto importante a tener en cuenta antes de instalar Ollama es el hardware del equipo. Aunque la herramienta la podéis ejecutar utilizando únicamente la CPU, disponer de una buena GPU mejora enormemente el rendimiento, especialmente al trabajar con modelos de inteligencia artificial grandes.

Cuanta más potencia gráfica tenga vuestro ordenador, más rápido será el procesamiento de los modelos, reduciendo el tiempo de respuesta y mejorando la fluidez general. Esto es especialmente útil cuando se generan textos largos, se utilizan modelos avanzados o se ejecutan varias consultas consecutivas.

En tarjetas gráficas NVIDIA, Ollama suele ofrecer un rendimiento excelente gracias al soporte de tecnologías como CUDA, muy utilizada en inteligencia artificial y aprendizaje automático. Las GPUs RTX modernas suelen ser una opción ideal para ejecutar modelos locales de forma eficiente.

En el caso de AMD, también es posible utilizar aceleración gráfica, especialmente en sistemas Linux compatibles con ROCm. Aunque la compatibilidad puede variar según la generación de la tarjeta gráfica y la distribución GNU/Linux utilizada, muchas GPUs AMD modernas ya permiten ejecutar modelos de IA con muy buen rendimiento.

Si no disponéis de GPU dedicada, Ollama seguirá funcionando utilizando la CPU, aunque el rendimiento será más limitado y los tiempos de respuesta pueden ser mayores, especialmente con modelos de gran tamaño.

Como recomendación general:

• CPU únicamente: válido para pruebas básicas o modelos ligeros.
• GPU NVIDIA: mejor compatibilidad y rendimiento para IA local.
• GPU AMD: buena alternativa en Linux mediante ROCm.
• Más RAM: mejora la carga y ejecución de modelos grandes.

Para comprobar que tarjeta gráfica hay instalada, podéis ejecutar el siguiente comando:

raul@debian:~$ lspci | grep -i vga
48:00.0 VGA compatible controller: NVIDIA Corporation AD102GL [RTX 6000 Ada Generation] (rev a1)

En este caso, al ser una tarjeta NVIDIA, ejecutaremos el siguiente comando para obtener más información al respecto:

raul@debian:~$ nvidia-smi
Wed Apr 27 21:34:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.56.03              Driver Version: 575.56.03      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU Name                  Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf             Pwr:Usage/Cap | Memory-Usage           | GPU-Util Compute M.  |
|                                         |                        |              MIG M.  |
|=========================================+========================+======================|
| 0   NVIDIA RTX 6000 Ada Gene...      On |   00000000:48:00.0 Off |                 Off  |
| 30%  42C    P8             29W /   300W |    7545MiB /  49140MiB |      0%     Default  |
|                                         |                        |                 N/A  |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
| GPU    GI   CI             PID      Type  Process name                       GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
| 0      N/A  N/A           1587         G  /usr/lib/xorg/Xorg                      31MiB |
| 0      N/A  N/A           1773         G  /usr/bin/gnome-shell                    19MiB |
| 0      N/A  N/A        3446516         C  python                                7440MiB |
+-----------------------------------------------------------------------------------------+

3.- INSTALAR OLLAMA

Para instalar Ollama en local en nuestro equipo con GNU/Linux, es tan sencillo como ejecutar el siguiente comando:

raul@debian:~$ curl -fsSL https://ollama.com/install.sh | sh

Una vez ejecutado el comando, veremos un proceso de instalación similar al siguiente:

>>> Installing ollama to /usr/local
>>> Downloading ollama-linux-amd64.tar.zst
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

En la instalación, debemos fijarnos en que el servicio se instala correctamente:

Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

Y además, que la API queda accesible en el puerto por defecto 11434:

>>> The Ollama API is now available at 127.0.0.1:11434.

4.- ¿CÓMO TRABAJAR CON OLLAMA?

Si hemos configurado todo correctamente, al hacer clic en el primer paso, nos deberá llegar un correo con las 5 noticias de tecnología del día, un breve resumen y un link:

4.1.- ARRANCAR EL SERVICIO DE OLLAMA

Para arrancar el servicio de Ollama, necesitamos ser usuario root o sudoer. Para ello, necesitamos ejecutar el siguiente comando:

raul@debian:~$ sudo systemctl start ollama

4.2.- COMPROBAR EL ESTADO DE OLLAMA

Para comprobar el estado del servicio Ollama, ejecutaremos el comando:

raul@debian:~$ systemctl status ollama
● ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled; preset: enabled)
     Active: active (running) since Fri 2026-03-13 13:27:55 CET; 1 month 2 days ago
   Main PID: 408879 (ollama)
      Tasks: 33 (limit: 76353)
     Memory: 26.1G (peak: 36.4G swap: 895.2M swap peak: 1.3G)
        CPU: 1h 12min 13.204s
     CGroup: /system.slice/ollama.service
             └─408879 /usr/local/bin/ollama serve

Si queremos revisar la versión de Ollama, ejecutaremos:

raul@debian:~$ ollama -v
ollama version is 0.17.7

Y si queremos comprobar si la API está escuchando correctamente, ejecutaremos este otro comando:

raul@debian:~$ curl localhost:11434
Ollama is running

4.3.- DESCARGAR UN MODELO

Podéis descargar tantos modelos como queráis (siempre que vuestro disco y hardware lo permitan). Para consultar los modelos que podéis descargar y utilizar, podéis visitar la URL: https://ollama.com/search. Para descargar el modelo, es tan sencillo como ejecutar el siguiente comando con el nombre del modelo a descargar:

raul@debian:~$ ollama pull qwen2.5:7b

4.4.- LISTAR LOS MODELOS

Para listar todos los modelos que tenemos descargados, ejecutaremos el siguiente comando:

raul@debian:~$ ollama list

NAME                      ID            SIZE     MODIFIED
qwen3.5:latest            6488c96fa5fa  6.6 GB   3 weeks ago
nomic-embed-text:latest   0a109f422b47  274 MB   3 weeks ago
qwen3-embedding:4b        df5bd2e3c74c  2.5 GB   3 weeks ago
qwen3-embedding:8b        64b933495768  4.7 GB   3 weeks ago
qwen2.5:14b               7cdf5a0187d5  9.0 GB   4 weeks ago
qwen2.5:7b                845dbda0ea48  4.7 GB   4 weeks ago
mxbai-embed-large:latest  468836162de7  669 MB   4 weeks ago
llama3:latest             365c0bd3c000  4.7 GB   4 weeks ago

4.5.- EJECUTAR UN MODELO

Para ejecutar un modelo, es tan sencillo como ejecutar "ollama run", seguido del modelo, y comenzar a preguntarle a nuestro modelo:

raul@debian:~$ ollama run qwen2.5:14b
>>> Necesito hacer un bucle for de números entre 1 a 10 en Java.
Claro, para crear un bucle `for` que recorra los números del 1 al 10 en Java, puedes hacer lo siguiente:

```java
public class BucleForEjemplo {
 public static void main(String[] args) {
 // Bucle for para iterar de 1 a 10
 for (int i = 1; i <= 10; i++) {
 System.out.println(i);
 }
 }
}
```

Este código crea una instancia del bucle `for` que inicia en 1, continúa mientras `i` sea menor o igual a 10, e incrementa `i` en 1 en cada iteración con `i++`. Cada vez que se completa una
iteración del bucle, se imprime el valor actual de `i` con `System.out.println(i);`.

4.6.- ELIMINAR UN MODELO

Para eliminar un modelo, es tan sencillo como ejecutar el comando siguiente seguido del nombre del modelo a borrar.

raul@debian:~$ ollama rm qwen2.5:7b

Si ahora listamos todos los modelos, vemos que el modelo elminado, ya no aperece.

raul@debian:~$ ollama list
NAME                      ID            SIZE     MODIFIED
qwen3.5:latest            6488c96fa5fa  6.6 GB   3 weeks ago
nomic-embed-text:latest   0a109f422b47  274 MB   3 weeks ago
qwen3-embedding:4b        df5bd2e3c74c  2.5 GB   3 weeks ago
qwen3-embedding:8b        64b933495768  4.7 GB   3 weeks ago
qwen2.5:14b               7cdf5a0187d5  9.0 GB   4 weeks ago
mxbai-embed-large:latest  468836162de7  669 MB   4 weeks ago
llama3:latest             365c0bd3c000  4.7 GB   4 weeks ago

4.7.- LISTAR LOS MODELOS EN EJECUCIÓN

Si queremos ver todos los modelos que están actualmente en ejecución en nuestro equipo, ejecutaremos el siguiente comando:

raul@debian:~$ ollama ps
NAME          ID             SIZE      PROCESSOR    CONTEXT   UNTIL
qwen2.5:14b   7cdf5a0187d5   17 GB     100% GPU     32768     3 minutes from now

4.8.- DETENER UN MODELO EN EJECUCIÓN

Para detener un modelo, es tan sencillo como ejecutar el comando siguiente seguido del nombre del modelo a detener.

raul@debian:~$ ollama stop qwen2.5:14b

4.9.- CONSULTAS A TRAVÉS DE LA API LOCAL

Para consultar datos a través de la API, debemos conectarnos al puerto 11434, pasarle el modelo a utilizar, el prompt que queramos enviar y poner el stream a false para que devuelva toda la respuesta en un bloque. Con "jq" parseamos el json resultante para quedarnos solamente con la respuesta:

raul@debian:~$ curl http://localhost:11434/api/generate -d '{
"model": "llama3:latest",
"prompt": "Hola, ¿puedes decirme quién descubrió América oficialmente?",
"stream": false
}' | jq -r '.response'

Obtendremos la respuesta a través de la API de Ollama:

¡Hola! La respuesta a esta pregunta es un poco complicada. En la historia, hubo varios exploradores que llegaron a América antes de la llegada de Cristóbal Colón, pero Colón es el que se considera el descubridor oficial de América para España y Portugal.

Colón era un navegante y almirante genovés que trabajaba para la Corona española. El 3 de agosto de 1492, Colón partió de Palos de la Frontera, España, en su viaje a las Indias, financiado por los Reyes Católicos. Después de un viaje de 33 días, Colón llegó a la isla de Guanahani, en el actual Bahamas, el 12 de octubre de 1492.

Sin embargo, no todos los historiadores coinciden en que Colón fuera el primer europeo en llegar a América. Hay evidencia de que otros exploradores, como los vikingos noruegos, pueden haber llegado a América siglos antes. Además, hubo otros navegantes, como los portugueses João Vaz Corte-Real y Gaspar Corte-Real, que también habían llegado a América antes de Colón.

En resumen, aunque Colón no fue el primer europeo en llegar a América, se considera el descubridor oficial de América para España y Portugal debido a su viaje y descubrimiento de las islas del Caribe, lo que llevó a la colonización española de América.

4.10.- DETENER EL SERVICIO DE OLLAMA

Para detener el servicio de Ollama, se hace como cualquier otro servicio:

raul@debian:~$ sudo systemctl stop ollama

ENJOY!