Cómo ejecutar Grok Build con modelos locales

Grok Build puede apuntar ahora a tu propio endpoint de inferencia. Para los desarrolladores que quieren controlar el código, los prompts y el coste del modelo, esta es la parte más útil de la publicación de código abierto.

Pero hay que separar dos conceptos: ejecutar el CLI de Grok Build en tu ordenador no es lo mismo que ejecutar la inferencia del modelo en local. xAI publicó el coding agent harness y la interfaz de terminal, pero no los pesos de Grok 4.5.

Qué significa realmente “Grok Build local”

Hay tres piezas distintas:

1. Grok Build es el agent harness. Lee el contexto, llama a herramientas, edita archivos y muestra la interfaz de terminal.
2. El endpoint de inferencia recibe la petición del modelo. Puede ser xAI, otro proveedor cloud o un servidor en localhost.
3. Los pesos del modelo generan la respuesta. Con Ollama, LM Studio o vLLM, esos pesos pueden ejecutarse en hardware que controlas.

La inferencia local significa que las piezas dos y tres permanecen en tu equipo o en una red privada. Instalar el CLI por sí solo no garantiza que el tráfico sea local.

Qué publicó xAI y qué no publicó

El anuncio oficial indica que la publicación incluye el agent loop, las herramientas, la TUI y el sistema de extensiones para skills, plugins, hooks, MCP servers y subagents. El repositorio de GitHub contiene el código Rust del CLI/TUI y del runtime del agente.

Eso permite inspeccionar cómo se construye el contexto, cómo se despachan las herramientas y cómo conectar un endpoint de modelo personalizado.

Lo que no incluye es una copia descargable de Grok 4.5. El modelo local de esta configuración es un modelo independiente servido por Ollama u otro runtime compatible.

Requisitos

Necesitas:

• macOS, Linux o Windows;
• Grok Build instalado;
• Ollama u otro servidor compatible con OpenAI;
• un modelo que quepa en tu RAM o VRAM;
• un repositorio de prueba donde sea fácil deshacer los cambios.

Los modelos locales varían mucho en programación. Un modelo puede responder bien en chat y fallar cuando el agente necesita llamadas estructuradas a herramientas. Empieza leyendo un solo archivo y proponiendo un cambio.

Instalar Grok Build

macOS, Linux o Git Bash:

curl -fsSL https://x.ai/cli/install.sh | bash
grok --version

Windows PowerShell:

irm https://x.ai/cli/install.ps1 | iex
grok --version

Hay binarios precompilados para las tres plataformas. La compilación desde código fuente está soportada en macOS y Linux; Windows aparece como best effort en el repositorio.

Entender ~/.grok/config.toml

Los modelos personalizados viven en una sección [model.*]. La guía oficial admite OpenAI Chat Completions, OpenAI Responses y Anthropic Messages.

[model.local-coder]
model = "your-model-id"
base_url = "http://localhost:8080/v1"
name = "Local Coder"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "local-coder"

• model es el ID exacto que se envía al servidor;
• base_url es la raíz de la API local o autoalojada;
• name es la etiqueta del selector de modelos;
• api_backend elige el protocolo, con Chat Completions como valor habitual;
• context_window indica cuándo debe compactarse la sesión.

Configura context_window según el límite real del modelo. Un número grande en el archivo no crea más contexto.

Conectar Grok Build a Ollama

La guía oficial de modelos personalizados usa CodeLlama como ejemplo. Inicia Ollama y descarga el modelo:

ollama serve
ollama pull codellama

Añade esto a ~/.grok/config.toml:

[model.ollama-codellama]
model = "codellama"
base_url = "http://localhost:11434/v1"
name = "CodeLlama (Ollama)"

El detalle importante es /v1. Grok Build usa una API compatible con OpenAI, no el endpoint nativo generate de Ollama.

Ejecuta grok models, confirma que aparece la entrada y selecciona el modelo así:

grok -p "Summarize this repository without changing files" -m ollama-codellama

Dentro de la TUI puedes usar /model ollama-codellama o el alias /m. El selector también está disponible con Ctrl+M cuando el foco está en el panel de scrollback.

Usar LM Studio o vLLM

Grok Build admite servidores OpenAI compatibles, por lo que LM Studio y vLLM son candidatos razonables. “Compatible con OpenAI” no garantiza que todas las funciones del agente funcionen.

Antes de confiar en ellos:

1. Confirma que exponen /v1/chat/completions o /v1/responses.
2. Copia el ID exacto que devuelve /v1/models.
3. Comprueba que el streaming termina correctamente.
4. Prueba llamadas estructuradas a herramientas, no solo chat.
5. Ajusta el contexto real y un límite de completion conservador.
6. Observa los logs para detectar campos o plantillas rechazadas.

[model.local-openai]
model = "model-id-from-your-server"
base_url = "http://localhost:1234/v1"
name = "Local OpenAI-Compatible Model"
api_backend = "chat_completions"
context_window = 32768

LM Studio suele usar el puerto 1234 y vLLM suele usar 8000. Usa el puerto que muestre tu servidor.

Cómo demostrar que la inferencia es local

Una respuesta correcta no es una prueba suficiente.

1. Comprueba que el modelo seleccionado es tu entrada personalizada, no grok-build.
2. Verifica que base_url apunta a localhost, 127.0.0.1 o a un host privado que controlas.
3. Envía un prompt pequeño mientras observas los logs de Ollama, LM Studio o vLLM.
4. Confirma que aparece una petición con el ID de modelo esperado.
5. Si es posible, desconecta temporalmente la red pública y repite un prompt de solo lectura.

Una petición a un modelo local no significa que toda la aplicación sea offline. La autenticación, la búsqueda remota, el indexado, los servidores MCP y otras funciones pueden seguir conectándose.

Privacidad: código, prompts, logs y telemetría

La inferencia local elimina una exposición importante: el prompt del modelo no necesita ir a un proveedor cloud. No protege automáticamente cada archivo ni cada herramienta.

Consulta la guía oficial de configuración y el código de la versión instalada. Revisa especialmente:

• la telemetría;
• la búsqueda remota y el indexado de código;
• MCP servers y plugins;
• la aprobación de comandos de shell;
• si las herramientas respetan .gitignore;
• secretos en .env, SSH y el historial de Git.

No pongas una API key directamente en un archivo que vas a commitear. Si el servidor local no necesita autenticación, omite la clave en vez de añadir un secreto falso.

Errores frecuentes

Connection refused

El servidor no está iniciado, el puerto es incorrecto o el límite entre contenedor/WSL hace que localhost apunte a otro entorno. Prueba /v1/models desde el mismo entorno que ejecuta Grok Build.

Model not found

El valor de model debe coincidir exactamente con el ID del servidor. El nombre visible puede ser distinto del identificador de API.

Fallan las llamadas a herramientas

El modelo o su chat template puede no admitir el formato esperado por Grok Build. Prueba un modelo orientado a agentes de código y revisa el error original del servidor.

Errores de contexto o timeout

Reduce context_window hasta el límite real, usa un repositorio o tarea menor y permite más tiempo cuando no haya GPU.

El streaming termina antes de tiempo

Comprueba que el servidor implementa el api_backend seleccionado. Antes de depurar el agente, prueba un chat normal contra el mismo endpoint.

Modelos locales frente a agentes de código cloud

La inferencia local tiene sentido si el control y la posibilidad de auditar pesan más que la máxima capacidad del modelo. Claude Code y Codex priorizan modelos cloud gestionados; OpenCode es una comparación más cercana cuando importa la flexibilidad del proveedor.

Historial de versión

Conclusión

La inferencia local de Grok Build consiste en conectar el agent harness de código abierto a un servidor de modelos local independiente. No significa que los pesos de Grok 4.5 estén disponibles para descargar.

Empieza con la configuración oficial de Ollama, selecciona el modelo personalizado de forma explícita y demuestra la petición en los logs locales. Después audita las funciones que aún usan red antes de describir el entorno como offline o privado.