Correr IA en el computador de la oficina, sin API ni costo por token

Para quién es

Empresas con datos que no pueden salir (contratos, fichas de clientes, información financiera), profesionales que trabajan en terreno sin conexión, y cualquiera que quiera entender qué puede hacer la IA sin depender de una suscripción.

El problema

Cada consulta a un modelo en la nube envía tus datos afuera y cuesta por uso. Probar IA local ha sido a ciegas: descargas un modelo enorme, no corre, pruebas otro, y así.

Ingredientes

• Un computador con al menos 16 GB de RAM (con tarjeta gráfica dedicada, mucho mejor); macOS, Windows o Linux
• Espacio en disco: los modelos pesan varios gigabytes
• Una conexión para la descarga inicial; después funciona sin internet

Paso a paso

1. 1

   Descarga e instala la app

   Desde el repositorio, baja el instalador para tu sistema. Al abrirla, perfila tu computador y muestra qué modelos recomienda para él, con la velocidad estimada de cada uno.

2. 2

   Elige un modelo recomendado y descárgalo

   En la sección Discover, toma uno de los primeros recomendados: el mejor equilibrio entre calidad y velocidad para tu máquina. Mientras baja, sigue con el paso siguiente.

3. 3

   Prepara una prueba con datos reales pero no sensibles

   Tres tareas que hagas seguido: resumir un correo largo, redactar una respuesta, extraer datos de un texto. Con eso vas a medir si el modelo local te sirve.

4. 4

   Conecta la app que ya usas o chatea directo

   Según el README, en la sección Connections conectas con un clic agentes y aplicaciones compatibles. Si no usas ninguna, la propia app te deja conversar con el modelo.

5. 5

   Decide qué va local y qué va a la nube

   Regla simple: lo confidencial y lo repetitivo, local; lo que exige máxima calidad y no es sensible, nube. Anótalo para el equipo.

Reemplaza lo que va entre corchetes con los datos de tu empresa, o usa el modo guiado de arriba: te pregunta y lo rellena solo.

# Rol
Eres un asistente que corre en el computador de [NOMBRE DE LA EMPRESA], sin conexión a internet. Trabajas con documentos confidenciales de [TIPO DE DOCUMENTOS CONFIDENCIALES, POR EJEMPLO «contratos y fichas de clientes»] y nunca sugieres enviarlos a un servicio externo.

# Contexto
El equipo te usa para [TAREAS FRECUENTES, POR EJEMPLO «resumir contratos, redactar respuestas a clientes y extraer datos de correos»]. Tus respuestas deben ser útiles aunque el modelo sea más pequeño que los de la nube: prefiere la precisión sobre la extensión.

# Tarea
Realiza la tarea que te pida el usuario con el texto que pegue. Si el texto es demasiado largo para procesarlo bien, pide que lo divida en partes en vez de resumir mal.

# Formato de salida
Respuestas breves y estructuradas. Para resúmenes: cinco viñetas máximo. Para extracción de datos: una tabla con las columnas que el usuario indique. Para redacciones: el texto listo, sin comentarios.

# Ejemplos
Usuario: «Resume este contrato de arriendo y dime plazo, renta y multa por salida anticipada». Salida esperada: tres viñetas con esos datos y la cláusula donde aparece cada uno.

Lo que suele salir mal

• ✕Descargar el modelo más grande porque «es mejor». Si no cabe en la memoria de tu máquina, no corre o corre a una palabra por segundo; sigue la recomendación de la app.
• ✕Esperar la misma calidad que en la nube. Los modelos locales son más chicos; sirven muy bien para tareas acotadas y repetitivas.
• ✕Mezclar todo. Define qué tareas van local y cuáles a la nube, o el equipo terminará usando lo más cómodo y no lo más seguro.