IA privada en tu propio servidor: cuándo merece la pena y cómo empezar

Hace no mucho, ejecutar un modelo de lenguaje capaz en tu propio hardware era un proyecto de investigación. Hoy, un único servidor bien especificado puede alojar modelos que resuelven bien la mayoría de las tareas empresariales cotidianas. Para las organizaciones que manejan datos sensibles, eso cambia la pregunta. Ya no es si usar IA, sino dónde ejecutarla y bajo el control de quién.

Qué significa la IA privada y cuándo merece la pena

• Los datos de clientes, pacientes, empleados o ciudadanos no pueden salir de la organización, por contrato, por normativa o por política interna.
• Los auditores o reguladores preguntan dónde se tratan los datos y quién puede verlos, y quieres una respuesta breve
• El precio por uso crece con cada usuario y cada documento, y se espera una adopción amplia
• Quieres decidir cuándo cambia el modelo, en lugar de descubrir un cambio cuando las respuestas varían
• El asistente debe llegar a sistemas internos que nunca deberían estar expuestos a internet

En un sistema de IA privada, el modelo, los documentos que lee y cada conversación permanecen dentro de una infraestructura que controlas. Puede tratarse de servidores en tu propio edificio o centro de datos, o de un entorno de nube privada dedicado a ti. No se envía nada a un servicio público de IA, y nadie fuera de la organización puede usar tus datos para entrenar sus modelos.

El acceso sigue los roles que ya tienes, y cada pregunta y cada respuesta pueden registrarse. La IA privada no es adecuada para todos: si tus datos no son sensibles y los volúmenes son pequeños, un servicio público de confianza con un contrato de encargado del tratamiento adecuado puede ser más sencillo. Se justifica cuando se cumple una o varias de estas condiciones.

¿Qué tan buenos son los modelos abiertos?

Para responder preguntas a partir de documentos, redactar, resumir, traducir y clasificar, los mejores modelos abiertos de hoy están cerca de los servicios públicos líderes, y la brecha se ha reducido con cada generación. Para la mayoría de los asistentes internos, la calidad de los documentos y de la recuperación importa más que los últimos puntos de capacidad del modelo.

Cuando una tarea necesita de verdad el razonamiento más potente disponible, un diseño híbrido ayuda. Los documentos sensibles, los datos personales y los sistemas internos se quedan dentro, mientras que el trabajo claramente no sensible, como reformular una página web pública, puede enviarse a un modelo público. Una capa de enrutamiento decide adónde va cada petición y registra la decisión, de modo que la norma la aplica el sistema y no cada usuario.

El modelo es lo más fácil. El valor, y el riesgo, están en lo que se le permite leer y en quién puede hacer las preguntas.

Hardware y dimensionamiento, explicado claro

La principal limitación es la memoria de los procesadores gráficos (GPU). Un modelo más grande necesita más memoria de GPU para cargarse, y más personas preguntando a la vez necesitan más margen. Técnicas como la cuantización, que almacena el modelo en una forma más compacta, permiten que un servidor dado ejecute modelos más grandes con una pequeña pérdida de calidad.

En la práctica, el dimensionamiento se reduce a tres preguntas. ¿Cuántas personas lo usarán a la vez, y no en total? ¿Cuánto duran los documentos y las respuestas? ¿Con qué rapidez debe aparecer una respuesta? Un equipo de unas pocas decenas de personas que hacen preguntas ocasionales puede atenderse a menudo con un solo servidor con una o dos GPU modernas. Cientos de usuarios concurrentes, documentos largos o varios modelos en paralelo requieren más.

Si comprar hardware parece prematuro, empieza en un entorno de nube privada en la región que necesitas, mide el uso real y decide después. Un sistema bien diseñado pasa a tus propios servidores sin reconstruirse.

Recuperación con acceso según el rol

Gran parte del valor de un asistente privado procede de la recuperación de información: el sistema encuentra los pasajes relevantes en tus documentos y el modelo responde a partir de ellos, citando sus fuentes. Esto es lo que convierte un modelo general en uno que conoce tus políticas, contratos y procedimientos.

El control de acceso tiene que aplicarse en el momento de la recuperación, no solo al iniciar sesión. Cada documento, o cada sección, lleva los permisos de su sistema de origen. Cuando alguien hace una pregunta, la búsqueda solo mira lo que esa persona puede ver. Si se diseña así desde el principio, el asistente no puede filtrar un documento a través de un resumen.

Evalúa antes de que la gente dependa de ello

Un asistente que acierta la mayoría de las veces y se equivoca con seguridad de vez en cuando es un riesgo, no una herramienta. Antes de desplegarlo, crea un conjunto de pruebas: preguntas reales de quienes lo usarán, con las respuestas correctas y las fuentes acordadas por alguien que conozca el tema. Ejecuta cada cambio de modelo o de configuración contra ese conjunto.

Mide lo que importa para el negocio: si la respuesta es correcta, si la fuente es la adecuada, si se niega cuando debe y si dice cuándo no sabe. Mantén vivo el conjunto de pruebas después del lanzamiento, añadiendo preguntas que los usuarios marquen como incorrectas. En un asistente empresarial que creamos para más de 2.000 personas, esta rutina fue lo que dio a la dirección la confianza para ampliar el acceso.

GDPR y EU AI Act

• Documentación: qué hace el sistema, qué modelos usa, qué datos lee y cómo se probó
• Transparencia: los usuarios saben que hablan con una IA y pueden ver las fuentes de cada respuesta
• Supervisión humana: una persona revisa los resultados antes de que afecten a una decisión sobre alguien
• Alfabetización en IA: el personal que usa o gestiona el sistema comprende sus límites, algo que la Ley exige a los responsables de despliegue

Mantener los datos dentro de tu propia infraestructura simplifica mucho el GDPR. No hay transferencias internacionales que evaluar, ni nuevos encargados del tratamiento que añadir a tu registro, y un registro claro de quién vio qué. Aun así, necesitas una base jurídica para el tratamiento, un registro de actividades, normas de conservación razonables para los registros de conversaciones y, en muchos casos, una evaluación de impacto relativa a la protección de datos.

El EU AI Act adopta un enfoque basado en el riesgo. Algunas prácticas están directamente prohibidas. Los sistemas usados en ámbitos sensibles que la Ley enumera, como la contratación, la evaluación del personal o el acceso a servicios esenciales, son de alto riesgo y tienen las obligaciones más exigentes. Los sistemas que interactúan con personas tienen deberes de transparencia, de modo que los usuarios deben saber que están tratando con una IA. La mayoría de los asistentes de conocimiento internos se sitúan en las categorías inferiores.

Incluso así, las buenas prácticas van más allá del mínimo legal, y facilitan después las auditorías.

Los primeros 30, 60 y 90 días

La mayoría de los errores que vemos son evitables: empezar con todos los documentos de la organización, tratar los permisos como un problema de inicio de sesión, saltarse la evaluación porque las primeras demos parecían bien, comprar hardware antes de medir el uso real y no tener responsable tras el lanzamiento.

1. Días 1 a 30: alcance y cimientosElige un equipo, un conjunto de documentos y una única tarea clara para el asistente. Acordad las normas de datos, los roles y las medidas de éxito. Prepara el entorno, carga los documentos con sus permisos y construye con el equipo el primer conjunto de pruebas.
2. Días 31 a 60: piloto con usuarios realesEntrega el asistente a un pequeño grupo que hace trabajo real. Revisa las respuestas cada semana frente al conjunto de pruebas, corrige las lagunas de recuperación de información y los problemas de calidad de los documentos, y ajusta la elección del modelo si hace falta. Escribe la documentación a medida que avanzas, no al final.
3. Días 61 a 90: consolidar y decidirAñade monitorización, registro y un proceso para actualizar los modelos. Forma a los usuarios sobre para qué sirve el asistente y cuáles son sus límites. Después decide, con evidencias, si amplías el acceso, añades un segundo caso de uso o pasas de la nube privada a tus propios servidores.

Preguntas que nos hacen a menudo