¿Cómo chatear con tus PDF y documentos con IA en local?

Contratos, manuales, apuntes, facturas, actas de la comunidad de vecinos: casi todos tenemos documentos a los que nos gustaría poder preguntarles cosas sin leerlos enteros. Con un modelo de IA en tu propio ordenador puedes hacerlo sin subir ni una página a internet. La técnica que lo hace posible se llama RAG, y hoy viene integrada en varias aplicaciones gratuitas.

¿Qué es RAG explicado fácil?

Imagina que le haces una pregunta a alguien muy listo pero que no ha leído tus documentos. RAG consiste en que, antes de que responda, un ayudante busque en tus archivos las páginas que hablan del tema y se las ponga delante. Así responde con tu información, no con lo que “recuerda”.

Por dentro, el proceso tiene dos fases:

Los pasos 1 a 3 se hacen una sola vez, al subir los documentos. Los pasos 4 a 6 se repiten con cada pregunta.

De ahí salen dos ideas clave:

• El modelo no aprende tus documentos. No hay entrenamiento: solo recibe fragmentos en cada pregunta.
• La calidad depende de la búsqueda. Si el ayudante trae las páginas equivocadas, la respuesta será mala aunque el modelo sea bueno.

¿Por qué no pegar el documento entero en el chat?

Con documentos cortos puedes hacerlo, y a veces es la opción más sencilla. De hecho, LM Studio lo hace solo: si el archivo cabe en el contexto del modelo, lo añade entero a la conversación, y si es largo, recurre a RAG. Open WebUI también permite elegir, archivo por archivo, entre usar el documento completo o solo los fragmentos relevantes.

El límite es la ventana de contexto, es decir, cuánto texto puede tener delante el modelo a la vez. En local suele ser más pequeña de lo que parece: Ollama usa por defecto 4.096 tokens en equipos con menos de 24 GiB de VRAM, unas pocas páginas de texto. Ampliarla es posible, pero consume más memoria y hace las respuestas más lentas. Lo explicamos en cuánta VRAM necesito.

¿Qué herramientas puedo usar?

Algunos detalles que marcan la diferencia:

• AnythingLLM trae de serie un modelo de embeddings y una base de datos vectorial (LanceDB) locales, así que funciona sin servicios externos desde el primer momento. Tiene un modo Query que solo responde con lo que hay en tus documentos y avisa si no encuentra nada.
• Open WebUI usa por defecto el modelo de embeddings all-MiniLM-L6-v2, que funciona en local sin configurar nada. En el chat, escribes # para elegir el documento o la colección a la que quieres preguntar, y las respuestas incluyen citas.
• LM Studio hace todo el procesado de documentos en local y puede funcionar sin conexión una vez descargado el modelo.

Open WebUI y AnythingLLM se conectan habitualmente a Ollama como motor; si dudas entre motores, mira Ollama vs LM Studio, y si aún no lo tienes, la guía para instalar Ollama en Windows. Las funciones de estas herramientas cambian a menudo, así que conviene revisar su documentación oficial antes de decidir.

¿Cómo lo monto paso a paso?

El esquema general es el mismo en todas:

1. Instala el motor (por ejemplo, Ollama) y descarga un modelo de chat que quepa en tu equipo. Puedes orientarte con ¿qué IA puedo ejecutar?.
2. Elige un modelo de embeddings, el que convierte texto en vectores. Open WebUI y AnythingLLM traen uno por defecto; Ollama también ofrece varios en su biblioteca, como nomic-embed-text, mxbai-embed-large o bge-m3.
3. Instala la interfaz (Open WebUI o AnythingLLM) y conéctala al motor local.
4. Crea una colección o espacio de trabajo y sube tus documentos.
5. Pregunta y revisa las citas o fuentes que muestra la herramienta para comprobar de dónde sale la respuesta.

¿Cómo consigo mejores respuestas?

• Documentos limpios: PDF con texto real, no imágenes escaneadas. Si son escaneos, pásalos antes por OCR o activa un motor de extracción con OCR.
• Preguntas concretas: “¿Qué dice el contrato sobre la renovación?” funciona mejor que “resúmeme todo”. LM Studio recomienda incluir en la pregunta las palabras que esperas encontrar en el documento.
• Ajusta el troceado: fragmentos demasiado pequeños pierden contexto; demasiado grandes meten ruido. Para modelos locales con contexto de hasta 8K tokens, la guía de Open WebUI sugiere fragmentos de unos 1.000 tokens y entre 3 y 5 resultados.
• Elige un modelo de embeddings multilingüe si tus documentos están en español. El que trae Open WebUI por defecto, all-MiniLM-L6-v2, está entrenado solo con textos en inglés; en la biblioteca de Ollama, bge-m3, nomic-embed-text-v2-moe o snowflake-arctic-embed2 admiten varios idiomas.
• Usa un modelo de chat adecuado: uno mediano bien cuantizado suele bastar. Si no conoces los formatos, lee qué es la cuantización.
• Pide que cite las fuentes y comprueba siempre los datos importantes.

¿Qué limitaciones tiene?

• Puede equivocarse o inventar si no encuentra el fragmento correcto. La documentación de Open WebUI lo resume bien: el modelo suele fallar porque nunca recibió el contenido correcto. No lo uses como única fuente para decisiones legales, médicas o económicas.
• Tablas, gráficos y maquetaciones complejas se extraen mal en muchos PDF.
• Preguntas globales (“¿cuál es la idea principal de estos 200 documentos?”) funcionan peor que las concretas, porque solo se recuperan unos pocos fragmentos.
• El rendimiento depende de tu hardware: si el modelo no cabe en la gráfica, las respuestas serán lentas.

¿Es realmente privado?

Si el motor, el modelo de embeddings y la interfaz se ejecutan en tu equipo, tus documentos no salen de casa. Pero revisa la configuración: estas herramientas también permiten conectar proveedores en la nube (OpenAI, Anthropic y otros), y si eliges uno de ellos para el chat o para los embeddings, los fragmentos se enviarán fuera. Comparamos ambos enfoques en IA local vs ChatGPT.

¿Cuál elegimos? Nuestra recomendación

Si quieres empezar en una tarde y preguntar a unos cuantos PDF, AnythingLLM con Ollama es probablemente el camino más directo: app de escritorio, embeddings y base vectorial incluidos, y un modo que solo responde con tus documentos. Si buscas una interfaz web completa, tipo ChatGPT, que puedan usar varias personas de casa desde el navegador, Open WebUI con Ollama es más potente y configurable, aunque pide algo más de trabajo. Y si solo necesitas consultar un documento de vez en cuando, LM Studio ya lo resuelve adjuntándolo en el chat. Sea cual sea tu elección, cuida la calidad de los documentos, haz preguntas concretas y revisa siempre las fuentes que cita la respuesta.

Según los usuarios que comparten sus ajustes en el debate sobre RAG del repositorio de Open WebUI en GitHub, lo que más mejora los resultados es trocear en fragmentos más pequeños (algunos usan 512 tokens), activar la búsqueda híbrida con un modelo de reranking y usar embeddings multilingües; también señalan como limitación que la configuración es global y no se puede adaptar a cada tipo de documento.