RAG (Retrieval-Augmented Generation): qué es

Que es RAG?

Te permite responder con tus PDFs, Notion o tickets sin reentrenar el modelo.

Como funciona

1. Indexado: divides docs en chunks 400-600 tokens con 10% overlap, generas embeddings con text-embedding-3-small y guardas en pgvector/Qdrant.
2. Retrieval: embeddeas la query y buscas top-k=5 por similitud coseno.
3. Generation: inyectas los chunks: “Responde solo con este contexto:\n{{context}}”.

El truco es el chunking y el reranking. Un mal chunk partido a mitad de funcion baja el recall del 84% al 40%.

// RAG minimo con OpenAI + Supabase
import OpenAI from 'openai';
const openai = new OpenAI();
const qEmb = await openai.embeddings.create({ model: 'text-embedding-3-small', input: query });
const { data: chunks } = await supabase.rpc('match_docs', { query_embedding: qEmb.data[0].embedding, match_count: 5 });
const context = chunks.map(c => c.content).join('\n---\n');
const res = await openai.chat.completions.create({
  model: 'gpt-4o-mini',
  messages: [{ role: 'system', content: 'Responde solo con este contexto:\n'+context }, { role: 'user', content: query }],
  temperature: 0
});

Cuando usarlo

Datos privados o cambiantes, citar fuentes. No para razonamiento puro sin corpus.

Errores comunes

• k=20: mete ruido y gasta 8k tokens. Empieza con k=5 + reranker.
• Sin filtro por user_id: filtras datos privados.
• Chunk 2000 tokens: diluye embedding. Usa 500 semanticos.

Coste real

En francobosg, cada post es un chunk. Coste medio $0.02 por query con reranking manual por tags.

Duda sobre RAG (Retrieval-Augmented Generation)? Escribeme por LinkedIn.