RAG · Servicio al Cliente
Día 5 · 14 de agosto

Ética, gobernanza y propuestas finales

Quién responde por el bot, cómo se supervisa, y cómo cuentas todo el curso en una sola propuesta.

Sesión 13 · Gobernanza Sesión 14 · Propuesta y pitch Sesión 15 · Cierre
Sesión 13

Gobernanza: privacidad, transparencia y supervisión humana

Al terminar esta sesión podrás

  • Explicar por qué el usuario tiene derecho a saber que habla con un bot, y qué exige el consentimiento informado.
  • Distinguir los tres modos de supervisión humana (in-the-loop, on-the-loop, in-command).
  • Decidir el grado de automatización razonable según la sensibilidad del contexto.
  • Nombrar los principios de gobernanza que vuelven desplegable un chatbot.

Hasta ayer aprendiste a construir un bot que funciona: recupera tu conocimiento, lo fundamenta y lo cita. Hoy cambias de plano. La pregunta ya no es técnica sino de gobierno: quién decide, quién supervisa y quién responde cuando el bot actúa. Un sistema puede funcionar de maravilla y aun así no poderse desplegar, porque nadie definió sus límites, su supervisión ni cómo se le declara al cliente. Este es el control de calidad ético que vuelve desplegable todo lo anterior.

Idea central

"Funciona" no es "se puede desplegar". La decisión de poner un bot en producción es de gobernanza, no solo técnica.

Privacidad y consentimiento informado

Tener un dato no da derecho a tratarlo: hace falta una base legal, y en servicio al cliente la más común es el consentimiento. Para ser válido no basta una casilla enterrada en treinta páginas. Debe cumplir cuatro condiciones.

Previo

Antes del tratamiento

Se pide el permiso antes de recoger o usar el dato, no después.

Libre

Sin coacción

No se condiciona un servicio esencial a que el cliente lo acepte.

Expreso

Acción afirmativa

Un acto claro de la persona, nunca casillas premarcadas por defecto.

Informado

Sabe qué pasa

Conoce qué se recoge, para qué, quién lo trata y cómo ejercer sus derechos.

Además, el consentimiento es específico y revocable: se otorga para un propósito y se puede retirar tan fácil como se dio. Aplicado al bot: si guarda transcripciones con datos personales "para mejorar el servicio", eso es un tratamiento que hay que declarar y, según el caso, consentir. No se puede usar en silencio el historial de chats para entrenar un modelo.

Marco que rige el aula

En Lima aplica la Ley N° 29733 de protección de datos personales, cuya autoridad es la ANPD (Ministerio de Justicia). Comparte ADN con el RGPD europeo y la LFPDPPP mexicana: consentimiento informado, finalidad declarada, minimización y derechos del titular.

Transparencia: declarar que es un bot

El usuario tiene derecho a saber que habla con una máquina. Fingir ser humano es engañoso y, ante datos sensibles, agravante; además, en cada vez más jurisdicciones es una obligación legal. La práctica mínima: el bot se presenta como asistente automatizado y ofrece, de forma visible, la ruta hacia un humano.

Trazabilidad y auditoría con citación

Un sistema responsable deja rastro: qué se preguntó, qué fragmentos del corpus se recuperaron, qué respondió y con qué fuentes. La citación del RAG no es solo un adorno para el cliente: es el mecanismo de auditoría. Si una respuesta fue dañina, hay que poder reconstruir por qué la dio y qué documento la fundamentó. Documentación más registros equivalen a auditabilidad.

Regla que conecta todo

Sin cita y sin registro no hay auditoría; sin auditoría no hay responsabilidad; y sin responsabilidad no hay despliegue serio en banca, salud o educación.

El humano en el lazo: tres modos de supervisión

La pregunta no es "bot o humano", sino en qué punto del proceso está el humano y qué decisiones nunca le quitamos.

Human-in-the-loop

Aprueba antes

Una persona revisa o aprueba antes de una acción sensible: procesar un reembolso, una decisión que afecta a alguien.

Human-on-the-loop

Supervisa en vivo

El bot opera solo por defecto, pero el humano observa en tiempo real y puede intervenir.

Escalación: saber cuándo rendirse

El bot debe reconocer sus límites. Se escala a un humano cuando no encuentra fundamento (groundedness baja), cuando el usuario lo pide, cuando detecta enojo o toxicidad, o cuando el tema entra en zona sensible. Bien diseñada, la escalación sube el FCR y el CSAT; su ausencia "atrapa" al cliente y genera detractores. Escalar no es fallar: es gobernar el riesgo.

Límites razonables de automatización

No todo proceso debe automatizarse aunque técnicamente se pueda. El criterio es directo: a mayor sensibilidad y mayor daño de un error, menor grado de automatización autónoma.

ContextoQué puede hacer el bot soloQué exige un humano
SaludInformar horarios, ubicaciones, preparación de exámenesNunca diagnóstico, dosis ni interpretación clínica
Finanzas / bancaExplicar requisitos, comisiones, preguntas frecuentes de productosOperaciones con dinero, asesoría de inversión, decisiones de crédito
LegalOrientar sobre trámites, plazos generales, dónde acudirAsesoría vinculante o interpretación de un caso concreto
Educación (ESAN)Preguntas de admisión, calendarios, reglamentosDecisiones sobre una persona: beca, sanción, admisión
La automatización madura sabe decir "esto no lo decido yo". En salud, finanzas y derecho, el bot informa; el humano decide.

Principios de gobernanza, en resumen

Transparencia

El usuario sabe que habla con un bot y ve la ruta al humano.

Trazabilidad

Registros más citas que permiten reconstruir cada respuesta.

Supervisión

Un humano en el punto correcto del lazo, con poder de apagar.

Minimización

Solo los datos necesarios; lo que no está en el índice no se puede filtrar.

Escalación

Regla clara para derivar a una persona ante duda o sensibilidad.

Límite de alcance

Fuera del alcance definido, el bot no decide: informa y deriva.

Sesión 14

De fragmentos a propuesta: integración y pitch ejecutivo

Al terminar esta sesión podrás

  • Integrar los entregables de la semana en una propuesta única y trazable, no en piezas yuxtapuestas.
  • Estructurar la propuesta escrita en ocho secciones, cada una heredada de un módulo del curso.
  • Construir un pitch ejecutivo con un storyline claro y defenderlo ante una audiencia no técnica.
  • Nombrar los riesgos tú mismo y cerrar con un pedido concreto.

Durante la semana cada taller produjo una pieza suelta: la delimitación de un contexto, un corpus de preguntas frecuentes, una arquitectura con fallback, un gold set con métricas, un tablero de KPIs, un análisis ético. El riesgo natural es entregar esas piezas yuxtapuestas (una al lado de otra) en lugar de integradas (cada una justificando a la siguiente). La diferencia es la trazabilidad: el caso de uso decide qué corpus necesitas, el corpus condiciona la arquitectura, la arquitectura define qué evalúas, la evaluación alimenta los KPIs, y los riesgos éticos modulan el fallback y el alcance.

Idea organizadora

Una buena propuesta es una sola decisión tomada ocho veces: el problema decide el caso de uso, el caso de uso decide los datos, y así hasta el último renglón. Si cambias el problema, todo lo demás debería cambiar con él.

La propuesta escrita: ocho secciones

Este es el andamiaje. Cada sección hereda de un módulo del curso; apunta a entre seis y diez páginas, sin contar anexos.

#SecciónPregunta que respondeSeñal de calidad
1Contexto y problema¿Qué duele, a quién y cuánto cuesta hoy?El dolor está cuantificado (volumen, costo, métrica base), no es genérico
2Caso de uso y alcance¿Qué resuelve el bot y qué no?Alcance delimitado con lista explícita de "fuera de alcance"
3Arquitectura + fallback¿Cómo funciona y qué pasa cuando no sabe?Flujo RAG con grounding y regla de escalación a humano clara
4Datos / corpus¿Con qué conocimiento se alimenta y cómo se mantiene?Fuentes identificadas, dueño del contenido y plan de actualización
5Evaluación¿Cómo se prueba que responde bien y citado?Gold set con N preguntas, métricas (precision@k, groundedness) y umbral
6KPIs y piloto¿Cómo se mide el valor y cómo se lanza?KPIs emparejados (eficiencia y experiencia); piloto acotado y reversible
7Riesgos éticos¿Qué puede salir mal y cómo se previene?Riesgos priorizados por probabilidad por impacto, con mitigación concreta
8Factibilidad¿Es viable y qué sigue?Supuestos, recursos, dependencias y un roadmap realista
Regla de oro

Si no puedes nombrar lo que tu bot no va a hacer, todavía no entendiste tu problema. La mejor señal de un proyecto sano es una buena lista de "fuera de alcance".

La rúbrica del proyecto reparte estos criterios con pesos distintos; tenla abierta mientras escribes. La evaluación y los KPIs pesan más porque ahí el curso se juega su tesis: RAG mejora la calidad del servicio solo si se mide.

Abre la rúbrica del proyecto (40%) → · Repasa los casos de sector →

El pitch ejecutivo: vender la propuesta en minutos

La propuesta escrita se lee con calma; el pitch se vive en una reunión para que un decisor diga sí. No es "la propuesta con letra más grande": es una historia orientada a la decisión, con seis tiempos y una sola tarea cada uno.

#TiempoTarea (una sola)Ejemplo de frase
1ProblemaHacer sentir el dolor con un dato"Atender admisiones nos cuesta X y el 60% son 10 preguntas repetidas."
2SoluciónUna frase de qué es, sin jerga"Un asistente que responde con nuestras políticas y cita la fuente."
3ValorTraducir a la métrica del decisor"Esperamos liberar el 40% de las consultas simples y bajar el esfuerzo."
4EvidenciaMostrar que no es promesa"Probado contra 50 preguntas reales: 96% respondidas y citadas."
5RiesgosNombrarlos primero, con mitigación"Si no sabe, no inventa: deriva a un humano. Datos sensibles, anonimizados."
6PedidoPedir algo concreto y pequeño"Pedimos aprobar un piloto de 6 semanas en un canal."
Por qué nombrar tú el riesgo

Quien nombra primero el riesgo controla la conversación. Si dices "el mayor riesgo es que aluciné, por eso exigimos grounding y fallback", proyectas dominio; si lo callas y el evaluador lo descubre, proyectas ingenuidad.

Reglas de una buena presentación

Una idea por diapositiva

Si una slide tiene dos ideas, son dos slides. El detalle vive en la propuesta escrita.

Titular afirmativo

El título es una afirmación, no una etiqueta: "Bajamos el esfuerzo del cliente", no "KPIs".

Empieza por el final

Di la conclusión primero y luego el porqué. La audiencia agradece saber a dónde vas.

Un número que se recuerde

Elige una cifra ancla (el costo actual, el % de deflexión esperado) y repítela.

Ensaya con reloj

El tiempo no se improvisa; no más de una diapositiva por minuto.

Cierra con el pedido

La última frase es el pedido, no "gracias por su atención".

Errores al presentar tecnología a no técnicos

ErrorCómo se veAntídoto
Jerga sin traducir"usamos embeddings y un vector store con chunking"Habla de beneficio: "encuentra el párrafo exacto del manual"
Empezar por la arquitecturaEl primer slide es un diagrama técnicoEmpieza por el dolor de negocio; la arquitectura es evidencia
Prometer cero errores"Nunca se equivoca"Honestidad: "reduce el error y, cuando duda, escala"
No pedir nadaTerminar con "gracias"Cierra con el pedido concreto y pequeño
Cronómetro

Ensayo del pitch

Para el ensayo en seco con "el gerente escéptico". Elige la duración e inicia.

Sesión 15

Presentaciones finales, coevaluación y cierre

Al terminar esta sesión podrás

  • Presentar tu propuesta dentro del tiempo, con foco y al nivel de la audiencia.
  • Dar y recibir retroalimentación constructiva y coevaluar a tus compañeros con criterios explícitos.
  • Mirar el curso completo como un hilo narrativo y discutir qué falta para llevar un RAG a producción.

Formato de las presentaciones

Cada equipo presenta con tiempos fijos y visibles. Un cronómetro proyectado marca el ritmo; el aviso llega a falta de un minuto y de treinta segundos. Pasarse de tiempo es, en sí, un dato evaluable.

BloqueTiempoNota
Encuadre (reglas, rúbrica, coevaluación)5 minLa rúbrica ya se conoce desde el inicio del proyecto
Por equipo: pitch6 minCronómetro visible; aviso a los 5 minutos
Por equipo: preguntas del jurado y pares3 minEl profesor modera, no monopoliza
Por equipo: llenado de coevaluación1 minEn silencio, mientras pasa el siguiente
Síntesis y cierre del curso10–12 minEl hilo completo, recorrido de nuevo

Coevaluación de pares

Coevaluar enseña tanto como presentar: te obliga a aplicar la rúbrica, y eso profundiza tu comprensión de los criterios. Se usa una ficha breve, de tres a cinco ítems en escala de 1 a 5, alineada con la rúbrica: claridad del problema, solidez de la solución, manejo de riesgos, calidad de la presentación, y "una cosa que aprendí de este equipo".

Retroalimentar no es juzgar

Usa el patrón "lo que funcionó / lo que mejoraría / una pregunta". Empieza por lo concreto que funcionó, redirige al futuro sin humillar, y cierra con una pregunta que haga pensar. Critica la decisión, nunca a la persona.

Síntesis: el hilo del curso, de principio a fin

Recorre la semana como una sola historia, no como cinco días sueltos:

Herramienta

Llegan los LLMs

Parecen la solución mágica, pero alucinan, no conocen tus datos y no citan.

Solución

Entra RAG

Recupera tu propio conocimiento y fundamenta la respuesta con su fuente.

Evaluación

¿Funcionó?

Sin gold set, sin métricas con umbral y sin KPIs, "funciona bien" es solo una opinión.

Responsabilidad

¿Es desplegable?

Ética, transparencia y fallback humano vuelven responsable todo lo anterior.

Tu propuesta

El viaje completo

La propuesta de tu equipo recorre ese mismo hilo, hecho por ti.

La lección de fondo

La magia no está en el modelo: está en fundamentar, medir y escalar a un humano cuando hace falta. Y en saber dónde no pondrías un chatbot aunque pudieras.

Cierre del curso

Te llevas tres cosas. Una herramienta: sabes qué es y qué no es un chatbot RAG. Un criterio: sabes cuándo conviene, cómo medirlo y cuándo decir que no. Y un lenguaje: puedes hablar de groundedness con un técnico y de esfuerzo del cliente con un gerente en la misma reunión. Esa traducción entre los dos mundos es lo más valioso y lo más escaso. Gracias por la semana.