Cómo se evalúa el curso
Tu nota se arma con tres componentes: el proyecto en equipo, tu participación durante la semana y una evaluación individual. Aquí tienes las rúbricas completas para saber, desde el primer día, qué se espera de ti.
El esquema 40 / 30 / 30
Propuesta escrita más pitch ejecutivo, con rúbrica de 7 criterios.
Entregables de los tres talleres, discusiones y revisión cruzada.
Quiz de razonamiento aplicado a un caso, resuelto solo.
La nota final se obtiene sumando los tres componentes ya convertidos a su peso:
Rúbrica del proyecto en equipo
Durante la semana, tu equipo recorre el hilo del curso (problema, herramienta, limitación, solución RAG, datos, evaluación y ética) y lo integra en una propuesta única que defiende en un pitch ejecutivo ante una audiencia no técnica. Se califica con siete criterios en cuatro niveles de desempeño. La rúbrica se entrega al inicio del proyecto: no es sorpresa. La propuesta escrita aporta sobre todo los criterios C1 a C6; el pitch aporta el C7 y valida los criterios C1 a C5, es decir, lo que se sostiene cuando te preguntan en vivo.
Pesos por criterio
| # | Criterio | Peso | Qué evalúa |
|---|---|---|---|
| C1 | Problema y contexto | 15% | Dolor real, cuantificado, con línea base |
| C2 | Arquitectura conceptual + fallback | 15% | Flujo RAG correcto y regla de escalación a humano |
| C3 | Datos / corpus | 12% | Fuentes, dueño, mantenimiento, calidad |
| C4 | Evaluación y KPIs | 20% | Gold set, métricas RAG, KPIs emparejados y piloto |
| C5 | Ética y riesgos | 15% | Riesgos priorizados con mitigaciones reales |
| C6 | Factibilidad y siguientes pasos | 8% | Supuestos, recursos, roadmap realista |
| C7 | Calidad de la presentación / pitch | 15% | Storyline, claridad a no técnicos, tiempo, pedido |
| Total | 100% | Equivale al 40% de la nota del curso |
Escala de niveles (común a todos los criterios)
Insuficiente
0.25 × puntos del criterio.
En desarrollo
0.50 × puntos del criterio.
Competente
0.75 × puntos del criterio.
Sobresaliente
1.00 × puntos del criterio.
Ejemplo: C4 (20 puntos) en nivel Competente da 20 × 0.75 = 15 puntos.
Descriptores por criterio y nivel
| Criterio | Insuficiente | En desarrollo | Competente | Sobresaliente |
|---|---|---|---|---|
| C1 · Problema y contexto (15) | Problema genérico o ausente; empieza por "queremos un chatbot". Sin datos. | Problema nombrado pero sin cuantificar; sin línea base de métricas. | Dolor concreto con algún dato (volumen o costo) y métrica actual. | Dolor cuantificado (volumen, costo y métrica base) vinculado a quién lo sufre; deja clara la oportunidad. |
| C2 · Arquitectura + fallback (15) | "Le ponemos ChatGPT"; sin componentes RAG ni fallback. | Menciona RAG pero el flujo está incompleto o sin grounding; fallback vago. | Flujo RAG correcto (ingesta, recuperación, generación con cita) y regla de escalación. | Flujo claro con diagrama, grounding explícito, fallback bien definido y tratamiento de "no sé"; distingue documento (RAG) de transacción (API). |
| C3 · Datos / corpus (12) | No se sabe de qué documentos sale el conocimiento. | Fuentes mencionadas, sin dueño ni plan de actualización. | Fuentes identificadas, dueño del contenido y frecuencia de actualización. | Lo anterior más versionado, criterio de calidad/cobertura del corpus y manejo de datos sensibles. |
| C4 · Evaluación y KPIs (20) | "Funciona bien" como opinión; sin gold set ni KPIs. | Menciona métricas o KPIs sueltos, sin gold set ni umbrales ni piloto. | Gold set con N preguntas, métricas RAG con umbral (por ejemplo groundedness), KPIs y boceto de piloto. | Gold set sólido, métricas con umbral, KPIs emparejados (eficiencia y experiencia) y piloto acotado, reversible, con criterio de éxito y de aborto. |
| C5 · Ética y riesgos (15) | No aborda riesgos, o solo "puede fallar". | Lista genérica de riesgos sin priorizar ni mitigar. | Riesgos relevantes (privacidad, sesgo, alucinación, transparencia) con mitigación. | Riesgos priorizados por probabilidad × impacto, mitigaciones concretas y trazables a la arquitectura/fallback; transparencia hacia el usuario. |
| C6 · Factibilidad y pasos (8) | Promesas sin supuestos ni recursos. | Siguientes pasos vagos; ignora dependencias clave. | Supuestos y recursos nombrados; roadmap por fases. | Supuestos explícitos, dependencias y regulación consideradas, y roadmap realista (piloto, ajuste, escalado) con honestidad sobre lo que falta. |
| C7 · Presentación / pitch (15) | Sin storyline; jerga sin traducir; se pasa de tiempo; sin pedido. | Estructura parcial; mezcla niveles técnico y de negocio; tiempo flojo. | Storyline claro, lenguaje adecuado a no técnicos, dentro del tiempo, con pedido. | Historia convincente con número ancla, riesgos nombrados primero, evidencia (gold set o práctica en vivo) con propósito, tiempo impecable y pedido concreto. |
Hoja de calificación por equipo
El evaluador marca el nivel alcanzado en cada criterio, anota la evidencia (la frase, slide o tabla que lo justifica) y calcula los puntos.
| # | Criterio | Máx. | Nivel (1-4) | Puntos | Evidencia / comentario |
|---|---|---|---|---|---|
| C1 | Problema y contexto | 15 | |||
| C2 | Arquitectura + fallback | 15 | |||
| C3 | Datos / corpus | 12 | |||
| C4 | Evaluación y KPIs | 20 | |||
| C5 | Ética y riesgos | 15 | |||
| C6 | Factibilidad y pasos | 8 | |||
| C7 | Presentación / pitch | 15 | |||
| Total | 100 | ____ / 100 |
La coevaluación de pares (ficha breve 1 a 5 alineada a esta rúbrica) alimenta sobre todo el C7 y fomenta la escucha activa; no es nota dura: el 40% lo fija el profesor con esta rúbrica.
Rúbrica de actividades y participación
A diferencia del proyecto, que es un producto final único, este componente premia el trabajo sostenido durante la semana: los entregables parciales de los talleres, la calidad de tu participación en las discusiones y la revisión cruzada entre equipos. Cada taller produce una pieza que después se integra en la propuesta final, así que evaluar la participación es evaluar cómo se construye el proyecto, día a día.
Las tres dimensiones
A. Entregables de los talleres
Las piezas parciales que produce tu equipo en las sesiones de taller.
B. Participación en discusiones
Intervenciones, preguntas y dinámicas de clase.
C. Revisión cruzada
Calidad de la coevaluación y la crítica a otros equipos.
Dimensión A · Entregables de los talleres (60 pts)
Cuatro rubros encadenados. Cada uno se califica en los cuatro niveles (Insuficiente, En desarrollo, Competente, Sobresaliente).
| Entregable | Cuándo | Puntos |
|---|---|---|
| A1. Delimitación de alcance más rúbrica de "buena respuesta" (Taller 1) | Días 1–2 | 15 |
| A2. Diagrama de arquitectura conceptual más fallback (Taller 2) | Día 3 | 15 |
| A3. Ficha de KPIs más plan de piloto (Taller 3) | Día 4 | 15 |
| A4. Participación efectiva en la dinámica de taller | Transversal | 15 |
| Total A | 60 |
| Entregable | Insuficiente | En desarrollo | Competente | Sobresaliente |
|---|---|---|---|---|
| A1 · Alcance (15) | "Que el bot conteste de todo"; sin out-of-scope o sin fuentes; sin métrica. | Algunos in/out-of-scope, pero sin fuente o sin razón; regla de escalación vaga; métrica solo de eficiencia. | ≥4 in-scope con fuente y ≥4 out-of-scope con razón; regla de escalación redactada; métrica con número de groundedness. | Lo anterior más caso del cuadrante verde justificado, las tres razones de out-of-scope distinguidas y rúbrica con groundedness obligatoria y ejemplo coherente. |
| A2 · Arquitectura (15) | Diagrama sin fallback humano o sin camino de excepción; cajas vacías. | Flujo básico, pero falta el "no sé", o la generación apunta directo al cliente sin guardrail, o no hay flecha de actualización del corpus. | Todas las cajas obligatorias, los dos caminos punteados ("no sé" y escalación), disparadores identificados y un SLA de fallback. | Lo anterior más handoff con contexto (transcripción y motivo), logging completo, distinción documento/transacción y umbral de similitud como decisión de negocio. |
| A3 · KPIs y piloto (15) | Tablero de una sola familia de métricas; piloto sin criterios; sin go/no-go. | KPIs de varias capas pero sin metas ni dueño; piloto con alcance vago; go/no-go sin SLA numérico. | ≥1 KPI por las cuatro capas con meta y fuente; par de incentivos identificado; piloto acotado con diseño de comparación y go/no-go con umbral. | Lo anterior más bloqueantes vs graduales distinguidos, secuencia shadow, A/B justificada y esquema de evaluación que un gerente entendería. |
| A4 · Dinámica de taller (15) | El equipo se atasca, no avanza, o solo una persona trabaja. | Avanza con el entregable mínimo pero no profundiza ante las preguntas del facilitador. | Trabaja con foco, responde a las preguntas detonadoras y entrega a tiempo. | Agrega flechas o criterios tras las preguntas del facilitador, reparte el trabajo y eleva la calidad del entregable en la sesión. |
Dimensión B · Participación en discusiones (25 pts)
Aplica a las dinámicas de clase (como "el comité de inversión de proyectos", "el tablero que miente" o "el gerente escéptico") y a las discusiones conceptuales.
| Nivel | Descriptor | Puntos |
|---|---|---|
| Insuficiente | No participa o sus intervenciones no aportan al tema. | 0–6 |
| En desarrollo | Participa de forma ocasional y reactiva; aporta sin profundidad. | 7–13 |
| Competente | Interviene con regularidad, conecta conceptos del curso y pregunta con sentido. | 14–20 |
| Sobresaliente | Eleva la discusión: trae ejemplos propios, desafía supuestos con respeto y ayuda a otros a pensar. | 21–25 |
Dimensión C · Revisión cruzada entre equipos (15 pts)
Aplica a la revisión por pares del taller de arquitectura y a la coevaluación del pitch.
| Nivel | Descriptor | Puntos |
|---|---|---|
| Insuficiente | Revisión perezosa ("está bien"), o vengativa o blanda sin usar la rúbrica. | 0–4 |
| En desarrollo | Usa la rúbrica parcialmente; hallazgos genéricos sin redactarlos como pregunta o riesgo. | 5–8 |
| Competente | Encuentra hallazgos concretos en las dimensiones de la rúbrica, redactados como pregunta o riesgo accionable. | 9–12 |
| Sobresaliente | Hallazgo fuerte en cada dimensión, con un elogio más una mejora prioritaria útil y una buena pregunta abierta al equipo revisado. | 13–15 |
Evaluación individual
El tercer componente es un quiz individual de 100 puntos (alrededor de 40 minutos). No busca que recuperes definiciones de memoria: te pide aplicar el criterio a un caso concreto. Combina tres formatos.
Opción múltiple
Situaciones donde eliges la mejor decisión o clasificación, no la definición memorizada.
Cálculo con procedimiento
Métricas y ahorros que resuelves mostrando el paso a paso. Una respuesta sin procedimiento vale la mitad.
Reflexión aplicada
Preguntas abiertas sobre un caso: decidir un go/no-go, clasificar un disparador, justificar una escalación.
Se resuelve de forma individual y sin consulta a compañeros ni a herramientas de IA, identificado por tu código o ID. Existen dos versiones equivalentes (A y B) que se alternan entre filas. No publicamos aquí las preguntas: la lista de temas evaluables está en el contenido de cada día.
Los conceptos clave de la semana aplicados a decisiones: por qué un LLM solo no basta, cómo se leen AHT, FCR, CSAT, NPS y CES juntos, cuándo escalar a un humano, cómo se mide un RAG con groundedness, y cómo distinguir contención genuina de una falsa resolución.
Por qué el diseño protege tu trabajo
La evaluación reduce el uso indebido de IA y la copia, no solo lo prohíbe, con tres mecanismos que se refuerzan.
| Mecanismo | Cómo protege la autoría |
|---|---|
| Quiz aplicado a un caso | Pide razonar sobre un escenario, no citar una definición. En cálculo, una respuesta sin procedimiento vale la mitad, lo que penaliza copiar un número final. Individual, sin consulta, con versiones A y B alternadas. |
| Defensa oral del proyecto | El pitch obliga a sostener las decisiones ante preguntas en vivo. Una propuesta escrita por una IA y no comprendida se desmorona: por eso el criterio C7 valida los criterios C1 a C5. |
| Construcción incremental | Cada entregable de taller (alcance, arquitectura, KPIs) se produce en clase, facilitado y cronometrado, y se encadena con el anterior. El profesor observa el proceso día a día, y la revisión por pares añade otro par de ojos. |
En conjunto: el quiz protege el conocimiento individual; el pitch y los talleres facilitados protegen la autoría real del proyecto. La IA puede apoyar para investigar o redactar, pero la evaluación premia lo que puedes explicar y defender por ti mismo.
Los tres componentes miden cosas distintas y se complementan: el proyecto integra todo el hilo del curso, la participación premia cómo lo construyes día a día, y el quiz confirma lo que dominas por ti mismo.