¿Qué es la concordancia entre evaluadores en visibilidad en IA?

La concordancia entre evaluadores (Inter-Rater Agreement) es el grado de coincidencia entre dos o más personas, o entre distintos procedimientos de evaluación, cuando clasifican o valoran las mismas observaciones siguiendo un conjunto de criterios definidos.

En la medición de visibilidad en inteligencia artificial, la concordancia es relevante cuando se determina si una respuesta menciona una marca, la recomienda, cita una fuente o transmite una valoración positiva o negativa.

Estas tareas pueden implicar interpretación. Una respuesta puede describir una empresa sin recomendarla, presentar una opción con reservas o citar una fuente que solo respalda parte de una afirmación. Si los criterios no están suficientemente definidos, distintos evaluadores pueden asignar categorías diferentes al mismo contenido.

La concordancia entre evaluadores permite examinar hasta qué punto las reglas de clasificación se aplican de forma consistente. No demuestra por sí sola que las categorías sean correctas o que la métrica mida adecuadamente el fenómeno deseado, pero ayuda a identificar ambigüedades y posibles fuentes de variación.

Por qué importa la concordancia en la medición de visibilidad en IA

Muchas métricas de visibilidad dependen de convertir respuestas de lenguaje natural en categorías estructuradas. Por ejemplo, para calcular una tasa de recomendación de marca, es necesario determinar qué respuestas contienen una recomendación válida según la definición utilizada.

Si los evaluadores aplican criterios diferentes, el resultado puede depender parcialmente de quién haya realizado la clasificación.

Esto puede afectar a:

• Las tasas de mención y recomendación de marca.
• La identificación y evaluación de citas.
• La clasificación del sentimiento asociado a una marca.
• La valoración de la relevancia de una fuente.
• Las comparaciones entre periodos, plataformas o conjuntos de consultas.
• La evaluación de sistemas automatizados de clasificación.

Una concordancia elevada puede indicar que las reglas son suficientemente claras para aplicarse de manera consistente. Una concordancia baja puede señalar definiciones ambiguas, categorías difíciles de distinguir o instrucciones insuficientes.

En ambos casos, el resultado debe interpretarse teniendo en cuenta la tarea, las categorías y el contexto de evaluación.

Cómo se manifiesta el desacuerdo entre evaluadores

1. Desacuerdo sobre la definición de una categoría

Puede ocurrir cuando los evaluadores interpretan de forma diferente conceptos como «recomendación», «mención positiva» o «cita relevante».

Por ejemplo, una respuesta que enumera tres proveedores sin expresar preferencia puede ser clasificada como una recomendación por un evaluador y como una simple mención por otro.

La solución inicial consiste en precisar la definición y establecer ejemplos que delimiten la categoría.

2. Desacuerdo en casos ambiguos

Algunas respuestas contienen señales contradictorias o expresiones que admiten varias interpretaciones.

Una marca puede aparecer como una opción adecuada para ciertos usuarios, pero no para otros. Una fuente puede estar relacionada con el tema sin respaldar directamente la afirmación presentada.

Estos casos pueden requerir reglas específicas para recomendaciones condicionadas, citas parciales o menciones indirectas.

3. Desacuerdo por información insuficiente

Una respuesta puede no proporcionar suficiente contexto para asignar una categoría con seguridad.

En estos casos, los evaluadores pueden necesitar una categoría como «indeterminado» o «información insuficiente», siempre que el diseño de la medición contemple esa posibilidad.

Forzar una clasificación definitiva cuando la evidencia no es suficiente puede aumentar artificialmente la aparente claridad de los datos.

4. Desacuerdo por aplicación inconsistente de las reglas

Incluso con definiciones claras, los evaluadores pueden aplicar los criterios de manera desigual a lo largo del tiempo o entre distintos grupos de trabajo.

Las instrucciones de clasificación, las sesiones de formación y las revisiones periódicas ayudan a reducir estas diferencias.

Ejemplo práctico: identificar recomendaciones de marca

Imaginemos que dos evaluadores revisan 100 respuestas generadas por IA para identificar recomendaciones explícitas de una marca.

Ambos clasifican como recomendaciones 25 respuestas. Sin embargo, no siempre seleccionan las mismas: en algunos casos, uno considera que una respuesta es una recomendación y el otro la clasifica como una mención neutral.

Que ambos obtengan una tasa del 25 % no significa que exista una concordancia perfecta. Los resultados agregados coinciden, pero las decisiones individuales pueden diferir.

Para comprender la consistencia del proceso, es necesario comparar las etiquetas asignadas a cada respuesta, no solo las tasas finales.

Este ejemplo muestra por qué la concordancia debe evaluarse sobre observaciones compartidas y utilizando las mismas categorías.

Cómo medir la concordancia entre evaluadores

El método apropiado depende del número de evaluadores, del tipo de categorías y de la estructura de los datos.

1. Porcentaje de acuerdo observado

El porcentaje de acuerdo observado es la proporción de observaciones en las que los evaluadores asignan la misma categoría.

Si dos evaluadores coinciden en 90 de 100 respuestas, el acuerdo observado es del 90 %.

Es una medida sencilla y fácil de interpretar, pero no tiene en cuenta cuánto acuerdo podría producirse por la distribución de las categorías. Por ello, conviene considerar medidas adicionales cuando el diseño lo requiera.

2. Kappa de Cohen

El kappa de Cohen mide la concordancia entre dos evaluadores que clasifican las mismas observaciones en categorías, ajustando el acuerdo observado por el acuerdo esperado según sus distribuciones marginales.

Se utiliza habitualmente con categorías nominales y también puede aplicarse a categorías ordinales mediante variantes ponderadas.

Su interpretación requiere precaución. El resultado puede verse afectado por la prevalencia de las categorías y por la distribución de las clasificaciones. Un valor de kappa no debe interpretarse sin examinar los datos y el contexto.

3. Kappa de Fleiss

El kappa de Fleiss es una medida de concordancia que puede utilizarse cuando varios evaluadores clasifican observaciones en categorías, bajo las condiciones previstas por su formulación.

No es una solución universal para cualquier diseño con varios evaluadores. Antes de utilizarla, conviene comprobar que la estructura de los datos y el procedimiento de evaluación cumplen sus supuestos.

4. Alfa de Krippendorff

El alfa de Krippendorff es una medida de concordancia que admite diferentes niveles de medición y puede manejar determinados patrones de datos ausentes, según el diseño y la configuración utilizados.

Puede resultar útil cuando se comparan varios evaluadores o se trabaja con categorías nominales, ordinales u otras escalas compatibles con la medida.

La elección de la métrica debe justificarse según el tipo de datos y el objetivo de la evaluación.

5. Matrices de confusión y análisis por categoría

Una matriz de confusión permite examinar dónde se concentran los desacuerdos entre dos conjuntos de clasificaciones.

Por ejemplo, puede mostrar si la principal discrepancia se produce entre «mención neutral» y «recomendación», o entre «cita relevante» y «fuente relacionada, pero no probatoria».

Este análisis ayuda a localizar problemas específicos que una cifra global de concordancia podría ocultar.

Cómo mejorar la concordancia entre evaluadores

Paso 1. Definir las categorías de forma operativa

Cada categoría debe tener una definición clara, criterios de inclusión y exclusión, y ejemplos representativos.

Si se mide la recomendación de marca, debe especificarse si se incluyen recomendaciones condicionadas, listas sin preferencia explícita o comparaciones en las que la marca aparece como una de varias alternativas.

Paso 2. Crear una guía de evaluación

Una guía debe explicar cómo aplicar los criterios a casos habituales y ambiguos.

También debe establecer qué hacer cuando la información es insuficiente, una respuesta contiene varias marcas o una cita respalda solo una parte del contenido.

Paso 3. Realizar una prueba piloto

Antes de clasificar un conjunto completo, varios evaluadores pueden revisar una muestra compartida.

La prueba permite identificar definiciones poco claras y comprobar si las instrucciones producen resultados suficientemente consistentes.

Paso 4. Analizar los desacuerdos

No basta con calcular una puntuación global. Es útil revisar los ejemplos en los que los evaluadores discrepan y determinar si el problema procede de una definición ambigua, de información insuficiente o de una aplicación inconsistente de las reglas.

Paso 5. Revisar las instrucciones

Cuando se detectan problemas recurrentes, las definiciones y los ejemplos pueden mejorarse.

Los cambios deben documentarse. Si se modifican las categorías después de evaluar parte de los datos, conviene determinar si es necesario revisar las clasificaciones anteriores para mantener la coherencia.

Paso 6. Evaluar de nuevo

Después de revisar las instrucciones, los evaluadores pueden clasificar una nueva muestra compartida.

La concordancia debe medirse de nuevo para comprobar si la revisión mejora la consistencia. Es preferible utilizar ejemplos nuevos cuando se quiere evaluar si la mejora se generaliza más allá de los casos utilizados para perfeccionar las reglas.

Concordancia entre personas y sistemas automatizados

La concordancia también puede evaluarse entre un sistema automatizado y las clasificaciones realizadas por personas.

Por ejemplo, un clasificador automático puede identificar menciones de marca o detectar recomendaciones. Sus resultados pueden compararse con un conjunto de referencia revisado según criterios documentados.

Sin embargo, las etiquetas humanas no deben tratarse automáticamente como una verdad absoluta. Las personas también pueden discrepar o aplicar reglas ambiguas.

Para que la comparación sea útil, el conjunto de referencia debe estar bien definido, las discrepancias deben analizarse y el rendimiento del sistema debe evaluarse con datos apropiados para el uso previsto.

Además, concordancia y exactitud no son conceptos idénticos. Dos evaluadores pueden coincidir de forma consistente y compartir el mismo error conceptual. La concordancia debe complementarse con una evaluación de la calidad de las definiciones y de la validez de la medición.

Limitaciones de las medidas de concordancia

Las medidas de concordancia ofrecen información útil, pero presentan limitaciones.

• Dependencia de las categorías: las medidas funcionan de forma diferente según las etiquetas y las escalas utilizadas.
• Distribución desigual: cuando una categoría es muy frecuente o muy poco frecuente, algunas medidas pueden producir resultados que requieren una interpretación cuidadosa.
• Ambigüedad conceptual: una concordancia elevada no demuestra que las categorías representen adecuadamente el fenómeno.
• Diferencias entre evaluadores: la experiencia, las instrucciones y el contexto pueden influir en las clasificaciones.
• Pérdida de detalle: una única puntuación global puede ocultar desacuerdos importantes en categorías específicas.
• Dependencia de la muestra: los resultados de concordancia obtenidos en un conjunto de respuestas no necesariamente se mantienen en otros idiomas, plataformas o tipos de consulta.

Por ello, conviene presentar la medida utilizada, describir el procedimiento y, cuando sea posible, incluir información sobre las categorías y los desacuerdos más relevantes.

Buenas prácticas para documentar la concordancia

Una evaluación transparente debería especificar:

• El número de evaluadores y sus funciones.
• Las categorías y las instrucciones utilizadas.
• El número y el tipo de observaciones revisadas.
• Si los evaluadores clasificaron las respuestas de forma independiente.
• La medida de concordancia seleccionada y la razón de su elección.
• Los resultados globales y, cuando sea pertinente, los resultados por categoría.
• El procedimiento seguido para resolver discrepancias.
• Los cambios realizados en las definiciones o las instrucciones.
• Las limitaciones que afectan a la interpretación de los resultados.

La resolución de desacuerdos puede ayudar a crear un conjunto final de etiquetas, pero no debe sustituir al registro de la concordancia inicial si el objetivo es evaluar la consistencia del proceso.

Términos relacionados

• Validez de la medición de visibilidad en IA (AI Visibility Measurement Validity): grado en que una métrica representa adecuadamente el concepto que pretende medir.
• Error de medición en visibilidad en IA (AI Visibility Measurement Error): desviaciones introducidas durante la recopilación, clasificación o cálculo.
• Incertidumbre de medición en visibilidad en IA (AI Visibility Measurement Uncertainty): dudas asociadas a los resultados por las limitaciones de los datos o del método.
• Calibración de la medición de visibilidad en IA (AI Visibility Measurement Calibration): comparación con una referencia y, cuando corresponda, ajuste de un procedimiento de medición.
• Calidad de los datos en la medición de visibilidad en IA (AI Visibility Data Quality): adecuación de los datos para el análisis previsto.
• Tasa de recomendación de marca en IA (AI Brand Recommendation Rate): proporción de unidades elegibles que cumplen los criterios definidos para identificar una recomendación.
• Calidad de las citas (Citation Quality): evaluación de las características y la utilidad de las citas según criterios establecidos.

Preguntas frecuentes

¿Qué es la concordancia entre evaluadores?

Es el grado de coincidencia entre las clasificaciones o valoraciones realizadas por dos o más evaluadores sobre las mismas observaciones.

¿Una concordancia elevada demuestra que una medición es correcta?

No. Indica que las clasificaciones son consistentes según los criterios aplicados, pero no demuestra por sí sola que las categorías estén bien definidas o representen adecuadamente el fenómeno que se desea medir.

¿Qué medida de concordancia conviene utilizar?

Depende del número de evaluadores, del tipo de categorías, de la escala y de la estructura de los datos. El porcentaje de acuerdo observado, el kappa de Cohen, el kappa de Fleiss y el alfa de Krippendorff tienen usos y supuestos diferentes.

¿Cómo se puede mejorar la concordancia?

Mediante definiciones operativas claras, guías de evaluación, ejemplos representativos, pruebas piloto y análisis de los desacuerdos. Después de revisar las instrucciones, conviene comprobar si la consistencia mejora en una nueva muestra.

¿Se puede medir la concordancia entre una persona y una herramienta de IA?

Sí. Se pueden comparar las clasificaciones de ambos sobre las mismas observaciones y con criterios comunes. La evaluación debe considerar también las limitaciones del conjunto de referencia y no asumir que todas las clasificaciones humanas son necesariamente correctas.

Conclusión

La concordancia entre evaluadores es una herramienta importante para comprobar la consistencia con la que se interpretan y clasifican las respuestas generadas por IA. Resulta especialmente relevante cuando las métricas dependen de distinguir entre menciones, citas, recomendaciones y otras categorías que requieren criterios explícitos.

Medir la concordancia permite detectar ambigüedades, mejorar las instrucciones y evaluar la consistencia de los procesos automatizados y humanos. No obstante, debe complementarse con la evaluación de la validez, la calidad de los datos y las limitaciones del método.

Una metodología transparente no solo informa de la métrica obtenida, sino que también explica cómo se clasificaron las observaciones y hasta qué punto esas decisiones pueden aplicarse de forma consistente.