¿Qué tipo de sistema de votación sería el más adecuado para determinar de manera justa al ganador en una competencia creativa en la que las propuestas se envían una vez al mes? ¿Deben los miembros del jurado ser descalificados?

Answer 1

Hay varios aspectos interesantes a esta pregunta.

En primer lugar, está el problema, resaltado en los detalles de la pregunta, de si usar un sistema clasificado o uno calificado. En general, si desea hacer el mejor juicio posible, desea utilizar un sistema calificado (como la idea 1-10 que tenía). Un sistema de clasificación recopila menos información de cada juez, por lo que hay menos base para cualquier decisión final. Además, si algunos jueces actúan estratégicamente, los sistemas clasificados serán peores; por ejemplo, para votar en contra de una opción, un juez tendría que encontrar otras opciones para poner por encima, de modo que una clasificación estratégica pueda contaminar a todas las demás.

Sin embargo, como usted señala, eso deja el problema de corregir el comportamiento diferente de cada juez. En términos estadísticos, le gustaría que todos los jueces otorguen la misma distribución de puntajes a lo largo del tiempo.

Básicamente, hay dos formas de hacerlo: puede establecer reglas para restringir el comportamiento de los jueces (por ejemplo: dar 0-4 puntos a cada entrada, y debe usar cada puntaje al menos una vez por cada 6 entradas), o puede normalice los puntajes después de que se den (por ejemplo, corrija la media y la varianza: si un juez da puntajes [matemáticos] n [/ matemáticos] [matemáticos] s_ {i} [/ matemático], calcule los puntajes “centralizados” como [matemáticas] c_i = s_ {ij} – promedio (s_i) [/ matemáticas], luego las puntuaciones “totalmente normalizadas” como [matemáticas] n_i = [/ matemáticas] [matemáticas] \ frac {c_i} {\ sqrt {\ Sigma (c_i ^ 2) / (n-1)}} [/ math]).

Si no eres alérgico a las ecuaciones, te recomiendo la última. De cualquier manera, una vez que tenga todos los puntajes diferentes para una entrada, simplemente toma el promedio; eso es esencialmente justo para las entradas que obtienen menos jueces.

Todavía queda un problema pendiente. El hecho es que, dado que el objetivo de este proceso es elegir un solo ganador, a usted le importan más las calificaciones altas que las bajas. Los procedimientos anteriores no tienen esto en cuenta. Por lo tanto, recomendaría disuadir a los jueces de hacer distinciones finas entre las entradas más débiles. Por ejemplo, podría decir: “Otorgue entre un tercio y la mitad de las entradas 0 puntos, luego asigne al resto de ellos 1-5 puntos cada uno”. Esto aseguraría que la parte inferior, en su mayor parte irrelevante, de la distribución de puntajes sería idéntica entre los jueces. Las matemáticas anteriores estarían haciendo la mayor parte de su “trabajo” en la parte superior de la distribución, donde es más importante. (Si realmente quisiera llevar esto a la conclusión lógica, no incluiría los puntajes 0 al calcular el promedio, la suma de cuadrados o n, en la ecuación anterior).

¹ Digo “esencialmente” justo porque no hay forma de ser 100% justo a menos que tenga un número ilimitado de puntajes de cada juez, para que pueda conocer la distribución exacta que dan. En la jerga estadística, esto tiene que ver con el hecho de que no hay un estimador imparcial de la desviación estándar de una distribución basada en una muestra finita de esa distribución. Pero este procedimiento es lo suficientemente justo.