Paradoja de Simpson

Paradoja de Simpson para datos continuos: una tendencia positiva aparece para dos grupos separados (azul y rojo) y una tendencia negativa (negro, punteado) cuando los datos se combinan.

En probabilidad y estadística, la paradoja de Simpson o efecto Yule-Simpson es una paradoja en la cual una tendencia que aparece en varios grupos de datos desaparece cuando estos grupos se combinan y en su lugar aparece la tendencia contraria para los datos agregados. Esta situación se presenta con frecuencia en las ciencias sociales, en los experimentos de Andre y en la estadística médica,[2] La paradoja desaparece cuando se analizan las relaciones causales presentes.

Aunque relativamente desconocida para la mayoría de las personas, la paradoja de Simpson es bien conocida para los estadísticos y se describe en muchos libros introductorios de estadística.[6]

El fenómeno fue descrito por vez primera por Edward H. Simpson en un artículo técnico de 1951,[10]

Dado que Edward Simpson no descubrió realmente esta paradoja estadística (siendo un caso de la ley de eponimia de Stigler), algunos escritores prefieren hacer uso de los términos impersonales paradoja de la reversión y paradoja de la amalgamación, o en ocasiones el efecto Yule-Simpson.[11]

Ejemplos

Tratamiento de cálculos del riñón

Este es un ejemplo real tomado de un estudio médico.[13]

La siguiente tabla muestra los porcentajes de éxito y la cantidad de tratamientos que involucran cálculos grandes y pequeños. Aquí se denota por Tratamiento A a los procedimientos abiertos y por Tratamiento B a la nefrolitotomía percutánea:

Tratamiento A Tratamiento B
Cálculos pequeños Grupo 1
93% (81/87)
Grupo 2
87% (234/270)
Cálculos grandes Grupo 3
73% (192/263)
Grupo 4
69% (55/80)
Global 78% (273/350) 83% (289/350)

La conclusión paradójica es que el tratamiento A es más efectivo cuando se usa tanto en cálculos pequeños como en cálculos grandes, aunque el tratamiento B es más efectivo cuando se consideran ambos tamaños al mismo tiempo. En este caso, la variable "escondida" (o factor de confusión) del tamaño del cálculo no se conocía que fuera importante de antemano antes que se incluyeran sus efectos.

El tratamiento que se considera mejor se determina mediante una desigualdad entre dos proporciones (éxitos/total). La reversión de la desigualdad entre las proporciones crea la paradoja de Simpson, la cual sucede cuando los siguientes dos efectos se dan de forma simultánea.

  1. Los tamaños de ambos grupos, combinados cuando se ignora la variable oculta, son muy distintos. Los doctores tienden a dar a los casos severos (cálculos grandes) el mejor tratamiento (A) y a los casos más leves el tratamiento B. Por tanto, los totales quedan dominados por los grupos 3 y 2 y no por los grupos 1 y 4 que son mucho más pequeños.
  2. La variable escondida tiene un mayor efecto en las proporciones, puesto que en el porcentaje de éxito influye en mayor medida la severidad del caso antes que la elección del tratamiento. Por tanto, el grupo de pacientes con cálculos grandes usando el tratamiento A (grupo 3) tiene un resultado inferior al grupo con cálculos menores aún cuando en este último grupo se usara el tratamiento inferior B (grupo 2).

Tratamiento médico utilizando números extremos

Este ejemplo ficticio sigue en temática al del caso anterior, pero con números exageradamente dicotomizados con objeto de facilitar la comprensión del fenómeno.

La siguiente tabla muestra para este caso ficticio, igual que en el ejemplo real, los porcentajes de éxito y la cantidad de tratamientos que involucran al problema tipo "1" y al problema tipo "2":

Tratamiento A Tratamiento B
Problema tipo "1" Grupo 1
100% (1/1)
Grupo 2
98.9% (98/99)
Problema tipo "2" Grupo 3
1% (1/99)
Grupo 4
0% (0/1)
Ambos 2% (2/100) 98% (98/100)

En este caso está claro que el estudio no tiene validez por lo extremo de las muestras, pero la paradoja subyacente se conserva: el tratamiento A es mejor en ambos tipos de problema, pero el tratamiento B es mejor en el conjunto. Se hace asimismo más evidente dónde está el riesgo, al haberse explotado en el ejemplo: el hecho de que las muestras estadísticas sean tan dicotómicas entre tipos de problema, provoca la aparente contradicción.

Discriminación por género en Berkeley

Una de los ejemplos mejor conocidos de la paradoja de Simpson ocurrió cuando se presentó una demanda contra la Universidad de California, Berkeley por discriminación contra las mujeres que habían solicitado su ingreso al posgrado. Los resultados de las admisiones para el verano de 1973 mostraban que los hombres solicitantes tenían mayor posibilidad de ser elegidos que las mujeres y que la diferencia era tal que no era posible que fuera debida al azar.[15]

Solicitudes Admisiones
Hombres 8442 44%
Mujeres 4321 35%

Sin embargo, al examinar los departamentos de forma individual, se encontró que en ningún departamento existía un sesgo contra las mujeres. De hecho, la mayoría de los departamentos había presentado un "pequeño pero estadísticamente significativo sesgo en favor de las mujeres"[15] Los datos de los seis mayores departamentos se listan debajo.

Departamento Hombres Mujeres
Solicitudes Admisiones Solicitudes Admisiones
A 825 62% 108 82%
B 560 63% 25 68%
C 325 37% 593 34%
D 417 33% 375 35%
E 191 28% 393 24%
F 272 6% 341 7%

El artículo de investigación de Bickel, et al.[2]

Other Languages