심슨의 역설은 부분 집단마다 같은 방향으로 나타나던 경향이 그 집단들을 합치면 반대로 뒤집히는 현상이다. 1986년 신장결석 치료 비교에서 개복 수술은 작은 돌과 큰 돌 두 층 모두에서 경피 제거술보다 성공률이 높았다. 그런데 두 층을 합친 전체 성공률에서는 개복이 졌다.
두 수술 성적표, 그런데 전체 칸만 다르다
신장에 돌이 생겼고, 그것을 꺼내는 방법이 두 가지다. 어느 쪽을 받을지 정하려고 성적표를 펼쳤다고 하자. 1986년 영국의 한 연구팀이 두 방법으로 각각 350명씩을 치료한 결과를 정리해 실은 표가 그 성적표다.
배를 열어 돌을 직접 꺼내는 개복 수술이 오래된 방식이고, 등 쪽으로 관을 넣어 돌을 부순 뒤 빼내는 경피 제거술이 그다음에 자리를 잡았다. 성공은 세 달 뒤 돌이 없어졌거나 2 mm 미만으로 줄어든 경우를 말한다. 돌 크기로 환자를 두 층으로 나눠 놓은 성적표는 이렇게 생겼다. 지름 2 cm가 경계다.
| 작은 돌 (2 cm 미만) | 큰 돌 (2 cm 이상) | 전체 | |
|---|---|---|---|
| 개복 수술 | 93% (81/87) | 73% (192/263) | 78% (273/350) |
| 경피 제거술 | 87% (234/270) | 69% (55/80) | 83% (289/350) |
작은 돌 열에서도 큰 돌 열에서도 개복이 이기는데, 두 열을 합친 전체 칸에서는 경피가 이긴다. 여섯 칸 모두 자기 분수를 그대로 나눈 값이라, 표를 아무리 들여다봐도 계산 실수는 없다. 그러면 어느 쪽 수술을 받겠는가?
이런 뒤집힘에는 이름이 있다. 심슨의 역설(Simpson’s paradox)이라고 부르고, 이름은 1951년에 논문을 쓴 심슨(E. H. Simpson)에게서 왔다. 다만 이름을 붙인다고 설명이 되는 것은 아니다. 설명은 맨 오른쪽 전체 칸이 어떻게 만들어지는지에 들어 있다.
전체 성공률은 가중평균이다
그 칸은 두 층의 성공률을 더해 둘로 나눈 값이 아니다. 층마다 환자 수가 다르니 사람 수에 비례해 무게를 실어 섞은 값이고, 이렇게 섞은 평균을 가중평균이라고 한다. 두 층의 성공률을 $p_1$·$p_2$라 하고 각 층에 속한 환자의 비중을 $w_1$·$w_2$라 하면, 전체 성공률 $P$는 이 둘을 곱해 더한 값이다.
식 1에서 손댈 수 있는 자리는 둘이다. 층 성공률 $p$와 층 비중 $w$. 치료의 실력은 앞쪽 자리에 적히고, 어떤 환자를 얼마나 맡았는지는 뒤쪽 자리에 적힌다. 우리가 성적표에서 읽고 싶은 것은 앞쪽인데, 전체 칸에는 둘이 곱해진 채로 들어 있다.
두 치료의 뒤쪽 자리가 딴판이다. 개복은 350명 가운데 263명, 그러니까 75%가 큰 돌 환자였다. 경피는 350명 중 80명, 23%뿐이었다. 그리고 큰 돌은 두 치료 모두에서 성공률이 낮은 층이다 — 개복 73%, 경피 69%. 성공률이 낮은 층을 세 배 넘게 떠안은 쪽의 평균이 그 층 쪽으로 끌려 내려간다.
숫자로 따라가면 이렇다. 개복의 전체 성공률 78%는 93%와 73% 사이의 값인데, 무게가 73% 쪽에 실려 있어 아래쪽에 바짝 붙는다. 경피의 전체 성공률 83%는 87%와 69% 사이에서 무게가 87% 쪽에 실린 결과다. 두 치료가 각자 다른 환자를 맡았으니 각자 다른 곳으로 끌려간 것이다.
그림 1가 표를 한 줄씩 옮겨 놓은 그림이다. 뒤집힌 것은 치료 실력이 아니라 환자 배분이다. 원문의 저자들도 같은 말을 한다.
The main reason why the success rate reversed is because the probability of having open surgery or percutaneous nephrolithotomy varied according to the diameter of the stones.
성공률이 뒤집힌 주된 이유는 개복 수술과 경피 제거술을 받을 확률이 돌의 지름에 따라 달랐기 때문이다. — Julious·Mullee (1994)
구성만 바꾸면 순위가 돌아온다
앞 절의 진단이 맞다면 층 성공률은 그대로 두고 환자 구성만 손봤을 때 순위가 돌아와야 하고, 실제로 돌아온다. 두 치료에 같은 구성을 씌워 보자. 700명 전체의 구성이 작은 돌 357명·큰 돌 343명이니, 그 비율을 두 치료에 똑같이 적용하고 각자의 층 성공률로 다시 섞는다. 개복 83.3%, 경피 77.9%로 층별 순위가 그대로 살아난다. 구성을 서로 맞바꿔도 마찬가지다. 개복이 경피의 환자 구성(270명 대 80명)을 맡았다면 88.5%가 되고, 경피가 개복의 구성(87명 대 263명)을 맡았다면 73.2%로 내려앉는다.
뒤집힘이 시작되는 지점도 짚어 볼 수 있다. 개복의 층 성공률 93.1%와 73.0%를 고정한 채 큰 돌 비율 $f$만 0에서 1까지 밀면 전체 성공률이 93.1%에서 73.0%까지 직선으로 내려간다. 이 선이 경피의 전체 성공률과 만나는 곳이 경계다. 앞 표의 83%는 289/350을 반올림한 값이라, 계산에는 반올림 전 값인 82.57%를 그대로 넣는다. 그러면 경계가 $f = 0.524$로 나온다. 개복이 큰 돌 환자를 절반보다 조금 더 맡는 순간부터 전체 칸이 뒤집힌다는 뜻이고, 실제 값은 0.751이었다.
그림 2는 두 치료의 큰 돌 비율을 각각 0에서 1까지 41단계로 훑어 1,681칸을 채운 격자다. 개복이 전체 칸에서 이기는 자리가 1,236칸, 73.5%다. 두 치료의 구성이 같은 대각선 41칸은 전부 개복 승이다. 실제 관측점 (0.751, 0.229)은 개복이 지는 영역 안쪽에 들어가 있다. 뒤집힘은 어느 치료가 나은지가 아니라 두 구성이 얼마나 벌어졌는지에 달려 있다.
다른 자료에서도 뒤집히고, 뒤집히지 않는 자료도 있다
신장결석 표만의 사정이 아니다. Julious와 Mullee는 같은 글에서 Hand가 1979년에 보고한 정신과 입원 자료를 함께 든다. 입원 환자 중 남성 비율이 1970년과 1975년 사이에 어떻게 변했는지를 두 연령층으로 나눠 본 자료다.
| 65세 미만 | 65세 이상 | 전체 | 65세 이상 비중 | |
|---|---|---|---|---|
| 1970년 | 59.4% (255/429) | 28.4% (88/310) | 46.4% (343/739) | 41.9% |
| 1975년 | 60.5% (156/258) | 31.9% (82/257) | 46.2% (238/515) | 49.9% |
두 연령층 모두 남성 비율이 올랐다. 65세 미만은 1.0%포인트, 65세 이상은 3.5%포인트. 그런데 전체는 0.2%포인트 내려갔다. 원인은 맨 오른쪽 열에 있다. 남성 비율이 낮은 65세 이상 층의 비중이 41.9%에서 49.9%로 8.0%포인트 커졌다.
그림 3가 그 변화를 면적으로 보여준다. 막대의 폭이 층의 비중, 높이가 그 층의 남성 비율이다. 두 막대의 높이가 모두 올라갔는데도 낮은 막대의 폭이 넓어져 전체 평균이 내려간다.
그렇다고 층으로 쪼개기만 하면 늘 뒤집히는 것은 아니다. 같은 1986년 연구에는 세 번째 치료인 체외충격파쇄석술(ESWL)도 실려 있다. 작은 돌 98%(200/204), 큰 돌 81%(101/124), 전체 92%(301/328)로 두 층에서도 전체에서도 1위다. 이 치료의 큰 돌 비중은 37.8%로 개복(75.1%)과 경피(22.9%) 사이에 있어서, 구성이 만드는 끌림이 층별 성공률 격차를 넘지 못한다.
이 표를 "경피가 더 나은 치료"로 읽으면 안 된다. 환자를 무작위로 배정한 시험이 아니라 병원 기록을 모아 본 관찰 연구이고, 개복은 1972–80년, 경피는 1980–85년에 이뤄진 시술이라 시기까지 다르다. 이 글이 표에서 읽어 내는 것은 두 치료의 우열이 아니라 전체 칸이 만들어지는 방식이다.
전체 수치를 받으면 먼저 물을 것
전체 수치 하나를 받았을 때 먼저 물을 것은 두 집단의 구성이 같은가다. 같으면 전체 칸을 그대로 믿어도 된다. 앞의 격자에서 구성이 같은 대각선 41칸이 전부 층별 순위를 지킨 것이 그 뜻이다. 다르면 층별로 나눠 봐야 하고, 여기서 두 번째 물음이 따라온다. 무엇으로 나눌 것인가.
산수는 이 물음에 답하지 않는다. 나눌 변수가 치료보다 먼저 정해져 있었는지가 답을 정한다. 돌 크기는 환자가 병원에 올 때 이미 정해져 있었고, 그 크기가 어느 치료를 받을지와 성공 확률 양쪽에 영향을 줬다. 그래서 돌 크기로 나누는 것이 옳다. 반대로 시술 뒤에야 값이 정해지는 변수로 나누면 층별로 나눈 표가 오히려 사실을 가린다. 관찰만으로 모은 자료에서는 이 배분 차이를 지울 방법이 없어서, 원문 저자들의 처방은 짧다.
치료 선택과 치료 결과 양쪽에 영향을 주면서 치료보다 먼저 정해져 있는 변수를 교란변수(confounder)라고 부른다. 어떤 변수가 여기에 해당하는지는 숫자만 봐서는 가려지지 않고, 그 분야의 지식이 정한다. 이 판정을 인과 그래프로 형식화하는 방법은 이 글의 범위 밖이다.
Randomised trials are therefore necessary to demonstrate any treatment effect. 따라서 어떤 치료 효과든 보이려면 무작위 배정 시험이 필요하다.
S. A. Julious, M. A. Mullee, “Confounding and Simpson’s paradox”, BMJ 309 (1994)병원 표만의 이야기도 아니다. 예컨대 A/B 테스트의 전체 전환율이 올랐는데 신규 방문자와 재방문자 각각에서는 떨어져 있을 수 있고, 두 팀의 성과를 하나로 합쳐 비교할 때도 같은 일이 생긴다. 가장 널리 알려진 예는 1973년 버클리 대학원 입학 자료다.
표의 전체 칸은 실력만 적는 자리가 아니다. 누가 어떤 환자를 맡았는지가 거기 같이 적힌다. 그 둘을 갈라 읽는 데 필요한 것은 곱셈과 덧셈뿐이고, 연습 문제로는 신장결석 700명의 표 하나면 된다.
묶는 방식이 답을 바꾸는 이야기는 이 블로그의 친구 역설 편과 뿌리가 같다. 거기서는 큰 쪽을 여러 번 세는 것이 평균을 밀어 올렸고, 여기서는 묶는 단위를 바꾸는 것이 승패를 뒤집는다.
더 읽기
- C. R. Charig, D. R. Webb, S. R. Payne, J. E. Wickham, "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy", Br Med J 292(6524), 1986 — 이 글의 표 I·II 원본. https://pmc.ncbi.nlm.nih.gov/articles/PMC1339981/
- S. A. Julious, M. A. Mullee, "Confounding and Simpson’s paradox", BMJ 309(6967), 1994 — 위 표를 심슨의 역설 사례로 해설하고 Hand 1979의 정신과 자료를 함께 든 짧은 글. https://pmc.ncbi.nlm.nih.gov/articles/PMC2541623/
- P. J. Bickel, E. A. Hammel, J. W. O’Connell, "Sex Bias in Graduate Admissions: Data from Berkeley", Science 187, 1975, 398–404쪽 — 가장 널리 인용되는 심슨의 역설 사례. https://doi.org/10.1126/science.187.4175.398