상호협력보다 더 뜯어내는 전략 — 죄수의 딜레마의 제로-결정자 갈취

동업 이익을 나눌 때 비율을 못 박는 사람

동업으로 낸 이익을 나눌 때, 한쪽이 상대가 아무리 애를 써도 늘 자기 몫이 더 많게 비율을 고정해 둔다고 해 보자. 상식적으로는 상대가 어떻게 나오느냐에 따라 유리한 쪽도 바뀌어야 할 텐데, 반복되는 죄수의 딜레마에는 정말로 그 비율을 한쪽이 못 박아 두는 전략이 있다.

말이 안 되는 소리처럼 들린다. 협상은 두 사람이 밀고 당기는 일이고, 결과는 양쪽 선택에 함께 달려 있어야 자연스럽다. 그런데 2012년 프레스와 다이슨은 반복 죄수의 딜레마에서 한 사람이 자기 전략만으로 두 사람의 장기 점수 사이 관계를 못 박을 수 있음을 증명했다. 상대가 무엇을 하든 그 관계식은 깨지지 않는다.

이 글은 그 전략이 왜 실재하는지, 그리고 어디까지 통하고 어디서 무너지는지를 차례로 따라간다. 먼저 게임의 규칙부터 정리하자.

반복 죄수의 딜레마와 메모리-1 전략

죄수의 딜레마는 한 번만 하면 시시하다. 두 사람이 각자 협력(C)이나 배신(D)을 고르는데, 배신이 늘 유리하니 둘 다 배신하고 끝난다. 재미는 같은 게임을 계속 반복할 때 생긴다. 이번에 배신하면 다음번에 보복당할 수 있으니, 눈앞의 이득과 앞으로의 관계를 저울질하게 되는 것이다.

보수는 네 경우로 갈린다. 둘 다 협력하면 각자 3점, 둘 다 배신하면 각자 1점을 받는다. 한쪽만 배신하면 배신한 쪽이 5점, 협력한 쪽은 0점이다. 배신은 당장은 늘 이득이지만, 둘 다 그러면 1점씩밖에 못 받아 상호협력의 3점보다 나빠진다. 이 어긋남이 딜레마의 핵심이다.

그러면 이걸 어떻게 적어 둘지가 문제다. 가장 단순하면서도 놀랍도록 강력한 방식이 메모리-1 전략이다. 내 다음 선택을 직전 한 라운드의 결과에만 의존하게 하는 것이다. 직전 라운드는 네 가지뿐이다 — 둘 다 협력(CC), 나만 협력(CD), 나만 배신(DC), 둘 다 배신(DD). 각 경우에 내가 다음 라운드에 협력할 확률을 하나씩 정하면, 전략 전체를 확률 네 개짜리 벡터 $p = (p_1, p_2, p_3, p_4)$ 하나로 완전히 나타낼 수 있다.

말하자면 메모리-1은 단순하지만 결코 좁지 않다. 팃포탯 같은 유명한 전략을 특수한 한 점으로 품으면서, 그 사이의 온갖 확률적 절충안을 전부 담는다.

제로-결정자 조건의 유도

두 사람이 각자 메모리-1 전략을 쓰면, 게임은 네 상태(CC·CD·DC·DD) 사이를 오가는 마르코프 연쇄가 된다. 직전 상태가 정해지면 다음 상태의 확률이 두 사람의 협력확률로 결정되기 때문이다. 이 연쇄가 오래 돌면 각 상태에 머무는 장기 비율이 하나로 수렴하는데, 이것을 정상분포 $v = (v_1, v_2, v_3, v_4)$라 부른다.

장기 평균 점수는 이 정상분포에서 곧장 나온다. 각 상태에서 내가 받는 보수를 벡터 $\mathbf{S}_X$, 상대가 받는 보수를 $\mathbf{S}_Y$로 적으면, 두 사람의 평균 점수는 정상분포와의 내적이 된다.

식 1는 평범해 보인다. 두 점수 모두 $v$에 실려 있고, 그 $v$는 두 사람 전략에 함께 달려 있다. 그러니 한쪽이 점수 관계를 혼자 정한다는 건 여전히 불가능해 보인다. 프레스와 다이슨의 트릭은 바로 이 지점을 파고든다.

핵심은 정상분포 $v$가 X의 전략에서 만든 특정 벡터와 항상 직교한다는 사실이다. X의 협력확률을 살짝 비튼 틸데-벡터 $\tilde{p} = (p_1-1,\ p_2-1,\ p_3,\ p_4)$를 만들어 보자. 정상분포는 언제나 이것과 수직이다.

식 2에서 놀라운 대목은 이 관계가 X의 확률만으로 정해진다는 것이다.

그렇다면 X는 이 자유를 이렇게 쓴다. 자기 틸데-벡터를 두 보수 벡터의 선형결합으로 맞춰버리면 된다. 곧 $\tilde{p} = \alpha,\mathbf{S}_X + \beta,\mathbf{S}_Y + \gamma,\mathbf{1}$이 되도록 네 확률을 고르는 것이다. 이 등식의 양변에 정상분포 $v$를 내적하면, 왼쪽은 식 2에 따라 0이고 오른쪽은 식 1에 따라 $\alpha s_X + \beta s_Y + \gamma$가 된다.

식 3가 제로-결정자 조건이다. X는 자기 협력확률만 잘 고르면 두 사람의 장기 점수 사이에 선형관계를 강제로 걸 수 있고, 그 관계에는 상대의 전략이 조금도 들어가지 않는다. 상대가 무슨 수를 두든 결과는 이 직선 위에 놓인다.

갈취 직선의 기하와 χ 극한

제로-결정자 조건은 계수 $\alpha, \beta, \gamma$를 어떻게 고르느냐에 따라 여러 얼굴을 가진다. 그중 X가 자기 몫을 극대화하도록 고른 것이 갈취형이다. 계수를 상호배신 보수 $P$를 기준점으로 삼아 정리하면, 조건은 다음 꼴로 압축된다.

식 4을 기하로 읽으면 뜻이 선명해진다. 이 직선은 점 $(s_Y, s_X) = (P, P) = (1, 1)$을 지나고 기울기가 $\chi$다. 두 사람의 점수를 각각 상호배신 수준 $P$에서 잰 ‘잉여’로 보면, X의 잉여가 늘 상대 잉여의 $\chi$배라는 뜻이다. $\chi = 3$이면 X는 상대보다 세 배의 잉여를 가져간다.

그림 1에서 점 하나하나는 서로 다른 상대 전략에 대응한다. 상대가 협력을 늘리면 점은 직선을 따라 오른쪽 위로 올라가고, 배신하면 왼쪽 아래 $(1,1)$로 미끄러진다. 그러나 어느 경우에도 직선 자체는 그대로다. 상대가 고를 수 있는 건 직선 위 어디에 앉을지뿐, 직선의 기울기는 아니다.

그럼 $\chi$를 키우면 어떻게 될까. 갈취를 세게 걸수록 상대 점수는 배신 보수 쪽으로 짓눌리고, X의 점수는 한계선에 바싹 다가간다. $\chi \to \infty$ 극한에서 상대 점수 $s_Y$는 $P=1$로 수렴하고, X의 점수 $s_X$는 보수 영역의 위쪽 경계가 허락하는 최댓값, 곧 $13/3 \approx 4.33$으로 수렴한다.

그림 2의 두 점근값이 이 전략의 잔인함을 요약한다. 아무리 갈취를 세게 걸어도 X가 뽑아낼 수 있는 최대는 상호협력의 3점을 살짝 넘는 약 4.33점이고, 그 대가로 상대는 아무것도 못 얻는 상호배신 수준까지 밀려난다. 이 직선이 정말 상대와 무관하게 버티는지는 직접 돌려 보면 가장 확실하다.

갈취는 언제 통하고 언제 무너지나

이제 위 절차를 코드로 돌려 보자. 갈취 전략 하나를 고정한 채 상대만 바꿔가며, 잉여 비율이 실제로 $\chi$에 고정되는지, 그리고 어디서 그 우위가 사라지는지를 본다.

import numpy as np

R, T, S, P = 3, 5, 0, 1                    # 상호협력·배신유혹·협력자손해·상호배신
S_X = np.array([R, S, T, P], float)
S_Y = np.array([R, T, S, P], float)

def scores(p, q):                          # 4상태 정상분포로 장기 평균 점수 계산
    p, q = np.array(p, float), np.array(q, float)
    M = np.empty((4, 4))
    for i in range(4):
        M[i] = [p[i]*q[i], p[i]*(1-q[i]), (1-p[i])*q[i], (1-p[i])*(1-q[i])]
    A = np.vstack([M.T - np.eye(4), np.ones(4)])
    v = np.linalg.lstsq(A, np.array([0, 0, 0, 0, 1.0]), rcond=None)[0]
    return v @ S_X, v @ S_Y

extort = [0.692, 0.0, 0.538, 0.0]          # 갈취형 ZD 전략 (χ≈3)
for name, q in {'always-C': [1,1,1,1], 'always-D': [0,0,0,0], 'tit-for-tat': [1,1,0,0]}.items():
    sX, sY = scores(extort, q)
    mark = f'{(sX-P)/(sY-P):.2f}' if abs(sY-P) > 1e-6 else 'undefined (both at P)'
    print(f'{name:12s}  s_X={sX:5.2f}  s_Y={sY:5.2f}  ratio={mark}')

always-C      s_X= 3.73  s_Y= 1.91  ratio=3.01
always-D      s_X= 1.00  s_Y= 1.00  ratio=undefined (both at P)
tit-for-tat   s_X= 1.00  s_Y= 1.00  ratio=undefined (both at P)

늘 협력하는 상대에게 갈취자는 3.73점을 챙기고 상대는 1.91점을 얻는다. 잉여 비율은 3.01, 예측한 $\chi$ 그대로다. 상대가 자기 점수를 순진하게 올리려 협력에 몸을 실을수록, 갈취자는 그 잉여의 세 배를 가져간다. 여기까지가 갈취가 통하는 세계다.

그런데 마지막 두 줄이 전혀 다른 이야기를 한다. 상대가 늘 배신하거나 팃포탯으로 맞배신하면, 두 점수가 함께 $(1,1)$로 내려앉고 잉여 비율은 아예 정의되지 않는다. 나눌 잉여가 0이 되어버린 것이다. 갈취 직선은 여전히 성립하지만, 두 사람 다 그 직선의 맨 아래 꼭짓점에 처박힌다. 갈취자도 상호배신의 수렁에 함께 빠진다.

그렇다면 실제 사람은 어느 쪽으로 움직일까. 2016년 왕 등의 인간 행동실험이 바로 이 질문을 겨눴다.

늘 이기는 전략이 협력 게임 안에 실재한다는 것부터가 반직관적이다. 하지만 그것이 만능이 아닌 이유도 똑같이 선명하다. 갈취가 뜯어낼 수 있느냐 없느냐는 갈취자의 영리함이 아니라, 상대가 어떻게 반응하느냐라는 조건 하나에 전부 달려 있다.

더 읽기

• Press, W. H. & Dyson, F. J. (2012). "Iterated Prisoner’s Dilemma contains strategies that dominate any evolutionary opponent." PNAS 109(26).
• Wang, Z., Zhou, Y., Lien, J. W., Zheng, J. & Xu, B. (2016). "Extortion can outperform generosity in the iterated prisoner’s dilemma." Nature Communications 7:11125.
• Shulman, M. (2012). "Zero-determinant strategies in the iterated prisoner’s dilemma." The n-Category Café.