Posts
대담: AI 판 200개로 재미를 미리 잴 수 있을까
2026 · 10 · 17
게임이 재미있는지 알려면 사람이 플레이해 봐야 한다. 그런데 사람의 플레이는 비싸다. 나 혼자 몇 판을 할 뿐이고, 게임을 고칠 때마다 다시 해야 한다. AI끼리 둔 판의 기록만으로 재미를 미리 잴 수 있다면, 사람은 AI 판으로 걸러 낸 게임만 해 보면 된다. 정말 그럴 수 있을까. 그리고 잰다면 무엇을 세야 할까.
이 글은 그 물음을 에이전트와 따진 대화다. 에이전트는 AI 판을 다섯 개에서 20개, 200개로 늘려 가며 쟀고, 나는 잣대를 바꿨다. 잣대는 ‘결과가 끝까지 불확실했는가’에서 출발해 복잡계의 척도를 거쳐, 판 하나 안의 사건 분포로 바뀌었다. 그 과정에서 에이전트는 두 번 틀렸고, 마지막에는 무엇을 사건으로 세느냐에 따라 같은 200판을 재고도 값이 22%에서 68%까지 갈렸다. 측정을 다루는 사람이라면 낯익은 문제일 것이다.
대화는 2026년 10월 17일 오후 4시 19분부터 6시 22분까지 이어졌다. 같은 날 오전의 앞선 대담에서 세운 모델을 처음 써 본 대화다. 흐름을 바꾼 대목만 골라 시간 순서대로 옮긴다. 내 말은 맞춤법과 띄어쓰기만 다듬었다. 에이전트의 답은 원문 문장을 살려 줄이고, 한 절 안에 흩어진 답은 하나로 합쳤다. 절 사이의 짧은 설명과 괄호 안의 설명은 내가 덧붙였다. 밑줄 친 말을 누르면 글 끝의 용어 사전으로 간다.
육각비경과 판 이야기
육각비경은 내가 에이전트들과 만들고 있는 턴제 보드게임이다. 플레이어는 수사 하나를 움직여, AI가 움직이는 수사 셋과 겨룬다. 이 글에서 ‘맞수’는 플레이어와 겨루는 AI 수사를 말한다. 지도 곳곳에서 거점이 예고된 뒤 하나씩 열리고, 수사가 거점을 점령하면 인장을 얻는다. 인장 3개를 모아 출구에 먼저 닿은 수사가 이긴다. 지도에는 요괴가 돌아다니며 수사를 공격하고, 체력이 다한 수사는 쓰러진다. 쓰러진 수사의 인장은 그 자리에 떨어지고, 다른 수사가 주울 수 있다. 수사는 요괴를 쓰러뜨려 영기를 모으고, 영기가 차면 경지가 올라 강해진다. 지형에는 몸을 숨기는 수풀과 멀리 보는 망루가 있다.

나는 게임마다 플레이어가 느낄 재미를 먼저 정해 두는데, 이것을 목표 에스테틱스라 부른다. 육각비경의 목표는 순위대로 다섯이었다.
- outwit: 맞수와 요괴의 다음 수를 읽고 한 수로 이긴다.
- pit-them: 요괴를 맞수에게 떠넘기거나 맞수끼리 부딪치게 한다.
- race-on-the-edge: 쓰러지면 끝인데 늦으면 진다는 긴장을 느낀다.
- grow-to-hold: 자라서 거점을 지킨다.
- xianxia-mood: 선협 세계의 분위기를 느낀다.
이 목표와 규칙, 값은 계약이라는 기획 문서에 적는다. 에이전트는 계약을 읽고 게임을 만들며, 계약을 고치면 내가 승인한다.
이날 오전에 에이전트와 나는 게임 모델을 세웠다. 게임 모델의 요지는 이렇다. 다이내믹스(규칙이 플레이에서 만드는 움직임)들이 서로 맞물리면 판 이야기가 생기고, 플레이어는 판 이야기를 겪으며 재미를 느낀다. 재미는 플레이어 안에서 일어나서 기계가 볼 수 없지만, 판 이야기는 기록으로 다시 지을 수 있다. 그러니 판 이야기를 보면 재미를 예측할 수 있다는 가설도 세웠다. 판 이야기를 판정하는 기준은 둘로 시작했다. 긴장은 결과가 끝까지 불확실했는가이고, 의미 있는 선택은 결말을 바꾼 선택이 있었는가이다.
이 글에서 ‘판’은 게임을 처음부터 끝까지 한 번 하는 것을 말한다. ‘AI 판’은 플레이어 자리까지 네 자리를 모두 대역이라는 봇이 둔 판이다. 같은 씨앗으로 다시 두면 같은 판이 나온다. 대화에 나오는 ‘에이전트’는 육각비경 저장소를 맡은 작업 에이전트다. 나는 강PD다.
AI 판 다섯 개를 읽다
다섯 판의 기록 (16:19)
강PD 기존 테스트 결과 리포트해 봐.
에이전트 남아 있는 기록은 AI 판 다섯 개입니다(씨앗 1~5). 다섯 판을 씨앗과 수로 다시 두니 모두 기록과 맞았습니다.
| 씨앗 | 결과 | 턴 | 끝난 길 |
|---|---|---|---|
| 1 | 패 | 26 | 플레이어가 궁수 요괴에게 쓰러짐 |
| 2 | 패 | 64 | 플레이어가 정예 요괴에게 쓰러짐 |
| 3 | 승 | 170 | 플레이어가 인장 4개로 출구에 닿음 |
| 4 | 패 | 46 | 플레이어가 정예 요괴에게 쓰러짐 |
| 5 | 패 | 16 | 플레이어가 맞수에게 쓰러짐 |
다섯 판 가운데 넷이 플레이어가 쓰러져서 끝났습니다. 승리 조건에 닿은 판은 씨앗 3 하나이고, 170턴이 걸렸습니다. 맞수가 모은 인장은 가장 많아도 2개였습니다. 인장 경주가 끝까지 간 판이 거의 없습니다. 맞수가 둔 수의 66~80%가 거점 차지였고, 다른 수사를 노린 수는 대개 한 자릿수 %였습니다.
이것은 사람의 판이 아닙니다. 판 이야기를 평가하는 재료는 되지만, 소감과 견줄 증거는 아닙니다.
게임 모델로 평가하라 (16:21)
강PD 아니 게임 모델에 기반으로 이야기를 평가해야지.
에이전트 게임 모델대로 다시 평가했습니다. 기록에서 사실을 먼저 늘어놓고, 긴장과 의미 있는 선택으로 판정했습니다. 이야기는 지어 쓰지 않았습니다. 판 하나를 예로 들면 이렇습니다.
씨앗 3(170턴, 승). 사실: 플레이어가 26턴과 75턴에 맞수를 쓰러뜨렸고, 76턴에 떨어진 인장 2개를 주웠다. 113
116턴에는 인장 3개, 체력 1인 채로 맞수와 13칸 거리에 있었다. 113턴부터 이길 조건을 갖췄지만, 출구에 닿은 것은 57턴 뒤였다. 긴장: 113~116턴에는 강했다(한 수에 판이 갈리는 Stakes). 그 뒤 50여 턴은 빈 시간(Dead Time)이다. 선택: 75턴의 쓰러뜨림이 결말을 정했다.
다섯 판을 묶으면 이렇습니다.
- 긴장: 결과가 끝까지 불확실했던 판은 없습니다. 강한 긴장은 씨앗 3의 네 턴과, 씨앗 2에서 맞수끼리 선두가 바뀐 장면, 두 장면뿐입니다.
- 판 이야기가 될 만한 판: 다섯 판 가운데 씨앗 2와 3, 두 판입니다.
- 맞물린 곳: 맞수가 쳐 체력을 깎고, 요괴가 마무리합니다. 판 이야기가 생긴 자리는 거의 여기입니다. 그리고 쓰러진 수사의 인장이 떨어져 넘어가는 일이 선두를 바꿉니다. 앞선 쪽이 쓰러뜨려 더 앞서는 양의 피드백 루프이고, 이를 상쇄하는 음의 루프는 기록에 보이지 않습니다.
- 빠진 곳: 인장 경주가 다른 다이내믹스와 거의 맞물리지 않습니다. 인장 3개에 닿은 맞수가 한 판도 없어서, race-on-the-edge의 “맞수가 먼저 닿을 듯하다"는 장면이 생길 재료가 없습니다. 경지가 오른 일도 판 이야기의 전환점이 되지 않습니다.
강PD가 배포한 게임을 플레이하면, 저는 다음을 예측합니다. 맞수가 인장 3개에 닿는 장면은 대개 없을 것입니다. 판이 끝난다면 경주보다 쓰러짐으로 끝날 것입니다. 이 예측을 실험 이슈에 남겨 두려고 합니다. 남길지 정해 주십시오.
강PD 그걸 해야 인간의 플레이 결과와 비교할 수 있잖아.
에이전트 예측 넷을 실험 이슈에 남겼습니다. 하나마다 무엇이면 틀렸다고 할지를 함께 적었습니다. 예를 들어 “맞수가 인장 3개에 닿는 일은 대개 없다"는, 기록에서 그런 판이 절반을 넘거나 강PD가 “맞수가 먼저 나갈 것 같아 조마조마했다"고 하면 틀린 것입니다.
보완하고 넘긴다 (16:24)
강PD 지금 다섯 판만 봐도 이 게임의 완성도는 예측이 될 것 같다.
에이전트 저도 그렇게 봅니다. 이 게임은 아직 완성되지 않았고, 원인은 수치나 연출보다 구조에 있습니다. 승부를 정하는 것은 거의 쓰러짐이고, 그것도 요괴의 마무리입니다. 1순위 outwit과 2순위 pit-them이 노리는 수 싸움이 결말을 쥐지 못합니다. 다만 봇의 판에서 수 싸움이 안 보이는 것이 게임 탓인지 봇 탓인지는 가르지 못합니다. 그래서 강PD의 플레이로 이 예측을 먼저 확인하기를 권합니다. 예측이 맞는다면, 앞으로는 게임을 바꿀 때마다 AI 판으로 먼저 걸러 볼 수 있습니다.
강PD 아니야 이 상태로는 안 될 것 같다, 보완해서 인간 테스트로 넘긴다.
에이전트 결정을 실험 이슈에 적었습니다. 기록에서 거점이 열리고 인장이 나온 턴을 살펴보니, 경주가 안 되는 원인은 인장이 나오는 속도로 보입니다. 거점은 한 번에 하나만 열리고, 예고에서 열리기까지 10턴이 걸립니다. 인장 하나가 나오는 데 대개 13턴이 넘게 걸립니다. 그래서 누군가 인장 3개에 닿기 전에 판이 쓰러짐으로 끝납니다. 보완할 후보로는 거점 예고를 10턴에서 4턴 안팎으로 줄이거나, 출구에 드는 인장을 3개에서 2개로 줄이는 안을 권합니다.
긴장의 가설
단정을 거두다 (16:51)
강PD 긴장이 발생하지 않은 이유가 인장의 생성 속도에 있다는 거야?
에이전트 아닙니다. 제가 너무 단정했습니다. 인장의 생성 속도는 원인 가설 가운데 하나이고, 다섯 판의 기록으로 확인한 원인이 아닙니다. 확인한 사실은 판이 대개 쓰러짐으로 끝났고, 그때까지 인장 3개에 닿은 맞수가 없었다는 것뿐입니다. 그 사이를 잇는 설명은 여럿입니다.
- 인장이 늦게 나온다. 거점이 하나씩 열리고 예고가 10턴입니다.
- 판이 너무 빨리 끝난다. 씨앗 2의 맞수는 56턴에 인장 2개까지 모았습니다. 인장은 나오고 있었는데, 쓰러짐이 먼저 와서 판이 끝났습니다. 이 사실은 1보다 2 쪽에 가깝습니다.
- 인장이 넷에게 나뉜다. 나온 인장을 서로 다른 수사가 가져가 아무도 쌓지 못합니다.
- AI 수사가 점령까지 잇지 못한다. 거점을 노리는 수는 많은데 AI 수사의 판단이 점령까지 이어지지 않는 것일 수 있습니다.
그리고 긴장은 경주에서만 오지 않습니다. 체력의 위기에서 오는 긴장도 있었습니다. 경주가 없었다는 것과 긴장이 없었다는 것은 같은 말이 아닙니다.
게임 모델이 말한 그대로입니다. 상호작용의 종류가 많아 원인을 거슬러 찾기 어려운데, 제가 하나를 골라 원인처럼 말했습니다. 계약을 바꾸기 전에, 게임은 그대로 두고 실험 도구에서만 값을 바꿔 같은 씨앗으로 돌려 보면 가설을 가를 수 있습니다.
강한 판과 약한 판 (16:52)
강PD 긴장이 강했던 판과 약했던 판을 비교해 봐.
에이전트 긴장을 보여 줄 만한 지표를 판마다 세어 견줬습니다.
| 씨앗 | 판정 | 턴 | 플레이어 최대 인장 | 맞수 최대 인장 | 플레이어가 인장을 쥔 채 위협받은 턴 | 위기(체력 2 이하) |
|---|---|---|---|---|---|---|
| 3 | 강함 | 170 | 4 | 2 | 48 | 7% |
| 2 | 중간 | 64 | 0 | 2 | 0 | 33% |
| 1 | 약함 | 26 | 0 | 1 | 0 | 8% |
| 4 | 약함 | 46 | 0 | 1 | 0 | 22% |
| 5 | 약함 | 16 | 0 | 0 | 0 | 19% |
위협은 체력 2 이하이거나 맞수가 2칸 안에 있는 상태로 셌습니다.
강한 판과 약한 판을 가른 것은 플레이어가 인장을 쥐었는가입니다. 긴장이 강했던 씨앗 3에서만 플레이어가 인장을 가졌습니다. 약한 판에서는 플레이어의 인장이 끝까지 0개였습니다. 이길 길이 처음부터 닫혀 있었으니, 남은 결과는 언제 쓰러지느냐뿐이었습니다. 위기 자체는 있었습니다. 씨앗 2에서 플레이어는 판의 33%를 체력 2 이하로 보냈습니다. 그래도 결과가 불확실하지 않았습니다. 위기만으로는 긴장이 생기지 않습니다. 그래서 가설을 이렇게 고칩니다.
긴장은 플레이어의 이길 길이 열려 있고, 그 길이 위협받을 때 생긴다.
다섯 판뿐이고, 강한 판은 하나입니다. 판 수를 늘려 이 가설을 시험하려고 합니다.
새 씨앗 20판 (16:55)
강PD 20판 돌려서 가설 시험해 봐.
에이전트 가설을 세울 때 쓴 씨앗 15는 빼고, 새 씨앗 625로 20판을 돌렸습니다. 예측 셋은 돌리기 전에 정해 두었습니다. 가설은 반만 맞았습니다.
| 예측 | 결과 | 판정 |
|---|---|---|
| 플레이어가 인장을 쥔 판은 20판 가운데 6판 이하다 | 9판 | 틀림 |
| 인장을 쥔 판의 과반에서, 인장을 쥔 턴의 30% 이상이 위협 아래다 | 9판 가운데 6판 | 맞음 |
| 인장을 쥔 판의 과반은 결과가 끝까지 불확실하다 | 9판 가운데 2판 | 틀림 |
인장을 쥐면 위협 속에서 판을 하게 됩니다. 하지만 인장을 쥐는 것만으로는 결과가 끝까지 불확실해지지 않습니다. 씨앗 9의 플레이어는 18턴에 인장을 쥐었고, 체력이 2 이하로 떨어진 적 없이 이겼습니다. 인장을 못 쥔 11판은 하나도 끝까지 불확실하지 않았지만, 이것은 정의에서 거의 당연히 나오는 결과라 가설의 증거로 세지 않았습니다.
끝까지 불확실했던 판은 셋이었습니다. 인장 3개를 쥔 채 정예 요괴에게 쓰러진 판, 인장 2개를 쥔 채 쓰러진 판, 플레이어가 인장 2개일 때 맞수가 출구로 나간 판입니다. 셋의 공통점은 판의 끝 가까이에서 이길 길과 질 길이 함께 살아 있었다는 것입니다.
긴장은 플레이어가 이길 길과 질 길(쓰러짐, 맞수의 출구)이 판의 끝 가까이에서 함께 살아 있을 때 생긴다. (잠정)
극적인 판은 얼마나 자주
세 판에 한 판 (16:59)
강PD 모든 판이 극적일 필요는 없지. 그래도 3번 중 한 번 이상은 극적인 판이 나와야 한다. 이런 기준도 있어야 할 듯.
에이전트 동의합니다. 이것은 판 하나가 아니라 여러 판의 분포를 보는 기준입니다. 방금 고친 가설을 그대로 정의로 쓰면, 판의 마지막 10턴 안에 이길 길과 질 길이 함께 살아 있던 턴이 하나라도 있는 판이 극적인 판입니다. AI 판 25개에 대 보면 극적인 판은 4판, 16%로 기준 33%에 못 미칩니다. 다만 이 정의는 이 판들을 보고 지은 것이라, 이 25판에 맞는 것은 당연합니다.
강PD 이 말의 의미를 이해했는가?
에이전트 제가 이해한 뜻은 셋입니다.
- 창발하는 게임은 판마다 극을 보장할 수 없습니다. 그래서 기준은 분포여야 합니다. 판 이야기는 짜 맞춰 만드는 것이 아니라 유기적으로 생깁니다. 만드는 쪽이 다룰 수 있는 것은 극적인 판이 얼마나 자주 나오는가입니다.
- 모든 판이 극적이면 오히려 틀린 것입니다. 판마다 접전을 억지로 만들려면, 판이 늘 막판에 좁혀지도록 음의 피드백 루프를 과하게 걸어야 합니다(러버밴딩). 그러면 결과가 실력과 선택에서 멀어지고, 의미 있는 선택이 죽습니다.
- “세 번 중 한 번"은 플레이어의 경험 단위입니다. 처음 온 사람이 몇 판을 해 보는 동안 극적인 판을 한 번은 만나야 다시 옵니다.
확인할 것이 하나 있습니다. 전체 판의 1/3이 극적이어도 세 판 연속으로 밋밋할 확률은 약 30%입니다. “누구든 세 판 안에 한 번은 만난다"를 90%로 지키려면 전체 판의 약 54%가 극적이어야 합니다. 어느 뜻인지 정해 주십시오.
스펙트럼 (17:02)
강PD 분포라면 극적인 판과 밋밋한 판만 있는 건 아니지. 적당한 스펙트럼이 있어야겠지.
에이전트 맞습니다. 둘로만 나누면 그 사이가 보이지 않습니다. 판마다 단계를 매겨 보았습니다.
| 단계 | 뜻 | AI 판 25개 |
|---|---|---|
| 0 밋밋 | 이길 길이 끝까지 닫혀 있었다 | 15 (60%) |
| 1 열림 | 이길 길이 열렸지만 멀었다 | 5 (20%) |
| 2 맞섬 | 이길 길이 가까운 채로 위협받았지만, 승부는 일찍 갈렸다 | 1 (4%) |
| 3 극적 | 이길 길과 질 길이 판의 끝까지 함께 살아 있었다 | 4 (16%) |
분포가 밋밋한 쪽으로 쏠려 있고, 가운데가 비어 있습니다.
복잡계의 척도
정규 분포가 아니다 (17:03)
강PD 그리고 강렬함의 분포는 정규 분포가 아니다. 복잡계 스케일을 참조하라.
에이전트 네. 복잡계에서 사건의 크기는 정규 분포를 따르지 않고, 꼬리가 두꺼운 분포(멱법칙, power law)를 따릅니다. Bak, Tang, Wiesenfeld(1987)의 모래더미 모형에서 알갱이를 하나씩 떨구면, 대부분은 작은 무너짐에 그치고 드물게 더미 전체가 무너집니다. 지진의 규모와 빈도도 같은 꼴입니다(Gutenberg–Richter 법칙). “보통 이 정도"라는 평균이 의미가 없습니다. 작은 사건은 아주 많고, 큰 사건은 드물지만 반드시 있습니다.
게임 모델에 옮기면, 판의 극은 다이내믹스가 맞물려 번지는 연쇄의 크기입니다. 맞수가 치고, 요괴가 마무리하고, 인장이 떨어지고, 선두가 바뀌고, 맞수가 출구로 달리는 식입니다. 그리고 임계에 가까운 게임이 좋은 분포를 냅니다.
- 임계 아래: 너무 안정해 작은 사건만 일어납니다. 지금 육각비경이 이쪽입니다. 판의 60%가 0단계이고, 연쇄가 끊깁니다.
- 임계 위: 판마다 폭발합니다. 모든 판이 극적이면 극이 아니라 혼란입니다.
- 임계 근처: 밋밋한 판이 많고, 중간 판이 그보다 적고, 극적인 판이 드물지만 꾸준히 나옵니다. 강PD가 말한 “모든 판이 극적일 필요는 없지만 자주 나와야 한다"가 이 꼴입니다.
0~3의 네 칸으로는 분포의 모양을 볼 수 없고, 25판으로는 꼬리를 말할 수 없습니다. 멱법칙인지 가리는 일도 까다로워서, 로그-로그 그림이 직선처럼 보인다고 멱법칙이라고 할 수는 없습니다(Clauset, Shalizi, Newman 2009). 봇 판은 비용이 거의 들지 않으니, 판의 기록에서 연쇄의 크기를 재고 판 200개로 분포를 그리겠습니다.
판 하나 안의 분포 (17:07)
강PD 이렇다는 것은 한 판의 안에서 사건 분포를 봐야 할 것 같다. 분포가 복잡계 척도로 이루어지면 게임의 극적인 요소가 충족했다는 것을 알 수 있다. 그러나 작은 일이 일어나고 중간 규모의 일이 일어나고 큰일이 일어나는데 그전에 게임이 끝날 수도 있기 한 거지. 하나의 판이 이 스케일을 충족하면 한 판의 완결성이 높다고 할 수 있다. 여기서 고민할 부분은 모든 판이 완결성을 가지게 할 것인가이다.
에이전트 그렇게 보면 기준이 판 하나 안으로 들어옵니다. 작은 일이 많이 일어나고, 중간 일이 몇 번 일어나고, 큰일이 한 번 일어나는 판이 완결된 판입니다. 판이 이 척도를 채우지 못하는 길은 둘입니다. 큰일이 오기 전에 판이 끝나는 잘림과, 큰일이 지나간 뒤에도 판이 이어지는 늘어짐입니다. 그래서 완결에는 두 조건이 있다고 봅니다. 판 안에 여러 크기의 사건이 있고, 판의 끝이 가장 큰 사건이거나 그 바로 뒤여야 합니다.
모든 판이 완결되어야 하느냐는 물음에, 제 답은 “아니다. 다만 잘림은 줄여야 한다"입니다. 모든 판이 완결되게 하려면 판을 연출해야 합니다. Left 4 Dead의 AI 디렉터처럼 강도를 조절하는 장치가 그런 예입니다. 그러면 큰일이 언제 오는지 플레이어가 읽게 되고, 결과가 선택보다 장치에서 나옵니다. 강PD가 말한 유기적인 판 이야기와 부딪칩니다. 그래서 완결된 판의 비율을 기준으로 삼기를 권합니다.
강PD 좋아. 끝까지 살아남았지만 균형이 맞지 않는다면 설계가 실패한 거라고 봐도 되겠지.
에이전트 네. 이 기준은 운과 설계를 갈라 줍니다. 큰일이 오기 전에 판이 일찍 끝났다면 운이나 플레이어의 실수일 수 있습니다. 하지만 판이 끝까지 갔는데도 사건의 척도가 고르지 않다면 핑계를 댈 수 없습니다. 시스템에 시간이 충분했는데도 연쇄를 만들지 못했기 때문입니다. 지금 기록에도 190턴 상한까지 간 판이 셋 있고, 그 가운데 둘은 플레이어가 인장 0개로 버티기만 해서 이겼습니다. 숨어서 버티면 이기는 지배 전략이 있다는 신호일 수 있습니다.
(에이전트가 판 200개를 돌리는 사이 내가 한마디를 더 보냈다.)
강PD 작은 일이 충분히 일어났지만 중간 규모나 큰 규모의 사건이 일어나지 않는다면 게임 설계에 실패한 것으로 봐야 한다.
200판을 재다
멱법칙이 아니라 지수 분포 (17:13)
에이전트 봇 판 200개(씨앗 26~225)를 재 보니, 이 게임은 복잡계의 척도를 이루지 못합니다.
판의 결과를 바꾸는 일을 하나에 1씩 셌습니다. 맞음, 쓰러짐, 인장의 이동, 선두 교체, 이길 길이나 질 길의 열림과 닫힘 같은 것입니다. 이런 일이 잇달아 일어난 턴들을 연쇄 하나로 묶고, 그 안의 일을 더한 값을 연쇄의 크기로 봤습니다. 200판에서 나온 연쇄는 2,787개입니다. 연쇄 크기의 꼬리 분포에 두 꼴을 맞춰 보니, 지수 분포에 맞추면 R² 0.996이고, 멱법칙에 맞추면 0.881입니다. 특징적인 크기(약 3)가 있고 꼬리가 짧게 끊긴다는 뜻입니다. 복잡계로 말하면 임계 아래입니다.
| 분류 | 판 수 |
|---|---|
| 완결: 작은 일·중간 일·큰일이 다 있고, 판의 끝이 가장 큰 연쇄에서 10턴 안 | 26 (13%) |
| 늘어짐: 큰일 뒤에도 10턴 넘게 이어짐 | 82 (41%) |
| 잘림: 작은 일이 12번이 안 되고, 큰일이 오기 전에 끝남 | 68 (34%) |
| 작은 일이 충분한데(12번 이상) 큰일이 없음 → 설계의 실패 | 19 (10%) |
| 작은 일이 충분한데 중간 일도 없음 | 0 |
크기의 문턱은 작은 일 12, 중간 일 37, 큰일 8 이상으로 제가 정했습니다. 완결된 판은 13%로 기준 33%에 크게 못 미칩니다. 가장 큰 문제는 늘어짐입니다.
완결을 분석하라 (17:16)
강PD 완결된 판과 작은 일이 충분한데 중간 일이 안 생긴 사례를 대조해 봐.
에이전트 먼저 짚을 것이 있습니다. “작은 일이 충분한데 중간 일이 없는” 판은 200판 가운데 0판이었습니다.
(내가 에이전트의 답을 중간에 끊었다.)
강PD 중간 일은 있었군. 그러면 괜찮다. 큰일은 100판이라는 턴 안에서 안 올 수도 있다고 본다. 완결을 분석하여 보완하자.
에이전트 완결된 판과 늘어진 판의 큰일은 같은 때, 같은 크기로, 같은 구성으로 일어났습니다. 요괴의 공격, 수사끼리의 공격, 체력의 위기가 섞인 난전입니다. 그 뒤가 달랐습니다. 완결된 판은 플레이어가 그 난전에서 쓰러져 중앙값 3턴 뒤에 끝났고, 늘어진 판은 플레이어가 살아남아 중앙값 57턴을 더 갔습니다. 판을 닫는 길은 사실상 플레이어의 쓰러짐 하나입니다. 큰일은 난전이고, 인장 경주의 절정이 아닙니다.
그래서 보완으로는 난전이 인장을 크게 옮기게 하는 안을 권합니다. 맞수를 치거나 쓰러뜨리면 인장을 빼앗는 식입니다. 큰 연쇄 뒤에 누군가는 출구 조건에 가까워지고, 판은 그 수사가 출구로 달리는 것으로 닫힙니다.
완결의 뜻 (17:24)
강PD 게임의 완결은 한 판을 완수하는 것이 아니다. 사건의 분포를 모두 경험하는 거야. 플레이어가 쓰러져도 분포의 균형이 맞다면 게임은 목적을 완수한 거다.
에이전트 알겠습니다. 제가 완결을 잘못 셌습니다. “판의 끝이 가장 큰 사건에서 10턴 안"이라는 조건은 강PD의 기준이 아니라 제가 더한 것입니다. 그 조건 때문에 플레이어가 쓰러진 판과 늘어진 판을 실패로 봤습니다. 조건을 빼고 같은 200판을 다시 셌습니다.
| 분류 | 판 수 | 판 길이(중앙값) | 작은·중간·큰일(중앙값) |
|---|---|---|---|
| 세 크기를 다 겪음 | 108 (54%) | 80턴 | 10·4·1 |
| 중간 일까지만 겪음 | 81 (40%) | 48턴 | 6·3·0 |
| 작은 일만 겪음 | 6 (3%) | 16턴 | 3·0·0 |
| 큰일은 있는데 중간 일이 없음 | 5 (3%) | 27턴 | 2·0·1 |
이 뜻으로 보면, 봇의 판은 “세 판 중 한 판 이상"이라는 기준을 이미 넘습니다. 앞서 13%라고 한 것은 잘못이고, 그 위에 세운 보완 제안도 거둡니다.
그래도 이 게임이 목적을 이뤘다고 아직 말할 수는 없습니다. “크기 8 이상"이 사람에게도 큰일로 느껴지는지 모릅니다. 분포가 지수 꼴이라 폭이 좁아서, 판의 큰일은 작은 일의 10배가 안 됩니다. 복잡계의 척도라면 큰일은 작은 일보다 자릿수가 달라야 합니다. 그래서 사람의 테스트로 넘어가기를 권합니다. 강PD가 “이건 큰일이었다"고 느낀 장면을 말해 주면, 그 판의 기록에서 그 장면의 연쇄 크기를 찾겠습니다. 그 크기가 큰일의 문턱이 됩니다.
강PD 좋다. 이제부터 사람 테스트의 영역이다. 지금까지 논의 정리하여 모델 업데이트하라. 그리고 대화록도 만들어 두어라.
에이전트는 게임 모델에 ‘사건’과 ‘완결’을 개념으로 넣고, 판 이야기의 강렬함은 복잡계의 척도를 따른다는 관계를 가설로 넣었다. 사건 분포는 AI 판 수백 개로 미리 재고, 큰 사건의 문턱은 사람의 플레이로 정한다는 규칙도 넣었다.
무엇을 사건으로 셀까
‘강렬함’이라는 말 (17:37)
강PD ‘강렬함’이라는 용어는 적절치 않은 듯. 분포의 균형이 맞다는 것은 플레이어가 에스테틱스를 충분히 경험한 이야기를 맛보았다는 것을 의미한다. 이야기는 강렬함만을 목적으로 하지 않는다. 게임마다 다를 것이다. 어떻게 생각해?
에이전트 동의합니다. 이 지적은 용어만의 문제가 아니라, 제가 잰 것의 문제이기도 합니다.
분포의 균형이 맞았다는 것은 플레이어가 그 게임의 에스테틱스를 이야기로 충분히 겪었다는 뜻입니다. 그러니 무엇이 사건인지는 목표 에스테틱스가 정합니다. 육각비경의 사건은 수 싸움, 맞붙이기, 경주, 성장에 닿는 일입니다. 개 산책 같은 게임이라면 발견이나 교감이 사건일 것이고, 거기서 ‘강렬함’은 목적이 아닙니다. ‘강렬함’이라는 말은 한 가지 에스테틱스(긴장, 위기)를 모든 게임의 잣대로 삼게 만듭니다.
200판을 잴 때 저는 맞음과 쓰러짐을 가장 많이 셌습니다. 그러니 제가 잰 것은 사실상 싸움의 분포였습니다. 큰 사건이 대개 난전으로 나오고 경주의 몫이 작았던 것은, 게임의 성질 탓이기도 하지만, 제 잣대가 그쪽으로 기운 탓이기도 합니다.
고칠 안은 이렇습니다. ‘강렬함’을 뺍니다. 사건은 목표 에스테틱스에 닿는 일의 연쇄로 정하고, 무엇을 사건으로 셀지는 게임마다 계약에 목표 에스테틱스별로 적습니다. 완결된 판은 목표 에스테틱스의 사건들을 여러 크기로 겪은 판입니다. 이대로 고치면 측정도 다시 해야 하고, 지금의 54%는 바뀔 것입니다.
강PD 그 방향으로 모델 고쳐.
에이전트는 모델을 고친 뒤, 목표 에스테틱스마다 사건으로 셀 변화를 계약에 적는 안을 냈다. outwit은 요괴가 예고한 공격 범위에서 벗어나며 치는 일, pit-them은 요괴가 노리는 상대(어그로)가 플레이어에게서 맞수로 넘어가는 일, race-on-the-edge는 인장의 이동과 선두 교체, grow-to-hold는 경지가 오르는 일 같은 것이었다.
빠진 장면들 (17:54)
강PD 부쉬에 숨어서 추적을 따돌리기, 적은 피에서 회복하기, 요수 등을 해치우기 등은 에스테틱스에 안 들어가나?
(부쉬는 수풀을, 요수는 요괴를 말한다.)
에이전트 들어갑니다. 제 안에서 빠졌던 것이고, 빠진 까닭이 중요합니다.
| 장면 | 닿는 에스테틱스 | 사건으로 셀 변화 |
|---|---|---|
| 수풀에 숨어 추적을 따돌림 | outwit. 요괴의 수를 읽고 앞섭니다 | 쫓던 요괴가 플레이어를 놓침 |
| 적은 피에서 회복함 | race-on-the-edge. 위기에서 빠져나옵니다 | 체력 위기에 들어감, 위기에서 벗어남 |
| 요괴를 해치움 | grow-to-hold. 영기를 모아 자랍니다 | 요괴를 쓰러뜨림 |
저는 큰 사건이 될 만한 것만 골랐습니다. 그런데 척도에는 작은 사건이 가장 많아야 합니다. 이 세 장면은 판마다 자주 일어나는 작은 사건이고, 이것들이 이어지고 쌓여 중간 사건과 큰 사건이 됩니다. 이것을 빼면 분포의 아래쪽이 비어서 척도를 볼 수 없습니다. 200판 기록에서 숨을 골라 회복한 것이 2,692번, 요괴를 쓰러뜨린 것이 2,463번입니다. 판에서 가장 흔한 일 가운데 둘입니다.
걸리는 것이 하나 있습니다. 강PD의 이전 플레이에서 수 싸움 대신 탐험과 수집의 재미가 강해졌다는 기록이 있습니다. 수풀에 숨기와 회복은 그 자체가 “살아남는 맛” 같은 다른 에스테틱스일 수도 있습니다. 그렇다면 지금 목표 다섯이 이 게임에서 실제로 일어나는 것을 다 담지 못한다는 신호입니다. 목표를 더하는 것은 강PD가 정할 일입니다.
살아남는 맛 (17:57)
강PD 승인한다. “살아남는 맛” 에스테틱스를 추가하는 것도 맞다고 본다.
다음 것도 검토하여 더하라.
맵 위의 영기를 획득하는 것 전망대에서 적의 위치를 파악하는 것 이런 것도 있어야 할 듯.
(전망대는 망루를 말한다.)
에이전트 ‘살아남는 맛’을 새 목표 에스테틱스 survive로 더하고, 영기 줍기와 망루 정찰도 사건에 넣겠습니다. 뜻은 이렇게 씁니다.
플레이어는 요괴와 맞수의 위협 속에서 수풀에 숨어 추적을 떼어 내고, 물러나 숨을 고르거나 단약으로 체력을 되찾아 위기를 넘길 때 버텨 냈다고 느낀다.
순위는 race-on-the-edge 다음인 4위를 제안합니다. 위기를 넘기는 맛은 경주의 Stakes와 붙어 있고, 지금 판에서 자주 일어나는 일이기도 합니다. 망루에 올라 시야 밖에 있던 수사나 요괴를 보는 일은 outwit에, 지도에 놓인 영천을 주워 영기를 얻는 일은 grow-to-hold에 넣습니다. 앞 안에서 race-on-the-edge에 있던 “체력 1에서 버틴 턴"은 survive로 옮깁니다. 한 변화는 한 에스테틱스에만 셉니다.
강PD 4위로 승인한다. 계약 써라.
에이전트가 계약을 고쳤고, 나는 승인한 뒤 200판을 다시 재라고 했다. 에이전트는 계약에 적은 사건대로 세는 측정 도구를 만들었다. 기록에 직접 남지 않는 망루 정찰과 수풀 따돌림은 씨앗과 수로 판을 다시 두면서 그 턴의 시야와 요괴의 추적을 읽어 셌다.
22%와 68% 사이
다시 잰 200판 (18:08)
에이전트 같은 씨앗 200판을 계약에 적은 사건으로 다시 쟀습니다. 완결된 판의 비율은 22%에서 68% 사이로 나왔고, 두 변화를 어떻게 세느냐가 이 값을 정합니다.
| 모든 변화를 셈 | 두 변화를 뺌 | |
|---|---|---|
| 완결된 판 | 136 (68%) | 43 (22%) |
| 중간 사건까지 | 46 (23%) | 133 (67%) |
| 작은 사건만 | 3 (2%) | 17 (9%) |
| 분포의 꼴(R², 지수 / 멱) | 0.978 / 0.880 | 0.957 / 0.919 |
| 사건의 몫 | outwit 44%, survive 23%, grow 19%, race 9%, pit 5% | grow 40%, survive 21%, race 18%, pit 12%, outwit 9% |
“두 변화"는 요괴가 예고한 범위에서 벗어남과 수풀 따돌림입니다. 이 둘이 모든 변화의 60%입니다. 예고 범위에서 벗어남(3,747번)은 턴이 열릴 때 요괴의 위험 칸에 있다가 그 턴에 맞지 않으면 셉니다. 수풀 따돌림(1,254번)은 플레이어가 쫓기다가 수풀에 들면 셉니다. 둘 다 계약의 문장에는 맞지만, 기록에서 느슨하게 어림해서 센 것입니다. 재기 쉬운 변화가 분포를 끌고 갑니다.
분포는 어느 쪽으로 세도 지수 꼴에 더 가깝습니다. 그리고 가장 뚜렷한 사실은 따로 있습니다. 200판 전체에서 어그로 넘김은 9번, 선두 교체는 18번뿐입니다. pit-them과 race-on-the-edge는 순위가 높은 목표인데, 그 목표의 사건이 거의 일어나지 않습니다.
다음 플레이에서 두 가지를 봐 주십시오. 요괴의 예고를 보고 비킨 것이 수 싸움으로 느껴지는지, 수풀에 든 것이 따돌림으로 느껴지는지입니다. 그 답으로 두 변화를 어떻게 셀지와 크기의 문턱을 정하겠습니다.
모델은 고치지 않아도 되나 (18:11)
강PD 푸시하라. 모델 업데이트는 없어도 되나?
에이전트 push했습니다. 모델은 고쳐야 합니다. 이번 작업에서 모델이 설명하지 못하는 것이 둘 나왔습니다.
첫째, 계약의 꼴을 설명하는 모델에 사건 칸이 없습니다. 그대로 두면 다음 게임의 계약을 쓰는 에이전트가 이 칸을 모릅니다. 둘째, 게임 모델의 측정 규칙은 지금 “재기 쉬운 변화로 기운다"고 경고만 합니다. 이번에는 두 변화를 어떻게 세느냐만으로 완결된 판의 비율이 22%에서 68%까지 갈렸습니다. 그래서 이렇게 고치려고 합니다. 결과를 낼 때마다 가장 많이 센 변화를 빼고 다시 잰 값도 함께 낸다. 값이 크게 갈리면, 그 변화를 어떻게 셀지 사람의 판으로 정하기 전까지는 그 값을 결론의 근거로 쓰지 않는다. 이렇게 하면 경고가 실제 행동을 바꾸는 규칙이 됩니다.
강PD 둘 다 반영하라. 게임 모델 업데이트는 없어도 되나?
에이전트 게임 모델도 이번에 함께 고쳤습니다. 측정 규칙을 고치면서 배운 것 두 가지를 같은 규칙에 더 넣었습니다. 하나는 사건으로 셀 변화를 적을 때 판에서 자주 일어나는 일을 먼저 늘어놓고 목표 에스테틱스에 대 보는 것입니다. 어느 목표에도 들지 않는 일이 자주 일어나면, 목표가 판을 다 담지 못한다는 신호입니다. 다른 하나는 결과를 낼 때 목표마다 사건의 몫을 함께 내는 것입니다. 완결된 판의 비율이 기준을 넘어도 순위가 높은 목표의 몫이 작으면, 그 목표의 이야기는 일어나지 않은 것으로 봅니다.
강PD 둘 다 기여하라. 대화록도 업데이트하라.
과연 어떨지 기대가 되는군. 시뮬레이션상으로는 재밌어야 하는데! ㅎㅎ
덧붙임
이날 처음과 끝을 견주면 세 가지가 바뀌었다.
- 판 이야기를 재는 잣대. 처음에는 판 하나를 보고 결과가 끝까지 불확실했는지를 물었다. 끝에는 판 하나 안의 사건이 작은 것, 중간 것, 큰 것으로 고루 퍼졌는지를 보고, 그런 판이 여러 판 가운데 얼마나 나오는지를 보기로 했다.
- 완결의 뜻. 처음에 에이전트는 판을 끝까지 해내고, 큰일 바로 뒤에 판이 닫혀야 완결로 셌다. 끝에는 플레이어가 쓰러져도 사건의 분포를 모두 겪었으면 완결로 보기로 했다.
- 무엇을 사건으로 셀지. 처음에는 에이전트가 재기 쉬운 맞음과 쓰러짐을 셌다. 끝에는 계약에 목표 에스테틱스마다 사건을 정해 두고, 그대로 세기로 했다. 그 과정에서 육각비경에 목표 에스테틱스 survive를 새로 더했다.
에이전트가 두 번 틀린 자리도 남겨 둔다. 한 번은 다섯 판으로 원인을 하나 골라 단정했고, 한 번은 내 기준에 자기 조건을 더해 13%라는 숫자를 냈다. 두 번 모두 에이전트는 무엇이 틀렸는지 밝히고 그 주장을 거뒀다.
AI 판으로 사람의 재미를 미리 잴 수 있는지는 아직 모른다. 측정은 모두 봇이 둔 판으로 했고, 큰일의 문턱과 두 변화를 어떻게 셀지는 사람의 플레이로 정하기로 했다. 판 이야기로 재미를 예측한다는 가설을 사람의 판으로 시험하는 일은 이제부터다.
용어 사전
본문에서 밑줄 친 말을 누르면 이곳으로 온다. 게임 모델을 세운 과정은 앞선 대담에 있다.
게임 디자인
- 목표 에스테틱스
- 만드는 사람이 노리는, 플레이어가 느낄 재미. 게임을 규칙(메커닉스), 규칙이 만드는 움직임(다이내믹스), 플레이어가 느끼는 재미(에스테틱스)의 세 층으로 보는 MDA 프레임워크에서 온 말이다. 여럿이면 순위를 매긴다.
- 게임 모델
- 이 프로젝트에서 MDA 프레임워크를 넓혀 세운 모델 문서. 액터들의 상호작용에서 다이내믹스가, 다이내믹스들의 상호작용에서 판 이야기가 생기고, 플레이어는 판 이야기를 겪으며 재미를 느낀다고 본다.
- 판 이야기
- 한 판에서 일어난 일이 이어진 것. 기록으로 다시 지을 수 있다. 업계에서는 창발 서사(emergent narrative)라고 한다.
- 긴장(tension)
- 결과가 끝까지 불확실해서 생기는 팽팽함.
- 의미 있는 선택(meaningful choice)
- 결말을 바꾸고, 플레이어가 그 결과를 알아볼 수 있는 선택.
- Stakes
- 한 결정으로 얻거나 잃을 수 있는 것과 그 무게.
- Dead Time
- 걸린 것도, 기다릴 결과도 없는 빈 시간.
- 피드백 루프(feedback loop)
- 결과가 다시 원인에 영향을 주는 고리. 양의 피드백 루프는 변화를 키우고, 음의 피드백 루프는 변화를 상쇄한다.
- 러버밴딩(rubber banding)
- 뒤처진 쪽을 돕고 앞선 쪽을 늦춰 판을 늘 접전으로 만드는 장치. 레이싱 게임에서 흔하다.
- AI 디렉터
- Left 4 Dead(2008)에서 플레이어의 상태를 보고 적이 나오는 때와 양을 조절해, 긴장이 오르내리게 하는 장치.
- 지배 전략(dominant strategy)
- 상황과 상관없이 늘 가장 나은 한 가지 수. 이것이 생기면 고를 것이 사라진다.
- 어그로(aggro)
- 몬스터가 누구를 노리는지. 어그로를 넘긴다는 것은 몬스터가 다른 상대를 쫓게 만든다는 뜻이다.
복잡계와 분포
- 멱법칙(power law)
- 사건의 크기가 커질수록 빈도가 크기의 거듭제곱에 반비례해 줄어드는 분포. 꼬리가 두꺼워서 아주 큰 사건도 드물지만 반드시 나온다. 크기와 빈도를 로그-로그로 그리면 직선에 가깝다.
- 지수 분포
- 크기가 커질수록 빈도가 일정한 비율로 빠르게 줄어드는 분포. 특징적인 크기가 있고, 꼬리가 짧게 끊겨 큰 사건이 거의 나오지 않는다.
- 모래더미 모형
- Bak, Tang, Wiesenfeld가 1987년에 낸 모형. 모래 알갱이를 하나씩 떨구면 더미가 스스로 무너지기 직전의 상태에 머물고, 무너짐의 크기가 멱법칙을 따른다. 자기조직 임계성(self-organized criticality)의 대표 예다.
- 임계(criticality)
- 작은 변화가 이웃으로 번져 크기가 제각각인 사건을 낳는 경계의 상태. 그 아래에서는 변화가 금방 잦아들고, 그 위에서는 걷잡을 수 없이 번진다.
육각비경과 작업 방식
- 수사
- 육각비경에서 플레이어와 AI가 움직이는 말. 수사(修士)는 선협 소설에서 도를 닦는 사람을 뜻한다.
- 대역
- 정해진 규칙대로 수사의 수를 두는 프로그램. 여러 판을 빠르게 돌려 게임의 구조를 잰다.
- 씨앗(seed)
- 판의 무작위 요소를 정하는 값. 같은 씨앗과 같은 수로 두면 같은 판이 다시 나온다.
- 계약
- 게임의 목표 에스테틱스, 다이내믹스, 메커닉스와 그 값을 적은 기획 문서. 에이전트가 이것을 읽고 게임을 만들며, 강PD가 승인한다. 이 대화에서 목표 에스테틱스마다 사건으로 셀 변화를 적는 사건 칸이 생겼다.
- 실험 이슈
- 물음 하나에 GitHub 이슈 하나를 열고, 회차마다 가설과 예측, 결과를 그 이슈에 쌓는 것. 예측은 무엇이면 틀렸다고 할지와 함께 적는다.