여러 AI 세션을 굴리면 '미해결 장부'가 필요해집니다

AI 세션을 여러 개 띄워 놓고 일하면, 각 세션은 자기 앞의 일만 봅니다.

 

그래서 사고는 대개 세션 안이 아니라 세션과 세션 사이에서 납니다. 앞 세션이 무엇을 결정했는지, 무엇을 하다 말았는지 뒤 세션은 알지 못합니다.

 

저는 그 틈에 떨어지는 것들을 모으는 장부를 하나 두고 있습니다. 넉 달쯤 굴렸고 지금은 1,600줄이 넘습니다.

 

오늘은 그 장부가 어떻게 생겼는지, 그리고 처음 적어 둔 규칙이 넉 달 뒤에 실제로 어디까지 지켜져 있었는지를 세어 본 이야기를 적어 두려 합니다.

 

제품 사이에 걸친 문제는 어느 문서에도 안 들어갑니다

 

혼자 AI로 여러 제품을 만들다 보면 세션이 자연스럽게 쪼개집니다. 제품마다, 작업 성격마다 따로 엽니다.

 

문제는 각 세션이 자기 창문만 본다는 데 있습니다. 한 제품을 손보던 세션이 다른 세션의 흔적을 우연히 밟는 일이 생깁니다.

 

실제로 제 장부에는 그런 항목이 여러 건 있습니다. 작업은 해 놓고 저장 이력에는 정식으로 남기지 않은 변경을 다른 세션이 발견해 등록한 경우입니다.

 

이런 항목은 어느 한 제품의 문서에 넣기가 애매합니다. 두 프로젝트에 걸쳐 있기 때문입니다. 그래서 저는 제품별 문서에 흩어 두지 않고 한 파일로 모으기로 했습니다.

 

처음 정한 규칙: 발견하면 즉시 등록, 끝나면 옮긴다

 

장부의 첫 줄에 저는 이렇게 적어 두었습니다. 프로젝트 사이의 정합성 문제나 아직 결정하지 못한 사안을 모아 두는 자리이고, 결정이 나면 그 항목을 "해결됨" 쪽으로 옮기면서 영향받는 문서를 함께 고친다는 내용입니다.

 

옮긴다는 그 한 줄이 나중에 이 글의 주인공이 됩니다.

 

항목 하나는 제목 한 줄과 그 아래 몇 줄로 이루어집니다. 제목 밑에 굵은 글씨로 네 가지를 답니다.

 

트랙 아이디는 이 사안을 부를 고유 이름입니다. 다른 문서에서도 같은 이름으로 가리킬 수 있어야 해서 붙였습니다.

 

나머지 셋은 상태와 발생 시점, 그리고 관련 영역입니다. 마지막 것은 이 사안이 어느 제품, 어느 작업에 물려 있는지를 적는 자리입니다.

 

그 아래에는 무엇이 어긋나 있는지를 문장으로 쓰고, 필요하면 진입 시점을 덧붙입니다. 진입 시점은 언제 이걸 다시 손대느냐를 적는 칸입니다.

 

이 마지막 칸이 은근히 중요했습니다. "나중에 하자"로 닫아 두면 그 항목은 영영 나중이 됩니다. 무엇이 갖춰지면 다시 연다고 적어 두어야, 그때가 왔을 때 항목이 되살아납니다.

 

상태는 제목 줄 맨 앞에 작은 기호로 붙입니다. 본문을 읽지 않고 제목만 훑어도 지금 어느 단계인지 보이게 하려는 장치입니다.

 

지금 실제로 쓰이고 있는 기호는 다섯 가지입니다. 기호가 아예 안 붙은 항목도 하나 있는데, 양식을 정해 둬도 전부 지켜지지는 않는다는 증거로 남겨 두고 있습니다.

 

넉 달 뒤에 세어 봤습니다: 규칙은 살아 있고, 지켜지는 비율이 갈립니다

 

여기서부터가 이 글을 쓰게 된 이유입니다.

 

넉 달이 지난 지금 장부는 1,669줄이 되었고 항목은 예순한 개가 되었습니다. 미해결 구역에 쉰한 개, "해결됨" 쪽에 열 개입니다.

 

"해결됨" 쪽은 실제로 만들어져 있었고, 그 아래에 항목 열 개가 옮겨져 있었습니다. 규칙을 적어만 두고 방치한 게 아니었습니다.

 

그런데 끝났다는 표시가 붙은 항목을 전부 세어 보니 열두 개였습니다. 그중 아홉 개는 "해결됨" 쪽에 있었고, 나머지 세 개는 제목의 표시만 끝난 것으로 바꾼 채 미해결 구역에 그대로 남아 있었습니다.

 

옮겨진 열 개 중 하나는 상태 표시가 아예 없기도 했습니다. 옮기긴 옮겼는데 표시는 안 붙인 항목입니다.

 

솔직히 이 숫자를 보고 나서야 제 장부를 제대로 이해했습니다.

 

규칙은 무너지지 않았습니다. 열두 건 중 아홉 건은 끝까지 따라갔습니다. 다만 나머지 세 건에서 손이 한 걸음 앞에서 멈췄습니다.

 

왜 그 셋만 남았는지는 기록에 없어서 저도 모릅니다. 확실한 건 옮기는 손이 매번 같은 강도로 움직이지는 않는다는 사실뿐입니다.

 

여기서 제가 얻은 문장은 이렇습니다. 장부는 지켜지는 만큼만 정확합니다.

 

그래서 지금은 숫자를 셀 때 항목이 어느 구역에 놓여 있는지만 보지 않습니다. 미해결 구역의 쉰한 개를 그대로 미해결 건수로 읽으면 세 건이 어긋나기 때문입니다.

 

한 가지 더 눈에 띈 게 있습니다. 파일 맨 위 갱신 기록 칸 하나에 넉 달치 변경 경위가 줄줄이 이어져 있었습니다. 문서에 대한 기록도 본문과 같은 자리에서 함께 자란 셈입니다. 장부는 살아 있으면 반드시 두꺼워집니다.

 

그리고 최근에는, 성격이 다른 쪽지를 하나 더 뒀습니다

 

장부와 별개로 최근에 가벼운 장치를 하나 더 두었습니다. 다음 세션이 모르면 순서를 틀리거나 손해를 보는 상황을 막으려고 만든 것입니다.

 

세션이 끝날 때, 그런 것만 골라 그 작업 폴더의 목차 맨 위에 짧게 남깁니다. 큰 장부와 달리 이건 문 앞에 붙이는 쪽지에 가깝습니다.

 

아무거나 붙이면 쪽지가 벽이 되므로 조건을 셋으로 못 박았습니다.

 

조건	언제 걸리나
순서 의존	뒤에 할 일이 앞의 결정에 좌우될 때. 축을 먼저 정해야 그다음이 한 기준으로 굴러가는 경우
낡은 근거	판정이나 수치가 뒤집혔는데 그걸 인용한 문서는 아직 안 고쳤을 때
미실시 잔여	전부 훑기로 한 작업을 일부만 했을 때. 이때는 몇 건 중 몇 건인지 숫자로 적는다

 

셋 중 어디에도 안 걸리면 남기지 않습니다. 인계 블록은 다음 세션이 매번 읽는 자리라, 여기가 부풀면 정작 급한 항목이 묻힙니다.

 

세 번째 조건에서 "몇 건 중 몇 건"을 숫자로 적게 한 이유는 단순합니다. "일부 남음"이라고만 적힌 항목은 다음 세션이 얼마나 남았는지 몰라서 처음부터 다시 세게 됩니다.

 

등록 전에 한 번 더 거릅니다: 물어보면 끝날 일인가

 

여기서 제가 겪은 시행착오를 하나 적어 두겠습니다.

 

당사자 본인만 아는 사실을 확인해야 한다는 항목이 장부에 올라간 적이 있습니다. 조건에는 정확히 걸리는 항목이었습니다.

 

다음 세션은 그 항목을 물려받아 성실하게 실행했습니다. 횟수가 정해진 유료 조회 한도를 써 가며 외부 데이터베이스를 뒤졌습니다.

 

그리고 나온 결과는, 당사자가 이미 알고 있던 내용이었습니다. 물었으면 한 줄로 끝날 일이었습니다.

 

이 일이 알려 준 건 등록 비용보다 잔존 비용이 크다는 사실이었습니다. 장부에 올라간 항목은 올리는 순간 끝나지 않고, 읽히고 판단되고 실행될 때까지 세션마다 계속 비용을 먹습니다.

 

그래서 지금은 등록 전에 질문을 하나 통과시킵니다. 이 답을 사람이 이미 갖고 있는가.

 

갖고 있으면 장부에 올리지 않고 그 자리에서 묻습니다. 도구로 재야만 알 수 있는 것, 코드나 파일을 직접 열어 봐야 아는 것만 장부에 남깁니다.

 

판별 기준은 하나입니다. 답을 쥐고 있는 쪽이 사람인지 도구인지.

 

남기는 장치와 읽는 장치는 한 쌍입니다

 

마지막으로, 저를 가장 허무하게 만든 실수를 적어 두겠습니다.

 

"이 폴더에 들어오면 맨 위 인계 블록을 먼저 읽으라"는 지시를, 저는 그 파일 안에만 적어 두었습니다.

 

그 파일을 열어야 그 지시가 보인다는 게 문제였습니다. 읽으라는 말이 읽어야 보이는 자리에 있으니 아무도 읽지 않습니다.

 

그래서 지금은 규칙을 하나 더 두고 있습니다. 인계 블록을 만들면, 세션이 시작할 때 그 폴더를 열어 보게 만드는 장치를 반드시 같이 겁니다.

 

블록을 남기는 일과 그걸 읽게 만드는 일은 한 쌍입니다. 한쪽만 만든 것은 만들지 않은 것과 같습니다.

 

비슷한 장부를 만드신다면

 

• ☐ 세션 사이에 걸친 문제를 모을 자리를 한 곳으로 정했는가
• ☐ 항목마다 고유한 아이디와 상태를 붙여 제목 줄만 훑어도 단계가 보이는가
• ☐ 언제 다시 손댈지를 적는 칸이 있는가 (없으면 나중은 영원한 나중이 된다)
• ☐ 등록 전에 "이 답을 사람이 갖고 있나"를 한 번 묻는가
• ☐ 남은 작업은 몇 건 중 몇 건인지 숫자로 적는가
• ☐ 규칙이 실제로 어디까지 지켜졌는지 눈대중이 아니라 한 번 세어 봤는가
• ☐ 인계 블록을 읽게 만드는 장치를 같이 걸어 두었는가

 

넉 달을 굴려 보고 제 손에 남은 건 판단 기준 하나였습니다.

 

무엇을 올리지 않을지 정할 수 있게 된 쪽이 쌓인 줄 수보다 컸습니다. 올리지 않은 항목은 다음 세션의 시간을 먹지 않으니까요.