카테고리 없음

AI 에이전트 역할 나누기, 혼자 일하면서 2주 동안 정한 기준과 검수 AI Jev

Nova Intelligence 2026. 10. 21. 21:46

지난 토요일, 맥미니가 블로그 글 하나를 35초짜리 세로 영상으로 바꾸고 있었어요. 13분쯤 걸렸어요. 그동안 저는 다른 창에서 시트를 정리했고, 영상이 끝난 뒤 한 번 틀어 보고 괜찮다고 판단한 게 제 몫의 전부였어요.

이 장면이 가능해지기까지 2주가 걸렸어요. 10월 7일부터 SNS와 블로그를 자동으로 굴리는 구조를 만들기 시작했는데, 쓰는 도구가 하나둘 늘더니 어느새 기기 3대에 도구 5개가 됐거든요. 노트북, 맥미니, 작은 리눅스 서버. 그 위에 코딩 에이전트, 서버의 예약 작업, 브라우저 에이전트, 검수용 AI까지요.

도구가 늘어나니 오히려 헷갈리더라고요. 이 일을 어디에 시켰는지, 결과가 맞는지는 어디서 보는지. 그래서 중간에 한 번 멈추고 역할부터 정했어요. 새로 든 돈은 검수 AI를 850번쯤 부른 값으로 10센트가 안 됐고, 원래 내던 구독료는 따로 계산하지 않았어요.

지금 나눠 쓰는 방식

하는 일맡긴 곳제가 확인하는 것
코드 수정과 테스트코딩 에이전트(Codex, Claude Code)테스트가 통과했는지
매일 같은 시각에 도는 일서버의 예약 작업실패 알림이 왔는지
시트 정리, 블로그 올리기브라우저 에이전트(Aside)올라간 글을 직접 열어 보기
세로 영상 만들기맥미니의 Claude Code완성본 한 번 보기
올리기 전 위험한 표현 검사판단 전용 AI(TypeSafe Jev)걸린 글의 사유

조금 더 구체적으로 적어 볼게요. 텔레그램에 생각을 한 줄 보내면 종류를 나눠 저장하는 기능을 서버 코드에 붙일 때는 코딩 에이전트가 따로 작업 공간을 만들어 고치고 테스트를 돌렸어요. 1,621개가 통과했고, 실패한 9개는 원래부터 실패하던 것이라 그걸 확인하고 합쳤어요. 서버의 예약 작업은 노트북, 맥미니, 서버에서 그날 한 작업 기록을 모아 밤 9시 15분에 하루 요약을 만들어요. 맥미니는 영상 담당이에요. 목소리는 몇 가지를 들어 보고 오픈소스 음성 모델인 Qwen3-TTS로 정했어요.

나누는 기준은 하나로 정리됐어요. 결과를 제가 바로 확인할 수 있느냐예요. 코딩 에이전트한테 일을 맡기기 편했던 건 결과가 테스트 숫자로 남기 때문이었어요. 반대로 브라우저에서 하는 일은 화면에선 됐다고 나오는데 실제로는 안 된 경우가 있었어요.

처음에 막혔던 곳

블로그 편집기에 스크립트로 본문을 넣었을 때예요. 화면에는 글이 다 들어가 있었고 저장도 눌렸는데, 나중에 열어 보니 빈 글이었어요. 편집기가 화면에 보이는 내용과 실제로 저장하는 내용을 따로 들고 있었던 거죠. HTML 모드로 바꾸고 키보드로 치는 것처럼 넣고 나서야 저장이 됐어요. 그 뒤로는 공개 주소를 직접 열어 본문이 들어 있는 걸 본 다음에만 "올렸다"고 믿기로 했어요.

검수를 맡긴 AI, Jev

SNS 글을 올리기 전에 한 번 걸러 줄 장치로 판단 전용 모델을 붙였어요. TypeSafe의 Jev라는 모델이에요. 글과 함께 "과장된 표현이 있나", "상담이나 진단처럼 읽히나", "개인정보가 드러나나", "댓글 달면 DM 준다 같은 낚시 문구가 있나" 같은 질문을 보내면 질문마다 0에서 1 사이 점수로 답해 줘요. 말투가 제 톤에 맞는지는 3점 만점으로 따로 받고요.

기준은 위험 점수 0.3 이하, 말투 1.5점 이상, 전체 적합도 0.6 이상으로 잡았어요. 하나라도 벗어나면 제가 보게 돼요. 이 숫자를 정하려고 테스트 글을 79편 만들었어요. 일부러 문제를 심은 글 45편과 멀쩡한 글 34편이에요. 세 번씩 돌려 보니 문제 글을 통과시킨 건 0편, 멀쩡한 글은 33편이 통과했고, 같은 글인데 판단이 바뀐 경우는 없었어요.

해 보면서 알게 된 것도 있어요. 질문만 보낼 때보다 지켜야 할 정책 문장을 글과 같이 넣어 줬을 때 결과가 더 안정적이었어요. 질문을 한국어로 바꿔 봤는데 영어로 물을 때보다 나아지지는 않았고요. 그리고 글에 적힌 경험이 진짜인지는 Jev가 알 방법이 없어요. 그건 규칙으로 따로 막았어요. 메모에 "확인 필요"가 남아 있으면 점수와 상관없이 제가 봐요.

지금은 연습 단계예요. 매일 아침 6시 반에 검수 결과만 시트에 적히고 승인은 제가 해요. 제 판단과 Jev 판단이 30번쯤 쌓이면 얼마나 같았는지 보고 자동 승인을 켤지 정하려고요. 지금까지는 5번 중 3번이 같았어요. 어긋난 두 번 가운데 하나는 나들이로 간 공개 장소 이름을 Jev가 개인정보로 본 경우여서, 그런 장소는 괜찮다는 문장을 기준에 넣었어요. 자동 승인을 켜더라도 바로 올리지는 않고 12시간 기다렸다가 올라가게 해 뒀어요. 그 사이에 보류로 바꾸면 취소돼요.

용어가 낯설다면

코딩 에이전트는 명령어 창에 "이 파일 고쳐 줘"라고 쓰면 코드를 고치고 테스트까지 돌려 주는 프로그램이에요. 서버는 꺼지지 않고 계속 켜져 있는 컴퓨터라고 보면 되고, 브라우저 에이전트는 사람 대신 웹사이트를 클릭하고 입력해 주는 도구예요.

도구를 나누고 나니 확인은 쉬워졌는데, 도구끼리 일을 넘겨주는 지점이 늘었어요. 그 연결이 끊겼을 때 제가 얼마나 빨리 알아챌지는 아직 모르겠어요. 지금은 밤 11시에 한 번 점검이 돌고, 문제가 있을 때만 알림이 오게 해 둔 채로 지켜보고 있어요.