AI PM 코딩 능력 : 어디까지 필요할까

AI PM이 개발자처럼 모든 코드를 짤 필요는 없습니다. 다만 AI 서비스가 막혔을 때 검색, 답변, 화면 가운데 어느 자리에서 문제가 생겼는지 가르고, 개발자가 고칠 수 있는 조건으로 적을 수는 있어야 합니다. 제가 FAQ 챗봇을 만들며 필요했던 것도 복잡한 알고리즘보다 질문과 근거가 지나가는 순서를 보고 실패한 자리를 찾는 일이었습니다.

코드를 못 짜도 문제를 찾을 수 있나요

코드를 못 짜도 서비스가 작동하는 순서를 나누어 보면 문제가 생긴 자리를 찾을 수 있습니다.

아이엠 AI PM 과정 19회차 RAG 실습에서 문서를 근거로 답하는 FAQ 챗봇을 만들었습니다. RAG는 Retrieval-Augmented Generation의 약자입니다. 질문과 관련된 문서를 먼저 찾고, 그 문서를 모델에 함께 보내 근거 안에서 답을 쓰게 하는 방식입니다.

처음에는 챗봇이 질문을 거절하면 모델이 말을 못 알아들은 것이라고 봤습니다. 하지만 줄임말 사전을 넣어 확인해 보니 굴삭기 → 굴착기, 요보사 → 요양보호사는 작동했고 개사만 계속 거절됐습니다.

검색 과정을 따로 보니 개사를 공인중개사로 풀어 관련 문서를 찾는 데는 성공했습니다. 문제는 그다음이었습니다. 답변을 쓰는 모델에는 사용자가 입력한 개사가 그대로 들어가고 있었습니다. 검색은 성공했지만 답변 층에서 다시 막힌 것입니다.

이 장면에서 필요했던 것은 새 기능을 코딩하는 능력이 아니었습니다. 같은 질문이 검색과 답변이라는 두 층을 지난다는 흐름을 보고, 어느 층까지는 됐고 어디서부터 안 됐는지 가르는 일이었습니다.

질문을 고치지 않고 답변 조건을 어떻게 바꿨나요

원래 질문은 그대로 두고, 모델이 줄임말을 이해하는 데 필요한 풀이만 프롬프트에 붙였습니다.

처음에는 질문 속 줄임말을 통째로 바꾸면 된다고 생각했습니다. 하지만 동의어 표에는 얼마 → 응시료도 있었습니다. 문장을 치환하면 얼마예요가 응시료예요로 바뀌어 질문 자체가 망가집니다.

그래서 원래 질문은 그대로 두고 프롬프트 끝에 [줄임말 풀이] 개사 = 공인중개사를 붙였습니다. 프롬프트는 모델에게 어떤 답을 내야 하는지 적는 지시문입니다. 강사는 이를 신입 사원 업무 교육이나 콜센터 업무 가이드에 비유했습니다.

강사님께서도 기획자에게 필요한 역량을 이렇게 설명했습니다.

기획자는 개발자 수준의 코딩 능력이 아니라, 사람의 행동을 원자적으로 분해하여 예외 처리까지 명시할 수 있는 능력이 필요하다.

그 말을 듣고 프롬프트를 설명문이 아니라 출력 계약으로 다시 봤습니다. 출력 계약은 모델이 지켜야 할 답의 항목, 값, 형식을 미리 정하는 일입니다. 사용자가 무엇을 입력하는지, 결과에 어떤 항목이 나오는지, 허용하는 값은 무엇인지, 빈 입력에는 무엇을 보여줄지를 먼저 정해야 했습니다. AI PM에게 필요한 코딩의 자리는 코드를 많이 쓰는 데 있지 않았습니다. 개발 전에 입력, 출력, 예외를 빠뜨리지 않고 적는 데 있었습니다.

한 번 고친 뒤에는 무엇을 다시 확인해야 하나요

고친 질문뿐 아니라 그 수정 때문에 새로 잘못 답할 수 있는 질문도 함께 확인해야 합니다.

줄임말 문제를 고치자 다른 실패가 드러났습니다. 미용사 시험비를 물었는데 챗봇은 미용사 시험의 응시료라고 답하면서 출처에는 손해평가사를 표시했습니다. 검색된 상담 기록 본문에 자격증 이름이 없었고, 모델은 다른 자격증의 근거를 질문에 맞는 정보처럼 썼습니다.

고치기 전에는 근거를 못 찾아 거절했기 때문에 이 문제가 가려져 있었습니다. 줄임말 검색만 확인했다면 기능이 됐다고 판단했을 자리였습니다. 그래서 프롬프트에 해당 근거가 손해평가사 기록이며, 질문이 다른 자격증이면 UNKNOWN을 내라고 적었습니다. UNKNOWN은 주어진 근거로 답할 수 없다는 표시입니다.

그 뒤에는 알아듣는 줄임말이 7개에서 14개로 늘었고, 근거를 제대로 찾는 비율은 83퍼센트에서 92퍼센트가 됐습니다. 검색이 되는 질문만 다시 본 것이 아니라, 고친 뒤 잘못 답할 수 있는 반대 방향도 함께 확인했습니다.

이 경험에서 코딩 여부보다 더 분명하게 확인한 것은 실패를 적는 방식이었습니다. 답이 이상하다고 적으면 고칠 자리가 없습니다. 검색이 근거를 못 찾았는지, 근거는 찾았지만 답변이 잘못 썼는지, 답해야 할 질문인지 거절해야 할 질문인지를 나눠 적어야 다음 작업이 생깁니다.

AI PM은 무엇을 기준으로 코딩을 배워야 하나요

구현할 수 있는 기능의 수보다 결과를 확인하고 다음 판단을 내릴 수 있는 범위가 기준이 되어야 합니다.

이번 실습에서는 줄임말을 7개에서 14개로 늘린 것보다 근거를 찾는 비율을 83퍼센트에서 92퍼센트로 높인 과정이 더 중요했습니다. 코딩은 이 흐름을 이해하고 직접 확인할 수 있는 만큼 도움이 되지만, AI PM의 핵심은 코드를 많이 쓰는 데 있지 않습니다. 서비스가 어디서 왜 막혔는지 설명하고 다음 작업이 생기게 만드는 데 있다고 생각했습니다.