데이터 정제 : AI PM은 어떻게 고치고 확인하나요?

데이터 정제는 원본을 직접 고쳐 깨끗하게 만드는 일이 아니라, 원본을 남기고 표준값과 확인 필요 값을 따로 만드는 일입니다. 데이터 품질 지표는 중복, 결측, 형식 불일치, 이상값, 계산·논리 불일치를 같은 기준으로 세어 정제 전후를 비교하면 됩니다. 저는 2026년 8월 데이터 실습에서 이 원칙을 적용했고, AI PM이 다루는 기술 범위는 AI PM 기술과 데이터에서 이어서 볼 수 있습니다.

데이터 정제에서 원본을 보존하면서 CSV 1,000행의 표기를 어떻게 통일할 수 있나요?

원본 칸은 그대로 두고 표준명과 확인 필요 여부를 담는 파생 칸을 따로 만들면 원본을 바꾸지 않고 표기를 통일할 수 있습니다. 처음에는 자격증 이름이 「한식」, 「한식조리」, 「한식조리기능사」처럼 섞여 있어 DB의 certificate 칸에 8종만 허용하는 check 제약을 걸려고 했습니다. 하지만 실행 전에 검토해 보니, 이렇게 하면 원장에 있는 값이 아예 들어오지 않거나 옮기는 과정에서 원본을 바꾸게 됩니다.

그래서 원본 칸에는 제약을 걸지 않고 certificate_std, phone_digits, review_needed 같은 파생 칸을 따로 만들었습니다. 판정할 수 없는 값은 억지로 채우지 않고 null로 남겨 직원 화면에서 확인 필요 35건으로 보이게 했습니다. 세 기관 CSV 1,000행을 합칠 때도 성별, 결제상태, 날짜의 원본 표기는 그대로 두고 표준 칸을 따로 채웠습니다. 데이터 정제에서 먼저 지켜야 할 것은 표기를 맞추는 일보다 원본을 잃지 않는 일이었습니다.

데이터 정제를 할 때 원본 값을 고치지 않고 어떻게 표준값을 만들 수 있나요?

원본은 그대로 저장하고 표준명, 숫자 변환값, 확인 필요 여부처럼 판단에 필요한 값을 별도 파생 칸으로 만들 수 있습니다. 연락처도 저장할 때 하이픈을 강제로 넣지 않고, 입력값은 그대로 둔 채 화면에서만 보기 좋게 바꿨습니다. 전화번호가 9~11자리가 아니면 추정해서 고치지 않고 원본을 그대로 보여 줬습니다.

강사 프로필 100행을 분류하는 실습에서도 같은 원칙을 썼습니다. 원문에 없는 「다문화 경험 여부」를 기존 칸에서 찾는 대신 자기소개를 근거로 새 판단값을 만들고, 애매한 표현에는 엄격한 정책 A와 포용적인 정책 B를 나눠 결과를 비교했습니다. 같은 데이터도 어떤 값을 막고 남길지에 정답이 하나뿐인 것은 아니어서, 실제 오류와 바깥 규정을 확인한 뒤 처리 방침을 정해야 합니다. 그래서 데이터가 지저분하다는 말에서 멈추지 않고 어느 기준으로 판단했는지를 남기는 쪽으로 바꿨습니다.

AI PM 데이터 분석에서 데이터 품질 지표를 어떻게 정할 수 있나요?

중복, 결측, 형식 불일치, 이상값, 계산 오류처럼 실제로 센 문제를 나누고 각 항목의 건수를 데이터 품질 지표로 둘 수 있습니다. 2026년 8월 shipments.csv 3,045행을 살펴보니 중복 운송장 45쌍, 비표준 접수 시각 181건, 전화번호 결측 265건, 요금 결측 215건이 있었습니다. 부피무게 계산 불일치 55건, 요금무게 불일치 133건, 접수보다 배송 완료가 앞선 경우도 39건이었습니다.

AI PM 데이터 분석으로 3,045행을 보면 중복, 날짜·단위 형식 혼재, 결측, 이상값, 계산·논리 불일치를 서로 다른 문제로 나눠 볼 수 있었습니다. 데이터 품질 지표에는 이런 항목을 포함할 수 있습니다. 중요한 것은 하나의 정답률로 뭉개지 않고 어떤 문제가 몇 건인지 갈라서 보는 것입니다.

AI PM SQL로 데이터 정제 규칙을 어떻게 데이터베이스에 반영할 수 있나요?

원본을 바꾸는 제약은 피하고, 운송장 중복처럼 서버에서 반드시 막아야 하는 값은 unique 같은 데이터베이스 제약으로 처리할 수 있습니다. AI PM SQL을 다룰 때도 제약을 많이 거는 것이 목적은 아니었습니다. 자격증 원본 칸에 check 제약을 걸면 기존 원장이 들어오지 않으므로 원본은 열어 두고, 같은 운송장 번호처럼 절대 겹치면 안 되는 값에는 unique를 두는 식으로 역할을 나눴습니다.

처음에는 화면과 서버에서 막을 일을 모두 시스템이라고 적었습니다. 하지만 창구 두 곳에서 동시에 입력했을 때 뚫리는지를 기준으로 다시 나누니 서버에서만 막을 일 3개와 화면에서 막을 일 11개로 갈렸습니다. SQL과 코드가 어느 정도 필요한지는 AI PM 코딩 능력에 따로 정리했습니다.

AI PM 지표는 데이터 정제 전후에 무엇을 재야 하나요?

몇 건을 고쳤는지만 보지 말고 중복·오탐·결측·논리 오류처럼 문제가 어디에 얼마나 남았는지 같은 기준으로 다시 재야 합니다. 챗봇 검증에서도 처음에는 답해야 하는 질문만 넣었고 모두 통과했습니다. 하지만 그렇게 재면 정상 질문까지 막는 오탐을 볼 수 없었습니다. 그래서 답해야 하는 질문 8개와 거절해야 하는 질문 5개를 한 묶음으로 바꿨고, 8/8과 5/5를 같이 봐야 통과하도록 했습니다.

AI PM 지표를 정할 때 답해야 하는 질문만 재면 넓게 잡는 오류를 놓칠 수 있습니다. 실제로 붙 한 글자로 거절하게 했을 때 네 개 중 세 개가 오탐이었고, 규칙을 붙을, 붙나요로 좁힌 뒤에는 예측 6개와 정상 5개, 모두 11개를 다시 재서 통과한 뒤 배포했습니다. 데이터 정제도 같은 기준으로 전후를 다시 재야 고친 곳 때문에 다른 문제가 생기지 않았는지 확인할 수 있습니다.

데이터 정제에서 자동으로 고칠 값과 사람이 확인할 값을 어떻게 나눌 수 있나요?

규칙으로 다시 계산할 수 있는 값은 자동 처리하고, 근거 없이 추정해야 하는 이상값은 고치지 않고 확인 필요 표시로 남길 수 있습니다. 택배 데이터에서는 부피무게를 가로×세로×높이÷6000으로 다시 계산하고, 요금무게는 실무게와 부피무게 중 큰 값을 쓰는 규칙이 있었습니다. 이런 값은 규칙으로 다시 만들 수 있습니다.

반면 999kg, -10cm처럼 실제 값이 무엇인지 알 수 없는 경우는 임의로 고치지 않았습니다. 시간 역전 39건이나 상태와 완료 시각이 맞지 않는 135건도 원인을 확인할 자료가 없으면 플래그로 남겨야 합니다. 자동 계산과 사람 확인을 나누고 나니 데이터 정제는 모든 값을 깨끗하게 만드는 일이 아니라, 기계가 확실히 고칠 수 있는 것과 사람이 판단해야 할 것을 가르는 일이 됐습니다.

데이터 정제에서 AI PM은 결국 무엇을 확인해야 하나요?

AI PM은 원본을 보존한 채 판단 기준을 별도 값으로 만들고, 같은 데이터 품질 지표로 정제 전후를 다시 확인해야 합니다. 원본을 바로 덮어쓰면 잘못된 판단을 되돌리기 어렵고, 숫자를 한 번만 재면 고친 뒤 생긴 오탐이나 논리 오류를 놓칠 수 있습니다. 그래서 원본 보존, 파생값, 자동 처리와 확인 필요 표시, 전후 재측정을 한 흐름으로 묶어야 합니다.

이 기준처럼 실제 업무에서 무엇을 확인할지 나누는 방법은 AI 활용 체크리스트에서 확인할 수 있습니다.