STT+LLM 음성 채점 — AI 품질을 출시 가능한 기준으로 만든 과정.

초기 채점 품질은 휴먼 점수표 기준 일치율 60% 수준에 머물렀습니다. 게다가 음성→텍스트 변환(STT)과 LLM을 묶으면, 조합 특성상 환각(없는 근거를 만들어냄)·역할 전도(채점자가 아니라 응시자처럼 답함)·비결정적 출력(같은 답안에 다른 점수)이 생깁니다.

교육 서비스에서는 채점이 한 번 흔들리면 신뢰가 무너집니다. 그래서 이 문제의 본질은 '정확도를 올리는 것'만이 아니라 재현성과 형식 안정성을 함께 보장하는 것이었습니다 — 같은 답안은 늘 같은 점수가 나와야 하고, 출력은 늘 같은 형식이어야 합니다.

저는 5인 팀(외주 개발사 협업)을 이끌며 10개월 내 MVP 출시를 책임졌습니다. 외주사가 프로젝트 중 인력을 충원하지 못해 저희 쪽에서 프리랜서를 추가 고용해 메웠는데, 도메인 맥락은 저희 팀에만 있고 협업 인원은 매달 바뀌는 데다 다수가 야간(사이드 프로젝트 형식)으로 참여해 근무시간을 맞추는 것부터 쉽지 않았습니다. QA 프로세스도 품질 기준도 없던 이 환경에서, 가장 먼저 한 판단은 채점이 맞느냐보다 출력이 흔들리지 않는 게 먼저라는 것이었습니다. 이런 조건에서도 10개월 안에 품질 기준을 통과시켜 출시까지 끌고 갔습니다.

신뢰성 훼손이 사용자 경험에 더 치명적이기 때문입니다. 그래서 음성 입력 → STT → 외부 평가 API(발음 점수) + LLM(내용 평가·해설) → 정해진 형식(JSON) 출력으로 이어지는 전 과정(입력부터 끝까지) 파이프라인을 직접 설계하고, 출시 전 품질 점검 기준을 세웠습니다.

채점은 '잘 부탁한다'가 아니라 틀릴 수 없는 구조로 만들어야 합니다. 전 과정을 다섯 단계로 나누고, 각 단계의 출력을 규칙으로 고정했습니다.

정확도 목표를 80%(휴먼 평가 자체 변동성을 고려한 운영 가능 최소 기준선)로 잡고, 같은 입력을 반복해 결과가 일관되는지, 형식이 깨지지 않는지를 함께 점검했습니다.

파트별 점수 오차·표준편차를 분석해 변별력이 낮은 문항부터 개선하고, 주 1회 평가 사이클을 약 2개월 반복 운영하며 일치율을 60%에서 80%로 끌어올렸습니다.

이 점검은 일회성이 아니라 Offline → Pilot → Reliability → Launch/Ops 4단계 실험 흐름으로, 단계마다 통과 기준을 두고 반복했습니다.