CASE 04 / 콘텐츠 · 자동화 시스템
숏폼이 '되는 느낌'으로 굴러가면, 정작 무엇이 통했는지를 모릅니다. 그래서 콘텐츠를 감이 아니라 재현 가능한 실험 단위로 만들고, 수집 → 추천 → 생성 → 검증 → 렌더 → 측정 → 학습 → 다음 브리프로 이어지는 성과가 다음 제작에 자동 반영되는 순환을 1인이 직접 설계·운영했습니다. 게시물마다 성과를 기록해 두고 잘된 도입부·형식만 다음 생성 브리프에 반영하는 제작 흐름을 만들었습니다 — 콘텐츠를 한 번 쓰고 버리는 게 아니라 쌓이는 자산으로 굴리는 게 목표였습니다.
성과가 다음 제작에 자동 반영되는 순환 — 매 게시 성과(측정)가 학습으로 추출돼 다음 생성 브리프에 반영한다. '측정 → 학습', 즉 성과 기록을 다음 제작 기준으로 바꾸는 과정이 이 시스템의 핵심.
생성→검증→렌더 + 추천·측정·학습 루프가 실가동 중인 1인 설계·운영 시스템.
왜 문제
먼저 누구에게 무엇을 약속하는 콘텐츠인지부터 못박았습니다. 타깃은 연애·관계 신호를 자기 상황에 대입해 보는 시청자, 약속은 '애매한 관계 신호를 안전하게 해석해 준다'는 것 — 그래서 톤을 진단하듯 단정하지 않고 다정하고(intimate)·관찰적이고(observational)·비진단적(non-diagnostic)으로 설계 규칙에 못박았습니다. 채널 역할도 이 약속에 맞춰 나눴습니다: 인스타그램은 저장·좋아요가 쌓이는 장기 자산 채널로, 스레드는 조회는 상대적으로 빠르지만 휘발성이 큰 도달 실험 채널로 분리해 운영했습니다.
1인 콘텐츠 마케팅에서 '결정적 3초'를 잡는 숏폼은 흔히 감으로 만들어집니다. 한 편이 잘 되면 좋지만, 같은 결과를 다시 낼 수가 없습니다 — 무엇이 효과였는지 분리되지 않기 때문입니다. 운이 좋은 콘텐츠와 구조가 좋은 콘텐츠를 구별하지 못하면, 다음 편은 다시 0에서 시작합니다.
그래서 필요한 건 더 센 생성 모델이 아니라 각 숏폼을 같은 양식으로 만들고 한 가지 요소만 바꿔 비교하는 방식이었습니다. 그래야 어떤 요소가 조회·저장·공유를 움직이는지 보이니까요. 콘텐츠를 '비용'이 아니라 측정·학습 가능한 단위로 굴려, 매 게시가 다음 게시를 더 낫게 만드는 구조 — 텍스트 콘텐츠 파이프라인(전신)을 영상·릴 생산까지 확장한 제작 OS가 그 답이었습니다.
측정 무엇이 통했나
숏폼이 왜 되고 왜 안 되는지, 감으로는 알 수 없었습니다.
그래서 같은 렌더 규격에 변인(훅)만 바꿔 매 편을 재현 가능한 실험으로 만들고, 편당 누적 조회·도달·저장·공유를 일별 스냅샷으로 기록했습니다(측정값 0과 '측정 안 함'을 구분). 그 결과를 다음 생성에 반영했습니다.
그렇게 약 4주치를 쌓아 비교해 보니, 설계를 다듬을수록 조회 밴드가 주차마다 상향됐습니다(아래 추이) — 중앙값은 ~2배, 최근 톱 릴은 초기의 약 30배(진행형)까지 올라왔고 19–24세('썸' 타깃) 비중도 함께 늘었습니다. 라운드마다 변수 하나씩 비교하는 단일변수 순차 테스트로 설계했지만(영상별 메타·실험정보 기록), 알고리즘 등 외부 변수까지 통제한 정식 실험은 아니라 설계가 유일한 원인이라고 단정하진 않습니다.
추이 4주간 조회 밴드 상향 · 타깃 알고리즘 수렴
감으로 편당 1~2시간(추정) 걸리던 제작을 생성 요청 한 번으로 산출하는 시스템으로 만들고, 절감한 시간을 측정·학습에 투입했습니다. 4주간 조회 밴드가 주차마다 상향됐습니다 — 1주차 기준 배수로만 표시하고 절대 조회수는 공개본에서 미노출합니다(통제 아님·상관).
19–24세는 '썸' 콘텐츠, 25–34세는 '이별/재회' 콘텐츠로 소재를 나눠 설계했고, 19–24세('썸' 타깃) 비중이 25% → 35~40%로 늘었습니다 — North Star를 '전환'에서 '브랜드 인지·채널 알고리즘 최적화'로 피벗한 판단이 데이터로 확인된 신호입니다.
프롬프트만으로 한 편씩 제작. 초기 밴드
같은 형식으로 만들고 품질 검사를 붙임. 조회수 범위 상향
측정→학습→추천이 다음에 반영. 톱 약 30배(진행형)
성과를 가른 변수 — 무엇을 남기고 버릴지, 측정으로 갈랐다
결정 설계
이 시스템의 설계 결정은 모두 제가 직접 내렸고, 코딩·반복 작업만 AI에 위임했습니다. 핵심은 '되는 느낌'이 끼어들 만한 결정마다 측정 가능한 단위와 검증을 박는 것 — 대표적인 결정 지점을, 같은 지점을 감으로 처리할 때와 측정 루프로 처리할 때로 갈라 정리했습니다.
| 결정 지점 | 전형적인 '감' 운영 | 측정 루프로 — 이 시스템의 결정 |
|---|---|---|
| 제작 단위 | '되는 느낌'으로 한 편씩 | 동일 렌더 규격에서 변인(훅)만 바꾼 재현 가능한 실험 |
| 개선 우선순위 | 좋아 보이는 기능부터 | 측정 기준으로 병목 판정 — 유입이 병목이면 품질 제안도 보류 |
| 검증 | 만든 사람이 '됐다' | 사람 + 코드 게이트 · 실제 원문·결과물 확인 못 하면 통과 안 함 |
| 모델 | 한 모델에 다 맡김 | 수집·생성·검토·음성으로 나누고, 중요한 작업일수록 더 강하게 검토 |
| 영상 | 되니까 자동 영상까지 | 비용 대비 효용으로 보류 · 재현 가능 정지컷 |
공개 가능한 설계 결정 · 발견 → 결정 · 세 가지
관계 콘텐츠 제품(Case 03 · LoveLens)에 '관련 문서를 찾아 답하는 방식(GraphRAG)으로 답변 품질을 높이자'는 제안이 들어왔다. 좋아 보였지만 4축으로 분해해 실측해 보니, 아직 유저 데이터가 사실상 0 — 지금 병목은 답변 품질이 아니라 유입이었다.
품질 개선을 보류하고, 무엇이 병목인지는 측정값으로만 판정하기로 정했다. 아직 읽기 수·재방문율을 측정할 수 없는 개선안은 실험으로 등록하지 않고 보류했고, '읽기 수백 건 확보·재방문율 측정 가능'을 다시 검토할 조건으로 함께 박아 보류가 방치가 되지 않게 했다.
산출물(렌더·판정)을 만든 사람이 스스로 '됐다'고 보고하면 미확인 결과가 그대로 통과한다. 모델 자기채점은 편향되기 쉽다.
검증을 사람 + 코드 게이트로 강제했다 — 실제 원문·결과물을 확인한 것만 완료로 인정하고, 확인 못 하면 통과시키지 않았다. 교차모델로 자기채점 편향을 줄이고 최종 판단은 사람이, 신뢰가 쌓이기 전엔 '사람이 발행 전에 검토 → 발행', 쌓인 뒤엔 '자동 발행 → 사람이 사후 점검'으로 단계화했다.
AI 영상 생성 도구를 붙이면 풀 자동 동영상·릴까지 만들 수 있었다. 하지만 초기 단계에서 비용 대비 효용이 낮았고, 실제 인물 영상 생성은 안전 리스크도 컸다.
재현 가능한 정지컷 카드뉴스 렌더로 갔다 — 상태별 이미지를 코드로 합성(1080×1920)해 훅 타이밍·안전영역·자기대입 질문을 규격으로 고정. 딥페이크를 피하고 안전한 카드뉴스 형태를 유지하며, 검토 후 점진 확장하기로 했다.
왜 전환이 아니라 도달을 측정했나
결제(PG) 승인이 병목이라 전환을 측정할 결제 단계 자체가 아직 없었습니다. 그래서 핵심 지표를 '서비스 인입 전환'에서 '브랜드 인지·채널 알고리즘 최적화'로 피벗하고, 지표를 조회·좋아요·저장·팔로워로 두되 광고 없이 순수 진행했습니다 — 전환 단계가 없는데 유료 트래픽으로 일시 조회를 올리는 건 불필요하니까요. 측정할 수 없는 것을 측정하는 척하지 않는 것도 설계입니다.
실패 기준도 미리 명문화했습니다 — 3초 이탈률이 80%를 넘으면 즉시 피벗하는 사전 중단 조건을 걸어 두고 운영했습니다.
정직 한계
아직 증명하지 않은 것
이 시스템의 조회 상승은 완전한 통제실험이 아닙니다. 라운드마다 변수 하나를 비교하는 단일변수 순차 테스트로 설계했지만(영상별 메타·실험정보 기록), 알고리즘·주제·발행 빈도·포맷이 라운드 사이에 함께 움직였기 때문에 '설계 → 조회 상승'은 상관과 단일변수 비교 근거이지 인과 단정이 아닙니다. 중앙값 상승폭은 ~2배(톱은 약 30배·진행형)로 변동성이 크고, 조회·도달 절대값은 이 케이스에서 모두 배수로 상대화했습니다.
그리고 실매출 0 · 결제(PG) 승인 전 상태입니다 — CTR·전환·매출·사용자수는 아직 측정하지 않았습니다(GAP). 완주율 4.2%는 자체 최대 병목으로 남아 있고, 각 게시물의 완주율을 별도 칸에 기록해 끝까지 보는 비율이 나아지는지 추적하는 것이 다음 개선 1순위입니다. 제가 보여드릴 수 있는 것은 '대박 났다'가 아니라 측정 → 학습 → 다음 결정으로 이어지는 루프의 추적성입니다.
러닝 한 줄
콘텐츠 자동화에서 배운 것
핵심은 생성 모델 성능이 아니라 제작을 재현 가능한 실험 단위로 만드는 것 + 품질 레버를 측정 기준으로 판정하는 규율이었습니다. 텍스트 콘텐츠 파이프라인(전신)을 영상·품질 게이트·학습 루프까지 확장하며 '단순 자동화'를 '측정 기반 콘텐츠 제작 OS'로 진화시켰습니다.