12주 HITL 계획

# HITL 12주 운영 계획

## 목표
- 12주 안에 베트남 국제정치 예측 파이프라인의 1차 운영 완성
- HITL 데이터를 축적해 주제 선택, 분석 방향, 발행 승인 규칙을 정교화
- Discord는 알림 채널로 제한하고, 구조화된 입력은 로컬 웹 UI로 처리

## 성공 기준
- Step 1.5, 3.5, 5.5 게이트가 웹 UI에서 모두 처리 가능
- `selected_topics`, `reasoning_review`, `hitl_review` 파일이 매일 안정적으로 생성/갱신
- 주간 리뷰 문서로 `오탐`, `누락`, `과추론`, `불필요한 보류` 패턴을 식별
- 12주차 종료 시 예외 기반 HITL 규칙과 자동 통과 규칙을 1차 고정

## 운영 원칙
- 1~4주: 강한 HITL로 데이터 수집
- 5~8주: 예외 기반 선택적 HITL 전환
- 9~12주: 자동화 비중 확대, 고위험 케이스만 강제 개입
- 사람 판단은 항상 구조화된 필드로 기록
- 알고리즘 변경은 주간 단위로만 수행하고, 일별 임의 조정은 금지

## 1단계: 주차 1~4
- 목적: 사람 판단 패턴과 오류 유형 수집
- Step 1.5: 매일 필수
- Step 3.5: 매일 필수
- Step 5.5: 예외 여부와 무관하게 매일 확인
- 수집 항목:
  - 선택한 주제 / 버린 주제
  - 선택 이유
  - 분석에서 수정한 논리
  - 불확실성 강제 표기 항목
  - 발행 보류 이유
- 주간 산출물:
  - `false_positive` 사례
  - `false_negative` 사례
  - `source_noise` 상위 목록
  - `over_inference` 상위 패턴

## 2단계: 주차 5~8
- 목적: 개입량 축소와 예외 규칙 정교화
- Step 1.5: 상위 후보군만 검토
- Step 3.5: 충돌 신호/고위험 키워드일 때만 필수
- Step 5.5: 예외 기반 승인 유지
- 변경 포인트:
  - 자동 통과 가능한 주제군 정의
  - 재검토가 필요한 소스/키워드 조합 정의
  - 발행 보류 기준 단순화
- 주간 산출물:
  - 자동 통과율
  - 사람 수정률
  - 보류 후 재승인 비율

## 3단계: 주차 9~12
- 목적: 1차 운영 고정
- Step 1.5: 평시 선택적 적용
- Step 3.5: 고위험 시나리오에만 적용
- Step 5.5: 유지
- 변경 포인트:
  - 예외 규칙 임계값 고정
  - 주제 선택 추천 로직 고도화
  - 승인 필요 여부를 점수화
- 종료 시점 산출물:
  - 1차 운영 규칙 문서
  - 예외 트리거 테이블
  - HITL 유지 범위와 축소 범위

## 주간 운영 루프
1. 월~금: 일일 실행 + HITL 리뷰
2. 금요일: 오탐/누락 사례 정리
3. 토요일: 규칙 변경 후보 정리
4. 일요일: 백테스트 또는 재현 검토 후 다음 주 반영

## KPI
- `topic_selection_override_rate`
- `reasoning_override_rate`
- `publish_hold_rate`
- `false_positive_rate`
- `false_negative_rate`
- `time_to_review_step_1_5`
- `time_to_review_step_3_5`
- `time_to_publish`

## 중간 점검 기준
- 4주차:
  - 어떤 단계에서 가장 많이 수정되는지 고정
  - Step 1.5 후보 표시 방식 개선
- 8주차:
  - 어떤 경우에 Step 3.5를 생략 가능한지 결정
  - Step 5.5 보류 기준 조정
- 12주차:
  - 자동 통과 / 수동 검토 / 발행 보류 규칙 확정

## 구현 우선순위
1. 로컬 웹 UI
2. 주간 KPI 요약
3. 판단 로그 스키마 고정
4. 백테스트 연결
5. 추천 규칙 자동 제안