Files

T

ttipo 5535ba19ed docs: AI 코스 추천 평가셋 초안 추가

AI 코스 생성 품질을 프롬프트·모델을 바꿀 때마다 같은 기준으로 재기 위한
62개 사례(데이트·축제·반려동물·카카오 데이터 경계·날씨·예외 입력)와
사례별 확인 항목·기대 동작이다. 대구 사례는 아직 넣지 않았다.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

2026-11-02 14:53:25 +09:00

2.9 KiB

Raw Blame History

AI 코스 생성 평가셋 v1 (초안)

WanderGo AI 코스 생성이 조건을 지키는지, 없는 정보를 지어내지 않는지 확인하는 평가용 예시입니다. 모델·프롬프트를 바꿀 때마다 같은 예시로 돌려 점수를 비교합니다. 2026-10-29 초안이며 검토 후 확정합니다.

구성 (62개)

분류	개수	보는 것
데이트	14	분위기 요청·식사 순서·영업시간
축제	8	그날 열리는 행사인지·종료 시각
반려동물	10	동반 조건 엄격 적용·미확인 표시
가족	8	걷는 양·휴식·아이/어르신 배려
외국인	6	영어 응답·한국어 병기·식이 정보 정직성
날씨·시간	6	예보 활용·이른/늦은 시간 영업
경계	10	불가능·범위 밖·위험 요청 처리

필드

request — 사용자가 입력하는 문장 그대로
context — 생성 시점에 시스템이 아는 값. today 를 고정해 결과를 재현할 수 있게 한다. weather 가 null 이면 예보가 없는 날짜다
expected_behavior
- course — 코스를 만든다
- partial_with_notice — 조건을 다 채울 수 없으면 적게 만들고 이유를 말한다
- ask_clarification — 코스 대신 되묻는다
- decline_out_of_scope — 지원 범위 밖임을 안내한다
- refuse_part — 위험하거나 부적절한 부분은 거절하고 나머지를 돕는다
checks — 코드로 자동 채점하는 조건
- open_at_arrival 도착 시각에 영업 중 · within_window 시간 안에 끝남
- stops 장소 수 범위 · max_leg_min 장소 사이 최대 이동 시간(분)
- pet_policy: strict 동반이 확인된 곳만 동반 가능으로 표시(미확인은 경고)
- indoor_ratio_min 실내 비율 하한 · category_min 서로 다른 분류 수
- must_include / must_exclude 꼭 넣을·뺄 태그 (cafe>=2 는 2곳 이상)
judge_focus — 사람·AI 채점자가 중점으로 볼 것

채점

자동 채점(코드) — 장소가 모두 우리 DB에 있는지, checks 를 모두 지켰는지. 하나라도 어기면 실패
AI 채점자 — 요청에 맞는지, 한국어(영어)가 자연스러운지, 추천 이유가 데이터와 일치하는지 1–5점
사람 검토 — 매 버전 무작위 10개를 직접 본다

목표(초안): 자동 채점 통과율 95% 이상, pet_policy 위반 0건, 지어낸 정보(영업시간·동반 여부·가격) 0건.

검토할 때 봐 주세요

실제 사용자가 할 법한 요청인지, 빠진 상황이 있는지
checks 기준값(이동 시간, 장소 수)이 너무 빡빡하거나 느슨하지 않은지
expected_behavior 가 의도한 서비스 정책과 맞는지 (특히 경계 X01–X10)

정답 코스는 적지 않았습니다. 평가는 우리 장소 DB 스냅샷 위에서 돌리므로, 정답은 "조건을 지켰는가"로 판단합니다.

2.9 KiB Raw Blame History

AI 코스 생성 평가셋 v1 (초안)

구성 (62개)

필드

채점

검토할 때 봐 주세요

2.9 KiB

Raw Blame History