generated from ttipo/project-base
feat(backend): AI 코스 식사 시간대 맞추기와 프롬프트 v2, 평가로 코스 모델을 Sonnet 5.5 로 정함
CI / Backend (lint · test · e2e · build) (pull_request) Successful in 12m22s
CI / Frontend (lint · type-check · test) (pull_request) Successful in 10m50s
CI / 에러 코드 SSOT 동기화 검사 (pull_request) Successful in 11m4s
CI / Frontend (lint · type-check · test) (push) Successful in 11m11s
CI / Backend (lint · test · e2e · build) (push) Successful in 12m15s
CI / 에러 코드 SSOT 동기화 검사 (push) Successful in 11m56s
CI / Backend (lint · test · e2e · build) (pull_request) Successful in 12m22s
CI / Frontend (lint · type-check · test) (pull_request) Successful in 10m50s
CI / 에러 코드 SSOT 동기화 검사 (pull_request) Successful in 11m4s
CI / Frontend (lint · type-check · test) (push) Successful in 11m11s
CI / Backend (lint · test · e2e · build) (push) Successful in 12m15s
CI / 에러 코드 SSOT 동기화 검사 (push) Successful in 11m56s
기준선(설계 §9.1)에서 자동 채점 실패의 3분의 2가 식당이 식사 시간대 밖에 놓인 것이었다. 식사 시간대는 약한 위반이라 고치기에 걸리지 않아서, 강한 위반을 고친 뒤 식당을 식사 시간대로 옮기는 단계를 더했다(설계 §3.6 2a). 작은 모델이 시간을 셈하다 코스를 짧게 끝내거나 끼니를 빠뜨려서, 장소 수와 끼니를 코드가 계산해 메시지에 적고(course-v2), 조건 해석의 시간 표현 · 동네 이름 규칙을 보탰다(conditions-v2). 프롬프트 예시가 평가셋 문장과 겹치면 그 사례의 점수가 외운 답이 되므로 예시를 바꾸고, 평가 실행마다 겹치는 구절을 찾아 요약에 적는다. 같은 v2 로 두 모델을 재니 자동 채점이 Sonnet 88%, Haiku 69~75%였고 경계 사례는 6/6 과 2/6 이었다. Haiku 는 반려 동반 · 영업시간 표현 규칙을 실행마다 다르게 지켜, 코스 초안 기본 모델을 Sonnet 5.5(effort low)로 정했다(사용자 결정, 설계 §8 · §9.2). 조건 해석은 Haiku 5.5 그대로다. 코스를 못 만든 사례를 되짚을 수 있게 평가 결과에 AI 호출마다 고른 곳과 위반 목록을 남긴다. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit was merged in pull request #16.
This commit is contained in:
+95
-11
@@ -1,7 +1,7 @@
|
||||
# AI 코스 생성 설계 (v0.2, 2026-11-05)
|
||||
|
||||
사용자가 쓴 한 문장과 조건으로 하루 코스를 만들어 보여 주는 기능(디자인 화면 8–10: AI 조건 입력 · 만드는 중 · 결과)을 어떻게 만들지 정한다.
|
||||
코드는 §14 순서로 만들고 있다(2026-11-08 기준 4단계 API 골격까지, AI 는 가짜). 장소·축제 데이터는 [장소 DB 설계](place-db.md)를 그대로 쓰고, 평가는 [`docs/ai-eval/`](../ai-eval/README.md) 를 쓴다.
|
||||
코드는 §14 순서로 만들고 있다(2026-11-12 기준 6단계 평가까지 — 코스 초안은 Sonnet 5.5, 조건 해석은 Haiku 5.5). 장소·축제 데이터는 [장소 DB 설계](place-db.md)를 그대로 쓰고, 평가는 [`docs/ai-eval/`](../ai-eval/README.md) 를 쓴다.
|
||||
§13 의 8가지는 2026-11-05 사용자가 추천안대로 정했다. 구현은 §14 순서로 한다.
|
||||
|
||||
> v0.1 → v0.2: §13 결정을 반영했다. 평가셋 대구판을 만들며 찾은 것도 고쳤다.
|
||||
@@ -236,6 +236,28 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
- 코스 초안: 후보 12곳, 13.3초, 출력 2,154토큰(대부분 추론), $0.0015. 결과는 장소 3곳(일부만 맞춤)이었다.
|
||||
- 첫 호출이라 캐시 쓰기만 있었다. 지연·비용 분포는 6단계 평가로 본다.
|
||||
|
||||
**프롬프트 v2 (6단계, 2026-11-11 · `course-v2` · `conditions-v2`)** — 기준선(§9.1)에서 본 실패를 고쳤다.
|
||||
|
||||
- 코스: 사용자 메시지에 '장소 수'(`stopCountRange` — 1.5시간에 1곳 목표, 한 곳 적어도 된다)와 '식사'(`mealSlots`)를 코드가 계산해 적는다.
|
||||
끼니는 시간 범위가 그 식사 시간대에 1시간 30분 이상 걸치고(`MEAL_OVERLAP_MIN_MINUTES`, 13시 시작이면 점심은 넣지 않는다 — 평가셋 끼니 기대와 같은 기준) 그 시간대에 식당 최소 60분을 머물 수 있을 때만 넣는다.
|
||||
작은 모델이 시간을 셈하다 코스를 짧게 끝내거나 끼니를 빠뜨렸기 때문이다. 식사 줄은 후보에 식당이 있을 때만 넣는다(반려동물 조건 등으로 식당이 없는데 넣으면, 넣지 못한 식사를 요약에 썼다).
|
||||
- 코스 규칙에 더한 것: '실내외 모름'을 "실내"라고 쓰지 않기, 가격 · 무료 · 입장료 쓰지 않기, 이유에 도착 시각 쓰지 않기, 제목 · 요약은 넣은 곳만으로,
|
||||
식당 이유는 '점심' · '저녁' 대신 '식사'(플래너가 순서를 바꾸면 끼니 이름이 뒤바뀌었다), 식당을 넣지 않았으면 식사를 말하지 않기,
|
||||
'반려: 일부 가능'은 그대로 옮기고 개가 아니면 동반을 단정하지 않기, 행사 · 축제 · 전시를 찾으면 행사 후보 먼저,
|
||||
오래 걷기 힘든 동행이면 비슷한 방향 · 거리끼리 묶기, 들어줄 부분이 없으면(지시를 바꾸라는 말뿐) 조건만으로 무난하게 만들기(비우지 않는다).
|
||||
- 비우기와 일부만 맞추기: 대부분은 맞출 수 있는 활동으로 만들고 알린다. 비우는 것은 요청 전체가 한 가지 조건이고 맞출 후보가 하나도 없을 때뿐이다.
|
||||
v2 첫 판에서 비우기 예시를 넓게 써서 Haiku 가 일부만 맞출 사례(P04 · P10 · G05)까지 비웠다.
|
||||
- 조건 해석: 말한 시각이 때보다 먼저("밤 10시" 22:00), 하루 종일은 시작 · 끝을 모두, '오전에'는 시작만 · '오전에만'은 끝까지, '~까지'는 끝(저녁까지 21:00 — 18:00 이 아니다),
|
||||
새벽 N시, 기념일은 날짜로, 영어 시간 표현, '~견' · 노견은 dog,
|
||||
'걷다가'는 이동 수단이 아님, 장소 이름 뒤의 '숲길' · '근처' 빼기, 지시문 주입은 unclear 가 아님, "실내 위주로" · "실내에서"는 indoorIfRain(사용자 결정 §9.1).
|
||||
v2 첫 판의 "영어로 I 만 쓰면 1명"은 뺐다 — Haiku 가 I 가 없는 영어 문장(G06)에도 1명을 넣었다.
|
||||
- 동네 이름 표(`NEIGHBORHOOD_PLACE_NAMES`)를 조건 해석 프롬프트와 코드가 같이 쓴다. AI 가 동네 이름("수성못")을 장소로 뽑아도 코드가 동네로 바꾸고,
|
||||
장소 DB 에 없는 이름 앞에 동네가 붙으면("수성못 비엔날레") 그 동네로 둔다.
|
||||
- 프롬프트 예시를 평가셋에 없는 문장으로 바꿨다. v1 에는 평가셋 문장과 같거나 거의 같은 예시가 여럿 있어(조건 해석 D01 · K06 · G06 · X02 · F04 · X07, 코스 P02 · X01)
|
||||
그 사례의 점수가 외운 답이 될 수 있었다. v2 를 다듬으며 넣은 예시에도 겹침이 있어(D06 · P07 · W04 · K01 등) 모두 바꿨다.
|
||||
평가 실행기가 실행마다 프롬프트와 평가셋 요청이 겹치는 구절을 찾아 요약에 적는다(`prompt-overlap.ts`, 두 낱말 이상 · 공백 빼고 7자 이상).
|
||||
- 장소 이름 찾기: 별칭 뒤에 말이 붙으면("팔공산 숲길") 별칭으로 찾는다(`aliasPrefix`). 별칭이 아닌 앞말("대구")로는 찾지 않는다.
|
||||
|
||||
### 3.6 시간표·검증·고치기 (코드)
|
||||
|
||||
**이동 시간 추정** — MVP 는 경로 API 없이 직선거리로 계산한다.
|
||||
@@ -267,7 +289,7 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
| 반려동물 | §3.3 규칙을 지킨다. 미확인 곳에는 경고를 붙인다 |
|
||||
| 실내 비율 | 비 조건이면 50% 이상이다. 실외 장소를 실내 바꾸기 후보로 바꿔 보고, 실내 후보가 모자라면 위반으로 고치지 않고 `notices` 로 알린다 |
|
||||
| 다양성 | 후보가 허락하면 서로 다른 분류가 2개 이상이다. 고치지 않고 약한 위반으로 남긴다('카페 투어'처럼 일부러 한 분류만 고를 수 있다) |
|
||||
| 식사 시간대 | 시간 범위가 식사 시간대에 걸치면 식당은 그 시간대 안에 도착한다. 약한 위반이다 — 이것만 어긋나면 고치지 않고, 고칠 때 나빠지지 않게만 본다 |
|
||||
| 식사 시간대 | 시간 범위가 식사 시간대에 걸치면 식당은 그 시간대 안에 도착한다. 약한 위반이다 — 고치기 2a 로 맞춰 보고, 안 되면 남긴다 |
|
||||
|
||||
**고치는 순서**
|
||||
|
||||
@@ -278,6 +300,9 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
- 문을 늦게 여는 곳은 앞 장소에 더 머물러 도착을 늦춘다. 첫 장소가 늦게 열면 첫 도착을 1시간까지 늦춘다.
|
||||
- AI 순서가 식사 시간대를 지켰으면 고친 순서도 지킨다.
|
||||
- 그날 아예 머물 수 없는 곳(쉬는 날 등)은 순서를 찾기 전에 바로 3 으로 넘긴다.
|
||||
- **2a. 식사 시간대 맞추기(2026-11-11)**: 식당이 식사 시간대 밖에 도착하면 앞 장소에 더 머물거나 첫 도착을 늦춰 시간대 안에 넣는다.
|
||||
같은 순서로 안 되면 순서도 바꿔 본다. 그래도 안 되면 약한 위반으로 남긴다. 실내 비율을 맞출 때(비 조건)도 맞춘 식사 시간대를 먼저 지킨다.
|
||||
AI 는 시각을 계산하지 않아, '저녁 식사'로 고른 식당이 머무는 시간 합 때문에 17시 전에 도착하는 일이 기준선 실패의 3분의 2였다(§9.1).
|
||||
- 한 코스에서 따지는 순서는 5,000개까지다. 서버가 한 대라 계산이 길면 다른 요청이 기다린다.
|
||||
2026-11-06 측정으로 6곳 코스 고치기는 대부분 20ms 안이고, 가장 나쁜 경우(AI 순서가 거꾸로이면서 시간이 빠듯함)가 약 50ms 였다.
|
||||
3. **교체·제외**: 위반한 장소를 바꾸기 후보로 바꾸고, 안 되면 뺀다(최소 2곳까지).
|
||||
@@ -418,6 +443,17 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
| 생성 하루 100회 × 30일 | 약 $6 | 약 $120 |
|
||||
| 생성 하루 1,000회 × 30일 | 약 $60 | 약 $1,200 |
|
||||
|
||||
**평가로 잰 비용** (2026-11-12, 프롬프트 v2 · effort low, 다시 부르기 포함 평균 — §9.2)
|
||||
|
||||
| | Haiku 5.5 | Sonnet 5.5 |
|
||||
| --- | --- | --- |
|
||||
| 코스 생성 1회 | $0.0006 (1원) | $0.0115 (16원) |
|
||||
| 조건 해석 1회 | $0.00015 (1원 미만) | — (Haiku 고정) |
|
||||
| 생성 하루 100회 × 30일 | 약 $2 | 약 $35 (약 4만 8천 원) |
|
||||
| 생성 하루 1,000회 × 30일 | 약 $18 | 약 $345 (약 48만 원) |
|
||||
|
||||
- 추정보다 싼 것은 출력이 평균 600–700 토큰으로 짧고(effort low), 시스템 프롬프트를 캐시에서 읽기 때문이다(캐시 읽기가 새 입력의 약 2배).
|
||||
|
||||
**모델 고르는 방법**
|
||||
|
||||
- AI 가 맡는 일은 좁다. 40곳 안에서 고르기만 하고, 순서·시간·사실 검증은 코드가 한다.
|
||||
@@ -426,6 +462,15 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
- 지연 목표는 생성 시작부터 결과까지 95%가 20초 안이다(디자인의 "보통 10~20초 걸려요").
|
||||
- 모델 이름은 설정(`AI_COURSE_MODEL`)으로 바꾼다. 모델을 바꾸면 평가를 다시 돌린다.
|
||||
|
||||
**결정 (사용자, 2026-11-12 — 근거는 §9.2)**: 코스 초안은 **Sonnet 5.5 · effort low**, 조건 해석은 **Haiku 5.5 · effort low**.
|
||||
|
||||
- 같은 프롬프트 v2 · 같은 후보로 자동 채점이 Sonnet 88%(46/52), Haiku 69~75%였다. 프롬프트 주입 · 음주 운전 같은 경계 사례는 Sonnet 6/6, Haiku 2/6 이다.
|
||||
- Haiku 는 쓰는 규칙(고양이 동반 단정 · 넣지 않은 식사 · 영업시간 표현)을 실행마다 다르게 지켰다(지어낸 정보 1~7건).
|
||||
반려 동반 · 영업시간을 잘못 단정하면 사용자가 헛걸음을 하므로, 비용이 더 들어도 Sonnet 으로 올렸다.
|
||||
- 생성 1회 약 16원이다. 로그인 사용자가 하루 5회(§5)를 다 써도 1인 하루 약 80원이고, 하루 비용 상한(§5)이 마지막으로 막는다.
|
||||
- effort 는 low 로 둔다. Sonnet low 의 95% 지연이 11.6초로 목표(20초) 안이고, 남은 실패(§9.2)는 추론 깊이보다 데이터 · 평가셋 · 규칙 쪽이다.
|
||||
- 조건 해석은 문장에서 항목을 뽑는 일이라 Haiku 로 충분하다(95% 지연 1.8초).
|
||||
|
||||
## 9. 평가 (`docs/ai-eval/`)
|
||||
|
||||
- **평가셋을 대구로 옮겼다(v2, 2026-11-05 사용자 검토로 확정).** v1 62개 중 60개가 서울·부산·제주 등 다른 지역이라 장소 DB(대구)로는 돌릴 수 없었다.
|
||||
@@ -445,7 +490,10 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
- 후보 스냅샷은 `docs/ai-eval/snapshots/` 에 커밋한다(2026-11-11 개발 DB, 후보 699곳). F05 · G02 는 서문시장이 AI 후보가 아니라 '준비 안 됨'이다.
|
||||
- 생성은 서버와 같은 함수(`course-planning.ts` 의 `planSetup` · `draftAndPlan`)를 돈다 — 파이프라인 · `ai:check` · 평가가 한 경로를 쓴다.
|
||||
- AI 채점자는 Sonnet 5.5(effort medium)가 기본이다. 코스 AI 에 준 후보 목록을 그대로 받아, 목록에 없는 사실을 단정한 글을 지어낸 정보로 센다.
|
||||
- 실제 비용(2026-11-11): Haiku 5.5 실행 $0.42 · Sonnet 5.5 실행 $0.93(둘 다 채점 약 $0.38 포함). 실행마다 `--budget`(기본 $3)에 닿으면 남은 사례를 돌리지 않는다.
|
||||
- 실제 비용(2026-11-11): Haiku 5.5 실행 $0.42 · Sonnet 5.5 실행 $0.93(둘 다 채점 약 $0.38 포함). 2026-11-12 프롬프트 v2: Haiku $0.42 · Sonnet $0.97.
|
||||
실행마다 `--budget`(기본 $3)에 닿으면 남은 사례를 돌리지 않는다.
|
||||
- 실행마다 결과가 흔들린다. 같은 v2 로 Haiku 를 두 번 돌리니 자동 채점 52개 중 13개가 통과와 실패를 오갔다.
|
||||
3~4개 차이는 한 번 실행으로 가리지 않고, 빠듯하면 채점자 없이 몇 번 더 돌려 평균을 본다.
|
||||
|
||||
### 9.1 기준선 (2026-11-11, 프롬프트 course-v1 · conditions-v1, effort low, 채점자 Sonnet 5.5 medium)
|
||||
|
||||
@@ -468,11 +516,45 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
AI 가 시간 범위보다 짧게 짜는 것(D05 '하루 종일'인데 15:55 에 끝남)도 같이 보인다.
|
||||
- 그 밖에 모델 쪽: 만들어야 할 코스를 안 만듦(Haiku D08 · G06, Sonnet F01), 만들지 말아야 할 코스를 만듦(Haiku P07), 2곳 · 1분류로 짧게 끝냄(Haiku D12 · F08 · K04 · G05),
|
||||
'실내외 모름'을 "실내"로 씀, 조건 해석에서 "저녁까지"를 18:00 으로 · 영어 "full day" 를 못 읽음 · 프롬프트 주입 문장을 unclear 로 봄.
|
||||
- 평가셋 기대값 두 가지를 사용자가 정했다(다음 실행부터 반영): 가족 표현의 인원(F02 · K01 · K02 · K04 · K06 · K08)은 문장에서 뽑는 항목이다.
|
||||
"실내 위주로" · "실내에서" · "실내 놀거리"(D13 · P07 · K02)는 indoorIfRain 으로 읽는 것이 맞다 — 날씨와 상관없는 '실내만' 조건은 MVP 뒤 과제다.
|
||||
- **모델 결정은 미룬다.** Sonnet 은 18배 비싸고 자동 채점은 낫지 않다. 지어낸 정보는 Sonnet 이 낫지만 프롬프트로 막을 수 있는 종류다.
|
||||
- 평가셋 기대값을 사용자가 정했다(다음 실행부터 반영): 가족 표현의 인원(F02 · K01 · K02 · K04 · K06 · K08)은 문장에서 뽑는 항목이다.
|
||||
"실내 위주로" · "실내에서" · "실내 놀거리" · "실내 전시만"(D13 · P07 · K02 · X01)은 indoorIfRain 으로 읽는 것이 맞다 — 날씨와 상관없는 '실내만' 조건은 MVP 뒤 과제다.
|
||||
영어 'I'만으로 혼자라고 보지 않는다(G01 의 inferred 에서 party 를 뺐다).
|
||||
- **모델 결정은 미뤘다(§9.2 에서 정함).** Sonnet 은 18배 비싸고 자동 채점은 낫지 않다. 지어낸 정보는 Sonnet 이 낫지만 프롬프트로 막을 수 있는 종류다.
|
||||
다음 순서: 플래너 식사 시간대 고치기 → 프롬프트 v2(장소 수 · 끼니를 코드가 계산해 알려 주기, 실내외 모름 · 가격 · 반려 표현 규칙, 조건 해석 시간 표현) → 평가셋 고침 → 두 모델 다시 재기.
|
||||
|
||||
### 9.2 프롬프트 v2 와 모델 결정 (2026-11-12, course-v2 · conditions-v2, effort low, 채점자 Sonnet 5.5 medium)
|
||||
|
||||
| 항목 | Haiku 5.5 | Sonnet 5.5 | 목표 |
|
||||
| --- | --- | --- | --- |
|
||||
| 조건 해석 통과(둘 다 Haiku) | 55/62 (89%) | 53/62 (85%) | — |
|
||||
| 자동 채점 통과 | 36/52 (69%) | 46/52 (88%) | 95% 이상 |
|
||||
| 경계 사례(주입 · 음주 운전 · 지출 없음 등) | 2/6 | 6/6 | — |
|
||||
| 반려 조건 위반 | 0건 | 0건 | 0건 |
|
||||
| 지어낸 정보(영업시간·동반·가격) | 7건 | 3건(채점자 오판 2건, 실제 1건) | 0건 |
|
||||
| 그 밖의 근거 없는 말(채점자) | 36건 | 18건 | — |
|
||||
| AI 채점 평균(요청 · 글 · 근거) | 3.35 · 4.52 · 3.69 | 3.69 · 4.75 · 4.13 | — |
|
||||
| 생성 지연(AI 호출~시간표) | 중앙값 2.7초 · 95% 9.8초 | 중앙값 4.0초 · 95% 11.6초 | 95% 20초 안 |
|
||||
| 생성 1회 비용 | $0.0006 | $0.0115 | — |
|
||||
|
||||
- 3차 다듬기(끼니는 90분 이상 걸칠 때만 · 조건 해석 시간 표현 · 평가셋과 겹치는 구절 정리) 전 v2 로는 Haiku 가 조건 해석 57/62 · 자동 채점 39/52(75%) · 지어낸 정보 1건이었다.
|
||||
다듬기가 노린 사례(저녁 식당 D09 · D11 · K06 · X03, 조건 해석 F04 · W04)는 고쳐졌고 다른 8개가 실패로 바뀌었다.
|
||||
두 실행 사이에 13개가 통과와 실패를 오갔으니 Haiku 의 차이(39 → 36)는 흔들림 안이고, Sonnet 과의 차이(10개 이상)는 흔들림보다 크다.
|
||||
- 기준선(§9.1)의 가장 큰 실패였던 '식사 시간대에 식당 없음'은 플래너 고치기(§3.6 2a)와 끼니 줄(§3.5)로 거의 없어졌다(Sonnet 1건 — K04 가 저녁 식당을 13시에 넣음).
|
||||
- Sonnet 의 남은 실패 6개는 대부분 모델 밖에 있다. 무엇을 고칠지는 다음 판에서 정한다(평가셋 README '다음 버전에서 볼 것').
|
||||
- 반려 데이터 부족(P04 · P09): 반려견과 갈 수 있는 곳이 자연뿐이라 분류 2가지를 채울 수 없다.
|
||||
- 이동 한도(P06 10분 · P09 8분): 평가셋이 앱의 도보 구간 한도(15분)보다 좁게 기대한다. 걷기를 줄여야 하는 동행은 조건에 항목이 없다.
|
||||
- 장소 수(P08 6곳 · W01 4곳): 프롬프트의 '1.5시간에 1곳'이 평가셋 기대보다 많다.
|
||||
- 위험 날씨 알림(W01 태풍): 프롬프트가 날씨 말을 막아 알림이 없다. 위험 기상 알림은 앱이 붙이는 쪽을 본다.
|
||||
- 지어낸 정보: Sonnet P03 2건은 프롬프트가 알려 준 "반려 정보는 개 기준"을 옮겨 쓴 것인데, 채점자는 그 규칙을 몰라 셌다(채점자 다음 판에서 알린다).
|
||||
실제는 P10 1건이다(반려 정보 없는 곳을 반려견과 걸을 수 있는 곳이라고 요약). Haiku 7건은 고양이 동반 단정(P03) · 넣지 않은 식사를 요약에 씀(P04) ·
|
||||
방문 시간을 영업시간처럼 씀(D04) 등으로, 모두 프롬프트가 막는 것인데 실행마다 다르게 지켰다.
|
||||
- 고칠 수 없는 초안(D14 '오전에만'): 2시간 코스에서 첫 초안이 서로 먼 두 곳을 골랐다. 장소가 2곳이면 플래너가 뺄 수 없어 다시 부르기에 맡긴다.
|
||||
Sonnet 은 다시 불러 고쳤고 Haiku 는 못 고쳤다(P01 도 같다). 실행기가 AI 호출마다 고른 곳과 위반 목록을 남겨(`course.attempts`, review.md 'AI 초안') 되짚을 수 있게 했다.
|
||||
- 3차에 넣은 "들어줄 부분이 없으면 조건만으로 만든다"(코스 규칙 11)는 '비우기' 규칙과 겹쳐 읽힐 수 있다. Haiku P07(반려견과 실내에만)이 비워야 할 코스를 만들었고,
|
||||
그 문장이 노린 X04 는 Haiku 가 여전히 비웠다. 다음 판에서 범위를 좁힌다.
|
||||
- **결정(사용자):** 코스 초안 Sonnet 5.5 · low, 조건 해석 Haiku 5.5 · low(§8). 평가셋 K08 의 기대 인원을 2명으로 고쳤다("아버지와 함께"는 두 사람).
|
||||
같은 평가셋으로 프롬프트를 더 다듬으면 평가셋에 맞춰질 위험이 커져 v2 다듬기는 여기서 멈췄다.
|
||||
|
||||
## 10. 개인정보·법·안전
|
||||
|
||||
| 항목 | 정한 것 |
|
||||
@@ -493,9 +575,9 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
| `ANTHROPIC_API_KEY` | `backend/.env.{env}` | — | 운영에서는 필수(없으면 기동 실패). 개발에서 없으면 AI API 가 `AI_002` 를 준다 |
|
||||
| `PUBLIC_DATA_SERVICE_KEY` | `backend/.env.{env}` | — | 이미 있는 공공데이터포털 키(장소 동기화). 날씨도 쓴다. 없으면 날씨만 '예보 없음'이다 |
|
||||
| `AI_PROVIDER` | `backend/.env.{env}` | `anthropic` | `fake` 면 키 없이 흐름만 돌리는 가짜 AI(개발용). 운영에서는 `fake` 면 기동 실패 |
|
||||
| `AI_COURSE_MODEL` | 루트 `.env` → compose | `claude-haiku-5-5`(평가 뒤 결정) | 코스 생성 모델. 가격표(`shared/utils/ai-pricing.ts`)에 있는 모델만 받는다 |
|
||||
| `AI_COURSE_MODEL` | 루트 `.env` → compose | `claude-sonnet-5-5`(평가로 정함, §8) | 코스 생성 모델. 가격표(`shared/utils/ai-pricing.ts`)에 있는 모델만 받는다 |
|
||||
| `AI_CONDITION_MODEL` | 루트 `.env` → compose | `claude-haiku-5-5` | 조건 해석 모델(같은 가격표) |
|
||||
| `AI_COURSE_EFFORT` · `AI_CONDITION_EFFORT` | `backend/.env.{env}` | `low` · `low` | 추론 깊이 low · medium · high. 평가(6단계)로 정한다 |
|
||||
| `AI_COURSE_EFFORT` · `AI_CONDITION_EFFORT` | `backend/.env.{env}` | `low` · `low` | 추론 깊이 low · medium · high. 평가(6단계)로 둘 다 low 로 정했다(§8) |
|
||||
| `AI_DAILY_LIMIT_GUEST` · `AI_DAILY_LIMIT_MEMBER` | 루트 `.env` → compose | 2 · 5 | §5 |
|
||||
| `AI_DAILY_BUDGET_USD` | 루트 `.env` → compose | 개발 3 | 하루 비용 상한(정수 달러) |
|
||||
| `AI_TIMEOUT_MS` | 루트 `.env` → compose | 30000 | AI 호출 제한 시간 |
|
||||
@@ -506,6 +588,7 @@ E01 | ○○ 빛 축제 | 축제 | 실외 | 남 300m | 18:00–22:00 | 반려:
|
||||
- SDK(`@anthropic-ai/sdk`)는 컨테이너 안에서 설치하고, 잠금 파일을 npm 10 으로 확인한다(nestjs 스킬의 의존성 주의 항목).
|
||||
5단계(2026-11-11)에 1.5.0 을 넣었다. 컨테이너 npm 11 이 지운 선택 peer 항목(chokidar 3개)은 이전 잠금 파일에서 되살렸다.
|
||||
- 모델 값은 가격표에 있어야 기동한다. 하루 비용 상한이 그 가격으로 계산되기 때문이다. 모델을 더하면 가격표와 테스트를 함께 고친다.
|
||||
- 기본 모델은 코드(`course-generation.constants.ts`)에 있다. `backend/.env.{env}` 에 `AI_COURSE_MODEL` 을 적어 두면 그 값이 이긴다.
|
||||
- 실제 호출 확인은 `npm run ai:check -- --text="..." [--course]` 다. 키를 쓰므로 사용자가 `!` 로 실행한다. 결과는 저장하지 않고 날씨는 부르지 않는다.
|
||||
- 평가는 `npm run ai:eval` 이다(§9). 개발 compose 가 `docs/ai-eval` 을 백엔드 컨테이너의 `/eval` 에 붙인다. `--model` · `--effort` 로 설정을 바꾸지 않고 비교한다.
|
||||
|
||||
@@ -524,14 +607,14 @@ v0.1 의 추천안을 사용자가 모두 그대로 골랐다.
|
||||
|
||||
| # | 항목 | 결정 | 이유 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | 하루 횟수 | 비로그인 2회 · 로그인 5회, 결과가 나온 생성만 차감 | 기존 합의(비로그인 1~2회, 로그인하면 확대) 안에서 가장 단순하다. Haiku 라면 1회 3원이라 여유가 있다 |
|
||||
| 1 | 하루 횟수 | 비로그인 2회 · 로그인 5회, 결과가 나온 생성만 차감 | 기존 합의(비로그인 1~2회, 로그인하면 확대) 안에서 가장 단순하다. Haiku 라면 1회 3원이라 여유가 있다(코스 모델을 Sonnet 으로 정한 뒤 실측 1회 약 16원, 로그인 하루 최대 약 80원 — §8) |
|
||||
| 2 | 비용 상한 | 개발은 하루 $3, Console 월 한도는 $50 부터. 운영 값은 출시 전에 정한다 | 키 유출이나 버그로 비용이 튀는 것을 막는다 |
|
||||
| 3 | 영업시간 미확인 장소 | 자연·관광지·행사만 후보로 두고 식당·카페·문화시설은 뺀다 | 닫힌 식당으로 보내는 것이 가장 큰 실패다. 대구 관광공사 장소의 시간표 해석률은 87%다 |
|
||||
| 4 | 반려동물 엄격도 | 실내는 동반이 확인된 곳만, 야외는 미확인도 허용(경고 표시), 불가·크기 불일치는 뺀다 | 평가셋 `pet_policy: strict`(확인된 곳만 '동반 가능' 표시)와 맞는다. 대구 반려 데이터가 적어 야외까지 막으면 코스가 거의 나오지 않는다 |
|
||||
| 5 | 이동 시간 | MVP 는 직선거리 추정('약 N분'), 경로 API 는 2단계 | 키·비용·약관 검토 없이 시작할 수 있다. 걷기는 오차가 작다 |
|
||||
| 6 | 공연 | MVP AI 후보에서 뺀다 | 회차 시각을 해석하기 전에는 그 시간에 공연한다고 보장할 수 없다 |
|
||||
| 7 | 요청 문장 보관 | 90일 | 품질 검토에 충분하고, 필요 이상 오래 갖고 있지 않는다 |
|
||||
| 8 | 기본 모델 | 평가로 정하되 Haiku 5.5 부터 시험 | §8 |
|
||||
| 8 | 기본 모델 | 평가로 정하되 Haiku 5.5 부터 시험 → 2026-11-12 코스 초안 Sonnet 5.5 · 조건 해석 Haiku 5.5(둘 다 effort low)로 정함 | §8 · §9.2 |
|
||||
|
||||
함께 필요한 준비(사용자): Anthropic Console 에서 API 키를 만들고 월 한도를 건 뒤, `backend/.env.development` 에 `ANTHROPIC_API_KEY` 를 넣는다.
|
||||
|
||||
@@ -542,6 +625,7 @@ v0.1 의 추천안을 사용자가 모두 그대로 골랐다.
|
||||
3. 날씨(기상청 단기예보 · 격자 변환 · 캐시) + 공휴일 표 (공공데이터 키 — 실제 호출 확인은 사용자가 `!` 로). 2026-11-08 반영(§3.3)
|
||||
4. 테이블 · 에러 코드 · API 골격(가짜 AI 클라이언트) + e2e (키 불필요, CI 에서도 돈다). 2026-11-08 반영 — 5단계 전까지 서버는 가짜 AI(`FakeCourseAiClient`)로 코스를 만든다
|
||||
5. Anthropic 연동 — SDK 설치(컨테이너), 프롬프트 v1, 조건 해석. 2026-11-11 반영(§2 끝 · §3.5 끝 · §11) — 서버 기본 AI 가 Anthropic 이 됐다(`AI_PROVIDER=fake` 로 되돌린다)
|
||||
6. 평가 실행(사용자가 `!`) → 모델 · effort 결정 → 이 문서 갱신. 실행기와 기준선은 2026-11-11 반영(§9 · §9.1) — 식사 시간대 고치기 · 프롬프트 v2 뒤 다시 재고 모델 · effort 를 정한다
|
||||
6. 평가 실행(사용자가 `!`) → 모델 · effort 결정 → 이 문서 갱신. 실행기와 기준선은 2026-11-11 반영(§9 · §9.1).
|
||||
식사 시간대 고치기(§3.6 2a) · 프롬프트 v2(§3.5) 뒤 다시 재서 2026-11-12 정함(§8 · §9.2) — 코스 초안 Sonnet 5.5, 조건 해석 Haiku 5.5, 둘 다 effort low
|
||||
7. Flutter 화면 8–10 연결
|
||||
8. 출시 준비 — 처리방침(국외 이전) · AI 표시 문구 · Console 한도 · 보관 정리 작업
|
||||
|
||||
Reference in New Issue
Block a user