Appearance
AI 채택률
AI가 만든 결과를 사용자가 실제로 채택했는지 테넌트별로 확인하는 화면입니다. 생성 건수나 비용이 아니라 결과가 쓸 만했는지를 봅니다.
시스템 관리 > AI 채택률 메뉴에서 열 수 있습니다.
접근 권한
이 화면은 SUPER_ADMIN 역할에서만 보입니다. 전체 테넌트의 데이터를 합쳐 보여주므로 개별 테넌트 관리자에게는 메뉴가 나타나지 않습니다.
무엇을 세는가
사용자가 AI 작업을 처음 요청한 뒤 결과를 저장하거나 버릴 때까지가 세션 하나입니다. 기존 생성 창과 편집 화면의 AI로 작업 기능에 같은 기준을 적용합니다. 같은 결과를 다듬기 위해 다시 생성하면 회차가 늘어납니다.
오류나 취소로 끝나 사용할 수 있는 결과가 한 번도 나오지 않은 세션은 지표에서 제외합니다.
세션은 다음 셋 중 하나로 마감됩니다.
| 마감 상태 | 언제 |
|---|---|
| 채택 | AI 결과가 포함된 문서나 흐름도를 저장했을 때 |
| 폐기 | 생성 창을 결과 적용 없이 닫거나 AI 교체 결과를 원래대로 복원했을 때 |
| 이탈 | 저장이나 명시적 폐기 없이 마지막 AI 작업 후 24시간이 지났을 때 |
대시보드에서는 서로 다른 질문에 답하는 세 비율을 나눠 보여줍니다.
| 지표 | 계산식 | 의미 |
|---|---|---|
| 저장 채택률 | 채택 ÷ (채택 + 폐기) | 명시적으로 결정한 결과 중 저장 비율 |
| 실효 채택률 | 채택 ÷ (채택 + 폐기 + 이탈) | 판단 없이 끊긴 결과까지 포함한 성과 |
| 이탈률 | 이탈 ÷ (채택 + 폐기 + 이탈) | 결과 생성 후 판단 없이 끊긴 비율 |
진행 중인 세션은 빠집니다
마지막 AI 작업 후 24시간 이내이고 아직 저장하거나 버리지 않은 세션은 진행 중으로 봅니다. 방금 만든 세션이 바로 반영되지 않는 것은 정상입니다.
화면 구성
기간 선택
화면 오른쪽 위에서 최근 7일, 30일, 90일 중 하나를 고릅니다. 아래 모든 영역이 같은 기간으로 다시 계산됩니다.
헤드라인
저장 채택률, 실효 채택률, 이탈률을 같은 위계로 보여주고 그 아래에 결과 세션·채택·폐기·이탈 건수를 표시합니다.
테넌트별 채택률
이 화면에서 가장 먼저 볼 곳입니다. 테넌트마다 저장 채택률이 크게 갈린다면 그 차이가 곧 조사할 단서입니다.
채택률이 낮은 테넌트는 대개 다음 중 하나입니다.
- 기술 표준·개발 표준 문서를 등록하지 않아 AI가 그 회사의 사정을 모릅니다.
- 업무 도메인이 기본 프롬프트와 맞지 않습니다.
- 사용자가 요구사항을 짧게만 넣고 있습니다.
해당 테넌트 관리자에게 연락해 확인할 근거로 씁니다.
문서 타입별 결과
문서 타입마다 채택·폐기·이탈이 어떻게 나뉘는지 가로 막대와 표로 함께 보여줍니다. 특정 타입만 폐기가 많다면 그 타입의 프롬프트를 먼저 손봅니다.
재생성 회차 분포
한 세션에서 몇 번 만에 만족했는지의 분포입니다. 1회에 몰려 있으면 첫 결과가 쓸 만하다는 뜻이고, 오른쪽으로 길게 늘어지면 첫 결과가 나쁘다는 뜻입니다.
폐기 이유
사용자가 결과를 명시적으로 버린 직후 직접 고른 이유입니다. 폐기 상태는 알림을 띄우기 전에 먼저 기록되므로, 답하지 않고 넘어가도 폐기 건수는 유지되고 이유만 무응답으로 집계됩니다. 이탈한 사용자에게는 피드백을 묻지 않습니다.
응답은 강제하지 않으므로 무응답 비중이 큰 것이 정상입니다. 답이 모인 것만으로도 개선 방향을 잡기에는 충분합니다.
채택 방식
| 방식 | 뜻 |
|---|---|
| 편집 후 저장 | 결과를 편집 화면에 적용한 뒤 저장했습니다 |
| 새 버전으로 바로 저장 | 생성 결과를 곧바로 새 버전으로 저장했습니다 |
새 버전으로 바로 저장한 쪽이 결과를 그대로 쓸 만했다는 더 강한 신호입니다.
재생성 시 입력 변화
다시 생성할 때 요구사항을 고쳤는지 여부입니다.
- 입력을 고쳐서 재생성 — 무엇이 빠졌는지 사용자가 알고 있었다는 뜻입니다.
- 그대로 재생성 — 같은 입력으로 다시 돌렸다는 뜻이고, 결과가 매번 달라져 불안정하다는 신호입니다.
이 지표로 무엇을 하는가
계측은 개선 방향을 찾아주는 도구가 아니라 바꾼 것이 나아졌는지 확인하는 도구입니다. 다음 순서로 씁니다.
- 폐기 이유를 몇 십 건 모아 방향을 잡습니다.
- 프롬프트나 표준 문서를 고칩니다.
- 같은 기간 길이로 채택률 전후를 비교합니다.
AI 사용량과 함께 보기
채택률은 "쓸 만했는가", AI 사용량 모니터링은 "얼마나 썼는가"를 봅니다. 채택률이 낮은데 사용량이 많다면 비용이 새고 있다는 뜻입니다.