Product Category Flow

사람의 검수를 줄이는 것이 가장 큰 목적입니다.

실제 과제상품 500만 건 · 카테고리 1만 개이 화면은 축소판상품 500개 · 대분류 10개

애니메이션의 작동 구조를 보여주기 위해 규모를 줄였습니다. 각 대분류 아래에는 여러 하위 카테고리가 갈라집니다.

정확도 == 돈상품 1개당 예산 20원

사람 호출 노동력을 줄이는 설계

상품 분류 · 필요한 단계까지만

텍스트로 충분하면 끝내고,
부족하면 이미지·AI로 확인합니다.

설명용 시뮬레이션
실제 모델 호출·성능 측정 없음

1상품명 · 설명

텍스트로 분류

최종 세부 분류를
판단할 정보가 충분한가?

충분하면 바로 종료 ↓부족
2사진의 시각적 특징

이미지 전용 분류기

EfficientNet-B0 또는
ConvNeXt-Tiny 중 선택한 1개

해결하면 여기서 종료 ↓미해결
3사진 + 글의 복합 해석

프론티어 API

복잡한 의미·관계를 해석
Qwen-VL 계열도 대안으로 평가

해결하면 여기서 종료 ↓
불확실하거나 분류하지 못하면사람검증 점수 +1
1점이면
4OpenRouter · 저비용 이미지 지원 모델

Blind 독립 검토

모델 A모델 B모델 C

각자 답한 뒤 결과·근거 비교

근거가 충분하면 종료 ↓
낮은 보정 점수·충돌 미해결 시사람검증 점수 +2
최종 세부 분류 확정근거 충족 + 누적 사람검증 점수 2점 미만 · 이후 모델 호출 종료
5
하위 분류로 못 가면, 상위로 복구
사람검증 점수 +1
잘못 들어간 가지를 다시 탐색 · 같은 원인에는 한 번만 가산
6
누적 사람검증 점수 2점 이상 → 사람 검수점수가 쌓일 때마다 확인 · 뒤의 모델 호출을 건너뜀
도입 전 비교 실험EfficientNet-B0 ↔ ConvNeXt-Tiny

같은 상품·정답으로 정확도와 처리비용 비교 → 사용할 모델 선택

매 상품에 두 모델을 차례로 실행하지 않습니다.
독립 검토 예시 ↓
재생 준비0 / 100
분류 중 10도착 0사람 대기 0
사람검증 점수·모델 선택 기준

전용 분류기: 상품 카테고리에 맞춰 추가 학습한 뒤, 별도로 둔 같은 정답 상품으로 비교합니다. 기본 공개 가중치의 ImageNet 1,000개 분류를 과제의 1만 개 상품 분류로 그대로 쓰지는 않습니다. EfficientNet-B0 · ConvNeXt-Tiny 공식 문서

독립 검토: 이미지 입력을 지원하는 모델마다 같은 상품 정보와 분류 기준을 줍니다. 첫 답을 낼 때는 다른 모델과 프론티어의 결론을 보여주지 않고, 답이 모두 나온 뒤에 비교합니다. OpenRouter 이미지 입력 문서

확신도: 서로 다른 모델이 스스로 매긴 숫자를 그대로 평균 내지 않습니다. 같은 후보를 기준으로 정답 데이터에 맞춰 보정한 점수와 근거 일치 여부를 함께 확인합니다. 이 화면의 점수는 규칙 설명용 가상 값이며 실제 보정 결과가 아닙니다. 확신도 보정 연구

누적 사람검증 점수: 사람이 확인해야 할 필요성을 누적하는 규칙 점수로, 모델의 신뢰도와는 다릅니다. 프론티어 불확실 +1, 독립 검토 후 확신 부족·미해결 충돌 +2, 경로 복구 +1을 더합니다. 복구 1점 + 프론티어 1점이면 독립 검토 전에 사람에게 보냅니다. 프론티어 1점 + 독립 검토 2점이면 합계 3점입니다. 사진을 읽을 수 없거나 안전하게 분류할 근거가 없으면 점수와 별개로 보류할 수 있습니다.

평균 예산 20원: 총 1억 원 ÷ 500만 상품의 평균입니다. 학습·서버·API·사람 검수·오분류 수정 비용을 함께 비교해야 합니다.

상품을 선택하면 이동 경로와 누적 사람검증 점수를 볼 수 있습니다.상세 시뮬레이션 ↓

FRONTIER → BLIND REVIEW

Codex가 먼저 분류하고,
기준에 못 미치면 독립된 판단을 모읍니다.

같은 이미지·텍스트로 각자 판단한 뒤, 같은 분류 후보의 신뢰도와 근거를 비교합니다.

설계 설명용 시연
실제 모델·API 호출 없음
01 · 공통 입력

이미지 1장 + 텍스트

상품명: 무선 이어폰

Bluetooth 연결 · 음악 재생 · 이어폰 2개와 충전 케이스 포함

사진: 이어피스 2개 + 케이스텍스트: 무선 연결·음악·통화
설명용 상품 그림 · 가상 입력
이 원본과 같은 분류 기준을 모든 모델에 전달
02 · 첫 판정

Codex프론티어 첫 판정

이미지와 텍스트를 함께 보고
분류 후보 + Confidence를 반환

예시 판정무선 이어폰 후보 · 확정 보류
Confidence 64 / 100
64 < 기준 85 → 추가 검토기준 85
기준 미달 사람검증 점수 +1
신뢰도 충분 + 근거 충족이면
여기서 분류 완료OpenRouter 추가 호출 없음
Confidence
기준 미달
03 · 추가 검토 요청

OpenRouter

Qwen · NVIDIA Nemotron · Cohere를 배치한 독립 검토 예시

같은 원본 이미지 + 텍스트 + 분류 기준
A

QwenQwen 계열

원본 근거
독립 검토

답안 봉인
B

NemotronNVIDIA

원본 근거
독립 검토

답안 봉인
C

CohereNorth 계열

원본 근거
독립 검토

답안 봉인

블라인드: 서로의 답을 보지 않습니다.프론티어의 후보·근거·점수도 전달하지 않습니다.

세 답안이 모인 뒤 공개독립 판정과 결과 비교를 분리합니다.
04 · 결과를 모아 비교

답을 공개한 뒤, 같은 기준에서 신뢰도를 비교합니다.

모델별 판정 → 신뢰도 차이 → 이미지·텍스트 근거를 순서대로 대조합니다.

현재는 각자 답을 저장한 상태입니다. ‘세 답안 공개’를 누르면 비교표에 의견과 근거가 나타납니다.

“무선 이어폰” 후보의 비교용 Confidence0–100 · 설계용 가상 점수
답안 A
판정 봉인
—
답안 B
판정 봉인
—
답안 C
판정 봉인
—

세로 점선: 예시 기준 85 · 답안 공개 전에는 모델별 점수를 가립니다.

각 판단의 이미지·텍스트 근거 보기
동일 상품에 대한 독립 모델의 가상 답안 비교
익명 답안분류 후보이미지 근거텍스트 근거판단 상태

표시된 수치는 가상 예시입니다. 실제 모델의 원점수는 그대로 평균 내지 않고, 같은 정답 자료로 보정한 뒤 동일 후보에 대한 신뢰도와 근거를 비교합니다.

아직 결과를 공개하지 않았습니다.
프론티어 불확실로 사람검증 점수 +1 · 독립 검토 결과를 기다립니다.
근거 충분 사람검증 점수 +0 → 누적 1점, 최종 분류낮은 보정 점수·충돌 미해결 사람검증 점수 +2 → 누적 3점, 사람 검수

첫 판정 통과·독립 비교 해결·정보 부족의 세 가지 가상 사례입니다. A는 Qwen, B는 NVIDIA Nemotron, C는 Cohere의 배치 예시이며, 답안과 점수는 실제 모델의 응답·성능이 아닙니다. 실제 연결에는 선택한 모델의 이미지 입력 지원을 별도로 확인해야 합니다. 모든 단계에서 누적 2점 이상이면 후속 호출을 멈춥니다.

모델별 상세 의견을 단계별로 읽기 미리 작성한 가상 답변 9개
가상 예시 1 / 9 · 모델 A의 독립 판정
모델 A동일 입력 · 답 공유 없음

모델 B동일 입력 · 답 공유 없음

모델 C동일 입력 · 답 공유 없음

실제 PAL 설계 검토 기록 보기 3개 모델 · 독립 검토와 상호 비평

2026.10.28 이전 페이지의 설계안과 재생 코드를 검토한 실제 응답 요약입니다. 위 상품 분류의 이미지 모델 선정·실행 기록과는 별개입니다.

Qwen3.8 27B화면 배치와 접근성은 브라우저에서 추가 확인해야 한다는 의견.

Nemotron 3 Ultra큰 재생 버튼과 첫 화면에서 보이는 분류 과정 제안.

North Mini Code버튼 이름·크기와 시뮬레이션 표시 점검 제안.

텍스트 검토 기록입니다. Gemini는 503 오류로 미참여했습니다.

정확한 API 모델 ID · 사용량
요청 모델 / 서비스응답 ID 확인입력 / 출력 / 합계 토큰
qwen/qwen3.8-27b
Groq
동일 ID · 2회 완료11,904 / 164 / 12,068
nvidia/nemotron-3-ultra-550b-a55b:free
OpenRouter
동일 ID · 2회 완료12,793 / 2,352 / 15,145
cohere/north-mini-code:free
OpenRouter
동일 ID · 2회 완료11,416 / 3,487 / 14,903
gemini-3.8-flash
Google
미확인 · 503 오류미확인

확인된 합계 42,116 토큰 · Gemini 사용량 미확인으로 부분 합계입니다. 외부 API 잔여 한도는 실제 조회값이 없습니다.

EXPLORE THE CLASSIFICATION

이제, 상품이 흐르는 모습을 살펴보세요.

재생하거나 장면을 움직이고, 상품을 선택해 분류 근거를 확인하세요.

전체 흐름으로 ↑

분류 흐름

상품이 지나가는 경로

10개 예시 분야 · 상품을 누르면 현재 상태 확인
0 / 100
복구 0건 · 사람 검수 0건
P001 · 사람검증 점수 0 / 2점사람검증 점수: 복구 +1 · 프론티어 미해결 +1 · 독립 비교 미해결 +2

아래 사각형은 같은 모델 A의 최대 20개 실행 슬롯입니다. 색이 진한 슬롯은 준비된 복제본, 흐린 슬롯은 미사용입니다.전체 구조가 화면에 맞춰 표시됩니다. 상품을 누르면 아래에서 상세 근거를 읽을 수 있습니다.

최종 직행 ↓
장면 0 · 새 상품 10개 투입 누적 10 / 500
상품명 · 설명 입력 ↓ 같은 텍스트 모델 A의 실행 복제본
각 결과를 기다림 없이 분야별 다음 단계로 ↓
공통 모델 · 텍스트 대분류와 최종 후보를 함께 예측 최종 세부 분류 충분하면 직행 · 미해결만 이미지 → 프론티어 → 독립 비교
텍스트로 최종 세부 분류 확인 ↓0

최종 세부 분류 근거 충분 → 사진·API 없이 완료

직행 결정 0 · 사진·API 생략
판단한 상품을 기다리는 중
정보 부족 · 사진 추가 확인 ↓0

사진 확인 → 전용 1개 → 미해결만 frontier → 독립 비교

화질 검사 0 · 이미지 모델 호출 0
판단한 상품을 기다리는 중
상위 분류 ↓2단계 ↓3단계 ↓

사람 검수

누적 2점 이상 → 분류 즉시 중단

0검수 전환0이동 중0도착
대표 상품 도착 구역
도착한 상품 · 검토 대기

검수로 전환되는 상품을 기다립니다.

사진 불량·복구 실패도 별도 보류
검수 완료나 정답 확정을 뜻하지 않습니다.

주황 화살표: 상위로 돌아가 후보 재탐색 사람검증 점수: 복구 +1 · 프론티어 미해결 +1 · 독립 비교의 낮은 보정 점수·충돌 미해결 +2. 누적 사람검증 점수 2점 이상 → 사람 검수.같은 원인은 중복 가산하지 않습니다. 0~1점도 최종 근거를 확인해야 통과합니다. 사진 불량은 별도 보류합니다. 점수는 가상 예시입니다.
판매자 정보 보강 설정바코드 일치 · 부족 정보 질문 · 가상 보상 제안

분류 전 · 판매자 정보 보강

기존 상품을 처리하면서 판매자가 제공한 정보를 함께 사용합니다. 이 화면은 응답이 도착했거나 오지 않은 상태를 가정합니다.

① 바코드 · 모델명판매자가 아는 상품 식별 정보를 입력합니다.
② 기존 정보 자동 채움같은 상품과 옵션이 맞으면 부족한 정보를 가져옵니다.
③ 부족한 정보 보강필요한 질문을 하고, 답변을 보강하면 가상 크레딧을 제안합니다.

질문 예시 · 이어폰의 연결 방식은? 무선 / 유선 / 모름 — 최종 분류에 필요한 항목만 물어봅니다.

식별 정보 일치0바코드·모델명 가상 조회
부족 정보 자동 채움0일치한 기존 정보 활용
판매자가 보강0부족한 항목 답변
여전히 정보 부족0기존 분류로 계속 진행
예시 보상0건가상 합계 0원

누적 입력 0개 중 처음부터 정보가 충분한 상품 0개. ‘식별 정보 일치’는 다른 숫자와 겹칠 수 있습니다. 보상은 유용한 답변 1건당 1원이라는 가정이며 실제 지급은 없습니다.

이번 장면에 들어오는 상품상품을 선택하면 재생을 멈추고 보강 결과를 보여줍니다.

정보 준비 결과 ↓ 아래 1차 분류로 계속 이동

보상 켜기·끄기는 미리 정한 가상 응답을 적용하며 실제 참여율이 아닙니다. 전체 작업을 기다리지 않도록 이 예시는 보강 결과를 투입 시점에 이미 알았다고 가정합니다. 실제 답변 지연·재처리·검색 비용은 계산하지 않습니다.

병렬 작업자·자동 확장 설정1차 모델 복제본 10개 시작 · 최대 20개
1차 텍스트 분류 · 대기열 기반 자동 확장

같은 텍스트 모델 A를 여러 복제본으로 실행합니다. 10개로 시작하고 최소 5개를 유지합니다. 최종 세부 분류 근거가 충분한 상품은 바로 완료합니다.

준비된 복제본10
추가 준비 중0
현재 분류 중0
1차 대기열0
복제본·장면 누적0

가상 정책: 대기가 쌓이면 확장하고 유휴가 이어지면 축소합니다.

이번 장면 신규 입력 10개 ↓

장면마다 10개가 도착하지만 바쁜 복제본이 있으면 대기열에 남습니다. 가상 설정: 처리 2장면, 추가 준비 2장면. 처리 완료가 늦어지는 설정에서는 마지막 장면이 100보다 늘어납니다. 복제본 하나가 GPU 한 대를 뜻하지는 않습니다. ‘복제본·장면’은 준비·실행 수를 누적한 예시로 실제 GPU 시간이나 요금이 아닙니다. 분야별·이미지 모델은 각각 별도 대기열로 확장하는 설계이며, 여기서는 1차만 용량을 계산합니다.

텍스트로 최종 바스켓에 직행초록 점선이 직행 경로입니다. 실제 상품·모델이 아닌 가상 시나리오입니다.
직행 결정 0 · 이동 중 0 · 바스켓 도착 0누적 결정에는 이동 중이 포함됩니다.
이미지 모델은 필요한 상품에만 사용현재 1차 이미지 분석의 예시 상품 수이며 하위 단계나 실제 GPU 대수·임대 요금은 계산하지 않습니다.
1차 이미지 모델 처리 중 0개
전자제품식품화장품스포츠용품가정용품신선식품의약품의류기타최종 바스켓 직행추가 이미지·텍스트 검토 중파랑 ↓ 진행 · 주황 ↑ 복구

같은 순간, 서로 다른 단계에서 동시에 진행합니다

각 단계에서 여러 상품이 동시에 진행합니다. 목록은 일부 예시이며, 단계별 숫자는 전체 500개를 기준으로 합니다.

공통 모델은 텍스트 최종 후보를 예측합니다. 전용 이미지 분류기는 1개만 사용하고, 미해결 상품만 사진·글 프론티어와 독립 비교로 보냅니다. 아래 계층은 확인된 최종 분류의 이동과 분기 복구를 표시하며, 층마다 추가 API를 호출하지 않습니다. 실제 모델·API 연결은 없습니다.

묶음별 진행 상태 보기

TRANSFER LEARNING · NEXT STEPS

추후 개선 방향:

향후 설계 · 실제 학습 전

새 분야는 프론티어가 먼저 맡고,
데이터가 쌓이면 자체 소형 모델로 전환합니다.

판단 기록이 쌓여, 자체 모델로

데이터 축적에서 소형 모델 전환까지

24초 흐름 예시 · 실제 학습 아님
처음 보는 분야 · 어려운 상품

프론티어 모델

새 분야의 상품을 먼저 판단합니다.

이미지 + 설명 → 분류 후보·근거
검수한 자료만 선별

학습 자료 축적

0 / 18 묶음 가상 자료

판단 근거 + 사람의 수정 결과
분야마다 학습 → 별도 자료로 평가

분야별 작은 모델

전자제품자료 대기
의류자료 대기
반려동물용품자료 대기
0 / 3개 분야 전환 가능 · 가상 평가
0 / 24초

자료 묶음·처리 비중·평가 통과 시점은 설명용 가정입니다. 실제 학습 기준이나 정확도·절감률을 뜻하지 않습니다. 처음 보는 상품과 낮은 신뢰도 사례는 계속 프론티어·추가 검토로 보냅니다.

출발점은 오픈소스 이미지 모델의 전이학습입니다.

EfficientNet-B0·ConvNeXt-Tiny 같은 사전학습 모델을 비교해 하나를 선택하고, 우리 상품 분류표에 맞게 추가 학습합니다. 이미 학습한 형태·질감 등의 특징을 재사용하면서 마지막 분류층을 바꾸고 필요한 부분을 조정하는 방식입니다. 공개 모델의 기존 카테고리에만 묶이지 않고, 우리 상품의 새 분류를 배울 수 있도록 합니다.

  1. 01

    초기에는 프론티어가 담당

    기존 이미지 모델이 아직 배우지 못한 카테고리·분야는 분류 기준을 정한 뒤 프론티어가 이미지와 설명을 함께 보고 우선 처리합니다. 초기 호출비용은 더 들 수 있지만, 새 분야의 분류를 시작하며 학습 자료를 모읍니다.

    미지원 분야의 초기 처리
  2. 02

    판정 데이터를 검증·축적

    상품 이미지, 분류 후보, 판단 근거, 신뢰도, 사람의 수정 결과를 함께 저장합니다. 프론티어의 답은 임시 정답 후보로 두고, 표본 검수와 충돌·희귀 분류 확인을 거쳐 학습에 쓸 자료를 선별합니다.

    모델의 답을 그대로 정답으로 쓰지 않음
  3. 03

    분야별 소형 모델 학습

    해당 분야의 여러 상품·촬영 조건을 담은 자료가 충분히 쌓이면, 사전학습 가중치에서 출발해 새 분류층과 필요한 부분을 추가 학습합니다. 이렇게 자체 학습·운영할 수 있는 분야별 소형 이미지 분류 모델을 만듭니다.

    데이터 수량과 분류별 다양성을 함께 확보
  4. 04

    검증된 분야부터 전환

    학습에 쓰지 않은 정답 상품으로 정확도와 총비용을 평가하고, 통과한 분야부터 소형 모델의 처리 비중을 높입니다. 처음 보는 상품이나 낮은 신뢰도 사례는 프론티어·독립 검토·사람 검수 경로로 보냅니다.

    소형 모델 우선 · 어려운 사례는 추가 검토
목표는 정확도를 지키면서, 반복 분류와 사람 검수에 드는 비용을 줄이는 것입니다.

초기 프론티어 호출비용을 일회성 처리에만 쓰지 않고, 검증된 학습 자료와 분야별 모델로 연결합니다. 그 결과를 평가하며 프론티어 의존도를 낮추고 자체 소형 모델의 담당 범위를 점차 넓히겠습니다.

전환 시점과 비용을 판단하는 기준

데이터 개수만으로 전환하지 않습니다. 희귀 카테고리와 사진의 다양성을 확보하고, 같은 상품·유사 사진이 학습 자료와 평가 자료에 함께 들어가지 않도록 나눕니다. 별도 검증 자료로 신뢰도 기준을 정하고, 최종 평가 자료에서 세부 분류 정확도·오분류·자동 처리 비율·사람 검수율을 확인합니다.

전체 비용으로 비교합니다. 프론티어 호출비뿐 아니라 자료 검수·학습·서버 운영·추가 호출·오분류 수정 비용까지 포함해, 예상 처리량에서 전환할 이점이 있는지 판단합니다. 학습 투자비와 운영비를 실제로 측정하기 전에는 절감률을 확정하지 않습니다.

이미지로 구분할 수 있는 범위부터 맡깁니다. 설명문에만 있는 규격·성분·호환성은 이미지 모델만으로 배우기 어려우므로 텍스트·프론티어 경로를 유지합니다. 새 분야나 품질 저하가 나타나면 해당 분야를 다시 추가 검토로 보내고 재학습합니다.

위 내용은 추후 개선 계획입니다. 현재 시뮬레이션에서 실제 데이터 수집·모델 학습·성능 및 비용 검증을 수행한 것은 아닙니다.

설계 참고: PyTorch 전이학습 가이드 · 모델의 예측을 학습 자료로 활용한 연구공개 방법을 바탕으로 구성한 적용안이며, 해당 연구의 성능을 이 서비스의 성과로 사용하지 않습니다.

설계 참고 자료와 가상 점수 안내

모든 점수는 고정 합성 수치입니다. 보정 모델을 학습하지 않았으며 자기확신 평균을 확률로 쓰지 않습니다. 실제 적용 전 동일 정답 상품으로 EfficientNet-B0와 ConvNeXt-Tiny를 비교해 하나만 선택하고, 보류한 검증 자료에서 점수 보정·오류율·비용을 확인해야 합니다.

텍스트 우선 상품 분류 연구 · eBay 최종 후보 추천 · AWS 대기열 자동 확장

글로 읽는 진행 순서와 전체 예시 상태
  1. 판매자의 바코드·모델명으로 기존 정보를 찾아 부족한 내용을 채웁니다. 아직 필요한 정보가 있으면 질문하고, 응답이 없으면 기다리지 않고 분류합니다.
  2. 20개씩 25묶음, 총 500개 상품을 장면마다 10개씩 입력합니다. 1차 복제본이 바쁘면 대기열에서 기다리며, 앞선 상품은 아래 단계에서 계속 처리합니다.
  3. 1차에서 정보가 충분하고 최종 후보 점수와 상위 분류가 기준을 충족하면 초록색 경로로 최종 바스켓에 직행합니다.
  4. 그 외 상품은 화질 검사 후 전용 이미지 분류기 1개로 확인합니다. 미해결이면 프론티어, 여전히 부족하면 사람검증 점수 +1 뒤 이미지 지원 저비용 모델의 독립 판단·비교를 진행합니다. 미해결 비교는 사람검증 점수 +2, 분기 막힘의 1회 복구는 사람검증 점수 +1이며 매 가산 직후 2점 이상이면 사람에게 보냅니다.
  5. 보상 제안이나 직행 기준을 바꾸면 같은 상품의 현재 장면을 다시 계산합니다. ‘처음부터’는 설정을 유지한 채 장면을 0으로 돌립니다.
예시 상품분류 경로현재 상태

아이콘: Lucide · ISC / MIT
모델 로고: Lobe Icons · MIT · 각 브랜드 식별용, 제휴·보증 의미 없음

분류도·상품 그림: 자체 제작 SVG
구현·수정: Codex 활용 · 설계 검토: PAL 무료 모델 검토 절차