🤖 CrawlerHub 자동 수집
CrawlerHub이 Qoo10 로그인 · 토큰 · reCAPTCHA · 재시도까지 다 처리합니다. 결과는 webhook으로 도착해 자동 저장됩니다.이 요청은 실제로 무엇을 하나요?
- nercelin-web →
…에 잡 enqueue (시크릿은 서버가 추가) - CrawlerHub Worker가 캐시된 Qoo10 토큰 사용 (없거나 만료면 자동 로그인)
- Qoo10 API 호출 후 결과를
/api/webhook/crawlerhub로 콜백 - nercelin-web이 HMAC 검증 후
store.saveTransaction/savePvupsert
⏰ 매일 자동 수집 + 일괄 수동 실행
이 대시보드는 매일 새벽 5시 (Asia/Seoul) 에 거래+PV / Q캐시 / 판매정산 / 광고매출 4종을 자동으로 수집합니다 (.envSCHEDULER_ENABLED=false 로 끌 수 있음). 아래 버튼은 그 4종을 지금 즉시 한 번에 트리거합니다.
기간을 비우면 이번 달 1일 ~ 오늘 (KST). 4개 잡이 큐에 등록되고, 결과는 webhook 으로 도착합니다.
🆘 비상용: 수동 토큰으로 직접 수집
CrawlerHub이 reCAPTCHA로 막혔거나 죽었을 때만 사용. 브라우저 DevTools에서 Authorization 헤더 값을 복사해 붙여넣으세요.📡 최근 Webhook 이벤트
(5초마다 자동 갱신)| 수신 시각 | 종류 | 상태 | 기간 | 요약 | requestId |
|---|---|---|---|---|---|
| 아직 도착한 이벤트가 없습니다. | |||||
🔗 CrawlerHub 연결 정보 (.env)
이 값들은 nercelin-web 서버에서 읽혀 표시됩니다. 변경하려면.env 수정 후 서버 재기동.
- CrawlerHub URL
- …
- API Key (Bearer 인증)
- …
- Webhook 수신 URL
- …
- Webhook HMAC 시크릿
- …
Webhook URL · 시크릿은 이제 CrawlerHub API key 발급 시점에 묶여서 자동 라우팅됩니다. 그래서 일반적으로 위 두 칸이 비어 있어도 정상입니다 (옛 호환을 위해 env에 명시하면 그 값이 우선). 실제 인증은 API Key 한 줄로 끝납니다.