<aside> 📡 Scheduler 가 등록된 카테고리 URL 을 시드 발행하고, Publisher 가 크롤 결과로 발견된 URL 을 chained 발행합니다. · 원본: docs/architecture/internal/scheduler.md

</aside>

📡 internal/scheduler — Seed Job

원본: docs/architecture/internal/scheduler.md

책임 — 등록된 카테고리 URL 을 주기적으로 crawl 토픽에 시드 발행. 발견 URL chained 발행은 publisher 책임.

알고리즘 / 동작 —

• entry 별 ticker goroutine — Interval 마다 Gate.Allow → Throttler.ShouldThrottle 검사 후 Emitter.Emit
• BacklogThrottler — consumer-group lag > MaxBacklog 면 publish 차단

적용된 패턴 —

• atomic.Pointer — 옵션 의존성 (Gate/Throttler) lock-free 주입
• Graceful degrade — ShouldThrottle 실패 시 false 반환 (best-effort)

구현 디테일 —

• DefaultEntries(cfg) — CNN/Naver/Yonhap/Daum 카테고리
• SCHEDULER_MAX_BACKLOG=0 이면 throttler 비활성

관련 이슈 — #119 URL Guard · #124 BacklogThrottler · #126 Scheduler/Publisher 책임 분리

📤 internal/publisher — Chained Job

원본: docs/architecture/internal/publisher.md

책임 — 크롤된 페이지에서 발견된 URL → 다음 CrawlJob 으로 발행. ParserWorker 가 list 페이지 처리 시 호출.

알고리즘 / 동작 —

• Normalize → Gate(allow/deny) → IngestionLock(atomic dedup) → PriorityResolver → 토픽 라우팅

적용된 패턴 —