<aside> 🕷 Fetch 단계 — core / handler / domain / implementation / rate_limiter / worker 의 6개 서브패키지. · 원본: docs/architecture/internal/processor/fetcher/README.md

</aside>

토픽 issuetracker.crawl.{high,normal,low} consume → 웹 페이지 본문 수집 → Claim Check 로 raw_contents 저장 → RawContentRef 를 issuetracker.fetched 에 발행.

🧱 fetcher/core — Sink Interface Layer

원본: docs/architecture/internal/processor/fetcher/core.md

책임 — Crawler · Parser · RateLimiter · HTTPClient 인터페이스 + 핵심 모델 (RawContent / Content / CrawlJob / Priority) + CrawlerError 카테고리 / 코드 / Retryable.

적용된 패턴 —

• Sink layer — 어떤 다른 fetcher 서브패키지도 import 하지 않음, 가장 안정적 인터페이스 계층
• Boundary 변환 — 모든 fetch/parse 에러는 CrawlerError 로 반환 (.claude/rules/04 단일 소스)

구현 디테일 —

• WithRetry — 지수 backoff + Retryable 검사 (errors.As)
• IPResolver — host → IP cache (rate limiter 가 IP 단위)
• HTTP/2 latency 등 metrics 수집

🗂 fetcher/handler — Crawler Registry

원본: docs/architecture/internal/processor/fetcher/handler.md

책임 — crawler_name (예: "naver", "cnn") → Handler 매핑. PoolManager 가 CrawlJob.CrawlerName 으로 lookup.

적용된 패턴 —

• Registry — map[string]Handler + fallback Handler (unknown name 시 Warn 로그)
• No-mutex — 등록은 entry point 의 단일 goroutine 일괄 수행, 이후 read-only lookup

구현 디테일 —

• noop.Handler — unknown crawler_name 의 안전한 fallback (빈 결과 + 경고)