URL→Markdown API 3종 비교

LLM에 넣을 깔끔한 Markdown으로 URL을 바꿔야 한다면, 쓸 만한 선택지가 몇 가지 있습니다. Minibase API와 Firecrawl, Jina Reader를 솔직하게 비교하고, 어떻게 고르면 좋을지 정리했습니다.

한눈에 보는 비교

	Minibase API	Firecrawl	Jina Reader
핵심 출력	깔끔한 Markdown	Markdown + 크롤링	Markdown
JavaScript 렌더링	필요할 때만 자동으로 단계 상승	지원	지원
LLM 없는 저렴한 계층	있음 (1,000페이지당 $2)	크레딧 기반	있음 (매우 저렴)
선택형 AI 포매팅	토큰 과금 템플릿	LLM 추출 애드온	LLM 애드온
크롤링 / 사이트맵	단일 페이지 (v1)	전체 크롤러	단일 페이지
과금 모델	계층별 종량제	크레딧 / 요금제	토큰 기반

각각이 어울리는 자리

Firecrawl은 크롤링이 필요할 때 가장 기능이 풍부합니다. 사이트 전체를 찾아내 끌어오고, 링크를 따라가고, 지도를 만드는 작업 말입니다. “이 문서 사이트를 통째로 수집해 줘”가 과제라면 여기가 제격입니다. 대신 직접 계산해 봐야 하는 크레딧 체계가 따라오고, 페이지 하나만 원할 때도 크롤러 기계 값을 함께 내게 됩니다.

Jina Reader는 미니멀리스트의 선택입니다. URL 앞에 접두어를 붙이면 Markdown이 돌아오고, 가격은 토큰 기반으로 매우 저렴합니다. 빠르고 대량인 단일 페이지 읽기에는 훌륭한 기본값입니다. 저렴한 fetch와 렌더링을 나누는 문제에 대해서는 상대적으로 견해가 약해서, 무거운 페이지는 예상보다 비싸질 수 있습니다.

Minibase API는 하나의 생각 위에 세워졌습니다. 대부분의 페이지는 비쌀 이유가 없다는 것입니다. 계층형 엔진이 먼저 저렴하게 가져오고, 페이지가 정말로 JavaScript 껍데기일 때만 헤드리스 렌더링으로 올라갑니다. 그리고 어느 계층이 과금됐는지 응답이 알려줍니다. LLM을 쓰지 않는 Markdown 계층은 1,000페이지당 $2 정액인데, 저희 쪽 마진이 약 99%라 이 가격을 유지할 수 있습니다. 추출 이상이 필요할 때 쓰는 AI 템플릿은 별도로 토큰 과금되므로, 단순 fetch에 실수로 LLM 가격을 내는 일이 없습니다.

결국 저렴한 계층이 관건입니다

규모가 커지면 청구서를 결정하는 것은 이 대목입니다. 어떤 API는 페이지가 그럴 필요가 있었는지와 무관하게 모든 요청을 비싼 경로(렌더링이나 LLM, 혹은 둘 다)로 흘려보냅니다. Minibase API의 기본값은 단순 fetch와 스트리밍 HTML-to-Markdown 파서입니다. 브라우저도, 모델도 쓰지 않습니다. 그래서 흔한 경우가 실제로 저렴합니다. 렌더링과 AI 포매팅은 필요할 때 직접 켜는 선택 사항입니다.

담장 안 정원에 대한 정직함

세 도구 모두 로그인이 필요한 콘텐츠에서는 같은 벽에 부딪힙니다. Minibase API의 입장은 이렇습니다. YouTube는 공식 자막 채널을 통하고, 다른 플랫폼은 최선을 다하는 수준이며, 유령 계정도 로그인 스크래핑도 쓰지 않습니다. 어떤 업체가 Instagram이나 X를 대규모로 손쉽게 긁어 준다고 약속한다면 어떻게 하는지 물어보세요. 답은 대개 약관을 어기는 불안정한 계정 농장입니다.

어떻게 고를까

• 사이트 전체를 크롤링해야 한다면 → Firecrawl.
• 아주 단순하고 아주 저렴한 단일 페이지 읽기가 필요하다면 → Jina Reader.
• 계층별로 예측 가능한 가격에, 진짜 저렴한 기본값과 선택형 AI 포매팅을 원한다면 → Minibase API.

절대적인 승자는 없습니다. 각자의 작업량에 맞는 선택이 있을 뿐입니다. 그 답이 투명한 가격의 깔끔한 Markdown이라면, Minibase API를 사용해 보세요.