AI 에이전트용 URL→Markdown API

모든 검색 파이프라인은 결국 같은 벽에 부딪힙니다. 웹은 HTML인데, 모델이 원하는 것은 깨끗한 텍스트라는 벽입니다. 원본 HTML을 그대로 LLM에 넣으면 <div> 수프와 내비게이션, 쿠키 배너에 토큰을 태우게 되고, 정작 중요한 신호는 묽어집니다. Minibase API는 어떤 URL이든 깔끔한 Markdown으로 바꿔서, 에이전트가 마크업이 아니라 콘텐츠를 읽게 합니다.

LLM에게 Markdown이 알맞은 형식인 이유

Markdown은 모델 컨텍스트에 딱 알맞은 지점에 있습니다. 문서를 이해하는 데 도움이 되는 구조(제목, 목록, 표, 코드)는 살리면서, 토큰을 낭비하고 어텐션을 흐트러뜨리는 스타일과 스크립트는 버립니다. 간결하고, 읽기 쉽고, 주요 모델이 모두 이 형식으로 충분히 학습되어 있습니다.

“이 페이지를 Markdown으로 줘”가 에이전트 도구에서 가장 흔한 기본 동작 중 하나인 이유입니다. Minibase API는 이것을 호출 한 번으로 만듭니다.

에이전트 루프

import os, requests

def read_url(url: str) -> str:
    r = requests.post(
        "https://api.savemarkdown.co/v1/convert",
        headers={"Authorization": f"Bearer {os.environ['SAVE_API_KEY']}"},
        json={"url": url},
    )
    r.raise_for_status()
    return r.json()["markdown"]

# 에이전트에서: 도구 호출 → read_url(url) → markdown을 컨텍스트에 넣기

read_url을 도구 정의 뒤에 붙여 두면 에이전트가 열린 웹을 돌아다니면서 매번 깔끔한 컨텍스트를 받아옵니다. RAG 수집 작업이라면 소스 URL 목록에 이 함수를 매핑한 뒤, 나온 Markdown을 벡터 스토어의 문서 로더로 바로 넘기면 됩니다.

직접 스크래핑하면 안 되나요?

해도 됩니다. 다만 롱테일이 만만치 않습니다.

• JavaScript 페이지는 단순 fetch에 빈 껍데기만 돌려줍니다. 헤드리스 브라우저가 필요한데, URL마다 브라우저를 띄우는 건 느리고 비쌉니다.
• 봇 차단벽은 데이터센터 IP를 막습니다. 그럴듯한 헤더가 필요하고, 때로는 레지덴셜 프록시까지 필요합니다.
• 상용구 제거는 그 자체로 연구 과제입니다. readability 휴리스틱은 70%까지는 데려다주고, 정작 중요한 페이지에서 무너집니다.
• 유지보수는 끝나지 않습니다. 사이트는 바뀌고, 여러분의 추출기는 삭습니다.

Minibase API는 이것을 계층형 엔진으로 처리합니다. 저렴한 fetch를 먼저 시도하고, 페이지가 정말로 JS 껍데기일 때만 헤드리스 렌더링으로 올라간 뒤 상용구를 걷어냅니다. 파이프라인을 직접 떠안지 않고 결과만 받게 되고, 응답이 어느 계층이 돌았는지 알려주므로 비용도 예측 가능합니다.

담장 안 정원을 다루는 정직한 방식

YouTube는 공식 자막 채널을 통합니다. X, Instagram, TikTok은 최선을 다하는 수준입니다. 저희는 유령 계정을 쓰거나 로그인 뒤를 긁어오지 않습니다. 법적으로도 안정성 측면에서도 지뢰밭이고, 믿을 만한 API가 딛고 설 기반이 아닙니다. 정당한 접근 권한이 있는 콘텐츠에 대해서는, 사용자 본인 세션을 가져와 쓰는 기능이 로드맵에 있습니다.

설계부터 에이전트가 발견할 수 있게

에이전트가 도구를 동적으로 발견하는 구조라면, Minibase API는 이미 에이전트 스킬 색인(save.api.url-to-markdown), API 카탈로그, llms.txt에 실려 있습니다.

문서 보기 →