api
無料Use crawlberg api reference documentation.
日本語の概要は準備中です。原文の説明を表示しています。
Use crawlberg cli reference documentation.
日本語の概要は準備中です。原文の説明を表示しています。
実行スコア 未検証
インストール方法を見るインストールする前に、エージェントに与えられる指示の中身を確認できます。
Use this skill when invoking, documenting, or changing the crawlberg command-line interface.
crawlberg: High-performance web crawler and scraper
crawlberg batch-crawl: Crawl multiple websites concurrentlycrawlberg batch-scrape: Scrape multiple URLs concurrentlycrawlberg citations: Convert markdown links into numbered citationscrawlberg crawl: Crawl a website following linkscrawlberg download: Download a document from a URL and report its metadatacrawlberg interact: Execute browser actions on a single pagecrawlberg map: Discover all URLs on a website via sitemaps and link extractioncrawlberg mcp: Start the MCP server (stdio transport by default).crawlberg scrape: Scrape a single URL and extract metadatacrawlberg serve: Start the REST API server.crawlberg version: Print the crawlberg version as JSONまだレビューはありません。使ってみた感想をお寄せください。
ログインなしで書き込めます。使ってみた感想、質問、動かなかった環境などを気軽にどうぞ。
まだコメントはありません。最初のコメントを書いてみませんか。
Use crawlberg api reference documentation.
日本語の概要は準備中です。原文の説明を表示しています。
Crawl, scrape, and convert websites to Markdown using the local crawlberg CLI and its MCP server. Use when the user wants to fetch a page, follow links across a domain, enumerate URLs, or drive a real browser. Covers installation, the subcommands (scrape, crawl, map, interact, batch-scrape, batch-crawl, download, citations, version, mcp, serve), output formats (JSON + Markdown), browser fallback, and when to prefer the MCP server over shelling out.
日本語の概要は準備中です。原文の説明を表示しています。
Use when extracting a page needs scripted interaction first — click, type, press a key, scroll, wait, screenshot, or run JS before capturing the DOM. Covers `crawlberg interact URL --actions` with the real action schema, result shape, limits, and external-CDP options.
日本語の概要は準備中です。原文の説明を表示しています。
Use when the user wants to follow links across a domain and capture every reachable page as Markdown. Covers `crawlberg crawl` with depth, page caps, concurrency, rate limiting, domain scoping, robots, and output selection.
日本語の概要は準備中です。原文の説明を表示しています。
Use when a static fetch returns nothing useful and the page needs a real browser. Covers `--browser-mode auto|always|never`, external CDP via `--browser-endpoint`, symptoms of JS-only pages and WAF blocks, and the performance cost.
日本語の概要は準備中です。原文の説明を表示しています。
Use when the user wants the list of URLs on a site rather than the page content — sitemap analysis, link planning, or seeding another tool. Covers `crawlberg map URL` with `--limit`, `--search`, robots, output, and how it differs from a full crawl.
日本語の概要は準備中です。原文の説明を表示しています。