본문으로 건너뛰기
cccskills

'crawling' 검색 결과

66건 · 관련도순

Analyzes and generates llms.txt files -- the emerging standard for helping AI systems understand website structure and content. Can validate existing llms.txt files or generate new ones from scratch by crawling the site.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

bytefer/geo-seo-codex122026년 7월 1일 업데이트

Route ordinary public-web information tasks to the correct Tavily CLI operation. Use when the task concerns publicly accessible webpages and needs web discovery, clean extraction, URL mapping, same-site crawling, or public-web-only research, but the exact Tavily operation is not yet clear or several operations must be sequenced. Prefer the specific leaf skill when intent is clear: tavily-search for discovery without a URL, tavily-extract for known URLs, tavily-map for URL/site-structure discovery, tavily-crawl for content from many pages on one site, tavily-research for cited multi-source synthesis, and tavily-dynamic-search for programmatic filtering with context isolation. Do not use for named social/community/media/career/code platforms, login or cookie-dependent content, platform-native discussions, or cross-platform collection; use Agent Reach there. Do not use for local files, Git operations, deployments, or ordinary code editing.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

EthanYoQ/Skill-hub112026년 10월 18일 업데이트

Build production-ready Tavily integrations with best practices baked in. Reference documentation for developers using coding assistants (Claude Code, Cursor, etc.) to implement web search, content extraction, crawling, and research in agentic workflows, RAG systems, or autonomous agents.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

EthanYoQ/Skill-hub112026년 10월 18일 업데이트

Discover and list all URLs on a website without extracting content, via the Tavily CLI. Use this skill when the user wants to find a specific page on a large site, list all URLs, see the site structure, find where something is on a domain, or says "map the site", "find the URL for", "what pages are on", "list all pages", or "site structure". Faster than crawling — returns URLs only. Essential when you know the site but not the exact page. Combine with extract for targeted content retrieval.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

EthanYoQ/Skill-hub112026년 10월 18일 업데이트

Report what is genuinely new in the last 30 days on a topic, by slicing locally collected nightly channel databases with no live crawling. Run it before a strategic decision, as the fresh-signal feed for the gap phase. Triggers: "/last30days <topic>", "trendwatch <topic>", "what changed last 30 days on X".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonydzi/second-brain-starter-kit92026년 10월 16일 업데이트

Perform quick web searches, local business lookups, and URL content extraction. Covers web_search for general queries, brave_local_search for location-based discovery, and run_crawl4ai_job for deep page crawling. Use when fact-checking, trend spotting, doing competitor analysis, looking up local businesses, extracting page content, or performing content research that doesn't need multi-step deep research.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

nvdigitalsolutions/mcp-ai-wpoos72026년 10월 19일 업데이트

Crawl and extract a bounded set of pages from one website through Tavily. Use for documentation downloads, site-section collection, or semantic multi-page extraction when map plus individual extract calls are insufficient.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

bg-szy/TOP-SKILLS62026년 9월 8일 업데이트

Web search, content extraction, crawling, and research capabilities using Tavily API

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

AxelMrak/ai52026년 2월 20일 업데이트

Deep web scraping, screenshots, PDF parsing, and website crawling using Firecrawl API

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

AxelMrak/ai52026년 2월 20일 업데이트

Inspects PostHog Web analytics Live tab data — current users online, last-30-minutes pageviews, top pages, referrers, devices, browsers, countries, bot traffic, and the per-minute bot/users charts. Use when the user asks "who is on my site right now?", "what is happening live?", "what bots are crawling me?", asks about the "live tab" / "live dashboard", wants live numbers (last 30 min), or wants help filtering or drilling into the live view. Also covers building product-analytics insights that mirror what the tiles show.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

0xAidan/polymarket-bot-test42026년 9월 4일 업데이트

scrapling

무료

Web scraping with Scrapling - HTTP fetching, stealth browser automation, Cloudflare bypass, and spider crawling via CLI and Python.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ibragimov-oasis/vibe-coder32026년 6월 24일 업데이트

Full-site crawling, scraping, and site mapping via Firecrawl MCP. Use when user says "crawl site", "map site", "full crawl", "find all pages", "broken links", "site structure", "discover pages", "JS rendering", or needs site-wide analysis.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

balsm-health/website32026년 10월 18일 업데이트

Optimize AEM Edge Delivery Services commerce product pages for search engine crawling and indexing. Audits client-side rendered product content for crawlability, validates meta tags, Product schema.org structured data, canonical URLs, and image optimization. Addresses the core challenge that EDS product pages render catalog data via JavaScript, which search crawlers may not fully execute. Use when product pages are not appearing in search results or have poor search visibility.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

aemgdc/aemdev22026년 10월 18일 업데이트

Web2 recon pipeline — subdomain enumeration (subfinder, Chaos API, assetfinder), live host discovery (dnsx, httpx), URL crawling (katana, waybackurls, gau), directory fuzzing (ffuf), JS analysis (LinkFinder, SecretFinder), continuous monitoring (new subdomain alerts, JS change detection, GitHub commit watch). Use when starting recon on any web2 target or when asked about asset discovery, subdomain enum, or attack surface mapping.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ajtazer/heckit22026년 10월 7일 업데이트

Deep web scraping, screenshots, PDF parsing, and website crawling using Firecrawl API

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

danstrem2/clawdbot-skill-master-pack22026년 2월 1일 업데이트

firecrawl

무료

Web scraping, search, crawling, and page interaction via the Firecrawl CLI. Use this skill whenever the user wants to search the web, find articles, research a topic, look something up online, scrape a webpage, grab content from a URL, extract data from a website, crawl documentation, download a site, or interact with pages that need clicks or logins. Also use when they say "fetch this page", "pull the content from", "get the page at https://", or reference scraping external websites. This provides real-time web search with full page content extraction and interact capabilities — beyond what Claude can do natively with built-in tools. Do NOT trigger for local file operations, git commands, deployments, or code editing tasks.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Scoheart/agentskills22026년 8월 4일 업데이트

Discover and list all URLs on a website without extracting content, via the Tavily CLI. Use this skill when the user wants to find a specific page on a large site, list all URLs, see the site structure, find where something is on a domain, or says "map the site", "find the URL for", "what pages are on", "list all pages", or "site structure". Faster than crawling — returns URLs only. Essential when you know the site but not the exact page. Combine with extract for targeted content retrieval.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Scoheart/agentskills22026년 8월 4일 업데이트

Build production-ready Tavily integrations with best practices baked in. Reference documentation for developers using coding assistants (Claude Code, Cursor, etc.) to implement web search, content extraction, crawling, and research in agentic workflows, RAG systems, or autonomous agents.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Scoheart/agentskills22026년 8월 4일 업데이트