本文へ移動
cccskills

「crawl」の検索結果

497 件 ・ 関連度順

概要と使いどころ

Audit robots.txt for AI crawler access policies. Checks GPTBot, ClaudeBot, PerplexityBot, Google-Extended, and other AI crawlers. Use when user says "robots AI", "AI crawlers", "block AI", "allow AI bots", "AI crawl policy".

日本語の概要は準備中です。原文の説明を表示しています。

lionkiii/claude-seo-skills212026年6月11日 更新

Crawl websites and extract content from multiple pages via the Tavily CLI. Use this skill when the user wants to crawl a site, download documentation, extract an entire docs section, bulk-extract pages, save a site as local markdown files, or says "crawl", "get all the pages", "download the docs", "extract everything under /docs", "bulk extract", or needs content from many pages on the same domain. Supports depth/breadth control, path filtering, semantic instructions, and saving each page as a local markdown file.

日本語の概要は準備中です。原文の説明を表示しています。

EthanYoQ/Skill-hub112026年10月5日 更新

sitemap

無料

Audit an existing sitemap.xml / robots.txt or generate new ones following sitemaps.org protocol and Google Search Central guidance, with a growth-first default that allows every crawler including AI search and AI training bots. Use this skill whenever the user asks to "build a sitemap", "generate sitemap.xml", "audit the sitemap", "refresh sitemap", "write robots.txt", "check robots", "allow AI crawlers", "block AI crawlers", "fix crawl budget", "submit to Google", or any other discovery / indexing configuration task. Output is a valid sitemap.xml (or sitemap index) and/or robots.txt, plus a written audit when auditing.

日本語の概要は準備中です。原文の説明を表示しています。

zhizdev/overgrow72026年5月2日 更新

Integrate Firecrawl into product code: SDK setup and FIRECRAWL_API_KEY onboarding, /scrape, /search and /interact endpoints. Use when an application (not the agent itself) calls Firecrawl.

日本語の概要は準備中です。原文の説明を表示しています。

hybridlabor-api/aos62026年10月14日 更新

Search the public web and crawl URLs via the Unique AI Platform's `unique-cli web-search` command, with automatic per-turn citation tracking so cited web facts render as clickable external reference chips and `<sup>N</sup>` footnotes on the Unique platform. ALWAYS use this skill when the user asks to search the public web, research a topic online, look up news/articles/regulations, fetch the contents of one or more URLs, or perform any "two-phase" web research (search → review snippets → crawl selected URLs for full content). Routes through the Unique AI Platform's `/web-search-api` endpoints, so the engine (Google, Brave, Tavily, Jina, Firecrawl, …) and crawler are resolved server-side from the current environment — you never need to manage engine API keys yourself. Use this instead of fabricating answers from training data whenever fresh / source-cited information is needed. Do NOT use this skill for the internal knowledge base (`unique-cli search`) or for arbitrary tool execution (`unique-cli mcp`).

日本語の概要は準備中です。原文の説明を表示しています。

Unique-AG/ai52026年10月14日 更新

firecrawl

無料

Web search and scraping via Firecrawl API. Use when you need to search the web, scrape websites (including JS-heavy pages), crawl entire sites, or extract structured data from web pages. Requires FIRECRAWL_API_KEY environment variable.

日本語の概要は準備中です。原文の説明を表示しています。

danstrem2/clawdbot-skill-master-pack22026年2月1日 更新

firecrawl

無料

Web scraping, search, crawling, and page interaction via the Firecrawl CLI. Use this skill whenever the user wants to search the web, find articles, research a topic, look something up online, scrape a webpage, grab content from a URL, extract data from a website, crawl documentation, download a site, or interact with pages that need clicks or logins. Also use when they say "fetch this page", "pull the content from", "get the page at https://", or reference scraping external websites. This provides real-time web search with full page content extraction and interact capabilities — beyond what Claude can do natively with built-in tools. Do NOT trigger for local file operations, git commands, deployments, or code editing tasks.

日本語の概要は準備中です。原文の説明を表示しています。

Scoheart/agentskills22026年8月4日 更新

Bulk extract content from an entire website or site section. Use this skill when the user wants to crawl a site, extract all pages from a docs section, bulk-scrape multiple pages following links, or says "crawl", "get all the pages", "extract everything under /docs", "bulk extract", or needs content from many pages on the same site. Handles depth limits, path filtering, and concurrent extraction.

日本語の概要は準備中です。原文の説明を表示しています。

Scoheart/agentskills22026年8月4日 更新

Crawl websites and extract content from multiple pages via the Tavily CLI. Use this skill when the user wants to crawl a site, download documentation, extract an entire docs section, bulk-extract pages, save a site as local markdown files, or says "crawl", "get all the pages", "download the docs", "extract everything under /docs", "bulk extract", or needs content from many pages on the same domain. Supports depth/breadth control, path filtering, semantic instructions, and saving each page as a local markdown file.

日本語の概要は準備中です。原文の説明を表示しています。

Scoheart/agentskills22026年8月4日 更新

slacrawl

無料日本語概要

ローカルに保存したSlackの会話を検索し、期間を絞ったメッセージ確認や件数集計を行います。データの鮮度を調べ、必要に応じて同期やスレッド取得も扱います。

  • Slackの過去の会話を探したいとき
  • 直近7日間のメッセージ確認
  • 保存済みメッセージの件数集計や順位確認
openclaw/openclaw39.2万2026年10月13日 更新

tag-duplicate-prs-issues

無料日本語概要

OpenClawのPRやIssueの重複を根拠付きで判断し、関連する作業をprtagsで一つのグループに整理して判断理由と確信度を記録するスキルです。

  • PRが既存作業と重複するか調べたいとき
  • 同じ問題を報告するIssueを探したいとき
  • 関連作業を一つの重複グループに整理
openclaw/openclaw39.2万2026年10月13日 更新

graincrawl

無料日本語概要

Granolaのローカルアーカイブから会議メモや文字起こしを検索・取得するスキル。同期状態を確認し、必要な更新やSQLによる正確な件数集計も扱います。

  • 話題から過去の会議メモを探したいとき
  • メモの文字起こしやパネルの取得
  • 最近の情報を調べる前の同期状態確認
openclaw/openclaw39.2万2026年10月13日 更新

notcrawl

無料日本語概要

Notionのローカル保存データを検索し、ページやデータベースの一覧・件数・同期状況を確認して、必要に応じてMarkdownを書き出すスキル。

  • 保存済みのNotionページを探したいとき
  • データベース一覧やレポートを確認したいとき
  • SQLで保存済みページの件数を数えたいとき
openclaw/openclaw39.2万2026年10月13日 更新

gitcrawl

無料日本語概要

GitHubのローカル保存データからIssueやPR、重複候補を調べ、同期状況や情報の不足を確認しながら、判断前に最新の状態を照合するスキル。

  • 不具合に関連するIssueやPRを探したいとき
  • 重複候補のIssueを確認したいとき
  • 対応判断前に保存情報の鮮度を確かめたいとき
openclaw/openclaw39.2万2026年10月13日 更新

Technical SEO audit with GEO-specific checks — crawlability, indexability, security, performance, SSR, and AI crawler access

日本語の概要は準備中です。原文の説明を表示しています。

zubair-trabzada/geo-seo-claude1.1万2026年10月13日 更新

AI crawler access analysis. Checks robots.txt, meta tags, and HTTP headers to determine which AI crawlers can access the site. Provides a complete access map and recommendations for maximizing AI visibility while maintaining appropriate control.

日本語の概要は準備中です。原文の説明を表示しています。

zubair-trabzada/geo-seo-claude1.1万2026年10月13日 更新

Audit whether a website can be found, crawled, and cited by AI answer engines such as ChatGPT Search, Perplexity, Google AI Overviews, and Microsoft Copilot. Use when someone asks why their brand is missing from AI answers, whether AI crawlers can read their site, how to get cited by ChatGPT or Perplexity, or asks for a GEO or AEO (generative / answer engine optimization) review. Produces a citation baseline across buyer-intent prompts, a crawler-access check, a citability review of named pages, and a ranked fix list. Not for keyword rank tracking, paid search, or pages behind a login.

日本語の概要は準備中です。原文の説明を表示しています。

davepoon/buildwithclaude3,6322026年10月12日 更新

Upgrade Apify SDK, apify-client, and Crawlee versions safely. Use when migrating between SDK versions, handling breaking changes, or updating from Apify SDK v2 to v3 (Crawlee split). Trigger with "upgrade apify", "apify migration", "apify breaking changes", "update apify SDK", "crawlee upgrade", "apify v2 to v3".

日本語の概要は準備中です。原文の説明を表示しています。

jeremylongshore/tons-of-skills-marketplace2,8352026年10月13日 更新

Optimize Apify Actor performance: crawl speed, memory usage, concurrency, and proxy rotation. Use when Actors are slow, consuming too much memory, or being blocked by target sites, or when a crawl is too expensive per run. Trigger with "apify performance", "optimize apify actor", "apify slow", "crawlee concurrency", "apify memory tuning", "scraper performance".

日本語の概要は準備中です。原文の説明を表示しています。

jeremylongshore/tons-of-skills-marketplace2,8352026年10月13日 更新

When the user wants to choose or optimize rendering strategy for SEO. Also use when the user mentions "SSR," "SSG," "CSR," "ISR," "static rendering," "dynamic rendering," "server-side rendering," "client-side rendering," "JavaScript rendering," "pre-rendering," "prerender," "content in initial HTML," or "crawler visibility." For crawl issues, use site-crawlability.

日本語の概要は準備中です。原文の説明を表示しています。

kostja94/marketing-skills1,0322026年10月6日 更新

Run a comprehensive technical SEO audit covering crawlability, indexability, rendering, site architecture, structured data, page experience, security, and internationalization. Use this skill whenever the user asks about technical SEO, crawl issues, indexing problems, sitemaps, robots.txt, canonical tags, schema markup, page speed, Core Web Vitals, hreflang, redirects, or site-wide search performance. Triggers on technical SEO, site audit, crawlability, indexability, sitemap, robots.txt, canonical, redirect chain, schema, JSON-LD, Core Web Vitals, page speed, hreflang, mobile usability, HTTPS, security headers, render-blocking, JavaScript SEO. Also triggers when a site has indexing problems, traffic drops, or migration concerns, even if 'technical SEO' is not said explicitly.

日本語の概要は準備中です。原文の説明を表示しています。

rampstackco/claude-skills9542026年10月7日 更新

Multi-page deep crawling - documentation sites, wikis, knowledge bases

日本語の概要は準備中です。原文の説明を表示しています。

vibeeval/vibecosystem5332026年8月9日 更新

Read a known webpage or execute a discovered workflow or data-provider capability. Use for page content or structured results once the URL or tool is selected.

日本語の概要は準備中です。原文の説明を表示しています。

firecrawl/firecrawl-claude-plugin2382026年10月9日 更新

Autonomously navigate websites and extract structured data across pages. Use when the task requires navigation or no suitable ready-made workflow or data provider covers it.

日本語の概要は準備中です。原文の説明を表示しています。

firecrawl/firecrawl-claude-plugin2382026年10月9日 更新