Collect industry information from RSS feeds, websites, and APIs using over 207 configured sources. Remove duplicates, apply AI scoring, categorization, and summaries, and produce Markdown reports or JSON data.
中文简介正在准备中。当前显示英语简介。
统一采集框架 - 支持 RSS/Web/API，207+ 采集源，AI 评分/分类/摘要
安装前可以查看交给 AI 代理的指令内容。
统一采集框架，为 AI Agent 提供强大的信息采集能力。
# 抓取煤炭行业数据
common-fetcher --industry coal --output daily.md
# 抓取房地产行业数据
common-fetcher --industry realestate --output daily.md
# 抓取 AI 技术数据
common-fetcher --industry ai --output daily.md
# 自定义采集源
common-fetcher --config custom-sources.json --output daily.md
import { CommonFetcher } from 'common-fetcher';
const fetcher = new CommonFetcher({
industry: 'coal',
maxArticles: 50,
timeout: 15000,
});
const result = await fetcher.fetch();
console.log(`成功抓取 ${result.totalArticles} 篇文章`);
在 openclaw.json 中配置：
{
"skills": {
"common-fetcher": {
"enabled": true,
"industry": "coal",
"schedule": "0 8 * * *"
}
}
}
┌─────────────────────────────────────────┐
│ Common-Fetcher │
├─────────────────────────────────────────┤
│ Source Layer (采集源层) │
│ ├─ RSS 源 │
│ ├─ 网页源 │
│ └─ API 源 │
├─────────────────────────────────────────┤
│ Fetcher Layer (抓取层) │
│ ├─ RSS Fetcher (并发 + 超时) │
│ ├─ Web Scraper (cheerio) │
│ └─ Cache Manager │
├─────────────────────────────────────────┤
│ Processor Layer (处理层) │
│ ├─ 去重 (标题/URL 哈希) │
│ ├─ 时间过滤 │
│ ├─ AI 评分/分类 │
│ └─ AI 摘要 │
├─────────────────────────────────────────┤
│ Output Layer (输出层) │
│ ├─ Markdown 报告 │
│ ├─ JSON 数据 │
│ └─ 多渠道推送 │
└─────────────────────────────────────────┘
| 解析器 | 文章数/次 | 耗时 | 成功率 |
|---|---|---|---|
| 观点地产网 | 30 篇 | 605ms | 100% |
| 煤炭资源网 | 30 篇 | 455ms | 100% |
| 房天下 | 17 篇 | 579ms | 100% |
| MIT Tech Review | 9 篇 | 393ms | 100% |
| 总计 | 86 篇/次 | ~2s | 100% |
在 config/ 目录下管理采集源：
coal-sources.json - 煤炭行业采集源realestate-sources.json - 房地产行业采集源ai-sources.json - AI 技术采集源自定义解析器参考 src/parsers/ 目录：
export function parseGuandian(html: string, baseUrl: string): Article[] {
// 解析逻辑
}
欢迎提交 Issue 和 PR！
MIT License
Common-Fetcher - 为 AI Agent 提供强大的信息采集能力 🕸️
还没有评价。欢迎分享你的使用感受。
无需登录即可发表。欢迎分享使用感受、提问，或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
Gather recent AI products, papers, tools, and viewpoints into a Chinese and English HTML daily report. Select up to ten supported items, check original sources where possible, and summarize shared trends with practical next actions.
中文简介正在准备中。当前显示英语简介。
Retrieve an arxiv paper's full text from its HTML version using an ID or URL. Extract readable text with section structure, optionally save it to a file, and prepare it for reading, notes, or technical analysis.
中文简介正在准备中。当前显示英语简介。
Search the web or find images through the Ask-Echo API from 火山引擎. Retrieve result details, request an AI-generated summary, and narrow searches by time range or selected websites.
中文简介正在准备中。当前显示英语简介。
Build or update the BlueBubbles channel plugin for Clawdbot. The skill explains code locations, existing helper functions, message delivery, connection checks, and webhook handling, which receives incoming messages and attachments through HTTP notifications.
中文简介正在准备中。当前显示英语简介。
Turn API documentation, SDKs, or existing scripts into reusable command-line tools for Codex. Build focused read and write commands, stable JSON output, authentication checks, and a companion skill explaining how future sessions should use the tool.
中文简介正在准备中。当前显示英语简介。
Improve existing code through up to two optimization rounds, measuring execution time and memory use against a baseline. Verify that results remain correct, save the optimized code, and document changes, measured gains, and trade-offs in a report.
中文简介正在准备中。当前显示英语简介。