OSINT 开源情报收集知识库

针对信息收集/侦察/社会工程场景的实战知识库，提供四维信息收集模型（服务器信息 → 网站信息 → 域名信息 → 人员信息），以及具体的工具使用方法和数据提取技巧。

与 recon Skill 的区别：

• recon → 技术层面侦察（端口扫描、DNS、目录枚举）— 基础版
• osint-recon → 全维度侦察（服务器 + 网站 + 域名 + 人员/社会工程）— 深度版

核心原则

1. 四维度全覆盖 — 服务器/网站/域名三个维度始终执行，人员维度按条件触发
2. 从页面提取一切可提取的信息 — 不只看 HTTP 头，还要看 HTML 内容、JS 文件、注释
3. 先被动后主动 — 先看响应头、DNS、WHOIS（被动），再做端口扫描/目录枚举（主动）
4. 维度完成度自检 — 每轮检查哪些维度已完成 ✅，哪些未完成 ❌，全部完成后才允许 [DONE]
5. 外部链接即线索 — 页面上的每个外部链接都可能是信息来源
6. 结构化输出 — 所有发现汇总为 Markdown 报告

四维信息收集模型

维度一：服务器信息

检查项	工具/方法	说明
开放端口 & 服务版本	MCP nmap / python_execute + socket	全端口扫描或常见端口（21/22/80/443/3306/6379/8080/8443）
真实 IP 探测	DNS 历史记录 / 全局 Ping / 邮件头提取	CDN 后的源站 IP — SecurityTrails/DNSHistory/全局Ping
操作系统指纹	TTL 推断 + nmap OS 检测	Linux TTL≈64, Windows TTL≈128, Unix TTL≈255
中间件版本	响应头 Server + 错误页 + 特征文件	Apache/Nginx/IIS/Tomcat 版本识别
数据库识别	端口探测 + 错误信息 + 特征行为	MySQL(3306)/Redis(6379)/MongoDB(27017)/MSSQL(1433)

维度二：网站信息

检查项	工具/方法	说明
网站架构	响应头 + 页面特征 + JS 库	OS + 中间件 + 数据库 + 语言 + 框架 → 完整技术栈
Web 指纹	fetch + 响应特征匹配	CMS 类型、前端框架、JS 库、模板引擎
WAF 检测	wafw00f 逻辑 + 响应特征	拦截页面/特殊响应头/异常状态码
敏感目录 & 敏感文件	python_execute + 常见路径字典	/admin /backup /config /api /robots.txt /sitemap.xml
源码泄露	检查常见泄露路径	.git/.svn/.DS_Store/.env/web.config/备份文件(.bak/.swp/.old)
旁站查询	同 IP 反查域名	站长工具/微步在线/crt.sh 同 IP 查询
C 段查询	同网段存活主机扫描	nmap -sn 扫描 /24 网段

维度三：域名信息

检查项	工具/方法	说明
WHOIS 注册信息	python_execute + whois API/命令	注册人/注册商/NS 服务器/注册日期/到期日期
ICP 备案信息	工信部备案查询 API	仅中国大陆域名需查，境外域名无备案
子域名发现	crt.sh + 爆破 + 搜索引擎 + DNS 区域传送	多方法交叉验证，确保覆盖全面
DNS 记录全量	python_execute + dnspython/socket	A/CNAME/MX/TXT/NS/SPF/SOA 全量查询
证书透明度日志	crt.sh / Censys / certspotter	发现历史证书、子域名、关联域名

维度四：人员信息 ⚡ 条件触发

⚠️ 此维度仅在以下条件之一满足时才执行：

• 用户命令中明确提及"社会工程/社工/人员信息/作者追踪/人物画像"等
• 目标网站有明确作者信息（meta author、about 页面、联系方式）

不应该做社工的情况：普通企业官网无个人作者 / 用户只要求"扫描目标" / 目标是 IP/内网地址

追踪方向	方法	说明
作者标识提取	页面 meta author、about 页面	用户名、昵称、邮箱
GitHub 追踪	fetch + GitHub API	仓库、语言偏好、贡献记录、邮箱
社交媒体	从页面提取链接 → 访问	B站、微博、知乎、Twitter、LinkedIn
跨平台关联	用用户名/邮箱搜索其他平台	相同 ID 跨平台搜索
历史提交	GitHub commits → 提交邮箱	关联其他项目和身份
泄露检测	GitHub 历史代码搜索	.env、config、密钥泄露

First-Pass 工作流

1. 访问目标 → fetch 获取首页，提取 HTTP 头 + HTML 内容
2. 维度一：服务器信息 → 端口扫描、真实 IP、OS 指纹、中间件/数据库识别
3. 维度二：网站信息 → Web 指纹、WAF 检测、敏感目录/源码泄露、旁站/C段
4. 维度三：域名信息 → WHOIS、ICP 备案、子域名、DNS 记录、证书透明度
5. 维度四（条件触发） → 提取作者信息、跨平台追踪、信息汇总
6. 维度完成度自检 → 确认每个维度至少做过一轮检查
7. 汇总报告 → 生成 Markdown 格式侦察报告

场景路由

场景	参考文档	核心内容
服务器信息收集	server-recon.md	端口扫描、真实 IP、OS 指纹、中间件/数据库识别
网站信息收集	website-recon.md	架构/指纹/WAF/敏感目录/源码泄露/旁站/C段
Web 指纹识别	web-fingerprinting.md	框架检测、版本识别、技术栈推断
作者追踪方法	author-tracking.md	从页面提取作者 → 跨平台追踪 → 信息汇总
OSINT 工具使用	osint-toolkit.md	crt.sh、GitHub API、搜索引擎 dork、旁站/C段/ICP
社会工程信息汇总	social-engineering-intel.md	人物画像、关系网络、信息交叉验证
侦察报告模板	recon-report-template.md	标准 Markdown 报告格式（四维度）

⭐ 常用提取代码片段

从 HTML 提取所有外部链接

import re
html = "..."  # fetch 获取的 HTML
links = re.findall(r'href=["\'](https?://[^"\']+)["\']', html)
for link in set(links):
    print(link)

从 HTML 提取作者信息

import re
# meta author
author = re.findall(r'<meta\s+name=["\']author["\']\s+content=["\']([^"\']+)["\']', html)
# about 页面链接
about_links = re.findall(r'href=["\']([^"\']*(?:about|me|contact)[^"\']*)["\']', html, re.I)

查询 crt.sh 子域名

import requests
domain = "example.com"
r = requests.get(f"https://crt.sh/?q=%.{domain}&output=json")
if r.status_code == 200:
    for entry in r.json():
        print(entry['name_value'])

GitHub 用户信息

import requests
username = "target_user"
r = requests.get(f"https://api.github.com/users/{username}")
if r.status_code == 200:
    data = r.json()
    print(f"Name: {data.get('name')}")
    print(f"Bio: {data.get('bio')}")
    print(f"Email: {data.get('email')}")
    print(f"Blog: {data.get('blog')}")
    print(f"Location: {data.get('location')}")
    print(f"Company: {data.get('company')}")

WAF 检测（响应特征法）

import requests
url = "https://target.com"
# 正常请求
r1 = requests.get(url)
# 触发 WAF 的请求（带攻击特征）
r2 = requests.get(url + "/?id=1' OR 1=1--")
# 对比响应
if r1.status_code != r2.status_code or len(r1.text) != len(r2.text):
    print("[!] 可能存在 WAF")
    print(f"正常状态码: {r1.status_code}, 攻击状态码: {r2.status_code}")

旁站查询（同 IP 反查域名）

import requests
ip = "1.2.3.4"
# 使用 chinaz API 或其他反查接口
# 也可以通过 crt.sh 查询同 IP 的证书
r = requests.get(f"https://crt.sh/?q={ip}&output=json")