Analyze images using GPT-4 Vision for detailed description, OCR text extraction, object recognition, and visual Q&A. Use when the user needs to understand image content, extract text from screenshots, identify objects in photos, or ask questions about images via OpenAI GPT-4 Vision API.
インストールする前に、エージェントに与えられる指示の中身を確認できます。
一个基于 OpenAI GPT-4 Vision 的图片理解工具，支持图片描述、文字识别(OCR)、物体识别和图片问答。
| 功能 | 命令 | 说明 |
|---|---|---|
| 图片描述 | -m describe | 详细描述图片内容 |
| 文字提取 | -m ocr | 提取图片中的所有文字 |
| 物体识别 | -m objects | 识别并列出图片中的物体 |
| 图片问答 | -m qa | 针对图片回答问题 |
# 安装依赖
pip install openai pillow requests
set OPENAI_API_KEY=sk-your-api-key-here
python scripts/main.py -i photo.jpg -a sk-your-key
# 描述图片
python scripts/main.py -i photo.jpg -m describe
# 提取文字（OCR）
python scripts/main.py -i screenshot.png -m ocr
# 识别物体
python scripts/main.py -i photo.jpg -m objects
# 图片问答
python scripts/main.py -i photo.jpg -m qa -q "这个图片里有什么？"
python scripts/main.py \
--image PATH_TO_IMAGE \
--mode describe|ocr|objects|qa \
--api-key YOUR_API_KEY \
--prompt "你的问题" \
--output OUTPUT.json \
--verbose
{
"mode": "describe",
"image": "photo.jpg",
"result": "A beautiful sunset over the ocean with orange and purple sky...",
"objects": [],
"text": ""
}
まだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
Record important information to long-term memory for learning user preferences, successful patterns, and error lessons. When you need to remember user preferences, save successful patterns, or record lessons from errors.
日本語の概要は準備中です。原文の説明を表示しています。
Click page elements by CSS selector or text content. When you need to click buttons, links, or select options. PREREQUISITE - must use browser_navigate to open target page first.
日本語の概要は準備中です。原文の説明を表示しています。
Extract page content and element text from current webpage. When you need to read page information, get element values, scrape data, or verify page content.
日本語の概要は準備中です。原文の説明を表示しています。
List all open browser tabs with their index, URL and title. When you need to check what pages are open, manage multiple tabs, or find a specific tab to switch to.
日本語の概要は準備中です。原文の説明を表示しています。
Navigate browser to specified URL to open a webpage. When you need to open webpages or start web automation. PREREQUISITE - must call before browser_click/type operations. Auto-starts browser if not running.
日本語の概要は準備中です。原文の説明を表示しています。
Open new browser tab and navigate to URL (keeps current page open). When you need to open additional page without closing current, or multi-task across pages. PREREQUISITE - must confirm browser is running first.
日本語の概要は準備中です。原文の説明を表示しています。