OpenAI API (developers.openai.com) の Evals / Fine-tuning リファレンス。
Evals API, Datasets, graders（string check, text similarity, model, python, multi）, agent evals, trace grading, external models、 SFT, DPO, RFT（reinforcement fine-tuning）, vision fine-tuning, distillation, prompt optimizer, fine-tuning best practices。
セルフサービス fine-tuning は段階的廃止進行中。
インストールする前に、エージェントに与えられる指示の中身を確認できます。
skills/openai-evals-tuning/
SKILL.md
references/
evals/
README.md
working-with-evals.md
graders.md
getting-started-datasets.md
agent-evals.md
trace-grading.md
external-models.md
evaluation-best-practices.md
fine-tuning/
README.md
model-optimization.md
supervised-fine-tuning.md
vision-fine-tuning.md
direct-preference-optimization.md
reinforcement-fine-tuning.md
reinforcement-fine-tuning-use-cases.md
fine-tuning-best-practices.md
prompt-optimizer.md
samples/
README.md
eval-create-and-run.md
grader-definitions.md
sft-dataset-and-job.md
dpo-basics.md
rft-basics.md
distillation-workflow.md
scripts/
README.md
fine-tuning-jobs.md
training-data-files.md
evals.md
タスクからカテゴリを引き、カテゴリの README.md で目的のページを特定する:
references/{category}/README.md を参照して目的のページを特定する.md を Read して詳細を確認する| タスク | カテゴリ | 参照 README |
|---|---|---|
| Evals API で eval を作成・実行したい | evals | references/evals/README.md |
| grader（string check / text similarity / model / python / multi）を定義したい | evals | references/evals/README.md |
| エージェントのトレースを採点・評価したい | evals | references/evals/README.md |
| サードパーティモデル・外部エンドポイントを評価したい | evals | references/evals/README.md |
| SFT / DPO / RFT で fine-tuning ジョブを作りたい | fine-tuning | references/fine-tuning/README.md |
| vision fine-tuning や distillation を行いたい | fine-tuning | references/fine-tuning/README.md |
| prompt optimizer の使い方を知りたい | fine-tuning | references/fine-tuning/README.md |
| 典型的な使い方を知りたい | samples | samples/README.md |
| curl でジョブ・ファイル・eval を操作したい | scripts | scripts/README.md |
## Notes に個別の期限を記載しているopenai-api-core スキルが担当する。本スキルは評価（evals）とモデル最適化（fine-tuning）に限定するまだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
AMD ROCm / HIP GPU コンピューティングリファレンス。 hipMalloc, hipLaunchKernelGGL, HIP Graph, HIPRTC, hipify, rocBLAS, MIOpen, RCCL, rocprofv3, amd-smi, rocminfo, CDNA1-4 / RDNA1-4, MI300 / MI350, gfx942, Matrix Core, wave32/64。
Android アプリ開発 (Kotlin) の推奨アーキテクチャリファレンス。 Jetpack, androidx, UI layer, Domain layer, Data layer, state holder, UDF, SSOT, オフラインファースト, モジュール化, ViewModel, viewModelScope, SavedStateHandle, Lifecycle, repeatOnLifecycle, collectAsStateWithLifecycle, LiveData, Hilt による DI, Paging 3 によるページング処理。
Android アプリ開発 (Kotlin) のバックグラウンド・非同期処理リファレンス。 Jetpack androidx WorkManager: Worker, CoroutineWorker, WorkRequest, Constraints, WorkInfo, WorkContinuation, expedited work, テスト。 Service: フォアグラウンドサービス, バウンドサービス, AIDL, Messenger。 AlarmManager, PendingIntent, BroadcastReceiver, JobScheduler, Doze。 Kotlin コルーチン, Flow, StateFlow, SharedFlow, Channel。
Android アプリ開発 (Kotlin) の Gradle ビルドシステムリファレンス。 Android Gradle Plugin (AGP), Kotlin DSL (build.gradle.kts), version catalog, KSP, R8/ProGuard, App Bundle, baseline profile。
Android Jetpack Compose (Kotlin) の androidx Material3 コンポーネントリファレンス。 Button, IconButton, FloatingActionButton, Checkbox, Switch, Slider, TextField, SearchBar, DropdownMenu, Chip, DatePicker, TimePicker, Card, Scaffold, Dialog, BottomSheet, TopAppBar, NavigationBar, NavigationRail, Tab, Snackbar, ProgressIndicator, Badge, Icon, MaterialTheme, ColorScheme, Typography, Shapes。
Android Jetpack Compose (Kotlin) のアニメーション・描画リファレンス。 androidx.compose.animation / graphics API。 AnimatedVisibility, AnimatedContent, animate*AsState, Animatable, AnimationSpec, Canvas, DrawScope, Brush, Path, Color, Image。