OpenAmer Brain Train — "train your own brain" (automatisiert)

Erzeugt aus der gesammelten Brain-Daten (openamer-brain.jsonl) ein eigenes, OpenAmer-spezifisches kleines Modell — über den kompletten Kreislauf: Daten kuratieren → Dataset → Training → Evaluation → GGUF-Export → Deployment-Konfig.

Trigger

• Du hast genug Brain-Daten (typisch 500+ Sessions, die openamer-brain.jsonl wächst).
• Du willst ein kleines Modell, das perfekt für OpenAmer funktioniert (eigene Brain).
• Halbautomatisch; läuft ganz auf-NVIDIA-Rechner (3060Ti), CPU-Smoke-Test auf Laptop.

Hardware-Erkennung (das Skript macht das selbst)

scripts/brain_train.py --detect

• GPU vorhanden (NVIDIA) → voller QLoRA-Trainingspfad (via unsloth/trl).
• Kein NVIDIA (Laptop) → CPU-Smoke-Test mit winzigem Modell, sonst Training vorbereiten und Ausführung auf den NVIDIA-PC verschieben.

Ablauf

1. Prüfen & Daten vorbereiten

OPENAMER_HOME="$OPENAMER_HOME" \
  python scripts/brain_train.py --dataset

• Liest <OPENAMER_HOME>/a2a/openamer-brain.jsonl.
• Dedupe via braindata.digest, entfernt Secrets (ruft privacy.redact).
• Balance: sample umfasst max ~50 messages; priorisiert Tool-Calls + Thinking + Antwort.
• Ausgabe: <OPENAMER_HOME>/training/train.jsonl (ChatML {"messages":[...]}).

2. Trainieren

python scripts/brain_train.py --train            # volle QLoRA (NVIDIA, 3060Ti 8GB passt 7B)
python scripts/brain_train.py --train --smoke    # CPU-Smoke-Test (Laptop, winzig/langsam)

• NVIDIA-Pfad (unsloth/trl): base Modell = starkes Chat-Modell, LoRA rank 8–32, low epochs, split 95/5. Ausgabe-Checkpoint nach <OPENAMER_HOME>/training/out/.
• Laptop (--smoke): testet nur die Pipeline mit 2–8 Datensätzen, keine nützliche Ausgabe — beweist aber, dass die Daten/das Script funktionieren.

3. Evaluieren (ehrlich)

python scripts/brain_train.py --eval

• Testet: Tool-Call-Korrektheit (auf offenem Gate), Kurz-Antworten, Privacy-Refusal (GLEICHE keine private Nummer). Vergleich gegen Basis-Modell.
• Wenn nicht klar besser → nicht deployen, Basis behalten (gem. finetune-plan).

4. Export + Deploy

python scripts/brain_train.py --export        # GGUF via llama.cpp (falls GPU-Rechenzeit verfügbar)
python scripts/brain_train.py --deploy-check  # zeigt openamer model-Konfig für den neuen Checkpoint

• Modell-Name z.B. openamer/brain-v1. openamer model zeigt dann darauf.

5. Alle Schritte echt end-zu-end (NVIDIA-PC)

python scripts/brain_train.py --all

Wichtige ehrliche Hinweise

• Auf diesem Laptop (AMD iGPU, kein nvidia-smi, 21.8GB RAM): QLoRA 7B ist NICHT praktikabel (unerndlich langsam auf CPU). Nutze hier --smoke/--dataset zum Verifizieren; die echte Training-Ausführung gehört auf den 3060Ti-PC (wenn er an ist). Das Skript ist dafür bestimmt, dort per openamer ausgeführt zu werden.
• Training braucht zusätzliche libs (unsloth, trl, peft, datasets) — das Skript versucht, sie lazy zu installieren, wenn GPU erkannt wird (kann auf Laptop übersprungen werden).
• Privacy: reale Daten vor dem Trainieren roden — privacy.redact muss laufen. Ein geleakter private String vergiftet das Modell.
• Kuration > Volumen: 10k saubere, Tool-reiche Samples > 1M Dumps. Lieber kleiner Loop.

Verify

OPENAMER_HOME="$OPENAMER_HOME" \
  python scripts/brain_train.py --dataset && \
  python scripts/brain_train.py --smoke

Beide müssen sauber aussteigen (Exit 0), bevor du auf dem 3060Ti --all startest.