vllm-mlxの性能改善を、候補の調査から実モデルでの比較測定、実装、レビュー、PR作成まで進めます。実験結果を記録し、効果のある変更を採用します。
- モデルの応答開始を早めたいとき
- トークン生成速度を改善したいとき
- メモリやキャッシュの改善検討
raullenchai/Rapid-MLX4,0122026年10月21日 更新
Raullen Chai
@raullenchai
🛰️ Building AI that reads the physical world — Cogitating....
- GitHub
- San Francisco
1 スキル1 リポジトリ 4,012