「ai-infra」の検索結果

比较数据、张量、序列、上下文、流水和专家并行的容量与通信代价。用于决定多卡切分和超节点规模。

日本語の概要は準備中です。原文の説明を表示しています。

诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。

日本語の概要は準備中です。原文の説明を表示しています。

估算一次模型执行能否放入给定硬件，并定位计算、访存和串行等待的下界。用于粗估容量、时延或优化收益；具体模型结构另用 model-footprint。

日本語の概要は準備中です。原文の説明を表示しています。

估算训练或 RL 作业的显存、步时、checkpoint、故障重做和完成期限。用于比较分片、重计算、卸载与集群规模。

日本語の概要は準備中です。原文の説明を表示しています。

比较模型配置或架构改变对权重容量、KV 状态、前向计算和访存的影响。用于选模型、上下文或注意力与 MoE 方案。

日本語の概要は準備中です。原文の説明を表示しています。

比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。

日本語の概要は準備中です。原文の説明を表示しています。

为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。

日本語の概要は準備中です。原文の説明を表示しています。

比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。

日本語の概要は準備中です。原文の説明を表示しています。

估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。

日本語の概要は準備中です。原文の説明を表示しています。

Use when the user wants to set up, scale, validate, or harden NVIDIA physical AI infrastructure for synthetic data generation workflows across local MicroK8s or Azure AKS, including Kubernetes clusters, inference endpoint deployment, OSMO deployment, workload submission readiness, and infrastructure failure recovery. Trigger keywords: physical ai infrastructure, resilient scaling, SDG infrastructure, microk8s, azure aks, NVCF deployment, NIM Operator, OSMO deploy, workflow scaling. Don't trigger for: OSMO log summarization or workload-only operations unless infrastructure setup, scaling, validation, or recovery is requested.

日本語の概要は準備中です。原文の説明を表示しています。

Together AI SDK patterns for TypeScript — client setup, chat completions, streaming, structured output, function calling, embeddings, image generation, fine-tuning, and OpenAI-compatible endpoints

日本語の概要は準備中です。原文の説明を表示しています。

Local LLM inference with the Ollama JavaScript client -- chat, streaming, tool calling, vision, embeddings, structured output, model management, and OpenAI-compatible endpoint

日本語の概要は準備中です。原文の説明を表示しています。

Replicate SDK patterns for TypeScript/Node.js -- client setup, predictions, streaming, webhooks, file handling, model versioning, deployments, and training

日本語の概要は準備中です。原文の説明を表示しています。

LiteLLM proxy server setup, TypeScript client patterns via OpenAI SDK, model routing, fallbacks, load balancing, spend tracking, virtual keys, and production deployment

日本語の概要は準備中です。原文の説明を表示しています。

Hugging Face Inference SDK patterns for TypeScript/Node.js — InferenceClient setup, chat completion, text generation, streaming, embeddings, image generation, audio transcription, translation, summarization, and Inference Endpoints

日本語の概要は準備中です。原文の説明を表示しています。

Serverless GPU compute platform for AI model deployment — web endpoints, GPU functions, model serving, and TypeScript client patterns

日本語の概要は準備中です。原文の説明を表示しています。

Infraestrutura para IA — GPU, servidores MCP, gateway de LLM, pipeline de inferência, custo de token, cache semântico e observabilidade de modelo. Use quando o usuário disser "GPU", "MCP server", "LLM", "inferência", "modelo", "gateway de IA", "custo de token", "rate limit da API de IA", "self-host de modelo".

日本語の概要は準備中です。原文の説明を表示しています。

AI基础设施实战——从GPU集群调度到模型推理部署的全栈实操指南。覆盖：昇腾/GPU统一调度、PyTorch分布式训练、vLLM推理部署、模型量化实战、LLMOps、GPU故障诊断、HuggingFace生态、MLOps流水线。触发词：AI基础设施、GPU、昇腾、训练、推理、vLLM、PyTorch分布式、模型部署、LLMOps、MLOps、集群调度、HuggingFace

日本語の概要は準備中です。原文の説明を表示しています。