api
무료Use liter-llm api reference documentation.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트
무료GitHub에 공개
liter-llm-running-the-proxy
Use when running the `liter-llm api` OpenAI-compatible gateway — virtual keys, per-key rate limits, budgets, cost tracking, and model routing. Covers the TOML config and the 22 REST endpoints.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm스타 263(GitHub 263 + cccskills 0)
연동 도구OpenAI
실행 점수 미검증
설치 방법 보기포함된 파일(2)
- SKILL.md2.1 KB
- index.md484 B
SKILL.md(원문)
설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.
<!--
AI-RULEZ :: GENERATED FILE — DO NOT EDIT
Content-Hash: blake3:b0a0178eae0e6882ae032983d8927142b6db16add6ab9cab391538db2f202eb4
Source-Hash: blake3:e9a3504d653cf1d11dce92e35c7dc252403c7cac2ca0cae3c0b8c8addd45159e
Schema-Version: v1
-->
Running the Proxy
liter-llm api is a drop-in OpenAI-compatible gateway: 22 REST endpoints that
route to 174 providers, with multi-tenant virtual keys, rate limits, budgets,
and cost tracking.
Start it
liter-llm api --config liter-llm-proxy.toml
The proxy auto-discovers liter-llm-proxy.toml in the current directory.
Configuration
[server]
host = "0.0.0.0"
port = 4000
[general]
master_key = "${LITER_LLM_MASTER_KEY}"
# Each [[models]] entry maps a routable name to a provider/model and its key.
[[models]]
name = "gpt-4o"
provider_model = "openai/gpt-4o"
api_key = "${OPENAI_API_KEY}"
[[models]]
name = "claude-sonnet"
provider_model = "anthropic/claude-sonnet-4-20250514"
api_key = "${ANTHROPIC_API_KEY}"
# Virtual keys scope which configured model names a caller may use.
[[keys]]
key = "sk-team-frontend"
models = ["gpt-4o", "claude-sonnet"]
rpm = 60
tpm = 100000
budget_limit = 50.0
${ENV_VAR} interpolation keeps secrets out of the file.
Call it like OpenAI
curl http://localhost:4000/v1/chat/completions \
-H "Authorization: Bearer sk-team-frontend" \
-d '{"model": "gpt-4o", "messages": [{"role": "user", "content": "Hello"}]}'
Notes
- Virtual keys scope which models a caller may use and carry their own RPM/TPM
and budget limits; the
master_keyadministers them. - The OpenAPI 3.1 spec is served at
/openapi.json. - Endpoints cover chat, embeddings, images, audio, moderations, files, batches, responses, and model listing.
- Docker:
docker run -p 4000:4000 -e LITER_LLM_MASTER_KEY=sk-key ghcr.io/xberg-io/liter-llm.
리뷰
아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.
댓글
로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.
같은 저장소의 스킬
cli
무료Use liter-llm cli reference documentation.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트
Universal LLM API client for 174 providers with native bindings for 14 languages. Use when writing code that calls LLM APIs via liter-llm in Python, TypeScript, Rust, Go, Java, C#, Ruby, PHP, Elixir, WASM, or C, when running the OpenAI-compatible proxy, or when calling LLMs through the MCP server. Covers chat, streaming, tool calling, embeddings, image generation, speech, transcription, moderation, web search, OCR, reranking, provider routing, middleware, and configuration.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트
Use when sending chat completions through liter-llm and routing to a specific provider via the `provider/model` prefix. Covers the chat call shape, provider routing, model_hint, message roles, and error categories.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트
Use when generating embeddings, calling the 12 web-search providers, or running OCR over documents with the 4 OCR providers through liter-llm. Covers embed, search, and ocr methods plus reranking.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트
Use when streaming tokens incrementally from an LLM via liter-llm over SSE or async iterators. Covers chat_stream, delta handling, and null-content chunks.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
xberg-io/liter-llm2632026년 10월 26일 업데이트