본문으로 건너뛰기
cccskills
AWS 공식무료GitHub에 공개한국어 소개

self-hosted-llm-batch-inference

AWS에서 자체 호스팅하는 1B~8B 생성형 언어 모델의 정기 오프라인 배치 추론을 설계합니다. 단일 GPU와 Spot 용량을 사용하고 중단 후 재시도하며, 출력 완전성과 GPU 용량 해제를 확인합니다.

원문원문 설명 보기

This skill should be used when a startup without a dedicated ML platform team needs recurring, latency-tolerant offline inference for a self-hosted 1B to 8B generative language model on AWS while minimizing GPU spend and recovering automatically from Spot interruption. It prescribes AWS Batch backed by Amazon ECS Managed Instances Spot, with model artifacts staged in Amazon S3, deterministic input shards, vLLM offline inference on one GPU, bounded retries, and output reconciliation before success. Covers sizing from the real prompt and model footprint, choosing networking without an avoidable idle cost floor, and verifying that results are complete and GPU capacity is gone. Not for online endpoints, training, embeddings, other inference engines, multi-GPU or distributed inference, or one-off experiments where manual rerun is acceptable.

aws/agent-toolkit-for-aws스타 3,516(GitHub 3,516 + cccskills 0)
연동 도구AWS

실행 점수 미검증

설치 방법 보기

이럴 때 유용합니다

  • 코퍼스 정기 배치 추론 실행
  • Spot 중단 후 자동 복구 구성
  • GPU 비용을 줄이는 오프라인 추론
  • 출력 완전성과 GPU 해제 확인

한국어 소개

할 수 있는 일

이 스킬은 AWS에서 자체 호스팅하는 1B~8B 생성형 언어 모델을 정기적으로 배치 추론하는 구성을 설계합니다. 모델 파일은 Amazon S3에 두고 입력 데이터를 재현 가능한 샤드로 나눈 뒤 vLLM으로 단일 GPU에서 순차 처리합니다. AWS Batch와 Amazon ECS Managed Instances Spot을 사용하며 재시도 횟수를 제한해 Spot 중단 후 자동 복구를 지원합니다. 실제 프롬프트와 모델 용량을 측정해 GPU를 정하고, 출력 레코드를 대조해 처리가 완료됐는지 확인합니다. 작업이 끝난 뒤 GPU 용량이 해제됐는지도 확인합니다.

이럴 때 유용합니다

전담 머신러닝 플랫폼 팀 없이 GPU 비용을 줄이면서 응답 속도에 여유가 있는 추론을 정기적으로 실행하려는 스타트업에 적합합니다. Spot 중단을 감수하고 결과의 완전성을 다시 확인해야 하는 경우에도 사용할 수 있습니다. 온라인 API, 학습, 임베딩 생성, 여러 GPU를 사용하는 분산 추론, 수동 재실행으로 충분한 일회성 실험에는 적합하지 않습니다.

사용 예시

  • “S3 코퍼스를 단일 GPU로 정기 배치 추론하는 구성을 설계해 주세요.”
  • “Spot 중단 후 복구되는 AWS Batch 추론 작업을 설계해 주세요.”
  • “추론 결과가 빠짐없는지와 GPU 용량이 해제됐는지 확인해 주세요.”

주의 사항

AWS Batch, Amazon ECS Managed Instances Spot, Amazon S3, vLLM을 사용하는 구성입니다. 측정 후 모델이 단일 GPU에 들어가야 하며 영구 데이터는 S3에 저장할 수 있어야 합니다. AWS 서비스 구성을 위해 aws-core 플러그인의 스킬이 별도로 필요할 수 있습니다.

이 소개문은 공개된 SKILL.md를 바탕으로 AI(OpenAI Codex)가 작성했습니다. 정확한 사양은 아래 원문을 확인하세요.

문서 점검

AI가 SKILL.md의 내용에서 주의가 필요한 작업과 도입 전제를 확인했습니다. 점수는 실제로 실행한 결과(실행 검증)만으로 매깁니다.

안전성전송·삭제·명령 실행 등을 명시하고 있는가
A양호재시도 횟수를 제한하고 영구 산출물을 보존하며 GPU 해제를 확인합니다.
도입의 용이성필요한 도구나 API 키가 적고 적혀 있는가
B일부 부족AWS Batch, ECS Spot, S3, vLLM이 필요하며 인프라 구성에 다른 스킬이 필요할 수 있습니다.

점수에는 넣지 않았습니다. 2026년 11월 17일 기준으로 AI(OpenAI Codex)가 판정했습니다. 참고용이므로 설치 전에 원문도 확인해 주세요.

평가가 다르다고 생각되면 재검토를 요청하기

어느 항목이 왜 다르다고 생각하는지 적어 주세요. 로그인은 필요 없습니다. SKILL.md와 대조해 평가를 다시 만들고 이곳에 반영합니다.

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

포함된 파일(4)

  • SKILL.md5.5 KB
  • references/prepare-model-and-input.md5.6 KB
  • references/run-with-aws-batch.md11.0 KB
  • references/verify-and-optimize.md4.9 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

agent-advisor

AWS 공식무료요약 있음

단계별 평가를 통해 AI 에이전트에 적합한 AWS 실행 환경을 고르고, 아키텍처와 대략적인 비용을 비교합니다. 확인을 거쳐 마이그레이션 계획이나 실행 가능한 시제품도 만들 수 있습니다.

  • AI 에이전트의 AWS 실행 환경 비교
  • 기존 에이전트의 AWS 이전 계획
  • 실행 가능한 시제품 제작
aws/agent-toolkit-for-aws3.5천2026년 11월 18일 업데이트

agents-build

AWS 공식무료요약 있음

기존 AgentCore 프로젝트에 대화 간 기억, 앱 연동, 여러 에이전트의 역할 분담, 브라우저 조작, 격리된 환경의 코드 실행, 결제 기능을 추가합니다. VPC 연결, 모델 변경, Bedrock Agent에서의 이전과 리소스 삭제도 다룹니다.

  • 사용자 선호를 다음 대화까지 기억시키기
  • 웹 또는 모바일 앱에서 에이전트 호출하기
  • 여러 에이전트에 작업을 나누기
aws/agent-toolkit-for-aws3.5천2026년 10월 31일 업데이트

agents-connect

AWS 공식무료

Connect an AgentCore agent to external APIs, MCP servers, and Lambda tools through AgentCore Gateway. Configure credentials and outbound authentication, and use Cedar policies, rules that control which tools an agent may call.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Connecting an agent to an external MCP server
  • Exposing Lambda functions as agent tools
  • Turning an OpenAPI specification into tools
aws/agent-toolkit-for-aws3.5천2026년 10월 31일 업데이트

agents-debug

AWS 공식무료요약 있음

로그와 실행 추적을 읽어 AgentCore 에이전트의 잘못된 답변, 도구 호출 실패, 시간 초과, 메모리 문제를 진단합니다. CLI 자체가 작동하지 않을 때는 환경의 사전 조건도 확인합니다.

  • AgentCore 에이전트의 오답 원인 조사
  • 도구 호출 실패 진단
  • 시간 초과와 시작 오류 조사
aws/agent-toolkit-for-aws3.5천2026년 10월 31일 업데이트

agents-deploy

AWS 공식무료요약 있음

AgentCore 에이전트를 AWS에 배포하기 전에 설정, 계정과 리전의 일치 여부, 모델 접근 및 IAM 권한을 점검하고 실패 원인을 조사합니다. 변경 사항 미리 보기, 배포 대상 지정, 버전 고정, 롤백과 카나리아 배포를 지원합니다.

  • 배포 전에 설정과 권한 점검
  • 배포 오류 원인 조사
  • 대상 환경에 적용될 변경 사항 미리 보기
aws/agent-toolkit-for-aws3.5천2026년 10월 31일 업데이트

agents-get-started

AWS 공식무료요약 있음

AgentCore로 새로운 AWS 에이전트 프로젝트를 만들도록 안내합니다. 프레임워크 선택, 프로젝트 뼈대 생성, 로컬 개발, 첫 배포와 호출, 상태 확인을 다루며 새 MCP server 생성과 호스팅도 안내합니다.

  • AWS에서 첫 에이전트 프로젝트 시작
  • Strands와 LangGraph 등 프레임워크 비교
  • 새 MCP server 생성 및 호스팅
aws/agent-toolkit-for-aws3.5천2026년 10월 31일 업데이트

aws의 스킬 모두 보기

이 스킬의 문제 신고