Develop and deploy Lakeflow Jobs on Databricks via DABs, Python SDK, or the CLI. Use when creating data engineering jobs with notebooks, Python wheels, SQL, dbt, or pipelines. Invoke BEFORE starting implementation.
日本語の概要は準備中です。原文の説明を表示しています。
1,264 件 ・ 関連度順
概要と使いどころ
Develop and deploy Lakeflow Jobs on Databricks via DABs, Python SDK, or the CLI. Use when creating data engineering jobs with notebooks, Python wheels, SQL, dbt, or pipelines. Invoke BEFORE starting implementation.
日本語の概要は準備中です。原文の説明を表示しています。
Comprehensive guide to Spark Structured Streaming for production workloads. Use when building streaming pipelines, working with Kafka ingestion, implementing Real-Time Mode (RTM), configuring triggers (processingTime, availableNow), handling stateful operations with watermarks, optimizing checkpoints, performing stream-stream or stream-static joins, writing to multiple sinks, or tuning streaming cost and performance.
日本語の概要は準備中です。原文の説明を表示しています。
Migrate Databricks workloads from classic compute to serverless compute. Use when migrating notebooks, jobs, pipelines, or Scala JARs (`spark_jar_task`) from classic clusters to serverless, checking if existing code is serverless-compatible, or writing new serverless-compatible code. Provides concrete fixes for the serverless Spark Connect architecture and guides the full migration. Not for classic DBR version upgrades or cluster configuration changes within classic compute.
日本語の概要は準備中です。原文の説明を表示しています。
Routes multi-tool workflows through MCP servers for large datasets and pipelines. Use when Bash tool overhead is limiting throughput on data-heavy tasks.
日本語の概要は準備中です。原文の説明を表示しています。
Generates a Mermaid workflow diagram showing process steps, decisions, and state transitions. Use when documenting CI/CD pipelines or lifecycle processes.
日本語の概要は準備中です。原文の説明を表示しています。
Generates a Mermaid sequence diagram showing how data moves between components. Use when tracing request flows or documenting data transformation pipelines.
日本語の概要は準備中です。原文の説明を表示しています。
Applies pipes-and-filters for sequential data transformations. Use when data flows through discrete stages like ETL, streaming analytics, or CI/CD pipelines.
日本語の概要は準備中です。原文の説明を表示しています。
Designs and builds ETL/ELT data pipelines. Takes data sources, destination, transformation requirements. Generates pipeline code (Python/SQL), scheduling config, error handling, monitoring setup, and data quality checks. Outputs data-pipeline-spec.md + implementation files.
日本語の概要は準備中です。原文の説明を表示しています。
Operate the Fengshenbang-LM Fengshen package for pipelines, model families, data/training utilities, examples, and conversion planning.
日本語の概要は準備中です。原文の説明を表示しています。
Use FFCV to convert datasets into .beton files, build fast PyTorch loader pipelines, handle image and custom fields/transforms, and tune cache, traversal, and throughput behavior.
日本語の概要は準備中です。原文の説明を表示しています。
Use FlashRAG for retrieval-augmented generation research workflows: config/data validation, retrieval and index building, generation/refinement components, RAG pipelines/method reproduction, evaluation, and WebUI setup.
日本語の概要は準備中です。原文の説明を表示しています。
Routes DI-engine users to the right workflow for CLI/config launches, serial and framework-based RL pipelines, and environment integration.
日本語の概要は準備中です。原文の説明を表示しています。
Use this skill for Hugging Face Diffusers tasks: pipeline inference, schedulers, adapters/loaders, training recipes, modular pipelines, conversion helpers, CLI checks, and repo maintenance.
日本語の概要は準備中です。原文の説明を表示しています。
Use Docling to convert, parse, configure, extract, chunk, serve, and maintain document-processing workflows across Python APIs, CLI commands, optional pipelines, and repository edits.
日本語の概要は準備中です。原文の説明を表示しています。
Use the DVC repository skill for data versioning, pipelines, experiments, remotes/cache, metrics/params/plots, Python API usage, and DVC codebase maintenance.
日本語の概要は準備中です。原文の説明を表示しています。
Use Hugging Face Evaluate to load metrics, comparisons, and measurements; compute and combine results; run evaluator pipelines; create custom modules; troubleshoot optional dependencies, cache, Hub, and CLI workflows.
日本語の概要は準備中です。原文の説明を表示しています。
Routes DataChain operating guidance for Python SDK pipelines, query expressions, CLI and Studio commands, agent-harness knowledge workflows, and repository maintenance.
日本語の概要は準備中です。原文の説明を表示しています。
Route DataFlow workflows for pipelines, text and document processing, serving, evaluation, and Ray acceleration.
日本語の概要は準備中です。原文の説明を表示しています。
Use Chonkie for text/document chunking, pipelines, embeddings, CLI/API serving, and storage integrations.
日本語の概要は準備中です。原文の説明を表示しています。
Route ClearML Python SDK tasks across experiment tracking, data/versioned storage, remote execution CLIs, automation pipelines, HPO, schedulers, routers, and services.
日本語の概要は準備中です。原文の説明を表示しています。
Routes Cognee AI memory platform tasks across SDK memory APIs, graph/RAG retrieval, configuration, custom pipelines, session memory, CLI, API, MCP, and deployment workflows.
日本語の概要は準備中です。原文の説明を表示しています。
Use Augmentor for Pillow-based image augmentation pipelines, operation selection, mask-safe augmentation, array/generator workflows, and package-specific troubleshooting.
日本語の概要は準備中です。原文の説明を表示しています。
Use AdalFlow to build, debug, evaluate, optimize, trace, and operate LLM task pipelines, RAG systems, agents, tools, and structured-output workflows.
日本語の概要は準備中です。原文の説明を表示しています。
Build, debug, serialize, and integrate Albumentations 2.x augmentation pipelines for images, masks, bboxes, keypoints, volumes, and PyTorch-style datasets.
日本語の概要は準備中です。原文の説明を表示しています。