Skip to content

YuniKorn

概念

YuniKorn(Apache 顶级项目)是 大数据 / 多租户 场景的 K8s 调度器前身是 Apache Submarine + YARN,统一调度。

跟 Volcano 的区别

维度 YuniKorn Volcano
起源 大数据(YARN) 批处理 / AI
核心场景 多租户公平调度 Gang + 抢占
队列模型 嵌套队列(树状) 平面队列
公平策略 Fair / FIFO / Capacity FIFO / Priority
Gang 通过 task-group 支持 原生
大数据集成 Spark / Flink / Hive 原生 通过 Operator
K8s 集成 sidecar(不替换 scheduler) 替换 scheduler(schedulerName=volcano)
多租户 强 中

关键概念

队列(嵌套树)

apiVersion: yunikorn.apache.org/v1alpha1
kind: Queue
metadata:
  name: root
spec:
  queues:
  - name: production
    queues:
    - name: ads
      resources:
        cpu: "100"
        memory: "200Gi"
    - name: search
      resources:
        cpu: "200"
        memory: "500Gi"
  - name: research
    resources:
      cpu: "50"
      memory: "100Gi"
  • 嵌套(生产 → ads / search)
  • 每层可设资源上限
  • Guaranteed + Maximum 双限制

公平调度

  • Fair Scheduler:空闲资源按权重分配
  • Capacity Scheduler:按比例分配 + 借调
  • FIFO:先进先出(默认)

Placement Rules

placementRules:
  - name: tag
    value: "namespace"
    create: true
  - name: user
    value: "user.name"

根据 namespace / user 自动建队列。

部署

# Helm
helm repo add yunikorn https://apache.github.io/yunikorn-release
helm install yunikorn yunikorn/yunikorn --namespace yunikorn --create-namespace

# K8s 默认 scheduler 不替换,YuniKorn 通过 webhook + admission controller 工作

架构

┌─── K8s apiserver ───────────┐
│  webhook (validation)        │
│  admission (queue 注入)       │
└──────────┬──────────────────┘
           ▼
┌─── YuniKorn Scheduler ──────┐
│  yunikorn-core (Go)          │
│  - 队列调度                   │
│  - 公平 / 容量算法             │
│  - 跟 K8s scheduler 协调      │
└──────────┬──────────────────┘
           ▼
   K8s 默认 scheduler 实际绑 Pod
  • 不替换 K8s 默认 scheduler
  • 通过 admission controller 给 Pod 注入 queue label
  • 跟 K8s scheduler 协调完成绑定

Spark on K8s

YuniKorn 自带 Spark Operator + Spark on K8s 集成:

# spark-submit 配 queue 参数
spark-submit --conf spark.yunikorn.queue=production.ads ...

Spark executor pod 自动按队列调度,比 Volcano 更适合大数据 workload。

优缺点

  • ✅ 多租户 / 公平调度最强
  • ✅ 嵌套队列 + Fair / Capacity 算法
  • ✅ 不替换 K8s scheduler,共存容易
  • ✅ Spark / Flink / Hive 原生集成
  • ✅ Apache 治理,版本稳定
  • ❌ Gang / 抢占比 Volcano 弱
  • ❌ 学习曲线(队列模型)
  • ❌ AI 训练场景不如 Volcano 直接

适用场景

  • 大数据平台(Spark on K8s / Flink)
  • 多团队 / 多业务资源公平共享
  • 已经有 YARN 经验,想迁 K8s
  • 多租户 SaaS 平台

监控 / 排查

# UI(自带 web)
kubectl -n yunikorn port-forward svc/yunikorn-service 9889 9889

# 队列
kubectl get queues
kubectl describe queue root.production.ads

# 应用队列查看
# UI 上看树状队列 + 各队列资源使用

一句话

多租户 / 大数据场景的公平调度器,队列模型完整,Spark / Flink 原生支持。