00-kubeflow pipeline

pipeline 提供的交互工具

python sdk

kubeflow pipeline 官方提供的 python sdk 包含以下几个模块：

• kfp.compiler

  该模块中包含了用来编译描述 pipeline 的 python 代码到一个 pipeline service 可以处理的静态文件中的方法和类。Pipeline Service 会将这个静态文件转换成一组 k8s 资源。

• kfp.components

  该模块包含了与 pipeline 组件进行交互的方法和类。比如组件的构建以及导入导出。

• kfp.dsl

  用来定义 ContainerOp 以及 VolumeOp 等真正和 K8s 交互的模块。是一个比较重要的模块。

• kfp.Client

  负责与 pipeline service 进行交互，比如提交、上传、运行 pipeline 等等。

• extension

  主要是云上的一些扩展模块用来支持 kubeflow pipeline。比如 gcp、aws 等等。

• diagnose_me modules

  环境诊断工具。

kubeflow pipeline cli tools

代替 sdk 中的一些 api，可以直接使用 cli 来进行操作。

比如 kfp diagnose_me、kfp pipeline <COMMAND>、kfp run <COMMAND>、kfp --endpoint <ENDPOINT>

Reference

• https://blog.csdn.net/qq_20466211/article/details/114060536