kuberntes 的 Cmdline 实现

Tags: kubernetes 

目录

概述

Kuberntes的命令行是用cobra实现的。这里以kubectl的为例。

main()

k8s.io/kubernetes/cmd/kubectl/kubectl.go:

func main() {
    if err := app.run(); err != nil {
        os.exit(1)
    }
    os.exit(0)
}

app.run()

app.run()在k8s.io/kubernetes/cmd/kubectl/app/kubectl.go:

cmd := cmd.NewKubectlCommand(cmdutil.NewFactory(nil), os.Stdin, os.Stdout, os.Stderr)
return cmd.Execute()

cmd的初始化

在k8s.io/kubernetes/pkg/kubectl/cmd/cmd.go可以看到cmd.Newkubectlcommand()的实现:

func NewKubectlCommand(f cmdutil.Factory, in io.Reader, out, err io.Writer) *cobra.Command {

cmd就是cobra.Command。

cobra的命令设置就是三步:

创建command,设置执行函数
设置command的flag (即命令行参数)
设置子命令、以及自命令的命令行参数

创建command

在k8s.io/kubernetes/pkg/kubectl/cmd/cmd.go继续看cmd.Newkubectlcommand()的实现:

cmds := &cobra.Command{
    Use:   "kubectl",
    Short: i18n.T("kubectl controls the kubernetes cluster manager"),
    Long: templates.LongDesc(`
kubectl controls the kubernetes cluster manager.

Find more information at https://github.com/kubernetes/kubernetes.`),
    Run: runHelp,
    BashCompletionFunction: bash_completion_func,
}

命令行行参数

在k8s.io/kubernetes/pkg/kubectl/cmd/cmd.go继续看cmd.Newkubectlcommand()的实现:

f.BindFlags(cmds.PersistentFlags())
f.BindExternalFlags(cmds.PersistentFlags())

f是传入参数,类型为cmdutil.Factory

从cmd.go回溯到app.go,追踪输入参数f的创建

输入参数f

在k8s.io/kubernetes/pkg/kubectl/cmd/util/factory.go可以看到:

func NewFactory(optionalClientConfig clientcmd.ClientConfig) Factory {
    clientAccessFactory := NewClientAccessFactory(optionalClientConfig)
    objectMappingFactory := NewObjectMappingFactory(clientAccessFactory)
    builderFactory := NewBuilderFactory(clientAccessFactory, objectMappingFactory)

    return &factory{
        ClientAccessFactory:  clientAccessFactory,
        ObjectMappingFactory: objectMappingFactory,
        BuilderFactory:       builderFactory,
    }
}

分别进入factory的三个成员变量,可以发现BindFlags()和BindExternalFlags()是interfaceClientAccessFactory中的方法:

// BindFlags adds any flags that are common to all kubectl sub commands.
BindFlags(flags *pflag.FlagSet)

// BindExternalFlags adds any flags defined by external projects (not part of pflags)
BindExternalFlags(flags *pflag.FlagSet)

所以追踪变量clientAccessFactory的创建,找到BindFlags和BindExternalFlags的实现。

变量clientAccessFactory

在k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go中:

func NewClientAccessFactory(optionalClientConfig clientcmd.ClientConfig) ClientAccessFactory {
    flags := pflag.NewFlagSet("", pflag.ContinueOnError)

    clientConfig := optionalClientConfig
    if optionalClientConfig == nil {
        clientConfig = DefaultClientConfig(flags)
    }

    return NewClientAccessFactoryFromDiscovery(flags, clientConfig, &discoveryFactory{clientConfig: clientConfig})
}

NewClientAccessFactoryFromDiscovery()中找到了方法的实现

    f := &ring0Factory{
        flags:            flags,
        clientConfig:     clientConfig,
        discoveryFactory: discoveryFactory,
        clientCache:      clientCache,
    }

ring0Factory

k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go:

func (f *ring0Factory) BindFlags(flags *pflag.FlagSet) {

    flags.AddFlagSet(f.flags)
    flags.BoolVar(&f.clientCache.matchVersion, FlagMatchBinaryVersion, false, "Require server version to match client version")
    flags.SetNormalizeFunc(utilflag.WordSepNormalizeFunc)
}

func (f *ring0Factory) BindExternalFlags(flags *pflag.FlagSet) {
    flags.AddGoFlagSet(flag.CommandLine)
}

可以看到主要是BindFlags中将f.flags加入了参数flags中,通过回溯,可以知道这个flags就是cmds.Persistentflags

f.flags

继续回退,寻找为f.flags的赋值的地方。

在k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go中:

func NewClientAccessFactory(optionalClientConfig clientcmd.ClientConfig) ClientAccessFactory {
    flags := pflag.NewFlagSet("", pflag.ContinueOnError)

    clientConfig := optionalClientConfig
    if optionalClientConfig == nil {
        clientConfig = DefaultClientConfig(flags)
    }

    return NewClientAccessFactoryFromDiscovery(flags, clientConfig, &discoveryFactory{clientConfig: clientConfig})
}

通过回退可以发现optionalClientConfig是nil,所以flags是在DefaultClientConfig()设置的。

DefaultClientConfig()

k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go:

flags.StringVar(&loadingRules.ExplicitPath, "kubeconfig", "", "Path to the kubeconfig file to use for CLI requests.")
...
clientcmd.BindOverrideFlags(overrides, flags, flagNames)

BindOverrideFlags()

k8s.io/kubernetes/staging/src/k8s.io/client-go/tools/clientcmd/overrides.go:

func BindOverrideFlags(overrides *ConfigOverrides, flags *pflag.FlagSet, flagNames ConfigOverrideFlags) {
    BindAuthInfoFlags(&overrides.AuthInfo, flags, flagNames.AuthOverrideFlags)
    BindClusterFlags(&overrides.ClusterInfo, flags, flagNames.ClusterOverrideFlags)
    BindContextFlags(&overrides.Context, flags, flagNames.ContextOverrideFlags)
    flagNames.CurrentContext.BindStringFlag(flags, &overrides.CurrentContext)
    flagNames.Timeout.BindStringFlag(flags, &overrides.Timeout)
}

只追踪一条线BindAuthInfoFlags

BindAuthInfoFlags()

// BindAuthInfoFlags is a convenience method to bind the specified flags to their associated variables
func BindAuthInfoFlags(authInfo *clientcmdapi.AuthInfo, flags *pflag.FlagSet, flagNames AuthOverrideFlags) {
    flagNames.ClientCertificate.BindStringFlag(flags, &authInfo.ClientCertificate).AddSecretAnnotation(flags)
    flagNames.ClientKey.BindStringFlag(flags, &authInfo.ClientKey).AddSecretAnnotation(flags)
    flagNames.Token.BindStringFlag(flags, &authInfo.Token).AddSecretAnnotation(flags)
    flagNames.Impersonate.BindStringFlag(flags, &authInfo.Impersonate).AddSecretAnnotation(flags)
    flagNames.Username.BindStringFlag(flags, &authInfo.Username).AddSecretAnnotation(flags)
    flagNames.Password.BindStringFlag(flags, &authInfo.Password).AddSecretAnnotation(flags)
}

回退,找flagNames

flagName

k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go:

flagNames := clientcmd.RecommendedConfigOverrideFlags("")
// short flagnames are disabled by default.  These are here for compatibility with existing scripts
flagNames.ClusterOverrideFlags.APIServer.ShortName = "s"

RecommendedConfigOverrideFlags()

k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go:

func RecommendedConfigOverrideFlags(prefix string) ConfigOverrideFlags {
    return ConfigOverrideFlags{
        AuthOverrideFlags:    RecommendedAuthOverrideFlags(prefix),
        ClusterOverrideFlags: RecommendedClusterOverrideFlags(prefix),
        ContextOverrideFlags: RecommendedContextOverrideFlags(prefix),

        CurrentContext: FlagInfo{prefix + FlagContext, "", "", "The name of the kubeconfig context to use"},
        Timeout:        FlagInfo{prefix + FlagTimeout, "", "0", "The length of time to wait before giving up on a single server request. Non-zero values should contain a corresponding time unit (e.g. 1s, 2m, 3h). A value of zero means don't timeout requests."},
    }
}

Final

最后终于在RecommendedAuthOverrideFlags中找到了

func RecommendedAuthOverrideFlags(prefix string) AuthOverrideFlags {
    return AuthOverrideFlags{
        ClientCertificate: FlagInfo{prefix + FlagCertFile, "", "", "Path to a client certificate file for TLS"},
        ClientKey:         FlagInfo{prefix + FlagKeyFile, "", "", "Path to a client key file for TLS"},
        Token:             FlagInfo{prefix + FlagBearerToken, "", "", "Bearer token for authentication to the API server"},
        Impersonate:       FlagInfo{prefix + FlagImpersonate, "", "", "Username to impersonate for the operation"},
        Username:          FlagInfo{prefix + FlagUsername, "", "", "Username for basic authentication to the API server"},
        Password:          FlagInfo{prefix + FlagPassword, "", "", "Password for basic authentication to the API server"},
    }
}

FlagClusterName  = "cluster"
FlagAuthInfoName = "user"
FlagContext      = "context"
FlagNamespace    = "namespace"
FlagAPIServer    = "server"
FlagAPIVersion   = "api-version"
FlagInsecure     = "insecure-skip-tls-verify"
FlagCertFile     = "client-certificate"
FlagKeyFile      = "client-key"
FlagCAFile       = "certificate-authority"
FlagEmbedCerts   = "embed-certs"
FlagBearerToken  = "token"
FlagImpersonate  = "as"
FlagUsername     = "username"
FlagPassword     = "password"
FlagTimeout      = "request-timeout"

kubectl -h中看到的参数是一一对应的.

FlagInfo绑定变量

上面看到ClientCertificate等的类型都是FlagInfo。

回忆之前看到的,k8s.io/kubernetes/pkg/kubectl/cmd/util/factory_client_access.go:

overrides := &clientcmd.ConfigOverrides{ClusterDefaults: clientcmd.ClusterDefaults}
clientcmd.BindOverrideFlags(overrides, flags, flagNames)
clientConfig := clientcmd.NewInteractiveDeferredLoadingClientConfig(loadingRules, overrides, os.Stdin)
return clientConfig

可以知道flagNames中的flag绑定到了overrides中对应的变量,而overrides最终放在clientconfig中被一同返回:

它的调用者就可以通过接口ClientConfig中的方法,读取配置了。

type ClientConfig interface {
    // RawConfig returns the merged result of all overrides
    RawConfig() (clientcmdapi.Config, error)
    // ClientConfig returns a complete client config
    ClientConfig() (*restclient.Config, error)
    // Namespace returns the namespace resulting from the merged
    // result of all overrides and a boolean indicating if it was
    // overridden
    Namespace() (string, bool, error)
    // ConfigAccess returns the rules for loading/persisting the config.
    ConfigAccess() ConfigAccess
}

clientConfig最后放在类型为ring0factory的变量中,来支持ring0factory实现接口,其中就包括将flags设置到cmds中。

但是!就是一个命令行参数设置!有必要搞得这么复杂吗!!!!!

子命令

子命令相对简单一些

k8s.io/kubernetes/pkg/kubectl/cmd/cmd.go:

groups := templates.CommandGroups{
    {
        Message: "Basic Commands (Beginner):",
        Commands: []*cobra.Command{
            NewCmdCreate(f, out, err),
            NewCmdExposeService(f, out),
            NewCmdRun(f, in, out, err),
            set.NewCmdSet(f, out, err),
        },
    },
...
groups.Add(cmds)

子命令RunCreate

k8s.io/kubernetes/pkg/kubectl/cmd/create.go:

func RunCreate(f cmdutil.Factory, cmd *cobra.Command, out, errOut io.Writer, options *CreateOptions) error {

注意第一个参数,是用来读取各种配置、命令行参数的,需要仔细分析。

cmdutil.Factory

cmdutil.Factory是一个接口。

k8s.io/kubernetes/pkg/kubectl/cmd/util/factory.go:

type Factory interface {
	ClientAccessFactory
	ObjectMappingFactory
	BuilderFactory
}

参考

  1. cobra-github

kubernetes

  1. kubernetes 使用:多可用区、Pod 部署拓扑与 Topology Aware Routing
  2. kubernetes 扩展:Cloud Controller Manager
  3. kubernetes 准入:操作合法性检查(Admission Control)
  4. kubernetes 鉴权:用户操作权限鉴定(Authorization)
  5. kubernetes 认证:用户管理与身份认证(Authenticating)
  6. kubernetes 开发:代码生成工具
  7. kubernetes 扩展:operator 开发
  8. kubernetes 扩展:CRD 的使用方法
  9. kubernetes configmap 热加载,inotifywatch 监测文件触发热更新
  10. kubernetes 扩展:扩展点和方法(api/cr/plugin...)
  11. kubernetes 调度组件 kube-scheduler 1.16.3 源代码阅读指引
  12. kubernetes 代码中的 k8s.io 是怎么回事?
  13. 阅读笔记《不一样的 双11 技术,阿里巴巴经济体云原生实践》
  14. kubernetes ingress-nginx 启用 upstream 长连接,需要注意,否则容易 502
  15. ingress-nginx 的限速功能在 nginx.conf 中的对应配置
  16. kubernetes 中的容器设置透明代理,自动在 HTTP 请求头中注入 Pod 信息
  17. kubernetes ingress-nginx 的测试代码(单元测试+e2e测试)
  18. kubernetes ingress-nginx http 请求复制功能与 nginx mirror 的行为差异
  19. kubernetes 基于 openresty 的 ingress-nginx 的状态和配置查询
  20. kubernetes ingress-nginx 0.25 源代码走读笔记
  21. kubernetes ingress-nginx 的金丝雀(canary)/灰度发布功能的使用方法
  22. kubernetes 操作命令 kubectl 在 shell 中的自动补全配置
  23. kubernetes 组件 kube-proxy 的 IPVS 功能的使用
  24. kubernetes initializer 功能的使用方法: 在 Pod 等 Resource 落地前进行修改
  25. kubernetes 版本特性: 新特性支持版本和组件兼容版本
  26. kubernetes API 与 Operator: 不为人知的开发者战争(完整篇)
  27. kubernetes 1.12 从零开始(七): kubernetes开发资源
  28. kubernetes 1.12 从零开始(六): 从代码编译到自动部署
  29. kubernetes 网络方案 Flannel 的学习笔记
  30. kubernetes 1.12 从零开始(五): 自己动手部署 kubernetes
  31. kubernetes 1.12 从零开始(四): 必须先讲一下基本概念
  32. kubernetes 1.12 从零开始(三): 用 kubeadm 部署多节点集群
  33. kubernetes 1.12 从零开始(二): 用 minikube 部署开发测试环境
  34. kubernetes 1.12 从零开始(一): 部署环境准备
  35. kubernetes 1.12 从零开始(零): 遇到的问题与解决方法
  36. kubernetes 1.12 从零开始(初): 课程介绍与官方文档汇总
  37. kubernetes 集群状态监控:通过 grafana 和 prometheus
  38. 一些比较有意思的Kubernetes周边产品
  39. Borg论文阅读笔记
  40. kubelet下载pod镜像时,docker口令文件的查找顺序
  41. kubernetes 的 Client Libraries 的使用
  42. kubernetes的网络隔离networkpolicy
  43. kube-router的源码走读
  44. kubernetes 跨网段通信: 通过 calico 的 ipip 模式
  45. kubernetes的调试方法
  46. kubernetes 与 calico 的衔接过程
  47. 怎样理解 kubernetes 以及微服务?
  48. kubernetes中部署有状态的复杂分布式系统
  49. kubernetes的apiserver的启动过程
  50. kubernetes的api定义与装载
  51. kubernetes的federation部署,跨区Service
  52. kubernetes的编译、打包、发布
  53. kubernetes的第三方包的使用
  54. kubernetes的Storage的实现
  55. kubernetes 的 Apiserver 的 storage 使用
  56. kubernetes的Controller-manager的工作过程
  57. kubernetes的Client端Cache
  58. kubernetes 的 Apiserver 的工作过程
  59. kubernetes的CNI插件初始化与Pod网络设置
  60. kubernetes的Pod变更过程
  61. kubernetes的kubelet的工作过程
  62. kuberntes 的 Cmdline 实现
  63. kubernetes的Pod内挂载的Service Account的使用方法
  64. kubernetes的社区资源与项目参与方式
  65. kubernetes的Kube-proxy的转发规则分析
  66. kubernetes的基本操作
  67. kubernetes在CentOS上的集群部署
  68. kubernetes在CentOS上的All In One部署
  69. 怎样选择集群管理系统?

推荐阅读

Copyright @2011-2019 All rights reserved. 转载请添加原文连接,合作请加微信lijiaocn或者发送邮件: [email protected],备注网站合作

友情链接:  系统软件  程序语言  运营经验  水库文集  网络课程  微信网文  发现知识星球