PKI 证书和要求
Kubernetes 需要 PKI 证书进行 TLS 认证。如果你使用 kubeadm 安装 Kubernetes,你的集群所需的证书会自动生成。你也可以生成自己的证书——例如,通过不将私钥存储在 API 服务器上,来提高私钥的安全性。本页面解释了你的集群所需的证书。
你的集群如何使用证书
Kubernetes 需要 PKI 来执行以下操作
服务器证书
- API 服务器端点的服务器证书
- etcd 服务器的服务器证书
- 每个 kubelet 的服务器证书(每个节点上运行一个 kubelet)
- front-proxy 的可选服务器证书
客户端证书
- 每个 kubelet 的客户端证书,用于以 Kubernetes API 客户端的身份向 API 服务器认证
- 每个 API 服务器的客户端证书,用于向 etcd 认证
- controller manager 的客户端证书,用于安全地与 API 服务器通信
- scheduler 的客户端证书,用于安全地与 API 服务器通信
- kube-proxy 的客户端证书,每个节点一个,用于向 API 服务器认证
- 集群管理员的可选客户端证书,用于向 API 服务器认证
- front-proxy 的可选客户端证书
Kubelet 的服务器和客户端证书
为了建立安全连接并向 kubelet 认证,API 服务器需要一个客户端证书和密钥对。
在此场景中,证书的使用有两种方法
共享证书:kube-apiserver 可以利用与认证其客户端相同的证书和密钥对。这意味着现有的证书,例如
apiserver.crt和apiserver.key,可以用于与 kubelet 服务器通信。独立证书:或者,kube-apiserver 可以生成一个新的客户端证书和密钥对,用于认证其与 kubelet 服务器的通信。在这种情况下,会创建一个名为
kubelet-client.crt的独立证书及其对应的私钥kubelet-client.key。
etcd 也实现了双向 TLS 以认证客户端和对等节点。
证书存储位置
如果你使用 kubeadm 安装 Kubernetes,大多数证书存储在 /etc/kubernetes/pki 中。本文档中的所有路径都相对于该目录,但 kubeadm 放置在 /etc/kubernetes 中的用户帐户证书除外。
手动配置证书
如果你不希望 kubeadm 生成所需的证书,你可以使用单个根 CA 或提供所有证书来创建它们。有关创建自己的证书颁发机构的详细信息,请参阅证书。有关管理证书的更多信息,请参阅使用 kubeadm 管理证书。
单个根 CA
你可以创建一个由管理员控制的单个根 CA。此根 CA 随后可以创建多个中间 CA,并将所有进一步的创建工作委托给 Kubernetes 本身。
所需的 CA
| 路径 | 默认 CN | 描述 |
|---|---|---|
| ca.crt,key | kubernetes-ca | Kubernetes 通用 CA |
| etcd/ca.crt,key | etcd-ca | 用于所有 etcd 相关功能 |
| front-proxy-ca.crt,key | kubernetes-front-proxy-ca | 用于前端代理 |
除了上述 CA 外,还需要获取用于 ServiceAccount 管理的公钥/私钥对,即 sa.key 和 sa.pub。以下示例说明了上表所示的 CA 密钥和证书文件。
/etc/kubernetes/pki/ca.crt
/etc/kubernetes/pki/ca.key
/etc/kubernetes/pki/etcd/ca.crt
/etc/kubernetes/pki/etcd/ca.key
/etc/kubernetes/pki/front-proxy-ca.crt
/etc/kubernetes/pki/front-proxy-ca.key
所有证书
如果你不希望将 CA 私钥复制到集群中,你可以自己生成所有证书。
所需的证书
| 默认 CN | 父 CA | O (在 Subject 中) | 类型 | hosts (SAN) |
|---|---|---|---|---|
| kube-etcd | etcd-ca | server, client | <hostname>, <Host_IP>, localhost, 127.0.0.1 | |
| kube-etcd-peer | etcd-ca | server, client | <hostname>, <Host_IP>, localhost, 127.0.0.1 | |
| kube-etcd-healthcheck-client | etcd-ca | client | ||
| kube-apiserver-etcd-client | etcd-ca | client | ||
| kube-apiserver | kubernetes-ca | server | <hostname>, <Host_IP>, <advertise_IP>1 | |
| kube-apiserver-kubelet-client | kubernetes-ca | system:masters | client | |
| front-proxy-client | kubernetes-front-proxy-ca | client |
注意
除了使用超级用户组system:masters 用于 kube-apiserver-kubelet-client 外,还可以使用权限较低的组。kubeadm 为此目的使用了 kubeadm:cluster-admins 组。其中 kind 对应一个或多个 x509 密钥用途,这也在 CertificateSigningRequest 类型的 .spec.usages 中有所说明。
| 类型 | 密钥用途 |
|---|---|
| server | 数字签名,密钥加密,服务器认证 |
| client | 数字签名,密钥加密,客户端认证 |
注意
上面列出的 Hosts/SAN 是运行一个可用集群的推荐选项;如果特定设置需要,可以在所有服务器证书上添加额外的 SAN。注意
仅面向 kubeadm 用户
- 在 kubeadm 文档中,将不含私钥的 CA 证书复制到集群的场景被称为外部 CA。
- 如果你将上述列表与 kubeadm 生成的 PKI 进行比较,请注意,在外部 etcd 的情况下不会生成
kube-etcd、kube-etcd-peer和kube-etcd-healthcheck-client证书。
证书路径
证书应放置在推荐的路径中(如kubeadm 所使用的)。无论位置如何,应使用给定的参数指定路径。
| 默认 CN | 推荐密钥路径 | 推荐证书路径 | 命令 | 密钥参数 | 证书参数 |
|---|---|---|---|---|---|
| etcd-ca | etcd/ca.key | etcd/ca.crt | kube-apiserver | --etcd-cafile | |
| kube-apiserver-etcd-client | apiserver-etcd-client.key | apiserver-etcd-client.crt | kube-apiserver | --etcd-keyfile | --etcd-certfile |
| kubernetes-ca | ca.key | ca.crt | kube-apiserver | --client-ca-file | |
| kubernetes-ca | ca.key | ca.crt | kube-controller-manager | --cluster-signing-key-file | --client-ca-file,--root-ca-file,--cluster-signing-cert-file |
| kube-apiserver | apiserver.key | apiserver.crt | kube-apiserver | --tls-private-key-file | --tls-cert-file |
| kube-apiserver-kubelet-client | apiserver-kubelet-client.key | apiserver-kubelet-client.crt | kube-apiserver | --kubelet-client-key | --kubelet-client-certificate |
| front-proxy-ca | front-proxy-ca.key | front-proxy-ca.crt | kube-apiserver | --requestheader-client-ca-file | |
| front-proxy-ca | front-proxy-ca.key | front-proxy-ca.crt | kube-controller-manager | --requestheader-client-ca-file | |
| front-proxy-client | front-proxy-client.key | front-proxy-client.crt | kube-apiserver | --proxy-client-key-file | --proxy-client-cert-file |
| etcd-ca | etcd/ca.key | etcd/ca.crt | etcd | --trusted-ca-file,--peer-trusted-ca-file | |
| kube-etcd | etcd/server.key | etcd/server.crt | etcd | --key-file | --cert-file |
| kube-etcd-peer | etcd/peer.key | etcd/peer.crt | etcd | --peer-key-file | --peer-cert-file |
| etcd-ca | etcd/ca.crt | etcdctl | --cacert | ||
| kube-etcd-healthcheck-client | etcd/healthcheck-client.key | etcd/healthcheck-client.crt | etcdctl | --key | --cert |
对于 ServiceAccount 密钥对也适用相同的考虑因素
| 私钥路径 | 公钥路径 | 命令 | 参数 |
|---|---|---|---|
| sa.key | kube-controller-manager | --service-account-private-key-file | |
| sa.pub | kube-apiserver | --service-account-key-file |
以下示例说明了如果你自己生成所有密钥和证书,需要提供的前表中的文件路径。
/etc/kubernetes/pki/etcd/ca.key
/etc/kubernetes/pki/etcd/ca.crt
/etc/kubernetes/pki/apiserver-etcd-client.key
/etc/kubernetes/pki/apiserver-etcd-client.crt
/etc/kubernetes/pki/ca.key
/etc/kubernetes/pki/ca.crt
/etc/kubernetes/pki/apiserver.key
/etc/kubernetes/pki/apiserver.crt
/etc/kubernetes/pki/apiserver-kubelet-client.key
/etc/kubernetes/pki/apiserver-kubelet-client.crt
/etc/kubernetes/pki/front-proxy-ca.key
/etc/kubernetes/pki/front-proxy-ca.crt
/etc/kubernetes/pki/front-proxy-client.key
/etc/kubernetes/pki/front-proxy-client.crt
/etc/kubernetes/pki/etcd/server.key
/etc/kubernetes/pki/etcd/server.crt
/etc/kubernetes/pki/etcd/peer.key
/etc/kubernetes/pki/etcd/peer.crt
/etc/kubernetes/pki/etcd/healthcheck-client.key
/etc/kubernetes/pki/etcd/healthcheck-client.crt
/etc/kubernetes/pki/sa.key
/etc/kubernetes/pki/sa.pub
配置用户帐户证书
你必须手动配置这些管理员帐户和 ServiceAccount。
| 文件名 | 凭证名称 | 默认 CN | O (在 Subject 中) |
|---|---|---|---|
| admin.conf | default-admin | kubernetes-admin | <admin-group> |
| super-admin.conf | default-super-admin | kubernetes-super-admin | system:masters |
| kubelet.conf | default-auth | system:node:<nodeName> (参阅说明) | system:nodes |
| controller-manager.conf | default-controller-manager | system:kube-controller-manager | |
| scheduler.conf | default-scheduler | system:kube-scheduler |
注意
在上述示例中,<admin-group> 是实现特定的。有些工具会签署默认 admin.conf 中的证书,使其属于 system:masters 组。system:masters 是一个用于紧急情况的超级用户组,可以绕过 Kubernetes 的授权层,例如 RBAC。此外,有些工具不会生成单独的 super-admin.conf 文件,其中包含绑定到此超级用户组的证书。
kubeadm 在 kubeconfig 文件中生成两个独立的管理员证书。一个在 admin.conf 中,其 Subject 为 O = kubeadm:cluster-admins, CN = kubernetes-admin。kubeadm:cluster-admins 是绑定到 cluster-admin ClusterRole 的自定义组。此文件在所有由 kubeadm 管理的控制平面机器上生成。
另一个在 super-admin.conf 中,其 Subject 为 O = system:masters, CN = kubernetes-super-admin。此文件仅在执行 kubeadm init 的节点上生成。
对于每种配置,生成一个具有给定通用名称 (CN) 和组织 (O) 的 x509 证书/密钥对。
对每种配置按如下方式运行
kubectlKUBECONFIG=<filename> kubectl config set-cluster default-cluster --server=https://<host ip>:6443 --certificate-authority <path-to-kubernetes-ca> --embed-certs KUBECONFIG=<filename> kubectl config set-credentials <credential-name> --client-key <path-to-key>.pem --client-certificate <path-to-cert>.pem --embed-certs KUBECONFIG=<filename> kubectl config set-context default-system --cluster default-cluster --user <credential-name> KUBECONFIG=<filename> kubectl config use-context default-system
这些文件按如下方式使用
| 文件名 | 命令 | 注释 |
|---|---|---|
| admin.conf | kubectl | 为集群配置管理员用户 |
| super-admin.conf | kubectl | 为集群配置超级管理员用户 |
| kubelet.conf | kubelet | 集群中的每个节点都需要一个。 |
| controller-manager.conf | kube-controller-manager | 必须添加到 manifests/kube-controller-manager.yaml 中的 Manifest 中 |
| scheduler.conf | kube-scheduler | 必须添加到 manifests/kube-scheduler.yaml 中的 Manifest 中 |
以下文件说明了上表中列出的文件的完整路径。
/etc/kubernetes/admin.conf
/etc/kubernetes/super-admin.conf
/etc/kubernetes/kubelet.conf
/etc/kubernetes/controller-manager.conf
/etc/kubernetes/scheduler.conf