Openshift Certificate 갱신하기

Overview
#

클러스터의 Ingress Certificate를 구성하고나서 n개월이 지나면 인증서가 만료가 됩니다.

그 이후 클러스터에 로그인을 하려고 보면 아래와 같이 x509에러가 발생하게 됩니다.

$ oc login -u kubeadmin
error: x509: certificate has expired or is not yet valid: current time 2023-01-16T10:41:34+09:00 is after 2023-01-12T07:37:26Z

ingress의 인증서가 만료되면 *.apps아래 하위 도메인은 물론, web console, cli 둘다 접속할 수 없게됩니다.

문제 확인
#

먼저 ingress의 ca 만료일자를 확인해보도록 하겠습니다.

$ oc project openshift-ingress

$ oc get secret secret-ca -oyaml | grep crt | awk '{print $2}' | base64 -d | openssl x509 -noout -dates -issuer -subject
notBefore=Oct 14 07:37:27 2022 GMT
notAfter=Jan 12 07:37:26 2023 GMT
issuer=C = US, O = Let's Encrypt, CN = R3
subject=CN = *.apps.clusterName.xxx.com

생성일자와 만료일자를 확인할 수 있습니다.

그 다음 ClusterOperator의 authentication을 살펴보겠습니다.

$ oc describe co/authentication
....
Status:
  Conditions:
    Last Transition Time:  2023-01-12T07:39:35Z
    Message:               OAuthServerRouteEndpointAccessibleControllerDegraded: Get "https://oauth-openshift.apps.clusterName.xxx.com/healthz": x509: certificate has expired or is not yet valid: current time 2023-01-16T02:01:01Z is after 2023-01-12T07:37:26Z
RouterCertsDegraded: secret/v4-0-config-system-router-certs.spec.data[apps.clusterName.xxx.com] -n openshift-authentication: certificate could not validate route hostname oauth-openshift.apps.clusterName.xxx.com: x509: certificate has expired or is not yet valid: current time 2023-01-16T02:01:01Z is after 2023-01-12T07:37:26Z
    Reason:                OAuthServerRouteEndpointAccessibleController_SyncError::RouterCerts_InvalidServerCertRouterCerts
    Status:                True
    Type:                  Degraded
...

certificate가 만료되어서 오퍼레이터가 현재 Degraded상태인 것을 확인할 수 있습니다.

ingress의 인증서 갱신하기
#

ingress에 인증서를 추가할때와 마찬가지로 secret을 새걸로 변경해주면 됩니다.

1. Renew Certificate
#

Let’s Encrypt와 같은 인증기관에서 ingress용으로 사용했던 인증서를 갱신해줍니다.

2. secret 생성
#

원래 ingress secret으로 사용하고 있던 녀석을 삭제하고 새로 만들어줍니다.

$ oc create secret tls secret-ca --cert=/path/fullchain1.pem --key=/path/privkey1.pem -n openshift-ingress

secret/secret-ca created

이후 route pod들을 재시작 시켜주면 완료

3. 확인
#

만료일자 확인

$ oc get secret secret-ca1 -oyaml | grep crt | awk '{print $2}' | base64 -d | openssl x509 -noout -dates -issuer -subject

notBefore=Jan 16 01:36:23 2023 GMT
notAfter=Apr 16 01:36:22 2023 GMT
issuer=C = US, O = Let's Encrypt, CN = R3
subject=CN = *.apps.clusterName.xxx.com

다시 로그인 해보면 x509에러가 뜨지 않는 것을 확인할 수 있습니다

$ oc login -u kubeadmin
Authentication required for https://api.ocp410.garagekr.com:6443 (openshift)
Username: kubeadmin
Password:

Appendix. CA Bundle 인증서 갱신에 대해서
#

공식문서(Replacing the default ingress certificate)를 따라서 ingress certificate를 바꾸면
ingress cert만 바꾸는게아니라 cluster-wide proxy 설정까지 변경하라고 나와 있습니다.

사실 본문의 x509에러 자체는 ingress쪽 인증서만 교체해주면 정상적으로 해결됩니다.
그럼 cluster-wide proxy에서 변경했던 CA Bundle certificate는 대체 어디에 사용되는 녀석인걸까요?

Proxy certificates?
#

doc : OpenShift/Proxy certificates

여기에서 ingress certificate를 바꿀 때 같이 변경했던 cluster-wide proxy의 ca-bundle.crt는 egress 연결 시 사용되는 인증서입니다.

원래는 Openshift를 처음 설치할때에 install-config.yaml파일의 additionalTrustBundle을 통해서 proxy 인증서를 추가할 수 있는데,

...
proxy:
  httpProxy: http://<https://username:password@proxy.example.com:123/>
  httpsProxy: https://<https://username:password@proxy.example.com:123/>
	noProxy: <123.example.com,10.88.0.0/16>
additionalTrustBundle: |
    -----BEGIN CERTIFICATE-----
   <MY_HTTPS_PROXY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
...