[K8s] POD 의 상태별 로그 확인 방법 - ContainerCreating / Running

docker 에서 테스트할때는 이미지를 pull 하거나 실행될때 바로 화면에 상황이 출력되다보니 에러가 났을때 상대적으로 추적이 쉬웠던거 같다. 하지만 kubernetes 환경에서는 케이스별로 확인 방법이 다르다.

 

ContainerCreating 일때 확인방법

kubectl get pods 명령어로 ContainerCreateing 에서 Running 으로 넘어가지 않았을때는 log 확인이 안되다보니 좀 답답할때가 있다. 참고로 이 메시지에서 실패가 난다면 보통은 docker image 를 가져오는 로그인 정보가 잘못되었을 확률이 크다.

$ kubectl get pods
NAME                               READY   STATUS              RESTARTS   AGE
airflow-sample-5467c95bfb-mwj6s   1/1     Running             0          3h7m
hadoop-vkhku1qz              0/1     ContainerCreating   0          113s

이 경우는 다음고 같이 describe 를 이용해서 관련된 정보를 확인하면 된다.

그러면 현재 스케쥴러에서 실행될 곳을 찾았고, mykube11.ho 서버에서 나의 private docker registry 에서 이미지를 가져오고 있음을 알 수 있다. 참고로 아래 케이스는 도커이미지가 6기가 수준으로 너무 커서 2분이 넘게 이미지를 가져오고 있었던 상황이었다. 

$ kubectl describe pod hadoop-g9j65lis
...생략...
  ----    ------     ----       ----                    -------
  Normal  Scheduled  <unknown>  default-scheduler       Successfully assigned my-space/hadoop-g9j65lis to mykube11.ho
  Normal  Pulling    117s       kubelet, mykube11.ho  Pulling image "reg.myreg.com/hadoop/client"

 

참고로 private docker registry 로그인 정보가 없어서 나타난 문제라면 아래글을 참고하자.

2024.04.18 - [docker & kube] - [k8s] kubectl 로 docker login 정보 등록 하는 방법 - ImagePullBackOff 로그인 문제

Running 상태 일 때 확인방법

POD 가 실행상태로 나올때는 logs 명령으로 화면 결과를 확인할 수 있다. 

$ kubectl get pods                              
NAME                               READY   STATUS    RESTARTS   AGE
airlfow-sample-5467c95bfb-mwj6s   1/1     Running   0          21h

$ kubectl logs airlfow-sample-5467c95bfb-mwj6s 
...생략...
scheduler  | [2024-04-23T12:41:58.339+0900] {scheduler_job_runner.py:1607} INFO - Adopting or resetting orphaned tasks for active dag runs
triggerer  | [2024-04-23T12:42:56.319+0900] {triggerer_job_runner.py:481} INFO - 0 triggers currently running
triggerer  | [2024-04-23T12:43:56.359+0900] {triggerer_job_runner.py:481} INFO - 0 triggers currently running
triggerer  | [2024-04-23T12:44:56.397+0900] {triggerer_job_runner.py:481} INFO - 0 triggers currently running
triggerer  | [2024-04-23T12:45:56.441+0900] {triggerer_job_runner.py:481} INFO - 0 triggers currently running