Helm 차트 관리와 Ingress 설정, K8s 트러블슈팅 방법

my-app/
├── Chart.yaml          # 이름, 버전, 설명
├── values.yaml         # 기본 설정값
├── templates/          # K8s YAML 템플릿
│   ├── deployment.yaml
│   ├── service.yaml
│   ├── ingress.yaml
│   ├── configmap.yaml
│   └── _helpers.tpl    # 공통 헬퍼 함수
└── charts/             # 의존 Chart

replicaCount: 3
image:
  repository: myapp
  tag: "1.0.0"
  pullPolicy: IfNotPresent
service:
  type: ClusterIP
  port: 80
resources:
  requests:
    cpu: 100m
    memory: 128Mi
  limits:
    cpu: 500m
    memory: 256Mi
ingress:
  enabled: true
  host: api.example.com

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "my-app.fullname" . }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      app: {{ include "my-app.name" . }}
  template:
    metadata:
      labels:
        app: {{ include "my-app.name" . }}
    spec:
      containers:
        - name: {{ .Chart.Name }}
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
          ports:
            - containerPort: {{ .Values.service.port }}
          resources:
            {{- toYaml .Values.resources | nindent 12 }}

# 렌더링 결과 미리보기 (배포 안 함)
helm template my-release ./my-app -f values-prod.yaml

# Chart 설치
helm install my-release ./my-app

# 환경별 values로 설치
helm install my-release ./my-app -f values-prod.yaml

# 업그레이드 (값 변경 or 이미지 태그 변경)
helm upgrade my-release ./my-app --set image.tag=2.0.0

# 롤백
helm rollback my-release 1

# 릴리즈 목록
helm list

# 릴리즈 상태
helm status my-release

# 삭제
helm uninstall my-release

# 템플릿 렌더링 미리보기 (실제 배포 안 함)
helm template my-release ./my-app -f values-prod.yaml

# 레포지토리 추가
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

# 설치
helm install prometheus prometheus-community/kube-prometheus-stack -f custom-values.yaml

# 어떤 values가 있는지 확인
helm show values prometheus-community/kube-prometheus-stack > default-values.yaml

my-app/
├── values.yaml           # 공통 기본값
├── values-dev.yaml       # dev 환경 오버라이드
├── values-stg.yaml       # staging
└── values-prod.yaml      # production

# dev 배포
helm upgrade --install my-app ./my-app -f values-dev.yaml -n dev

# prod 배포
helm upgrade --install my-app ./my-app -f values-prod.yaml -n prod

helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm install ingress-nginx ingress-nginx/ingress-nginx -n ingress-nginx --create-namespace

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: web-ingress
  annotations:
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
spec:
  ingressClassName: nginx
  tls:
    - hosts:
        - api.example.com
      secretName: api-tls-secret    # TLS 인증서가 담긴 Secret
  rules:
    - host: api.example.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: api-service
                port:
                  number: 80

helm repo add jetstack https://charts.jetstack.io --force-update
helm install cert-manager jetstack/cert-manager --set crds.enabled=true -n cert-manager --create-namespace

# ClusterIssuer 생성
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-prod
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: [email protected]
    privateKeySecretRef:
      name: letsencrypt-prod
    solvers:
      - http01:
          ingress:
            ingressClassName: nginx

# Ingress에 어노테이션 추가하면 자동 발급
metadata:
  annotations:
    cert-manager.io/cluster-issuer: "letsencrypt-prod"

# 파일 업로드 제한 늘리기 + 타임아웃 늘리기
metadata:
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "120"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "120"

spec:
  rules:
    - host: app.example.com
      http:
        paths:
          - path: /api
            pathType: Prefix
            backend:
              service:
                name: api-service
                port:
                  number: 8080
          - path: /
            pathType: Prefix
            backend:
              service:
                name: web-service
                port:
                  number: 3000

# Ingress Controller 로그
kubectl logs -n ingress-nginx -l app.kubernetes.io/name=ingress-nginx -f

# Ingress 설정이 실제로 어떻게 반영됐는지
kubectl exec -n ingress-nginx <nginx-pod> -- cat /etc/nginx/nginx.conf | grep -A 20 "server_name"

문제 발생
  → kubectl get pods (상태 확인)
  → kubectl describe pod (이벤트 확인)
  → kubectl logs (앱 로그 확인)
  → 원인별 대응

kubectl describe pod <이름>
# Events 섹션 확인

# 현재 로그
kubectl logs <pod>

# 이전 크래시 로그 (죽기 직전)
kubectl logs <pod> --previous

# 컨테이너 안에서 직접 확인
kubectl run debug --image=<같은이미지> -it --rm -- /bin/sh

kubectl describe pod <이름>
# Events: Failed to pull image "myapp:1.0" ... unauthorized

# imagePullSecrets 설정
spec:
  imagePullSecrets:
    - name: registry-secret

# Secret 생성
kubectl create secret docker-registry registry-secret \
  --docker-server=<registry-url> \
  --docker-username=<user> \
  --docker-password=<pass>

# 1. Pod가 실제로 떠있는지
kubectl get pods -l app=web

# 2. Service의 Endpoints에 Pod IP가 있는지
kubectl get endpoints web-service
# → Endpoints가 비어있으면 selector가 Pod label과 불일치

# 3. Service selector와 Pod label 비교
kubectl get svc web-service -o yaml | grep -A 3 selector
kubectl get pods --show-labels

# 4. Pod 안에서 직접 테스트
kubectl exec -it <다른pod> -- curl http://web-service:80

# 1. Ingress 설정 확인
kubectl describe ingress <이름>

# 2. Ingress Controller 실행 중인지
kubectl get pods -n ingress-nginx

# 3. Ingress Controller 로그
kubectl logs -n ingress-nginx -l app.kubernetes.io/name=ingress-nginx

# 4. Service가 정상인지 (위 4번 참고)

# 5. 인증서 문제인지
kubectl get certificate -A
kubectl describe certificate <이름>

# 노드 상태
kubectl get nodes
# STATUS 열에서 Ready / NotReady 확인

# 노드 상세 (Conditions 섹션)
kubectl describe node <이름>
# MemoryPressure, DiskPressure, PIDPressure 확인

# 노드의 Pod 목록
kubectl get pods --field-selector spec.nodeName=<노드이름> -A

# 네트워크 테스트용
kubectl run debug-net --image=nicolaka/netshoot -it --rm -- /bin/bash
# 안에서: curl, dig, ping, traceroute 등 가능

# 특정 namespace에서
kubectl run debug -n production --image=busybox -it --rm -- /bin/sh

apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-quota
  namespace: team-a
spec:
  hard:
    requests.cpu: "4"          # 전체 requests CPU 합계 4코어까지
    requests.memory: "8Gi"     # 전체 requests 메모리 8Gi까지
    limits.cpu: "8"
    limits.memory: "16Gi"
    pods: "20"                 # Pod 최대 20개
    services: "10"

apiVersion: v1
kind: LimitRange
metadata:
  name: default-limits
  namespace: team-a
spec:
  limits:
    - type: Container
      default:              # limits 기본값
        cpu: "500m"
        memory: "256Mi"
      defaultRequest:       # requests 기본값
        cpu: "100m"
        memory: "128Mi"
      max:                  # 최대 허용
        cpu: "2"
        memory: "2Gi"
      min:                  # 최소 허용
        cpu: "50m"
        memory: "64Mi"

# 네임스페이스 쿼터 확인
kubectl get resourcequota -n team-a
kubectl describe resourcequota team-quota -n team-a

# LimitRange 확인
kubectl get limitrange -n team-a

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web-pdb
spec:
  minAvailable: 2          # 최소 2개는 항상 살아있어야 함
  # 또는
  # maxUnavailable: 1      # 동시에 최대 1개까지만 내릴 수 있음
  selector:
    matchLabels:
      app: web

# PDB 상태 확인
kubectl get pdb

# 상세 (현재 몇 개 available인지)
kubectl describe pdb web-pdb

# 현재 context 확인
kubectl config current-context

# context 목록
kubectl config get-contexts

# context 전환
kubectl config use-context prod-cluster

# 특정 context로 명령어 실행 (전환 없이)
kubectl --context=dev-cluster get pods

apiVersion: v1
kind: Config
clusters:
  - name: dev-cluster
    cluster:
      server: https://dev-k8s.example.com
      certificate-authority-data: ...
  - name: prod-cluster
    cluster:
      server: https://prod-k8s.example.com
      certificate-authority-data: ...
contexts:
  - name: dev
    context:
      cluster: dev-cluster
      user: dev-user
      namespace: default
  - name: prod
    context:
      cluster: prod-cluster
      user: prod-user
      namespace: default
users:
  - name: dev-user
    user:
      token: ...
current-context: dev

# 클러스터 전환 (kubectx)
kubectx prod-cluster

# 네임스페이스 전환 (kubens)
kubens production

spec:
  securityContext:
    runAsNonRoot: true           # root 실행 금지
    runAsUser: 1000              # UID 1000으로 실행
    fsGroup: 2000                # 볼륨 그룹 ID
  containers:
    - name: app
      image: myapp:1.0
      securityContext:
        allowPrivilegeEscalation: false  # 권한 상승 금지
        readOnlyRootFilesystem: true     # 루트 파일시스템 읽기 전용
        capabilities:
          drop: ["ALL"]                  # 모든 Linux capability 제거

# 네임스페이스에 보안 레벨 적용
kubectl label namespace production pod-security.kubernetes.io/enforce=restricted