Kubernetes в production: 30 уроков за 3 года эксплуатации

Всем привет! Меня зовут Павел Никитин, и я занимаюсь DevOps-инженерией — Kubernetes, Proxmox, автоматизация CI/CD. За 3 года эксплуатации K8s в production накопил много граблей. Делюсь.

Kubernetes — мощный инструмент, но он наказывает за небрежность. Вот главные уроки.

1. Всегда ставьте requests И limits — без них scheduler не знает, куда класть поды
2. Requests ≠ Limits — limits выше requests на 20−50%, иначе OOMKill при пиках
3. VPA > ручной тюнинг — Vertical Pod Autoscaler подберёт значения за вас

4. NetworkPolicy с первого дня — default deny, разрешайте явно
5. Не используйте NodePort в production — LoadBalancer или Ingress
6. DNS caching — NodeLocal DNSCache экономит 30% latency

7. StatefulSet для стейтфул приложений — не Deployment с PVC
8. Бекапьте etcd — потеря etcd = потеря кластера
9. StorageClass с reclaimPolicy: Retain — чтобы PV не удалялся случайно

10. Pod Security Standards — restricted для всех namespace
11. Не запускайте от root — runAsNonRoot: true
12. Secrets — не в git — используйте Sealed Secrets или External Secrets
13. RBAC минимальных привилегий — каждый сервис видит только своё

14. Три столпа: metrics (Prometheus), logs (Loki), traces (Jaeger)
15. Алерты на SLO, не на симптомы
16. Dashboards as Code — Grafana + jsonnet/Grafonnet

17. GitOps (ArgoCD/Flux) — никакого kubectl apply из ноутбука
18. Canary deploys — через Argo Rollouts или Flagger
19. Helm для шаблонизации, но values.yaml per environment

K8s — не серебряная пуля. Если у вас 3 сервиса и 2 сервера — вам не нужен Kubernetes. Но если 50+ сервисов и команда из 10+ разработчиков — K8s окупается сторицей.

Какие грабли были у вас? Делитесь!