Scalability в Еру Kubernetes - найкращі практики та підходи

Fwdays Tech Talks

Зустрічайте девʼятий випуск Fwdays Architecture Talks! У цьому випуску наші постійні спікери — Олександр Савченко та Олексій Петров — разом із гостем, Денисом Васильєвим, Principal Site Reliability Engineer (SRE, AIRe), обговорять: — [Минуле] Scalability (що це, звідки взялося), що було у 200х, 201х і звідки взявся K8s — [Теперішнє] Ера “Kubernetes” - найкращі практики та підходи — [Майбутнє] На що звернути увагу, що не проґавити розвиток, та як буде розвиватися K8s Корисні посилання: — Recommended book by Denys Vasyliev - “Systems Performance” by Brendan Gregg - https://www.amazon.com/Systems-Performance-Brendan-Gregg/dp/0136820158 — Recommended book by Oleksandr Savchenko - “Foundations of Scalable Systems: Designing Distributed Architectures” by Ian Gorton https://www.amazon.com/Foundations-Scalable-Systems-Distributed-Architectures/dp/1098106067 — Borg, Omega, and Kubernetes https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/44843.pdf — Scaling Kubernetes to Over 4k Nodes and 200k Pods - https://medium.com/paypal-tech/scaling-kubernetes-to-over-4k-nodes-and-200k-pods-29988fad6ed — Case overview - Bayer Crop Science seeds the future with 15000-node GKE clusters - https://cloud.google.com/blog/products/containers-kubernetes/google-kubernetes-engine-clusters-can-have-up-to-15000-nodes — Case overview - GKE at 65,000 nodes: Evaluating performance for simulated mixed AI workloads - https://cloud.google.com/blog/products/containers-kubernetes/benchmarking-a-65000-node-gke-cluster-with-ai-workloads/ — Case overview - 65,000 nodes and counting: Google Kubernetes Engine is ready for trillion-parameter AI models - https://cloud.google.com/blog/products/containers-kubernetes/gke-65k-nodes-and-counting/ — Case overview - 65k node clusters on GKE, with Maciej Rozacki and Wojciech Tyczyński - https://kubernetespodcast.com/episode/241-65k-gke/ — Case overview - Scaling Kubernetes to 7,500 nodes - https://openai.com/index/scaling-kubernetes-to-7500-nodes — How Kubernetes Powers OpenAI’s Infrastructure: A 2018–2023 Evolution - https://www.linkedin.com/pulse/how-kubernetes-powers-openais-infrastructure-20182023-harish-raj-m-kkocc/ — NFTables mode for kube-proxy - https://kubernetes.io/blog/2025/02/28/nftables-kube-proxy/ — Device Management in Kubernetes, with John Belamaric - https://kubernetespodcast.com/episode/245-wg-device-management/ — LLM Inference Performance Engineering: Best Practices - https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices — Google Kubernetes Engine Customized for Faster AI Work - https://thenewstack.io/google-kubernetes-engine-customized-for-faster-ai-work — wg-serving https://github.com/kubernetes-sigs/wg-serving — HolmesGPT - https://github.com/robusta-dev/holmesgpt — K8sGPT - https://codefresh.io/learn/kubernetes-management/k8sgpt-the-basics-and-a-quick-tutorial/ — Kubenetmon - https://github.com/ClickHouse/kubenetmon На що варто підписатися: – Більше цікавого для розробників: https://fwdays.com – Телеграм-канал Fwdays: ​https://t.me/fwdays – Телеграм-канал Олексія: https://t.me/OleksiiTheArchitect – LinkedIn Олексія: https://www.linkedin.com/in/alexhelkar – LinkedIn Олександра: https://www.linkedin.com/in/o-savchenko/ – LinkedIn Дениса: https://www.linkedin.com/in/denys-vasyliev/ Таймкоди: 00:00 - Інтро 01:11 - Scalability - що це, звідки взялося, що було в 200х, 201х? 12:00 - Перший досвід з Docker і реальні проблеми 21:47 - Scalability: визначення та метрики 31:46 - Ера Kubernetes 34:16 - Тренди Kubernetes 2025 рік 42:57 - Чи тримати БД в Kubernetes? 52:30 - Тренд на Multi-Cluster Kubernetes 56:47 - Чи живий тренд Multi-Cloud Kubernetes? 59:38 - Kubernetes + AI: tooling для observability