İçeriğe geç
Cuma, 20 Kasım 2026Yapay zekâ · sade Türkçe · denenmiş@yapaytu
YAPAYTU

AWS, HyperPod'a GPU sorunlarını bulma araçları ekledi

AWS, SageMaker HyperPod'da model eğitimini yavaşlatan GPU ve ağ sorunlarını izleyen araçlar sundu. EKS ve Slurm kümelerinde hata bilgileri bir araya geliyor.

Yapay TU Editör · 4 dk okuma
HyperPod'da GPU sorunlarını izleme
Kısa cevap

AWS, 19 Kasım 2026'da SageMaker HyperPod için gelişmiş altyapı izleme özelliklerini duyurdu. EKS ve Slurm ile yönetilen model eğitimlerinde GPU'lar karşılaştırılıyor; donanım hataları ve ağ sorunları ilgili eğitim işiyle birlikte gösteriliyor.

AWS, 19 Kasım'da SageMaker HyperPod için model eğitimindeki altyapı sorunlarını bulmaya yönelik yeni izleme araçlarını duyurdu. Güncelleme, birden fazla GPU (grafik işlemci) üzerinde yürüyen eğitim işlerinde hangi cihazın veya ağ bağlantısının sorun çıkardığını incelemeyi kolaylaştırmayı amaçlıyor. Model eğiten ekipler, ölçümleri ve hata kayıtlarını eğitim işiyle birlikte görebiliyor.

Yeni araçlar hangi sorunları buluyor?

AWS'nin 19 Kasım tarihli duyurusuna göre, tanılama özeti aynı eğitim işindeki GPU'ları karşılaştırıyor ve diğerlerinden belirgin biçimde farklı davrananları işaretliyor. Karşılaştırma; kullanım oranının yanı sıra bellek kullanımı, sıcaklık ve güç tüketimi gibi ölçümleri kapsıyor. GPU'nun işlem birimlerinin çalışma frekansı da inceleniyor.

İkinci yöntem, önceden tanımlanmış hata kurallarına dayanıyor. GPU bellek hataları veya ağda veri iletim sorunları bu kurallarla sınıflandırılıyor. Sıcaklık nedeniyle işlemcinin hızını düşürmesi ve belirlenen sıcaklık sınırlarının aşılması da ayrı sorun türleri arasında. Bir hata kartında ilgili eğitim işi, küme ve etkilenen hızlandırıcı bilgileri bulunuyor.

Örneğin tanılama ekranında işaretlenen bir cihazı açarak ölçümlerini küme ortalamasıyla karşılaştırmak mümkün. AWS böylece arızanın hangi cihazda olduğunu araştırırken farklı ekranlardan bilgi toplama ihtiyacını azaltmayı hedefliyor. Duyuru, sorun çözme süresinin ne kadar kısaldığına ilişkin karşılaştırmalı bir sonuç vermiyor.

Hangi ölçümler otomatik toplanıyor?

HyperPod, temel izlemeyi otomatik açarak küme sağlığı ve kaynak kullanımı bilgilerini 30 saniyede bir topluyor. GPU sıcaklığı ile kullanım oranının yanında CPU, disk ve işletim sistemi düzeyindeki ölçümler de bu gruba giriyor. Eğitim işi başına kaynak tüketimi ayrıca izlenebiliyor.

AWS, temel ölçüm toplamanın yaklaşık yüzde 1 ile 2 CPU yükü ve 250 ile 300 MB bellek kullandığını belirtiyor. Bunlar şirketin duyurusundaki değerler; kendi eğitim ortamında aynı sonucu alacağını varsaymadan kaynak tüketimini kontrol etmen gerekir.

Daha ayrıntılı izleme isteğe bağlı açılıyor. NVIDIA GPU'ları için ayrıntılı donanım ölçümleri ve AWS Neuron hızlandırıcı verileri bu kapsamda. EFA, yani AWS'nin kümelerde kullandığı yüksek performanslı ağ arayüzüne ait ölçümler de aktarım kayıpları ve yeniden iletimler gibi sorunları incelemeye yarıyor. AWS, ayrıntılı ölçümlerin gönderilen veri miktarını artırdığını ve bunun maliyete etkisi olduğunu özellikle belirtiyor.

EKS ve Slurm kümelerinde nasıl kullanılıyor?

AWS, yeni izleme araçlarını EKS ile yönetilen kümelere eklenti, Slurm ile yönetilen kümelere uzantı olarak kuruyor. EKS, AWS'nin Kubernetes tabanlı küme hizmeti; Slurm ise hesaplama işlerinin kaynaklara dağıtılmasını yöneten yazılım. Kurulum ve değişiklik yetkileri AWS'nin IAM erişim yönetimi üzerinden kontrol ediliyor.

Yeni küme oluştururken özel kurulum yolunda izleme seçeneklerini değiştirmek mümkün. Hızlı kurulum yolunda ise izleme varsayılan olarak açık ve bu adımda kapatılamıyor. AWS, mevcut kümelerin de kullanılabileceğini belirtiyor. Yönetim konsolunun yanında programlama arayüzü ve komut satırı üzerinden kurulum seçenekleri bulunuyor.

Ölçümlerin gönderileceği hizmet olarak Amazon CloudWatch artık varsayılan seçenek. Prometheus kullanan ekipler Amazon Managed Service for Prometheus'u seçmeye devam edebiliyor. Grafana üzerinden hazır panolara ulaşmak da mümkün; AWS, Grafana'yı ilk kez kullanacakların kimlik yönetimini yapılandırıp kullanıcı eklemesi gerektiğini hatırlatıyor.

Erişim ve maliyet hakkında ne açıklandı?

AWS, özelliğin SageMaker HyperPod'un bulunduğu tüm AWS bölgelerinde kullanıma açıldığını söylüyor. Duyuruda Türkiye'den erişim için ayrı koşullar veya Türkçe arayüz desteği açıklanmadı. Kullanmayı düşündüğün AWS bölgesinde HyperPod desteğini kontrol ederek başlaman gerekiyor.

Yazı tarihinde duyuruda bu yeni izleme düzeni için tek bir toplam fiyat verilmiyor. AWS, fiyat bilgisi için HyperPod ürün sayfasına yönlendiriyor. Temel ve gelişmiş ölçümlerin kapsamını seçerken, verileri göndereceğin hizmetin ücretlerini de incelemelisin. Model eğitim oturumlarının yönetimiyle ilgileniyorsan SageMaker AI eğitim oturumları haberimiz farklı bir özelliğin kapsamını açıklıyor.

Bizim yorumumuz: ölçümü çözeceğin soruna göre aç

Bizce güncelleme, hâlihazırda HyperPod üzerinde model eğiten ve yavaşlamanın nedenini bulmak için uğraşan ekiplerin değerlendirmesi gereken bir araç. Aynı eğitim işindeki GPU'ların karşılaştırılması, sorunlu cihazı araştırmak için somut bir başlangıç sağlayabilir. Ancak bir kartta hata görülmesi, o hatanın nasıl giderileceği kararını otomatik olarak vermiyor. Ekibin kayıtları inceleyip eğitim işinin durumuyla ilişkilendirmesi gerekiyor.

Türkiye'deki küçük bir geliştirme ekibine önerimiz, ilk kurulumda hangi sorunun yanıtını aradığını yazması. Eğitim sırasında ağ aktarımının düştüğünden şüpheleniyorsan ağ ölçümlerine bakmayı planla. Sorun bir cihazdaki sıcaklık artışıysa önce o cihazın ölçümlerini aynı işteki diğer cihazlarla karşılaştır. Açtığın her ek ölçümün hangi kararda kullanılacağını bilmek, izleme ekranlarının gereksiz bilgilerle dolmasını önlemeye yardımcı olabilir.

Kurulumu yapan kişiyle eğitimden sorumlu kişinin birlikte doldurabileceği örnek bir kontrol notu şöyle olabilir:

text
İncelenecek eğitim işi:
Sorunun ilk görüldüğü zaman:
Etkilenen cihaz veya ağ bağlantısı:
Karşılaştırılacak ölçüm:
Yapılacak değişiklik ve sonucu kontrol edecek kişi:

Bu notu, ayar değiştirmeden önce doldurmanı öneriyoruz. Değişiklikten sonra aynı ölçüme tekrar bakıp gördüğün farkı kaydedebilirsin. Böylece ekip içinde hangi müdahalenin neden yapıldığı izlenebilir. Ayrıca değişiklik sırasında eğitim işinin hangi aşamada olduğunu not etmeni öneriyoruz; daha sonra kayıtları inceleyecek ekip arkadaşın, iki ölçümün alındığı koşulları bu bilgiyle karşılaştırabilir.

İlk denemeyi mevcut bir eğitim işi üzerinde planla; tanılama kartındaki cihaz bilgilerini ve ölçüm zamanını kendi iş kayıtlarınla karşılaştır. Gelişmiş ölçümleri açmadan önce hangi veriye ihtiyaç duyduğunu ve verinin gönderileceği hizmeti seç.

Bu yazı sponsorlu değildir.

Sık sorulanlar

SageMaker HyperPod'un yeni izleme araçları ne yapıyor?

Aynı eğitim işindeki GPU'ları karşılaştırarak diğerlerinden farklı davranan hızlandırıcıları işaretliyor. Donanım hataları, ağ sorunları ve aşırı ısınma gibi durumları ilgili iş ve cihaz bilgisiyle gösteriyor.

HyperPod izleme araçları EKS ve Slurm ile çalışıyor mu?

Evet. AWS, EKS ile yönetilen kümelerde eklenti, Slurm kümelerinde ise küme uzantısı üzerinden kurulum sunuyor.

HyperPod'un gelişmiş ölçümleri otomatik açılıyor mu?

Temel ölçümler otomatik etkinleşiyor. Ayrıntılı GPU ve ağ ölçümleri isteğe bağlı; AWS bunların gönderilen veri miktarını ve dolayısıyla maliyeti artırabileceğini belirtiyor.

#aws#sagemaker#hyperpod#gpu#model-egitimi
E-bülten

Haftada bir e-posta. Sadece işe yarayanlar.

Haftanın en iyi yapay zekâ araçları ve yeni rehberler. İstediğin an tek tıkla çık.

Adresine bir onay e-postası gelir. Aydınlatma metni
Sıradaki yazı Jane Street, yapay zekâ için veri merkezi ve çipe yöneliyor

Bunları da okuyun