Foundry Managed Compute: Açık Modelleri Üretimde Taşımak Kolaylaştı
Geçen ay bir müşteride tam da şu soru açıldı: “Open-source modeli seviyoruz (yanlış duymadınız). Bunu prod’a nasıl (belki yanılıyorum ama) çıkaracağız?” Cevap, açık konuşayım, uzun zamandır biraz baş ağrıtan bir cevaptı. GPU bul, VM kur, Kubernetes ayağa kaldır, inference runtime seç, güvenlik duvarını toparla, log’ları düzelt (ciddiyim). derken modelden çok altyapıyla boğuşuyorsun. Microsoft Foundry’nın Managed Compute hamlesi işte bu düğüme dokunuyor (evet, doğru duydunuz)
📋 İçindekiler
-
Kullanım senaryosu Daha uygun seçenek Neden? Düzensiz trafikli demo / PoC Pay-per-token Sıfır kapasite planlama ile hızlı başlarsınız Sabit ve öngörülebilir yük PTU Tahmin edilebilir gecikme ve bütçe kontrolü verir Açık kaynak veya özel eğitilmiş model servisi Managed Compute Dedicated GPU + yönetilen runtime kombinasyonu sunar Maliyet tarafı: Ucuz mu gerçekten?
Açıkçası, Açık konuşayım; “managed” kelimesi bazen insanları yanıltıyor. Sanki otomatik olarak ucuz olacakmış gibi düşünülüyor ama öyle değil. Yönetilen hizmetlerde fatura genelde başka yerden gelir: kolaylık primi diyelim ona… yine de çoğu kurumsal ekip için toplam maliyet düşebiliyor çünkü gizli operasyon maliyeti azalıyor.
Bir finans kuruluşunda yaptığımız çalışmada şunu net gördük: MLOps ekibi haftalarca patch yönetimiyle uğraşıyorsa o saatlerin parasını hiçbir dashboard tam anlatmıyor (ben de ilk duyduğumda şaşırmıştım). Mantıklı değil mi? Eğer Azure’da bu servisin fiyatlandırmasını TL bazında düşünürseniz durum daha netleşiyor; küçük görünen farklar ay sonunda epey hissediliyor.
Bütçe sıkışıksa ne yapmalı? Ben şöyle yaklaşırım: önce en pahalı sorunu bulun (en azından benim deneyimim böyle). Eğer sorun sürekli kapasite aç-kapa yapmaksa managed yol mantıklı olabilir; (ki bu çoğu kişinin gözünden kaçıyor). Modeliniz zaten hafifse belki serverless çağrı tabanlı yapı yeterli (ve daha az baş ağrıtır). Her durumda pilot yapmadan karar vermemek lazım (ki bu çoğu kişinin gözünden kaçıyor)
Hmm, bunu nasıl anlatsamdı…
Maliyet hesabında bakılması gerekenler
- Trafik düzenli mi yoksa dalgalı mı?
- Tahmini günlük token hacmi ne kadar?
- Ekipte kaç kişi platform operasyonuna gidiyor?
- Aynı modeli kaç ortamda tutacaksınız? (bu kritik)
- SLA beklentiniz ne seviyede? (bence en önemlisi)
# Basit karar notu Eğer trafik düzensizse: - Pay-per-token ile başla Eğer sabit yük varsa: - PTU değerlendir Eğer open-source/custom model servis edeceksen: - Managed Compute’e bak - Bilhassa private networking gerekiyorsa bunu öne alNeden şimdi? Açık modellerin olgunlaşması boşuna değil
Garip gelecek ama, Açık modeller son iki yılda gerçekten başka seviyeye çıktı. Eskiden frontier modele yakın sonuç almak zor iken şimdi bazı görevlerde açık modellerin işi gayet iyi gördüğünü görüyoruz — kod tamamlama, belge anlama, yeniden sıralama gibi alanlarda baya iddialılar zaten (ilk duyduğumda inanamadım)
Bir bakıma, dürüst olmak gerekirse, Bana göre burada asıl değişim şu: Kurumlar artık “tek dev modele her şeyi yaptırayım” noktasından uzaklaşıyor. Bunun yerine doğru yerde doğru boyutta model kullanma fikri güçleniyor.
Neyse uzatmayayım; küçük görevde büyük model kullanmak çoğu zaman gereksiz maliyet demek oluyor.Açık modelleri üretime almak zor değildi sanıyorduk; meğer esas zor olan onları güvenle işletmekmiş.
Peki Microsoft burada neden güçlü? Çünkü Foundry içinde tek endpoint mantığıyla farklı deployment tiplerini birlikte sunmaya başlıyorlar gibi görünüyor. Bu bana mimarı sadeleşme açısından doğru yönde atılmış adım gibi geliyor — ama henüz ham tarafları da var tabiî ki.
Kendi sahadaki gözlemim: En büyük sorun teknik değil süreçti…
2024’ün sonlarında İzmir’deki orta ölçekli bir lojistik firmasında bunun çok benzerini tartıştık. Ekip teknik olarak hazırdı ama onay süreçleri yüzünden proje tıkanıyordu. Model nerede koşacak sorusu bile üç ayrı komitenin konusu olmuştu. Böyle durumlarda managed platformlar yalnızca teknik kolaylık sağlamıyor; satın alma. Güvenlik görüşmelerini de sadeleştiriyor.
Ankara’daki başka bir projede işe ilginç şekilde tam tersi öldü. Ekip hızlı gittiği için basit başlayan PoC kısa sürede büyüdü ve platform borcu oluştu. Sonra geri dönüp logging’i ayıklamak zorunda kaldık. Bu bana şunu öğretti:ilk gün kolaylık kazandıran şeyler ikinci gün disiplin istemiyorsa eksik kalır.
İlk adım olarak ne yapmalı?
- Kullanacağınız modeli netleştirin; genel amaçlı mı özel amaçlı mı? (bu kritik)
- Trafik profilinizi çıkarın; günlük istek sayısı kabaca bile olsa yeter. — bunu es geçmeyin
- Ağ ihtiyacınızı belirleyin; private access şart mı bakın.
- Maliyet tahmini yapın; sadece compute değil operasyonu da katın. — ciddi fark yaratıyor
- Küçük bir pilot açın; üç hafta veri toplayıp karar verin.
)
Bana göre artılar kadar eksiler de önemli
Zayıf yanından da söz edelim. Yönetilen hizmetlerin güzel yanı hızdır ama esneklik bazen sınırlanır (buna dikkat edin). Kendi runtime’ınızı bayağı istediğiniz gibi şekillendirmek isteyebilirsiniz; orada bazı sınırlar çıkabilir. Bu kötü mü? Hayır. Sadece bilerek gitmek gerekiyor.
Size bir şey söyleyeyim, Pilot aşamasında çalışan yapıların prod’da beklediğiniz davranışı vermemesi klasik hayal kırıklığıdır. Bir defasında yeni inference stack’i test ederken her şey akarken gerçek veride auth gecikmesi yüzünden performans düştü—işte o an insan “kağıt üstünde fena değilmiş” diyor (ciddiyim). Managed services sizi birçok dertten kurtarırken aynı zamanda bazı derin ayar alanlarından uzaklaştırabiliyor. Bunun farkında olmak lazım.
Sıkça Sorulan Sorular
Foundry Managed Compute hangi modeller için uygun?
Aslında açık kaynak modeller ve kendi eğittiğiniz özel modeller için biçilmiş kaftan. Yanı özellikle dedicated GPU üzerinde servis etmek istediğiniz iş yüklerinde gerçekten anlam kazanıyor. Frontier modeller içinse pay-per-token veya PTU seçenekleri hâlâ ayrı bir yerde dürüyor, onlar karışmıyor bu işe.
Kubernetes kurmadan üretimde AI modeli çalıştırabilir mıyım?
Evet, tam da bu yüzden ilgi çekici bence (bizzat test ettim). Managed Compute ile Kubernetes operasyonuna boğulmadan modeli servise açabiliyorsunuz. Küçük ekipler için açıkçası ciddi bir rahatlık sağlıyor.
Maliyet açısından hangisi daha avantajlı?
Kendi deneyimimden konuşuyorum, Kullanım desenine göre değişiyor. Mesela düzensiz trafikte pay-per-token rahat olabiliyor, sabit trafikte PTU daha mantıklı. Ama open-source ya da custom modele geçtiğinizde operasyon maliyetini de mutlaka hesaba katmanız gerekiyor, hani o kısmı atlamayın.
Türkiye’deki şirketler bunu neden ciddiye almalı?
Çünkü tecrübeme göre bizde çoğu proje sadece teknoloji projesi olmuyor; güvenlik, uyum, bütçe ve satın alma süreçleri aynı anda devreye giriyor. Yönetilen yapıların sadeleştirici etkisi burada bayağı değer üretiyor, hafife almamak lazım.
Kaynaklar ve İleri Okuma
Orijinal duyuru yazısı — Announcing Foundry Managed Compute (ki bu çoğu kişinin gözünden kaçıyor)
Microsoft Learn — Azure AI Foundry belgeleri
Microsoft Learn — Provisioned throughput rehberi
Bu yazı yapay zeka (büyük dil modelleri) ile hazırlanmış, insan editör tarafından incelenmiştir. İçerik üretim sürecimiz.Aşkın KILIÇYazar20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.
AZ-305AZ-104AZ-500AZ-400DP-203AI-102İlgili Yazılar
İlginizi Çekebilir
Sibel V.
Tam da yaşadığımız bir sorun bu; modeli bulmak değil, production’a almak asıl baş ağrısı. Kubernetes ayarlarıyla uğraşmak yerine işin özüne odaklanabilmek gerçekten değerli. Foundry’i deneyen oldu mu, özellikle mevcut Azure altyapısıyla entegrasyon nasıl gidiyor?
Arda K.
Tam da yaşadığım sıkıntıyı tarif ediyor bu yazı. Llama tabanlı bir şeyi üretime taşımaya çalışırken Kubernetes config’leriyle boğuşmaktan modeli neredeyse unutuyorsunuz. Foundry bu kısmı ne kadar sadeleştiriyor peki, vendor lock-in konusunda bir sınır var mı?
Mehmet K.
Tam da yaşadığımız şeyi anlatmış. Modeli bulmak artık sorun değil ama production’a çıkarken Kubernetes vs. ile boğuşmak bambaşka bir dert. Bu servis bu açığı kapatıyorsa ciddi zaman kazandırabilir, özellikle küçük ekipler için.
Yorumlar kapalı.
3 comments