Foundry Local ile Uçta Yapay Zekâ: Bulut Dışı Hızın Gerçek Yüzü
Yapay zekâ artık sadece bulutta dönen bir demo değil. Bunu açık konuşayım; sahada iş baya değişti. Müşteri tarafında, cihazın üstünde, — itiraz edebilirsiniz tabi — bazen internetin zayıf çektiği bir üretim hattında ya da regülasyonun nefes aldırmadığı bir bankacılık ortamında AI çalıştırmak istiyorsanız, işin rengi hemen dönüyor. İşte Foundry Local tam burada gözüme çarpıyor.
Microsoft Build 2026 duyurularını takip ederken aklıma ilk gelen şey şu öldü: “Güzel de, gerçek hayatta kaç ekip bunu düzgün paketleyebilecek?” Çünkü laboratuvarda çalışan model ile kurumsalda uzun vadeli çalışan model arasında dağlar kadar fark var. Ben Azure danışmanlığı yaptığım projelerde bunu çok gördüm; PoC aşaması hızlı geçiyor, sonra runtime uyumu, GPU desteği, dağıtım biçimi, güvenlik onayı derken tempo düşüyor. Kısacası, iş orada başlıyor.
Geçen yıl Kasım 2025’te İstanbul’da bir üretim firmasında benzer bir senaryo yaşadık. İnternet kesilince iş durmasın istiyorlardı. Modeli merkeze bağlayıp her isteği buluta atmak teoride kolaydı ama pratikte gecikme ve dayanıklılık sorunları çıktı. O gün şunu net gördüm: Uçta çalışan AI için en can alıcı konu “model ne kadar akıllı” değil, “sistem ne kadar ayakta kalıyor” oluyor. Evet, tam mesele bu.
Hmm, bunu nasıl anlatsamdı…
Neden uçta AI hâlâ zor?
İşin aslı şu ki, edge AI geliştirirken en büyük dert modelden önce altyapı oluyor. Modeli nereye koyacaksınız, hangi sürüm çalışacak, hangi donanımda hızlanacak, Linux mu Windows mu, container mı native mi… liste uzuyor. Küçük ekiplerde bu karmaşa daha çabuk hissediliyor çünkü herkes her şeyi yapmak zorunda kalıyor. Hani ne farkı var diyorsunuz, değil mi? Kolay değil yanı.
Büyük kurumsal yapılarda işe başka bir problem çıkıyor: standartlaşma. Bir ekip ONNX ile gidiyor, öbürü farklı runtime kullanıyor, üçüncü ekip GPU hızlandırmayı başka şekilde bağlıyor. Sonra sizden beklenen şey tek bir uygulamayı değil, beş farklı donanım kombinasyonunu desteklemeniz oluyor. Bakın şimdi… burada proje yönetimi bile teknik konu kadar önemli hâle geliyor (hatta bazen daha bile sınır bozucu olabiliyor) (en azından benim deneyimim böyle)
Açık konuşayım, Ben 2019’da kendi lab ortamımda benzer bir local inference denemesi yapmıştım; o zaman işler bugünkü kadar olgun değildi. Kurulum tamamlanıyordu ama güncelleme sonrası sürprizler eksik olmuyordu. Bir müşteride de Şubat 2024’te aynı hikâyenin modern versiyonunu yaşadık: paket küçük görünüyordu. Bağımlılıklar büyüdükçe büyüdü. Bu yüzden Foundry Local gibi ürünlerin değeri sadece “AI’yı yerelde çalıştırması” değil, operasyon yükünü azaltması.
Aslında, Bir de maliyet boyutu var tabiî. Edge tarafında cloud token maliyeti yok diye seviniyorsunuz ama donanım yatırımı, bakım ve dağıtım maliyeti başka kapıdan giriyor. TL bazında düşününce özellikle yüksek hacimli senaryolarda bu baya hissediliyor. Yanı ucuz diye başlamayın; toplam sahip olma maliyetine bakın.
Foundry Local 1.2 ile neler değişiyor?
1.1 sürümünde canlı transkripsiyon, embeddings ve Responses API gelmişti; bu kötü müydü? Değildi aslında, hatta baya iş görüyordu. Ama 1.2 ile hikâye biraz daha oturuyor: çok dilli ASR desteği genişliyor, Linux cihaz çeşitliliği artıyor, iptal ve execution provider akışları toparlanıyor ve Windows ML 2.0 tarafı güçleniyor (inanın bana)
Bunu biraz açayım.
En çok da çok dilli konuşma tanıma kısmı önemli. Türkiye’de çalışan birçok kurumda kullanıcı dili tek başına İngilizce olmuyor; toplantıda Türkçe başlayıp yarısında İngilizce terime dönüyor insanlar… doğal olarak sistemin buna hazırlıklı olması gerekiyor (aksi hâlde herkes ekrana bakıp “bu neden böyle öldü?” diyor). Nemotron Speech Streaming yaklaşımı burada mantıklı görünüyor. Dürüst olayım, henüz her senaryoda kusursuz olduğunu söylemem; biraz daha pişmesi lazım.
Ha bu arada WebGPU eklentisinin ayrı paketlenmesi de güzel dokunuşlardan biri olmuş gibi dürüyor. Her uygulamanın GPU — ki bu tartışılır — hızlandırmaya ihtiyacı yok ki zaten; gereksiz ağırlığı taşımanın anlamı yoktu. Paket boyutunun küçülmesi özellikle dağıtımı sık olan ürünlerde ciddi rahatlık sağlar.
Küçük ekip için ne ifade ediyor?
Küçük bir detay: Küçük ekipseniz Foundry Local size hız kazandırır çünkü “önce mimariyi bitirelim” tuzağına düşmezsiniz. Tek makinede başlayıp sonra sahaya açılabilirsiniz. Deneme-yanılma döngüsü kısalır; bu önemli. Evet.
Ama küçük ekiplerin dikkat etmesi gereken nokta şu: yerel AI demek otomatik olarak kolay operasyon demek değil. İzleme yoksa karanlıkta kalırsınız; versiyonlama (belki yanılıyorum ama) yoksa geri dönüş yapamazsınız; test senaryosu yoksa sahada patlarsınız. İşin can sıkıcı kısmı burası.
Büyük kurumda durum nasıl?
Bunu yaşayan biri olarak söyleyeyim, Enterprise tarafta bence asıl mesele kontrol ve standarttır. Azure Local üstünde veya bağlantısı sınırlı ortamlarda çalışırken politika yönetimi çok hayatı oluyor. Güvenlik ekibi izin vermeden hiçbir şey ilerlemiyor zaten… doğal olarak platformun güven verici olması şart. Hani o ince çizgi var ya, işte orası belirleyici oluyor.
Kurumsal müşterilerimde gördüğüm kadarıyla Türkiye’de benimseme biraz temkinli ilerliyor. Veri sınırları net olsun isteniyor. Bilhassa finans ve kamu tarafında “veri dışarı çıkmasın” yaklaşımı güçlü olduğu için local inference çok cazip hâle geliyor. Açık konuşayım, burası boş pazarlama alanı değil; gerçek ihtiyaç var.
Durun, bir saniye.
| Kriter | Cloud-first | Foundry Local / Edge |
|---|---|---|
| Gecikme | Ağ bağımlı | Daha düşük |
| Veri kontrolü | Dış servise bağlı | Daha sıkı kontrol |
| Maliyet yapısı | Kullanıma göre ödeme | Donanım + işletim gideri |
| Saha dayanıklılığı | Bağlantıya hassas | Daha dirençli |
| Operasyon karmaşıklığı | Daha az başlangıç yükü | Daha fazla planlama ister |
Nerede gerçekten işe yarar?
Cevap kısa: gecikmenin kritik olduğu yerde işe yarar. Sesli asistanlar,toplantı transkripsiyonu,fabrika içi kalite kontrolü,saha servis uygulamaları ve kapalı ağ ortamları bunun doğal adaylarıdır (inanın bana). Bu kadar basit aslında.
Bakın, Mesela Nisan 2025’te Ankara’da bir lojistik firmasına danışmanlık verirken depo içindeki tabletlerden gelen talepler için internet bağımlılığını azaltmaya çalışmıştık. Orada cloud’a gidip gelmek yerine yerelde cevap üretmek hem süreyi kısalttı hem de operatörlerin sınırını azalttı — evet insan faktörü de var burada! Biraz şaşırtıcıydı açıkçası.
Uçta AI projesinde başarı ölçüsü sadece doğruluk değildir; çoğu zaman en iyi sistem değil, en az sorun çıkaran sistem kazanır.
Dikkat edilmesi gerekenler
- Paket boyutunu baştan ölçün.
- Donanım farklarını test matrisiyle yönetin.
- Kapat-aç senaryosunu mutlaka deneyin.
- Iptal edilen işlemlerde kaynak sızıntısı var mı bakın.
- Telemetriyi ihmal etmeyin; yoksa kör uçuş yaparsınız. (bu kritik)
Bana göre en doğru kullanım modeli nasıl?
Eğer bütçeniz kısıtlıysa veya pilot aşamasındaysanız önce dar kapsamlı başlayın: tek cihaz, tek model ailesi, tek iş akışı (ciddiyim). sonra genişletin. Büyük organizasyonsanız platform ekibinin işi baştan sahiplenmesi gerekir; aksi hâlde her departman kendi mini standardını oluşturur. Kaos büyür. Basit ama çoğu yerde unutuluyor.
Kendi deneyimimden konuşuyorum, AZ-305’e hazırlanırken hep söylediğim bir şey vardı: doğru çözüm sadece teknik olarak çalışan çözüm değildir,işletme açısından da sürdürülebilir olandır. Foundry Local için de aynı mantık geçerli. Güzel özellikler var ama bunları kurumsal disiplinle bağlamazsanız kısa sürede dağılırlar. Yanı ürün iyi olabilir,ama kullanım şekli yanlışsa pek tad vermiyor.
# Basit düşünce modeli
1) Veriyi nerede üretiyorum?
2) Kararı ne kadar hızlı vermeliyim?
3) İnternet kesilirse ne olacak?
4) Model güncellemesini nasıl dağıtacağım?
5) Geri dönüş planım ne?
Sıkça Sorulan Sorular
Foundry Local ne oluyor?
Tuhaf ama, Foundry Local, yapay zekâ modellerini buluta bağımlı kalmadan yerel cihazlarda ya da edge ortamlarında çalıştırmanı sağlayan bir Microsoft çözümü. Yanı hani gecikmeyi düşürmek ve veriler üzerinde daha fazla kontrol sahibi olmak isteyen ekipler için aslında oldukça anlamlı bir seçenek.
Peki kimin için daha mantıklı?
Sahada çalışan uygulamalar geliştiren ekipler, regülasyon baskısıyla boğuşan kurumlar ve internet bağlantısına güvenemediğin senaryolar için çok daha uygun. Mesela küçük startup’lar hızlı prototip sürecinde fayda görüyor, enterprise ekipler işe bence daha çok operasyonel kontrol tarafında değer alıyor.
Bütçe açısından mantıklı mı?
İşin garibi, Açıkçası kullanım yoğunluğun yüksekse per-token maliyetinden kaçındığın için mantıklı olabilir (ki bu çoğu kişinin gözünden kaçıyor). İlginç, değil mi? Ama donanım, bakım ve dağıtım masraflarını da hesaba katman lazım — yanı toplam maliyet hesabını yapmadan karar verme, sonradan pişman olabilirsin.
Linuxta kullanmak kolay mı?
Linuxta destek giderek genişliyor, ama her cihaz aynı performansı vermiyor. Sız ne dersiniz? Tecrübeme göre en iyi sonuç için hedef donanımı önceden test etmek şart; özellikle GPU veya hızlandırıcı kullanıyorsan bu adımı sakın atlama.
Kaynaklar ve İleri Okuma
Microsoft Foundry Blog — Accelerate Edge AI Development with Foundry Local
Microsoft Learn — Azure AI Foundry Belgeleri
Microsoft Learn — Windows ML ve Yerel Hızlandırma Kaynakları
20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.
2 comments