CodeAct ile AI Agent’ları Hızlandırmak: %50 Daha Az Gecikme
Geçen ay bir finans müşterimizde tuhaf bir tabloyla karşılaştık. Agent’lar çalışıyor, model fena değil, araçlar da düzgün tanımlanmış; ama işin garibi, her şey sürünüyor, bir soruya cevap gelene kadar agent 6-7 tür atıyor, her turda modeli yeniden çağırıyor, token’lar gidiyor, kullanıcı da ekranda bekleyip dürüyor.
📋 İçindekiler
-
Bilmem anlatabiliyor muyum, Küçük bir ekipseniz. Az sayıda araç çağrısı yapıyorsanız, açık konuşayım, CodeAct’a koşmanız gerekmiyor. Ama enterprise tarafta işler değişiyor; özellikle yüksek hacimli agent operasyonları varsa (müşteri hizmetleri botu gibi, veri analiz agent’ı gibi), o zaman bunu ciddi ciddi masaya koymak lazım. Hani bazen “şimdilik idare eder” diyorsunuz ya, işte o nokta tam burada kırılıyor. AI Maliyet Optimizasyonu: ROI’yi Gerçekten Artırmanın Yolu yazımda maliyet optimizasyonu tarafını detaylıca anlatmıştım; CodeAct da aslında o yaklaşımın doğal bir devamı gibi dürüyor (ben de ilk duyduğumda şaşırmıştım)
Güvenlik ve Onay Mekanizması
Açık konuşayım, bir LLM’in yazdığı kodu otomatik çalıştırmak bana hâlâ biraz tedirginlik veriyor. Evet, Hyperlight izolasyon sağlıyor. Evet, micro-VM’ler her çağrıda sıfırdan açılıyor. Ama yine de insanın aklı bir köşede kalıyor, çünkü işin içinde kod var ve kod bazen en sakın anda bile saçmalayabiliyor.
İşte tam da bu noktada devreye giriyor.
CodeAct üç ayrı onay modu sunuyor:
- never_require: Kod doğrudan çalışır. Bunu sadece geliştirme ortamında kullanın, cidden.
- always_require: Her kod çalıştırma öncesi insan onayı gerekir. Production tarafında en temkinli seçenek bu.
- auto: Belirli kriterlere göre kendi kararını verir. Hmm, bir saniye… Aslında bu modu production’da henüz ben de zorlamadım, o yüzden burada kesin konuşmam doğru olmaz.
2024’ün sonlarında bir e-ticaret projesinde (agent henüz CodeAct kullanmıyordu ama benzer bir kod çalıştırma mekanizması vardı) model’in ürettiği kodun beklenmedik şekilde sonsuz döngüye girdiğini gördük (en azından benim deneyimim böyle). Sandbox timeout’u 30 saniyeye ayarlı olmasaydı işler kötüleşebilirdi, hatta baya can sıkıcı bir yere gidebilirdi; bu yüzden CodeAct’ta da timeout. Kaynak limitlerini mutlaka koyun. Bu konuda biraz paranoyak davranmak fena değil.
Ne Zaman CodeAct Kullanmamalısınız?
Her şeyi CodeAct’a taşımak ilk bakışta cazip geliyor, ama açıkçası her senaryoda mantıklı değil. Şu durumlarda klasik araç çağrısı daha iyi dürüyor: basit sorgular için tek bir araç çağrısı yeterliyse, ya da araç çağrısı sonucuna göre dallanan yollar çok karmaşıksa (if/else zinciri uzadıkça model’in doğru kod yazma ihtimali düşüyor), orada CodeAct biraz fazla yük bindirebiliyor.
Bazı ortamlarda güvenlik çizgisi zaten çok net oluyor; yanı hiçbir kod çalıştırmanın kabul edilmediği yerlerde bu yaklaşımı zorlamaya gerek yok. Peki, bir de — en azından ben öyle düşünüyorum — işin küçük model tarafı var — 7B-13B aralığındaki modeller bu konuda pek parlak değil, nasıl desem, idare eder bile diyemeyebilirim. Kısacası, sız ne dersiniz? Bana kalırsa burada mesele “daha akıllı model”den çok “doğru yerde doğru araç” seçimi.
Hmm, bunu nasıl anlatsamdı…
Evet.
Pratik Başlangıç Rehberi
Tamam, denemek istiyorsanız, işin aslı çok karışık değil: adım adım ilerleyin, ama ilk günden prod’a atlamayın.
1. Paketi kurun:
pip install agent-framework-hyperlight— evet, komut bu kadar basit. Burada, ama dur bir saniye; bu paket henüz alpha,. Production’a koymadan önce iki kere bakın, mümkünse küçük bir test ortamında çevirip dolaştırın.2. Mevcut araçlarınızı listeleyin: Hangi araçlar zincirleme çağrılıyor, hangileri tek başına çalışıyor, bunu netleştirin. Zincirleme olanları CodeAct tarafına taşıyın; bağımsız duranlar şimdilik yerinde kalabilir, yanı her şeyi aynı sepete atmayın.
3. Küçük başlayın: Önce basit bir senaryo deneyin. İki-üç araç çağrısı olan bir görev seçin, sonra sonucu klasik yaklaşımla kıyaslayın; bazen fark beklediğiniz kadar büyük olmuyor, bazen de şaşırtıyor açıkçası.
Ne yalan söyleyeyim, 4. Timeout. Limitleri ayarlayın: Sandbox’ın ne kadar süre çalışacağını ve ne kadar bellek kullanabileceğini mutlaka sınırlandırın. Yoksa model bir yere saplanıp kalabiliyor, şey gibi düşünün; küçük bir deneme diye girip gereksiz kaynak tüketimine dönmesi hiç hoş olmaz.
5. İzleme kurun: Model’in yazdığı kodları loglayın (bizzat test ettim). Başta ne ürettiğini görmek baya işe yarıyor; hem öğreniyorsunuz hem de güvenlik tarafında eliniz boş kalmıyor, çünkü insan ilk bakışta “idare eder” dediği şeyin içinde sürpriz çıkabiliyor.
Ha bu arada, AI Agent’larda Sohbet Geçmişi: Nerede Saklamalı? yazımı da okumanızı öneririm. CodeAct kullandığınızda sohbet geçmişi yapısı değişiyor çünkü artık 6 tür yerine 2 tür var — bu da geçmiş yönetimini etkiliyor, hatta beklediğinizden biraz daha fazla etkiliyor diyeyim; sız ne dersiniz?
İşin garibi, Evet.
Benim Değerlendirmem: İyi Yönde Bir Adım Ama…
CodeAct, bence doğru tarafa atılmış bir adım. Agent Framework’ün bunu birinci sınıf vatandaş gibi ele alması da fena durmuyor. Rakamlar? Açıkçası ikna edici.
Ama — evet, burada ciddi bir ama var — iş henüz alpha aşamasında. Hyperlight micro-VM’lerin production tarafında ne kadar stabil kaldığı konusunda elimizde yeterli veri yok, modelin her seferinde doğru Python kodunu yazacağını da kimse garanti edemez (keşke etseydi), üstüne bir de debugging kısmı bayağı uğraştırıyor.
Klasik yaklaşımda her adımı tek tek görüyorsunuz. Burada işe model bir kod bloğu bırakıyor ve ya çalışıyor ya çalışmıyor; aradaki niyeti, küçük sapmaları, “neden böyle yaptı?” sorusunun cevabını görmek için ekstra efor harcıyorsunuz. Şey, bu detay küçük gibi dürüyor ama pratikte can sıkabiliyor.
Kısa bir not düşeyim buraya.
Beklediğim kadar olgun değil, açık konuşayım. Ama 6 ay sonra? Hah, orası başka hikâye olabilir. Şu an için “izle, dene, öğren ama production’a koyma” demek en makul çizgi gibi geliyor bana.
Tabi eğer zaten yüksek hacimli agent operasyonlarınız varsa. Maliyet sizi zorluyorsa, kontrollü bir pilot başlatmak da mantıksız değil (yanlış duymadınız). Sız ne dersiniz?
İlgili: Bu konunun Microsoft tarafındaki resmi karşılığını anlamak için Microsoft Agent Framework 1.0: Ajanlar Artık Ciddileşti yazımıza bakabilirsiniz — agent framework’ün üretimde nasıl konumlandığını detaylı anlatıyor.Sıkça Sorulan Sorular
CodeAct ile klasik araç çağrısı arasındaki fark ne?
Açık konuşayım, Klasik yaklaşımda model her araç için ayrı bir tür dönüyor — çağır, sonucu al, tekrar düşün, tekrar çağır. Yanı hani sürekli gidip gelme var. CodeAct’ta işe model tüm planı tek bir Python kod bloğu olarak yazıyor ve bu kod sandbox’ta tek seferde çalışıyor. Aslında bu sayede model turları, token kullanımı ve gecikme ciddi şekilde azalıyor (bizzat test ettim)
CodeAct güvenli mi? Modelin yazdığı kodu çalıştırmak riskli değil mi?
Hyperlight micro-VM sayesinde kod neredeyse tamamen izole bir ortamda çalışıyor. Her çağrıda taze bir VM oluşturuluyor, işi bitince yok ediliyor. Bence bu kısım oldukça iyi düşünülmüş. Yine de production’da mutlaka “always_require” onay modunu kullanın, timeout. Kaynak limitleri de koyun — açıkçası bunları atlamayın.
Hangi modeller CodeAct ile iyi çalışıyor?
GPT-4o, GPT-4 ve Claude 3.5 Sonnet gibi büyük modeller CodeAct ile gayet iyi kod üretebiliyor. Küçük modeller — mesela 7B-13B parametreli olanlar — genellikle doğru çalışan kod üretmekte zorlanıyor (yanlış duymadınız). Tecrübeme göre model seçiminde kod yazma yeteneği gerçekten kritik bir kriter oluyor.
CodeAct her agent senaryosunda kullanılmalı mı?
Hayır. Tek bir araç çağrısı yeterli olan basit görevlerde CodeAct gereksiz karmaşıklık ekliyor. Aslında CodeAct en çok üç veya daha fazla zincirleme araç çağrısı gerektiren, yanı veri toplama-hesaplama-birleştirme tarzı görevlerde işe yarıyor.
agent-framework-hyperlight paketi production’a hazır mı?
Şu an alpha aşamasında. Microsoft aktif olarak geliştiriyor ama açıkçası production stabilitesi konusunda henüz yeterli topluluk verisi yok. Bence geliştirme. Test ortamlarında rahatça deneyin, ama production’a almadan önce en az birkaç ay daha beklemenizi öneririm.
Kaynaklar ve İleri Okuma
CodeAct in Agent Framework: Faster Agents with Fewer Model Turns — Microsoft DevBlogs (ki bu çoğu kişinin gözünden kaçıyor)
Bunu yaşayan biri olarak söyleyeyim, Hyperlight — GitHub Resmî Deposu
Azure AI Services Resmî Dokümantasyonu
Bu yazı yapay zeka (büyük dil modelleri) ile hazırlanmış, insan editör tarafından incelenmiştir. İçerik üretim sürecimiz.Aşkın KILIÇYazar20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.
AZ-305AZ-104AZ-500AZ-400DP-203AI-102İlgili Yazılar
İlginizi Çekebilir
Merve Ş.
CodeAct’ı daha önce duymuştum ama %50 gecikme farkının bu kadar belirgin olabileceğini düşünmemiştim. Birden fazla araç çağrısını tek kod bloğunda birleştirmek mantıklı bir yaklaşım, özellikle karmaşık görevlerde tur sayısının patladığı durumlar için gerçekten kurtarıcı olabilir. Kendi projemde de deneyeyim bunu.
Özge D.
Bunu production’da denemek istiyorum ama acaba karmaşık multi-step senaryolarda Python bloğu çok büyüyünce hata ayıklamak zorlaşıyor mu? Token tasarrufu cazip ama debug tarafı kafamı kurcalıyor.
Yorumlar kapalı.
2 comments