Copilot CLI Skill, MCP ve Ajan Kullanımını Ölçün

GitHub, Copilot usage metrics API’sindeki Copilot CLI raporlarına agentic kullanım verilerini ekledi. Skill’ler, custom agent’lar, MCP sunucuları, slash komutları ve plugin’ler için etkileşim ve çeşitlilik metrikleri raporlanıyor.

GitHub, Copilot usage metrics API’sindeki CLI raporlarına agentic kullanım verilerini ekledi. Skill’ler, custom agent’lar, Model Context Protocol (MCP) sunucuları, slash komutları ve plugin’ler için etkileşim sayıları artık raporlarda görünüyor. Enterprise ve organizasyon yöneticileri böylece geliştiricilerin Copilot CLI üzerinde hangi özelleştirmeleri gerçekten kullandığını veriyle izleyebiliyor.

Yeni alanlar hangi raporlarda görünüyor?

Eklenen alanlar şu rapor türlerinde bulunuyor:

  • Enterprise ve organizasyon düzeyindeki kullanıcı bazlı (per-user) ve toplu (aggregate) 1 günlük raporlar
  • Kullanıcı bazlı 28 günlük raporlar
  • Toplu 28 günlük raporlardaki day_totals kayıtları

Kullanıcı bazlı raporda alanlar ilgili kullanıcının etkinliğini anlatıyor. Toplu raporda ise aynı soruların enterprise ya da organizasyon genelindeki karşılığı veriliyor.

En çok kullanılan öğeler: totals_by_* dizileri

totals_by_skill, totals_by_custom_agent, totals_by_mcp, totals_by_slash_cmd ve totals_by_plugin dizileri en fazla etkinlik kaydedilen en çok beş öğeyi listeliyor, her kayıtta da bir interaction_count değeri yer alıyor.

Bu sayacın ne anlama geldiği kategoriye göre değişiyor:

  • Skill, slash komutu ve plugin skill’leri: çağrı (invocation) sayısı
  • Custom agent: ajan başlatma sayısı
  • MCP sunucusu: bağlantı denemesi sayısı

Kaç farklı öğe kullanıldı: distinct_* sayaçları

distinct_skill_use_count, distinct_custom_agent_use_count, distinct_mcp_use_count, distinct_slash_cmd_use_count ve distinct_plugin_use_count alanları kullanılan farklı öğe sayısını veriyor.

Kullanıcı bazlı raporda o kullanıcının kullandığı her öğe bir kez sayılıyor. Toplu raporda ise enterprise veya organizasyon içinde herhangi biri tarafından kullanılan her öğe bir kez sayılıyor, kullanıcı başına tekrar edilmiyor. Sayaçlar ilk beşin dışında kalan öğeleri de kapsadığı için zaman içinde karşılaştırıldığında kullanımdaki çeşitliliğin artıp artmadığını gösteriyor.

Sayım mantığında gözden kaçan ayrıntılar

Verileri yorumlarken atlanmaması gereken birkaç nokta var.

MCP sunucularında yalnızca bağlantı denemeleri sayılıyor

Bir MCP sunucusunun interaction_count değeri yalnızca Copilot CLI sunucuya bağlanmaya ya da yeniden bağlanmaya çalıştığında artıyor, başarılı ve başarısız denemelerin ikisi de sayıya giriyor. Halihazırda bağlı bir sunucudaki araçları defalarca çağırmak ise sayacı kıpırdatmıyor. Ölçülen şey bağlantı etkinliği, araç kullanım yoğunluğu değil.

Plugin sayıları, skill sayılarının alt kümesi

Plugin metrikleri yalnızca bir plugin ile ilişkili skill çağrılarını sayıyor. Her plugin etkileşimi bu yüzden skill toplamlarında da görünüyor, plugin kaynaklı olmayan skill etkileşimleri ise sadece skill toplamlarında kalıyor. Plugin toplamları skill toplamlarının bir alt kümesi olduğundan bu iki değeri toplamamak gerekiyor.

Boş diziler, sıfırlar ve null değerler

Boş dizi ve sıfır değer, eşleşen bir etkinlik bulunmadığı anlamına geliyor. Özelleştirme verisi mevcut değilse alanlar null dönüyor ya da yanıtta hiç yer almıyor. Raporu işleyen tarafın bu üç durumu ayrı ayrı ele alması gerekiyor.

Gizlilik: müşteri tanımlı adlar gösterilmiyor

Raporlarda yalnızca GitHub tarafından sağlanan ve tanınan öğelerin adları görünüyor. Müşteri tarafından tanımlanan adlar, gizliliği korumak amacıyla gösterilmiyor. Skill, custom agent, MCP sunucusu ve plugin kategorilerinde bu tür öğeler other etiketi altında toplanıyor. Copilot CLI telemetrisi müşteri tanımlı slash komutlarını zaten custom altında topladığı için slash komutlarında da bu etiket kullanılıyor.

Verinin pratikteki sınırı da burada. Kendi yazdığınız özel skill veya ajanlardan hangisinin öne çıktığını isim bazında bu API üzerinden göremiyorsunuz, elinizde yalnızca toplam etkinlik ve farklı öğe sayısı üzerinden bir okuma kalıyor.

Kimler erişebiliyor?

Raporlara erişim şu rollerle sınırlı:

  • Enterprise owner ve billing manager
  • Organization owner
  • View Copilot Metrics iznini veren özel organizasyon veya enterprise rolüne sahip kullanıcılar

Bir de Copilot usage metrics politikasının etkin olması gerekiyor. Politika kapalıysa alanlar dolmuyor.

Bu veriyle ne yapılabilir?

GitHub’ın tarif ettiği kullanım senaryosuna göre yöneticiler hangi Copilot CLI özelleştirmelerinin benimsendiğini görebiliyor, benimsenme boşluklarını (enablement gaps) tespit edebiliyor, yatırımı geliştiricilerin değerli bulduğu otomasyonlara yönlendirebiliyor.

Pratikte iki metriği birlikte okumak faydalı. totals_by_* dizileri yoğunlaşmayı, distinct_* sayaçları yayılmayı gösteriyor. Etkileşim sayısı artarken farklı öğe sayısı sabit kalıyorsa kullanım mevcut birkaç özelleştirme etrafında derinleşiyor demektir, ikisi birlikte artıyorsa ekosistemin genişlediği yorumu yapılabilir. Alan tanımlarının tamamı ve örnek yanıtlar için resmi API dokümantasyonuna bakmak gerekiyor.

Kaynaklar ve İleri Okuma

Bu yazı yapay zeka (büyük dil modelleri) ile hazırlanmış, insan editör tarafından incelenmiştir. İçerik üretim sürecimiz.
Aşkın KILIÇ

20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.

AZ-305AZ-104AZ-500AZ-400DP-203AI-102

Bu içerik işinize yaradı mı?

Benzer içerikleri kaçırmamak için YouTube ve GitHub hesaplarımı takip edin.

Haftalık Bülten

Her pazar özenle seçilmiş teknoloji yazıları doğrudan e-postanıza gelsin.

3 Yorum

  1. Ekipte kim hangi MCP sunucusunu ne kadar kullanıyor görebilmek baya işe yarar, özellikle hangi custom agent’ların boşa kurulduğunu tespit etmek için. Umarım bu metrikler dashboard tarafına da yansır, API’den çekip kendimiz görselleştirmek zahmetli oluyor.

  2. Sonunda MCP sunucu kullanımını da metriklerde görebileceğiz, ekipte kimler hangi skill’leri kullanıyor takip etmek epey zordu. Custom agent’ların benimsenme oranını raporlayabilmek özellikle yöneticilere anlatırken çok işe yarayacak bence.

  3. Ekipte kim hangi MCP sunucusunu ne kadar kullanıyor görebilmek baya işe yarar, özellikle custom agent yatırımı yapıp yapmamaya karar verirken. API’den bu veriyi çekip dashboard’a bağlayan var mı acaba?

  4. Copilot CLI raporlarına skill, custom agent, MCP sunucusu, slash komutu ve plugin metriklerinin eklenmesi, agentic kullanımın yalnızca toplam çağrı sayısıyla değil çeşitlilik ve etkileşim düzeyiyle de ölçülmesini sağlıyor. Özellikle ekiplerin hangi araçların gerçekten benimsendiğini analiz etmesi açısından oldukça faydalı bir gelişme.

    Yorumunuz denetim bekliyor.
    • Merhaba Elena, kesinlikle katılıyorum. Toplam çağrı sayısı tek başına yanıltıcı olabiliyor; skill, MCP sunucusu ve custom agent kırılımı hangi araçların gerçekten iş akışına oturduğunu gösteriyor. Ekip bazında bu metrikleri düzenli takip edip az kullanılan araçlar için kısa iç eğitimler planlamak da iyi bir pratik. Yorumunuz için teşekkürler!

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

✉

Haftalık Bülten

Azure, DevOps ve Yapay Zeka dünyasındaki en güncel içerikleri her hafta doğrudan e-postanıza alın.

Spam yok. İstediğiniz zaman iptal edebilirsiniz.
📱
Uygulamayı Yükle Ana ekrana ekle, çevrimdışı oku
Kategoriler
Ara
Paylaş
WhatsApp
İçindekiler
← DSC v3.3.0: Yeni Windows Kayna...
npm Stage-Only Token ile Yayın... →
📩

Gitmeden önce!

Her pazar özenle seçilmiş teknoloji yazıları ve AI haberleri doğrudan e-postanıza gelsin. Ücretsiz, spam yok.

🔒 Bilgileriniz güvende. İstediğiniz zaman ayrılabilirsiniz.

📬 Haftalık bülten: Teknoloji + AI haberleri
Beni Takip Et Yeni Azure / AI / DevOps yazılarını GitHub ve RSS üzerinden takip edin.