Copilot CLI Skill, MCP ve Ajan Kullanımını Ölçün
GitHub, Copilot usage metrics API’sindeki CLI raporlarına agentic kullanım verilerini ekledi. Skill’ler, custom agent’lar, Model Context Protocol (MCP) sunucuları, slash komutları ve plugin’ler için etkileşim sayıları artık raporlarda görünüyor. Enterprise ve organizasyon yöneticileri böylece geliştiricilerin Copilot CLI üzerinde hangi özelleştirmeleri gerçekten kullandığını veriyle izleyebiliyor.
Yeni alanlar hangi raporlarda görünüyor?
Eklenen alanlar şu rapor türlerinde bulunuyor:
- Enterprise ve organizasyon düzeyindeki kullanıcı bazlı (per-user) ve toplu (aggregate) 1 günlük raporlar
- Kullanıcı bazlı 28 günlük raporlar
- Toplu 28 günlük raporlardaki
day_totalskayıtları
Kullanıcı bazlı raporda alanlar ilgili kullanıcının etkinliğini anlatıyor. Toplu raporda ise aynı soruların enterprise ya da organizasyon genelindeki karşılığı veriliyor.
En çok kullanılan öğeler: totals_by_* dizileri
totals_by_skill, totals_by_custom_agent, totals_by_mcp, totals_by_slash_cmd ve totals_by_plugin dizileri en fazla etkinlik kaydedilen en çok beş öğeyi listeliyor, her kayıtta da bir interaction_count değeri yer alıyor.
Bu sayacın ne anlama geldiği kategoriye göre değişiyor:
- Skill, slash komutu ve plugin skill’leri: çağrı (invocation) sayısı
- Custom agent: ajan başlatma sayısı
- MCP sunucusu: bağlantı denemesi sayısı
Kaç farklı öğe kullanıldı: distinct_* sayaçları
distinct_skill_use_count, distinct_custom_agent_use_count, distinct_mcp_use_count, distinct_slash_cmd_use_count ve distinct_plugin_use_count alanları kullanılan farklı öğe sayısını veriyor.
Kullanıcı bazlı raporda o kullanıcının kullandığı her öğe bir kez sayılıyor. Toplu raporda ise enterprise veya organizasyon içinde herhangi biri tarafından kullanılan her öğe bir kez sayılıyor, kullanıcı başına tekrar edilmiyor. Sayaçlar ilk beşin dışında kalan öğeleri de kapsadığı için zaman içinde karşılaştırıldığında kullanımdaki çeşitliliğin artıp artmadığını gösteriyor.
Sayım mantığında gözden kaçan ayrıntılar
Verileri yorumlarken atlanmaması gereken birkaç nokta var.
MCP sunucularında yalnızca bağlantı denemeleri sayılıyor
Bir MCP sunucusunun interaction_count değeri yalnızca Copilot CLI sunucuya bağlanmaya ya da yeniden bağlanmaya çalıştığında artıyor, başarılı ve başarısız denemelerin ikisi de sayıya giriyor. Halihazırda bağlı bir sunucudaki araçları defalarca çağırmak ise sayacı kıpırdatmıyor. Ölçülen şey bağlantı etkinliği, araç kullanım yoğunluğu değil.
Plugin sayıları, skill sayılarının alt kümesi
Plugin metrikleri yalnızca bir plugin ile ilişkili skill çağrılarını sayıyor. Her plugin etkileşimi bu yüzden skill toplamlarında da görünüyor, plugin kaynaklı olmayan skill etkileşimleri ise sadece skill toplamlarında kalıyor. Plugin toplamları skill toplamlarının bir alt kümesi olduğundan bu iki değeri toplamamak gerekiyor.
Boş diziler, sıfırlar ve null değerler
Boş dizi ve sıfır değer, eşleşen bir etkinlik bulunmadığı anlamına geliyor. Özelleştirme verisi mevcut değilse alanlar null dönüyor ya da yanıtta hiç yer almıyor. Raporu işleyen tarafın bu üç durumu ayrı ayrı ele alması gerekiyor.
Gizlilik: müşteri tanımlı adlar gösterilmiyor
Raporlarda yalnızca GitHub tarafından sağlanan ve tanınan öğelerin adları görünüyor. Müşteri tarafından tanımlanan adlar, gizliliği korumak amacıyla gösterilmiyor. Skill, custom agent, MCP sunucusu ve plugin kategorilerinde bu tür öğeler other etiketi altında toplanıyor. Copilot CLI telemetrisi müşteri tanımlı slash komutlarını zaten custom altında topladığı için slash komutlarında da bu etiket kullanılıyor.
Verinin pratikteki sınırı da burada. Kendi yazdığınız özel skill veya ajanlardan hangisinin öne çıktığını isim bazında bu API üzerinden göremiyorsunuz, elinizde yalnızca toplam etkinlik ve farklı öğe sayısı üzerinden bir okuma kalıyor.
Kimler erişebiliyor?
Raporlara erişim şu rollerle sınırlı:
- Enterprise owner ve billing manager
- Organization owner
View Copilot Metricsiznini veren özel organizasyon veya enterprise rolüne sahip kullanıcılar
Bir de Copilot usage metrics politikasının etkin olması gerekiyor. Politika kapalıysa alanlar dolmuyor.
Bu veriyle ne yapılabilir?
GitHub’ın tarif ettiği kullanım senaryosuna göre yöneticiler hangi Copilot CLI özelleştirmelerinin benimsendiğini görebiliyor, benimsenme boşluklarını (enablement gaps) tespit edebiliyor, yatırımı geliştiricilerin değerli bulduğu otomasyonlara yönlendirebiliyor.
Pratikte iki metriği birlikte okumak faydalı. totals_by_* dizileri yoğunlaşmayı, distinct_* sayaçları yayılmayı gösteriyor. Etkileşim sayısı artarken farklı öğe sayısı sabit kalıyorsa kullanım mevcut birkaç özelleştirme etrafında derinleşiyor demektir, ikisi birlikte artıyorsa ekosistemin genişlediği yorumu yapılabilir. Alan tanımlarının tamamı ve örnek yanıtlar için resmi API dokümantasyonuna bakmak gerekiyor.
Kaynaklar ve İleri Okuma
- GitHub Changelog: Agentic CLI customizations now in the usage metrics API
- GitHub Docs: Copilot usage metrics API dokümantasyonu
- Copilot Usage Metrics API’ye Ajan Bazlı Aktivite Kırılımı
- Copilot Usage Metrics API ile Kullanıcı Bazlı AI Kredisi
- Agent Framework, Copilot CLI ve Squad ile Ajan Ekipleri
20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.
Yorum gönder