Azure Cosmos DB Portalından Confluent Connector Kurulumu
Azure Cosmos DB ile Confluent Cloud arasındaki bağlantıyı kurmak artık tek ekrandan yapılabiliyor. Microsoft, Azure Cosmos DB hesabının içinden Confluent Cloud bağlayıcılarını keşfetmeyi, kaynak seçmeyi, doğrulamayı ve gerektiğinde cluster oluşturmayı kapsayan yerel (native) bir Azure portal deneyimi duyurdu. İki ayrı konsol arasında gidip gelmeye ya da özel aktarma katmanı yazmaya gerek kalmadan Kafka ile Cosmos DB arasındaki veri hareketi yapılandırılabiliyor.
Bağlayıcılar nerede çalışıyor?
Buradaki bağlayıcılar, Apache Kafka & Apache Flink on Confluent Cloud üzerinden sağlanan bir Confluent organizasyonunun içinde çalışıyor. Hizmet bir Azure Native Integrations servisi olarak konumlanıyor: organizasyon bir Azure kaynağı gibi yönetiliyor, erişim Microsoft Entra ID tek oturum açma (SSO) ile sağlanıyor, faturalandırma da Azure faturanız üzerinden ilerliyor.
Henüz bir organizasyonunuz yoksa oluşturma akışını aynı ekrandan başlatabiliyorsunuz; Integrations > Apache Kafka on Confluent Cloud sayfasındaki Create Confluent organization seçeneği bunun için. Kaynakta belirtildiği üzere Confluent, Confluent Cloud – Pay as you Go planına başlamak için kredi içeren bir ücretsiz deneme de sunuyor. Organizasyon oluşturulduğunda otomatik olarak seçili geliyor, ardından doğrudan bağlayıcı oluşturma adımına geçiliyor.
Change feed ile ilişkisi
Cosmos DB’nin kendi olay altyapısı zaten var. Change feed, her mantıksal bölüm (logical partition) içindeki öğe değişikliklerinin kalıcı ve sıralı bir kaydını tutuyor. Operasyonel veri değiştikçe tepki vermek, projeksiyon üretmek ve iş akışlarını doğrudan veritabanından tetiklemek için uygun bir mekanizma.
Confluent Cloud ise Microsoft’un anlatımında change feed’in yerini almıyor, onu tamamlayan ikinci bir olay katmanı ekliyor. Kafka topic’leri veritabanı değişikliklerini birçok sistemden gelen açık iş olaylarıyla birlikte taşıyabiliyor, bu olayları operasyonel veritabanından bağımsız saklayabiliyor, birden fazla tüketici grubunun (consumer group) her akışı kendi hızında işlemesine ve yeniden oynatmasına (replay) izin veriyor. Ekipler akış işleme, entegrasyon, yönetişim ve sistemler arası olay dağıtımı için Kafka ekosisteminden yararlanırken Azure Cosmos DB küresel dağıtık operasyonel durumu düşük gecikmeyle sunmaya devam ediyor.
Veri hareketi iki yönde de işliyor. Cosmos DB değişikliklerini bağımsız aşağı akış tüketicileri için Kafka’ya yayımlayabilir ya da Kafka olaylarını uygulamaya hazır görünümler olarak Cosmos DB’ye yansıtabilirsiniz. Entegrasyonun arkasında daha önce duyurulan tam yönetilen V2 Kafka connector var; yeni olan, bu bağlayıcının Azure portalındaki yerel deneyimi.
Akış, operasyonel verinin bulunduğu yerden başlıyor
Azure Cosmos DB for NoSQL hesabında Integrations > Apache Kafka on Confluent Cloud bölümünü açıyorsunuz. Bir Confluent organizasyonu, ortamı (environment) ve cluster seçtikten sonra mevcut bağlayıcıları görüntüleyebilir veya yenisini oluşturabilirsiniz.
Veri yönünü seçmek
Create new connector seçildiğinde rehberli bir akış devreye giriyor. Akış Basics, Authentication, Configuration ve Review + Create adımlarından oluşuyor, Azure Cosmos DB hesabı ile seçilen Confluent kaynaklarını adımlar boyunca taşıyor. İki yön söz konusu:
- Send to Confluent: Cosmos DB değişikliklerini aşağı akış tüketicileri için Kafka’ya aktarır.
- Receive from Confluent: Kafka kayıtlarını Cosmos DB’ye yazarak uygulamaya hazır projeksiyonlar oluşturur.
Başlamadan önce hazır olması gerekenler
Kaynakta listelenen ön koşullar şunlar: bir Confluent cluster ve topic, bir Azure Cosmos DB veritabanı ve container, ayrıca her iki hizmet için gerekli izinler. Basics adımı bu bağımlılıkları yerinde doğruluyor, yani eksik bir parça varsa akışın başında fark ediliyor.
Cluster oluşturmak için akıştan çıkmak gerekmiyor
Seçilen ortamda henüz bir cluster yoksa Create new cluster seçeneği kullanılabiliyor. Açılan yan panel bağlayıcı formunu yerinde tutuyor, organizasyon ve ortam bilgisini de taşıyor. Formu terk etmeye ya da baştan başlamaya gerek kalmıyor.
Olay günlüğünden küresel uygulama durumuna
Microsoft’un çizdiği tabloda roller ayrışıyor; Confluent Cloud olayları işleme ve yeniden oynatma için saklıyor, Azure Cosmos DB ortaya çıkan durumu dünya genelindeki uygulamalara sunuyor. Yerel bağlayıcı deneyiminin katkısı, bu ikisi arasındaki kurulum işini tek bir rehberli Azure akışına indirmesi. Olay akışlarından tepkisel uygulamalara geçiş süresi de böylece kısalıyor.
Not olarak eklemek gerekir ki duyuru, bağlayıcının çalışma mantığını veya V2 connector’ın yeteneklerini değiştirdiğini söylemiyor. Değişen şey, yapılandırma deneyiminin Azure portalına taşınması ve Confluent kaynaklarının Azure kaynak modeli, Entra ID oturum açma ve Azure faturalandırması üzerinden yönetilmesi.
Kimler için anlamlı?
Bu deneyim, operasyonel verisini zaten Azure Cosmos DB üzerinde tutan ve olay tabanlı mimariye geçmek isteyen ekipler için doğrudan bir giriş noktası. Yalnızca veritabanı içi tepkiler yeterliyse change feed tek başına iş görmeye devam ediyor. Olayların birden çok sistem tarafından, farklı hızlarda ve yeniden oynatılabilir biçimde tüketilmesi gerekiyorsa Kafka katmanı devreye giriyor; seçim de bu iki ihtiyaç arasındaki farkı netleştirmekle yapılıyor.
Kaynaklar ve İleri Okuma
- Introducing the Native Confluent Cloud Connector Experience in Azure Cosmos DB! (Theo van Kraay, Azure Cosmos DB Blog)
- Apache Kafka & Apache Flink on Confluent Cloud – genel bakış
- Confluent organizasyonu oluşturma adımları
- Azure Cosmos DB change feed dokümantasyonu
- Tam yönetilen V2 Kafka connector duyurusu
- Azure Cosmos DB Blog
- Azure Cosmos DB Design Patterns: Çalışan Örnekler
20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.
Yorum gönder