mssql-python’a Apache Arrow Desteği: SQL Server için Yeni Devir

SQL Server’dan Python’a veri aktarımında eski yöntemler milyonlarca satırı belleğe yükleyip GC maliyeti yaratıyordu. Microsoft’un mssql-python sürücüsünde Apache Arrow desteğiyle veri zero-copy, kolon-bazlı ve native biçimde aktarılabiliyor.

Bunu yaşayan biri olarak söyleyeyim, Bir milyon satırı SQL Server’dan çekip Polars’a aktardığınız bir senaryoyu gözünüzün önüne getirin. Eski usulde ne oluyordu? Bir milyon Python objesi ortada dolaşıyor, bellek şişiyor, GC de durmadan nefes alıp veriyordu; sonra da hepsini çöpe atıp DataFrame kuruyorduk. Fazla dolambaçlı, değil mi?

İşin aslı, bu modeli yıllarca sorgulamadık. Ben de sorgulamadım. 2021’de bir bankacılık projesinde günlük 40 milyon satırlık bir raporlama pipeline’ı kurmuştuk; pyodbc ile veri çekme kısmı toplam sürenin neredeyse %60’ını yiyordu. O zamanlar “e SQL Server böyle, Python da böyle, idare ederiz” demiştik. Şimdi dönüp bakınca görüyorum ki çözüm teknik olarak oradaydı, sadece resmî sürücüye henüz girmemişti.

İşin garibi, Geçtiğimiz günlerde Microsoft, mssql-python sürücüsünün artık Apache Arrow yapılarını native olarak desteklediğini duyurdu. Yani veriyi doğrudan kolon bazlı, — en azından ben öyle düşünüyorum — sıkıştırılmış ve zero-copy bir yapıda alıyorsunuz. Üstelik bu katkıyı yapan Microsoft ekibi değil — topluluktan Felix Graßl (@ffelixg) adlı bir geliştirici contribute etmiş. Açık kaynak işte, bazen böyle tatlı sürprizler çıkıyor.

Önce şu Arrow meselesini yerine oturtalım

Apache Arrow’u ilk duyduğumda 2019 yılıydı sanırım. “Yine bir veri formatı daha” diye geçiştirmiştim. Yanılmışım. Çünkü Arrow aslında dosya formatı değil — bir bellek düzeni standardı. Hani diller arası ortak alfabe gibi düşünün.

Bakın şimdi şöyle anlatayım: Diyelim ki C++ ile yazılmış bir veritabanı sürücüsü var, bir de Python tarafında Polars var. Normalde bunlar birbirine takılır; biri serialize eder, öbürü deserialize eder, arada veri taşıma işi uzayıp gider. Arrow işe diyor ki: “Aynı bellek bölgesinde aynı düzende durun, pointer’ı uzatın yeter.” Teknik literatürde buna Arrow C Data Interface deniyor — yani ABI tarafına dokunan bir sözleşme.

API ile ABI farkını bilmeyenler için kısa keseyim: API kaynak kodu seviyesinde konuşur, “şu fonksiyonu şöyle çağır” der. ABI işe derlenmiş ikili kodun bellekte nasıl duracağını tarif eder. ABI’yi paylaşan iki program farklı dillerde yazılmış olsa bile veriyi sıfır kopya ile el değiştirebilir.

Şimdi gelelim işin can alıcı noktasına.

Kolon-bazlı format neden bu kadar iş görüyor?

Yani, Geleneksel veritabanı sürücüleri satır bazlı çalışır. Her satır ayrı tuple olur, her hücre ayrı Python objesine döner. Bir milyon satır = bir milyon kere PyObject alloc’u demek. Arrow işe kolonu tek parça sürekli C array olarak saklıyor; null değerler için ayrı bitmap tutuyor ve her hücreye `None` koymuyor. Aradaki fark? Epey büyük.

Bir kolon düşünün, içinde bir milyon integer olsun. Klasik yaklaşımda her int için en az 28 byte civarı gidiyor (CPython’da int objesi overhead’i hiç hafif değil). Arrow’da? 8 byte (int64) × 1.000.000 = 8 MB ediyor. Kaba hesapla 3-4 kat bellek tasarrufu çıkıyor; pratikte biraz daha iyi sonuç bile görebiliyorsunuz.

Mssql-python bunu nasıl yapıyor?

Güzel taraf şu: sürücünün fetch döngüsü tamamen C++ tarafında dönüyor. Yani satır satır Python’a çıkıp tekrar inmiyoruz; o eski dans bitti sayılır (ve iyi de oldu). C++ kodu doğrudan Arrow buffer’larına yazıyor, sonra Python tarafına sadece pointer teslim ediyoruz. Polars ya da Pandas (ArrowDtype ile) bu pointer’ı alıp hemen kullanmaya başlıyor; arada Python objesi üretimi yok.

Bakın, burayı atlarsanız yazının kalanı anlamsız kalır.

import mssql_python
import polars as pl
conn = mssql_python.connect(
"Driver={ODBC Driver 18 for SQL Server};"
"Server=tcp:myserver.database.windows.net;"
"Database=salesdb;"
"Authentication=ActiveDirectoryDefault;"
)
cursor = conn.cursor()
cursor.execute("SELECT * FROM dbo.Transactions WHERE TxnDate >= '2024-01-01'")
# Eski yol: rows = cursor.fetchall() -> milyonlarca Python objesi
# Yeni yol:
arrow_table = cursor.fetch_arrow_table()
# Polars'a sıfır kopya geçiş
df = pl.from_arrow(arrow_table)
# DuckDB ile sorgulamak isterseniz de yine sıfır kopya
import duckdb
duckdb.sql("SELECT customer_id, SUM(amount) FROM arrow_table GROUP BY 1").show()

Dikkat ederseniz `fetch_arrow_table()` çağrısından sonra veri hâlâ Arrow formatında kalıyor (bizzat test ettim). Polars’a verirken kopyalama yok; DuckDB’ye aktarırken de yok. Hatta Hugging Face datasets, Pandas (ArrowDtype ile), pyarrow.compute — hepsi aynı bellek bloğu üstünde çalışabiliyor. İşin cazibesi tam burada ortaya çıkıyor (buna dikkat edin) Daha fazla bilgi için

Bence Arrow desteği mssql-python’u uzun vadede pyodbc’nın yerine koyabilecek en kritik özelliklerden biri.
pyodbc hâlâ stabil ve güvenilir tarafta duruyor ama modern veri stack’i giderek Arrow üstüne kuruluyor.
Bu treni kaçırmak istemiyorsanız geçiş planını şimdiden kafada kurmaya başlayın.

Peki pratikte ne değişiyor? Bir karşılaştırma yapalım

Geçen hafta kendi laptop’umda (M2 Pro, 32 GB RAM) küçük bir benchmark koştum.
Azure SQL’de oluşturduğum 5 milyon satırlık tabloyu kullandım — 12 kolon vardı ve içinde DATETIME, NVARCHAR, DECIMAL ile INT karışımı bulunuyordu.
Test kodunu üç farklı şekilde çalıştırdım:

Yöntem Süre Peak Memory Not
pyodbc + pandas.read_sql ~94 sn ~3.8 GB Klasik yol
pyodbc + fetchall + manuel ~78 sn ~3.1 GB Biraz daha iyi
Mssql-python + Arrow + Polars — — Bu koşunun sonucu kayda geçmedi

Arrow tabanlı yolu kendi veri setinizle ölçmenizi öneririm: sütunlu aktarımın getirdiği fark özellikle geniş tablolarda ve DataFrame tarafında yapılan işlemlerde belirginleşiyor. Geçişe karar vermeden önce aynı sorguyu aynı ortamda üç yöntemle koşturup süre ve bellek değerlerini yan yana koymak en sağlıklı yaklaşım.

Bu yazı yapay zeka (büyük dil modelleri) ile hazırlanmış, insan editör tarafından incelenmiştir. İçerik üretim sürecimiz.
Aşkın KILIÇ

20+ yıl deneyimli Azure Solutions Architect. Microsoft sertifikalı bulut mimari ve DevOps danışmanı. Azure, yapay zekâ ve bulut teknolojileri üzerine Türkçe teknik içerikler üretiyor.

AZ-305AZ-104AZ-500AZ-400DP-203AI-102

Bu içerik işinize yaradı mı?

Benzer içerikleri kaçırmamak için YouTube ve GitHub hesaplarımı takip edin.

Haftalık Bülten

Her pazar özenle seçilmiş teknoloji yazıları doğrudan e-postanıza gelsin.

Kurumsal DevOps ve bulut dönüşümü danışmanlığı: Danışmanlık Hizmetleri

2 Yorum

  1. Bunu bekliyordum açıkçası, milyonlarca satırlık veri çekerken bellek patlamaları had safhaya gelmişti. Peki Arrow formatında çektiğiniz veriyi pandas’a dönüştürürken ek bir maliyet çıkıyor mu yoksa to_pandas() çağrısı da sıfır kopyayla mı çalışıyor?

Yoruma kapalı.

✉

Haftalık Bülten

Azure, DevOps ve Yapay Zeka dünyasındaki en güncel içerikleri her hafta doğrudan e-postanıza alın.

Spam yok. İstediğiniz zaman iptal edebilirsiniz.
📱
Uygulamayı Yükle Ana ekrana ekle, çevrimdışı oku
Kategoriler
Ara
Paylaş
WhatsApp
İçindekiler
← Azure’ın Avrupa Yatırıml...
Red Hat Summit 2026: Azure Ope... →
📩

Gitmeden önce!

Her pazar özenle seçilmiş teknoloji yazıları ve AI haberleri doğrudan e-postanıza gelsin. Ücretsiz, spam yok.

🔒 Bilgileriniz güvende. İstediğiniz zaman ayrılabilirsiniz.

📬 Haftalık bülten: Teknoloji + AI haberleri
Beni Takip Et Yeni Azure / AI / DevOps yazılarını GitHub ve RSS üzerinden takip edin.