Veri Yönetimi ve Analitik

Data Mesh Nedir? Alan Odaklı Veri Sahipliği ve Data Fabric Farkı

Data Mesh Nedir? Alan Odaklı Veri Sahipliği ve Data Fabric Farkı

Merkezi veri ekibine her hafta yeni bir talep gelir: pazarlama yeni bir kampanya metriği ister, finans bir raporun neden dünkü rakamla tutmadığını sorar, operasyon bir tablodaki kolonun ne anlama geldiğini bilmek ister. Ekip ne kadar yetenekli olursa olsun, kuyruk uzar. Sorun çoğu zaman insanlarda değil, veriye kimin sahip olduğuna dair kurulan modelde yatar. Data mesh tam olarak bu modeli sorgulayan bir yaklaşım.

Data Mesh Nereden Çıktı?

Kavram, 2019’da Thoughtworks’te çalışan Zhamak Dehghani’nin yazılarıyla gündeme geldi. Dehghani’nin gözlemi basitti: şirketler veri ambarından veri gölüne, oradan bulut tabanlı platformlara geçtikçe teknoloji değişti, ama organizasyon şekli değişmedi. Veri hâlâ tek bir merkezi ekibe akıyor, o ekip de hiç tanımadığı iş alanlarının verisini temizleyip anlamlandırmaya çalışıyordu.

Data mesh, bu darboğazı mimari bir sorun olarak değil, sosyo-teknik bir sorun olarak ele alır. Yani yalnızca hangi aracı kullandığınızla değil, kimin neyden sorumlu olduğuyla ilgilenir. Bu yüzden onu bir ürün ya da yazılım olarak satın alamazsınız; bir organizasyon ve mimari yaklaşımıdır.

Dört Temel İlke

Dehghani yaklaşımı dört ilke üzerine kurar. Sahada bu ilkelerden biri atlandığında yapının nasıl çöktüğünü görmek mümkün, o yüzden dördünü birlikte düşünmek gerekiyor:

  • Alan odaklı sahiplik: Veriyi üreten iş alanı (satış, lojistik, müşteri hizmetleri) o verinin analitik kullanıma hazır hâlinden de sorumludur.
  • Ürün olarak veri: Her alan, verisini diğer ekiplerin kullanacağı bir ürün gibi tasarlar; dokümantasyonu, kalite taahhüdü ve sahibi bellidir.
  • Self-servis veri platformu: Alan ekiplerinin her şeyi sıfırdan kurmaması için ortak bir altyapı katmanı sunulur: depolama, pipeline şablonları, erişim yönetimi, izleme.
  • Federe hesaplamalı yönetişim: Ortak kurallar (güvenlik, gizlilik, isimlendirme, birlikte çalışabilirlik) merkezde belirlenir, ama mümkün olduğunca platforma gömülerek otomatik uygulanır.

Dördüncü ilke en çok gözden kaçanıdır. Sahipliği dağıtıp yönetişimi otomatikleştirmeyen bir şirket, kısa sürede birbirinden habersiz veri adacıklarıyla dolu bir yapıya döner. Data mesh’i eleştirenlerin "data mess" esprisi büyük ölçüde bu senaryodan doğar.

Alan Odaklı Veri Sahipliği Pratikte Neye Benzer?

Bir e-ticaret şirketi düşünün. Sipariş ekibi, sipariş verisini en iyi bilen ekiptir: iptal ile iadenin farkını, kısmi teslimatın nasıl kaydedildiğini, hangi alanın hangi sistemden beslendiğini onlar bilir. Klasik modelde bu veri merkezi ekibe ham hâliyle aktarılır ve oradaki analist, sipariş ekibinin kafasındaki bilgiyi yeniden keşfetmek zorunda kalır.

Alan odaklı modelde sipariş ekibi, "temizlenmiş günlük siparişler" gibi bir veri setini kendisi yayınlar. Tanımları kendisi yazar, şema değişikliklerini önceden duyurur, veride bir sorun çıktığında ilk aranan kişi o ekipten biridir. Bu, ekibe bir veri mühendisi ya da analitik mühendisi eklemeyi gerektirebilir. Çoğu şirketin en çok zorlandığı nokta da budur: bütçe ve yetkinlik, merkezden alanlara taşınmalıdır.

Bu modelin doğal sonucu, dağıtık veri mimarisi olur. Veri fiziksel olarak tek bir yerde durabilir ya da durmayabilir; asıl dağıtılan şey sorumluluk ve karar yetkisidir.

Data Mesh vs Data Lake: Karşılaştırma Doğru mu?

"Data mesh vs data lake" araması sık yapılır, ama iki kavram aynı düzlemde değildir. Data lake bir depolama ve mimari desenidir: ham veriyi çeşitli formatlarda ucuz ve esnek biçimde saklamanızı sağlar. Data mesh ise verinin kim tarafından, hangi kurallarla üretilip paylaşılacağına dair bir organizasyon modelidir.

Bu yüzden bir data mesh uygulaması içinde data lake, lakehouse ya da veri ambarı rahatlıkla yer alabilir. Hatta pek çok uygulamada alan ekipleri aynı bulut platformu üzerinde, kendi ayrı projelerinde ya da veri setlerinde çalışır. Fark, o göldeki her bölümün bir sahibinin ve bir sözleşmesinin olmasıdır. Merkezi bir data lake’in "kimin olduğu belli olmayan dosyalar mezarlığına" dönüşmesi, data mesh’in çözmeye çalıştığı sorunlardan biridir.

Data Fabric Nedir ve Data Mesh’ten Nasıl Ayrılır?

Data fabric nedir sorusunun kısa cevabı şu: farklı sistemlerde dağınık duran veriyi, metadata, entegrasyon ve otomasyon katmanı üzerinden birbirine bağlayan bir mimari yaklaşım. Gartner’ın öne çıkardığı bu kavramda ağırlık teknolojidedir. Aktif metadata yönetimi, veri kataloğu, bilgi grafikleri ve otomatik entegrasyon gibi yetenekler, verinin nerede olduğundan bağımsız olarak bulunabilir ve erişilebilir olmasını hedefler.

Data mesh ise "insan ve sahiplik önce" der. Data fabric soruna teknoloji katmanıyla, data mesh organizasyon tasarımıyla yaklaşır. Biri entegrasyonu merkezde akıllı bir katmanla çözmeye çalışırken, diğeri sorumluluğu alanlara dağıtır.

İkisi birbirini dışlamaz. Pratikte en olgun yapılarda data fabric’e özgü yetenekler (katalog, soy ağacı takibi, politika otomasyonu), data mesh’in self-servis platformunun ve federe yönetişiminin altyapısını oluşturur. Seçim çoğu zaman "biri ya da diğeri" değil, "hangi sorunu önce çözüyorum" sorusudur. Darboğazınız entegrasyon karmaşasıysa fabric yaklaşımı daha hızlı sonuç verir; darboğazınız merkezi ekibin kapasitesi ve iş bilgisinin kopukluğuysa mesh daha anlamlıdır.

Hazır Olup Olmadığınızı Nasıl Anlarsınız?

Data mesh her şirkete uygun değil. Benim gördüğüm başarılı geçişlerin ortak noktası, birkaç koşulun önceden sağlanmış olmasıydı:

  1. Birden fazla, birbirinden belirgin biçimde ayrışan iş alanı ve her birinde ciddi veri üretimi var.
  2. Merkezi veri ekibi gerçekten darboğaz hâline gelmiş; talepler haftalarca bekliyor.
  3. Alan ekiplerine teknik yetkinlik kazandırmak için bütçe ve yönetim desteği mevcut.
  4. Ortak bir bulut veri platformu ya da en azından ortak standartlar üzerinde anlaşılabilir.

Bu koşullar yoksa, önce iyi yönetilen merkezi bir platformla başlamak ve bazı kritik veri setlerini "ürün" disipliniyle yönetmeyi denemek çok daha mantıklı. Data mesh’in ilkelerinden bazılarını tüm modeli benimsemeden uygulamak mümkün ve çoğu zaman en verimli başlangıç da bu.

Sıkça Sorulan Sorular

Data mesh ile data fabric arasındaki fark nedir?

Data mesh, veri sahipliğini iş alanlarına dağıtan ve veriyi ürün olarak ele alan bir organizasyon ve mimari yaklaşımıdır. Data fabric ise metadata, entegrasyon ve otomasyon üzerinden dağınık veriyi birbirine bağlayan teknoloji odaklı bir mimaridir. İkisi birlikte kullanılabilir; fabric yetenekleri mesh’in platform ve yönetişim katmanını destekleyebilir.

Hangi şirket ölçeğine uygun?

Genellikle birden çok bağımsız iş alanına, kendi veri ekiplerini besleyebilecek bütçeye ve merkezi veri ekibinin darboğaz olduğu bir yapıya sahip orta-büyük ölçekli kuruluşlara uygundur. Tek bir ürünü olan küçük bir şirkette dağıtık sahiplik, faydadan çok koordinasyon yükü getirir. Küçük ekipler için ilkelerden yalnızca "ürün olarak veri" disiplinini benimsemek çoğu zaman yeterlidir.

Data product nedir?

Veri ürünü nedir sorusunun cevabı, bir alan ekibinin başkalarının kullanımı için yayınladığı, sahibi, tanımı ve kalite taahhüdü belli olan veri setidir. İyi bir veri ürünü kolay bulunur, anlaşılır biçimde belgelenmiştir, şema değişikliklerinde tüketicilerini önceden bilgilendirir ve erişim kurallarına uyar. Kısacası tüketicisini düşünerek tasarlanmış veridir, bir pipeline’ın yan ürünü değil.

İlk Adım İçin Nereden Başlamalı?

Kurumun tamamını bir gecede dönüştürmeye çalışmak yerine, verisi en çok talep gören ve sahipliği en net olan bir alanı seçin. O alanın en kritik iki üç veri setini ürün disipliniyle yayınlayın, tanımları yazın, tüketicilerden geri bildirim toplayın. Bu pilot sırasında hangi platform yeteneklerinin eksik olduğu ve hangi yönetişim kurallarının otomatikleştirilmesi gerektiği kendiliğinden ortaya çıkar.

Mimari kararı ondan sonra vermek daha sağlıklıdır. Bu tür bir geçişte bulut veri platformu, veri ambarı ve yönetişim katmanını birlikte tasarlamak isteyen ekipler için Global IT, Google Cloud Premier Partner deneyimiyle veri mimarisi danışmanlığı sunuyor.