Data fabric və data mesh: eyni problemə iki cavab

Data fabric və data mesh eyni problemə cavabdır: mərkəzi data komandası tələbə yetişmir, ona görə hər sorğu əvvəlkinin arxasında növbəyə düşür, biznes isə növbəni dolayıb öz nüsxələrini qurur.

Onlar bu problemə əks istiqamətlərdən cavab verir. Data fabric texniki cavabdır — paylanmış datanı bir yerdən çatılan və idarə olunan edən birləşdirilmiş metadata və giriş qatı; mərkəzi komanda avtomatlaşdırma hesabına miqyaslanır. Data mesh təşkilati cavabdır — domain komandaları öz datalarına məhsul kimi sahiblik edir, altda isə self-serve platforma dayanır; mərkəzi komanda yolun üstündə oturmadığı üçün darboğaz olmaqdan çıxır.

Onlar tez-tez rəqib kimi təqdim olunur. Praktikada hər hansı biri ilə uğur qazanan təşkilatların çoxu hər ikisinin elementləri ilə nəticələnir, faydalı sual isə birinci hansı probleminizin olduğudur.

Hər ikisinin həll etdiyi problem

Demək olar hər böyük institutda tanınandır.

Data fərqli departamentlərə məxsus iyirmi sistemdə yaşayır. Onu işlək etməyə mərkəzi data komandası cavabdehdir. Hər yeni hesabat həmin komandanın işləmədiyi sahəni başa düşməsini, pipeline qurmasını və onu əbədi saxlamasını tələb edir. Backlog fasiləsiz böyüyür. Biznes bölmələri gözləməyi dayandırıb öz ixraclarını qurur, bu isə eyni metrikin dörd versiyası problemini yaradır, o da idarəetmə proqramını yaradır, o isə növbəni düzəltmir.

Hər iki yanaşma mərkəzi komanda modelinin miqyaslanmadığını qəbul edir. Əvəzində nə etmək barədə isə fikirləri ayrılır.

Data fabric

Fabric sahibliyi olduğu yerdə saxlayır və hər şeyi əhatə edən qata sərmayə qoyur: active metadata kataloqu, avtomatik kəşf və təsnifat, federated sorğu engine-i və mərkəzi tətbiq olunan giriş siyasəti.

Mexanizm avtomatlaşdırmadır. Hər sorğu üçün insanın pipeline qurması əvəzinə metadata fasiləsiz toplanır, lineage koddan və query log-lardan çıxarılır, həssas data nümunə üzrə təsnif edilir və giriş siyasəti bir yerdən bir çox mənbəyə tətbiq olunur. Mərkəzi komandanın tutumu məhdudlaşdırıcı olmaqdan çıxır, çünki hər yeni dataset üzrə iş kəskin azalır.

Harada uyğun gəlir. Ağır tənzimlənən, çoxlu legacy-si olan və domain komandalarının sahibliyi öz üzərinə götürməsi real gözlənilməyən estate-lər. Azərbaycandakı əksər bank və dövlət qurumu belədir — core banking sisteminin bir custodian komandası var və "domain komandasının ona məhsul kimi sahiblik etməsi" ideyası institutun kadr quruluşuna oturmur.

Harada uğursuz olur. Fabric çatımlılığı həll edir, mənanı yox. Heç kimin başa düşmədiyi data üzərində mükəmməl birləşdirilmiş fabric qeyri-müəyyən rəqəmlərə sürətli giriş istehsal edir. Həmçinin yükü və məsuliyyəti platforma komandasında cəmləşdirir — bu isə növbənin olmaması yox, daha kiçik növbədir.

Texniki komponentlər data virtualization və metadata idarəetməsi yazılarında açılanlardır.

Data mesh

Mesh sahibliyi köçürür. Hər domain — pərakəndə kreditləşmə, ödənişlər, risk — öz datasına sahiblik edir, onu müəyyən interfeysi, sənədləşdirilmiş semantikası, keyfiyyət zəmanətləri və adlı sahibi olan data məhsulu kimi dərc edir və ona öz tətbiqlərinə cavabdeh olduğu kimi cavabdehdir.

Onu dörd prinsip bir arada saxlayır: domain sahibliyi, məhsul kimi data, dərc etməyi ucuzlaşdıran self-serve platforma və federated computational governance — platformanın avtomatik tətbiq etdiyi qlobal qaydalar, domain-lərin verdiyi lokal qərarlar.

Harada uyğun gəlir. Biznes domain-lərinin içində əsl mühəndislik imkanı olan, daxili xidmətlərə onsuz da məhsul kimi baxan mədəniyyəti olan və mərkəzi koordinasiyanın dominant xərc olduğu qədər böyük təşkilatlarda. Yəni əsasən böyük texnologiya şirkətlərində.

Harada uğursuz olur. Mühəndis tutumu olmayan domain-lər data məhsuluna sahiblik edə bilməz və onlara indi etdiklərini demək adı olan, baxımsız məhsullar yaradır. Self-serve platforma da müntəzəm olaraq az qiymətləndirilir: onsuz mesh sadəcə mərkəzsizləşdirmədir, platformasız mərkəzsizləşdirmə isə iyirmi uyğunsuz data məhsulu və onları birləşdirməyin heç bir yolu olmaması deməkdir.

Ən çox rast gəlinən uğursuzluq lüğəti platformasız mənimsəməkdir. İxraclarını "data məhsulu" adlandıran və sahib təyin edən təşkilat adlandırma məşğuliyyəti keçirib.

Aralarında seçim

Dörd sual məsələni strategiya seminarından tez həll edir.

Biznes domain-lərinizin mühəndisi varmı? Analitik yox — xidmət qura və istismar edə bilən mühəndis. Yoxdursa, strategiya təqdimatı nə deyirsə desin, mesh hələ sizin üçün əlçatan deyil.

Dominant məhdudiyyətiniz nədir — çatımlılıq, yoxsa məna? İnsanlar dataya çata bilmirsə, fabric bunu birbaşa həll edir. İnsanlar dataya çatır, amma ona etibar etmir və onu başa düşmürsə, bu, semantika və sahiblik problemidir — mesh prinsiplərinə işarə edir.

Nə qədər tənzimlənirsiniz? Ağır nəzarət mərkəzi tətbiq olunan siyasətə doğru itələyir, bu isə fabric-də asandır. Mesh nəzarətçini qane edə bilər, amma yalnız computational governance hissəsi həqiqətən qurulanda — təşkilatların atladığı hissə isə elə odur.

Nə qədər legacy? Mesh sistemlərin məhsul interfeysləri ilə örtülə biləcəyini fərz edir. Bir custodian komandası olan otuz illik core banking sistemi buna müqavimət göstərir. Fabric onu olduğu yerdə oxuyur.

Əksər Azərbaycan bankı və nazirliyi üçün dürüst cavab budur: əvvəlcə fabric, üstündə isə seçilmiş mesh prinsipləri — adlı domain sahibləri, dərc olunmuş keyfiyyət gözləntiləri, sənədləşdirilmiş semantika. Bu, güzəşt deyil; üç ilə yenidən təşkilatlanma əvəzinə bir ilə nəticə verən ardıcıllıqdır.

Həqiqətən işləyən hibrid

Uğurlu proqramların yığıldığı nöqtə — lüğətsiz təsvir olunmuş halda.

Mərkəzləşdirilmiş: metadata, kataloq, lineage, təsnifat, giriş siyasətinin tətbiqi, sorğu engine-i və hər şeyin üzərində işlədiyi platforma. Bunlar vahid olmaqdan faydalanır, onları bölmək isə auditdə üzə çıxan uyğunsuzluq yaradır.

Federated: təriflər, keyfiyyət qaydaları və sahiblik. Aktiv müştərinin nə demək olduğuna və datasının hansı keyfiyyət səviyyəsini zəmanət etdiyinə domain qərar verir, çünki bunu yalnız domain bilir. Bunun oturduğu yer biznes lüğətidir.

Avtomatlaşdırılmış: toplama, təsnifat, lineage çıxarılması, siyasət tətbiqi. Maşının edə biləcəyi hər şey — ki insan diqqəti mühakiməyə yönəlsin.

Bu quruluş fabric-in texniki qatını və mesh-in sahiblik modelini götürür — terminologiyanın altında hər ikisinin əslində müdafiə etdiyi də elə budur.

Heç biri nə etməyəcək

Seçimdən asılı olmayaraq, və bunu açıq demək lazımdır, çünki hər ikisi transformasiya kimi satılır.

Heç biri rəhbərliyin təyin etmədiyi sahibliyi yaratmır. Heç biri tərif mübahisəsini həll etmir. Heç biri datanızı təmizləmir. Heç biri işlətdiyiniz sistemlərin sayını azaltmır. Və heç biri biznes sponsoru olmayan texnologiya proqramı kimi aparılmaqdan sağ çıxmır — hər ikisi üçün uğursuzluğun ən etibarlı proqnozlaşdırıcısı da budur.

Arxitektura nəticənin təxminən dörddə biridir. Qalanı əhatə intizamı, real vaxt ayrılmış sahiblik və mübahisədən sağ çıxmış təriflərdir. Daha dəbdə olan termini seçmək bunların heç birini əvəz etmir.

Əsas məqamlar

• Eyni problem — mərkəzi data komandası yetişmir. Fabric texniki, mesh təşkilati cavab verir.
• Fabric: birləşdirilmiş metadata, federated sorğu, mərkəzi tətbiq olunan siyasət. Tənzimlənən, legacy ağırlıqlı estate-lərə uyğundur. Çatımlılığı həll edir, mənanı yox.
• Mesh: self-serve platforma üzərində domain-ə məxsus data məhsulları. Domain-lərin içində mühəndis tələb edir. Platformasız sadəcə mərkəzsizləşdirmədir.
• Dörd sual həll edir: domain-lərdə mühəndis tutumu, çatımlılıq və ya məna, tənzimləmə ağırlığı, legacy yükü.
• Buradakı institutların çoxu fabric qurmalı və üstünə mesh sahiblik prinsiplərini tətbiq etməlidir — adlı sahiblər, dərc olunmuş keyfiyyət, sənədləşdirilmiş semantika.
• Heç biri sahiblik yaratmır, tərif mübahisəsini həll etmir, datanı təmizləmir. Arxitektura nəticənin təxminən dörddə biridir.

Texniki qatı qururuq — federated sorğu üçün Starburst, kataloq və idarəetmə üçün OvalEdge — on-premise tətbiq olunmaqla. Əlaqəli oxu: data lakehouse arxitekturası və data governance nədir.