Data quality data governance-ın yanında yox, içindədir. Governance datanın nə demək olduğunu, sahibinin kim olduğunu və «düzgün»ün nə demək olduğunu müəyyən edir; quality isə reallığın həmin tərifə uyğun gəlib-gəlmədiyini ölçür və fərqləri hərəkət edə biləcək adama yönləndirir. Onları rəqib proqram kimi görmək keyfiyyət təşəbbüslərinin çoxunun panel istehsal edib heç bir yaxşılaşma verməməsinin səbəbidir.

Bu çərçivə vacibdir, çünki qayda pozulanda kimin cavabdeh olduğunu məhz o müəyyən edir — qayda mühərriki yox, elə bu, keyfiyyəti işlək edir.

Data quality data governance ilə eyni şeydirmi?

Xeyr, və əlaqə birtərəflidir.

Governance operating model-dir: təriflər, sahiblik, siyasət, təsnifat, giriş. Quality isə həmin model-in işlətdiyi intizamlardan biridir. Kimsə «düzgün»ün nə demək olduğunu qərara almayana qədər dəyərin düzgünlüyünü ölçə bilməzsiniz, bu qərar isə governance nəticəsidir.

Bu ardıcıllığın komandaların çətin yolla öyrəndiyi praktiki nəticəsi var. Governance olmadan başladılan keyfiyyət proqramı qaydaları onları yazan adamın uydurduğu qaydalar edir — adətən sxemə baxıb niyyəti təxmin edən data mühəndisi. Belə qaydalar pozulur, pozuntular növbəyə düşür və heç kim pozuntunun real defekt, yoxsa səhv qayda olduğunu həll edə bilmir. Bir rübdən sonra bildirişlər susdurulur.

Ardıcıllığı düzgün qursanız, eyni qaydanın sahibi olur: qaydanın kodlaşdırdığı tərifi həmin domenin data steward-ı təsdiqləyib, ona görə pozuntu baş verəndə datanın, yoxsa qaydanın səhv olduğunu deyə biləcək adam var.

Hansı ölçüləri ölçmək əslində dəyər verir?

Klassik siyahı səkkiz və daha çox ölçü sadalayır. Praktikada dəyərin böyük hissəsini dördü daşıyır, qalanı isə adətən xüsusi hallardır.

Tamlıq (completeness). Tələb olunan dəyərlər mövcuddurmu. Yazılması ən ucuz və ən çox pozulan qayda — üç illik forma dəyişiklikləri nəticəsində könüllüyə çevrilmiş məcburi sahə.

Etibarlılıq (validity). Dəyər öz tərifinə uyğun gəlirmi: gözlənilən formatda şəxsiyyət nömrəsi, icazə verilən dəstdən valyuta kodu, ağlabatan diapazonda tarix. Etibarlılıq pozuntuları adətən mənbə sistemi və ya inteqrasiya defektidir və aşkarlanandan sonra ucuz düzəlir.

Uyğunluq (consistency). Eyni fakt sistemlər arasında üst-üstə düşürmü. Core sistemdə aktiv, CRM-də bağlı müştəri statusu. «Üç departament, üç rəqəm» problemini məhz bu ölçü doğurur və düzəldilməsi ən çətin olan da budur, çünki düzəltmək hansı sistemin səlahiyyətli olduğuna qərar verməyi tələb edir — bu isə texniki yox, governance qərarıdır.

Vaxtındalıq (timeliness). Data öz istifadəsi üçün kifayət qədər təzədirmi. İki gün geridə qalan warehouse trend hesabatı üçün normaldır, əməliyyat qərarı üçün yararsızdır. Vaxtındalıq pozuntuları tez-tez dəqiqlik problemi kimi səhv diaqnoz alır.

Təkrarsızlıq (uniqueness) və dəqiqlik (accuracy) siyahını tamamlayır. Təkrarsızlıq — dublikat müştəri qeydləri — əslində master data problemidir və adətən ayrıca yanaşma tələb edir. Real dünyaya uyğunluq mənasında dəqiqliyi isə daxildən ümumiyyətlə ölçmək mümkün deyil: onu yalnız xarici istinada qarşı yoxlamaq olar, ona görə praktikada dəqiqlik ölçülmür, iddia edilir.

Kritik data elementlərində tamlıq və etibarlılıqdan başlayın. Onlar mexanikdir, dərhal tapıntı verir və tapıntılar demək olar həmişə realdır.

Keyfiyyət qaydaları haradan gəlməlidir?

Üç mənbə, dəyərinə görə azalan sıra ilə.

Tənzimləyici və hesabat tələblərindən. Sahə nəzarət hesabatında görünürsə, onun məhdudiyyətləri artıq harasa yazılıb. Bu qaydalar özlərini əsaslandırır və prioritetləri barədə heç kim mübahisə etmir.

İnsidentlərdən. Hər üzləşmə fərqi, yenidən dərc olunmalı hesabat, «rəqəm səhv görünürdü» eskalasiyası yazılmağı gözləyən qaydadır. Bu, ən məhsuldar və ən çox laqeyd yanaşılan mənbədir, çünki insidentlər həll olunur, amma emal edilmir.

Profiling-dən. Kritik cədvəllər üzrə profil çıxarın — null nisbətləri, fərqli dəyər sayları, paylanmalar, format şablonları — anomaliyalar özü qayda təklif edir. Catalog öz yerini məhz burada qazanır: OvalEdge qoşulmuş mənbələri profilləşdirir və paylanmaları üzə çıxarır, beləliklə qayda yazmaq seminardan yox, sübutdan başlayır.

Nə qayda doğurmamalıdır: əhatə arzusu. «İlin sonuna 500 qayda» hədəfi qoyan proqram hədəfə çatacaq və heç nə öyrənməyəcək. Qaydaların saxlanma xərci var, heç kimin reaksiya vermədiyi qayda isə heç bir qaydadan pisdir, çünki insanlara növbəni saymamağı öyrədir.

Pozulmuş qaydanı kim düzəldir?

Keyfiyyət idarəçiliyinin işləyib-işləməməsini bu sual həll edir və cavabın ayrılmalı üç hissəsi var.

Pozuntunun nə demək olduğunu steward qərara alır. Real defekt, qəbul edilə bilən istisna, yoxsa səhv qayda. Bu qərarı yalnız biznes prosesini bilən adam verə bilər.

Düzəlişi custodian tətbiq edir. Datanın korreksiyası, pipeline-ın yamanması və ya mənbə sistemində dəyişiklik.

Kök səbəbi mənbə sisteminin sahibi maliyyələşdirir. Proqramların atladığı hissə budur və eyni pozuntuların təkrarlanmasının səbəbi də elə budur. Null-lar forma sahəni məcburi etmədiyi üçün yaranırsa, aşağı axında nə qədər düzəliş etsəniz də problem qalır — düzəliş tətbiqin içindədir, tətbiqin isə öz backlog-u və data quality tapşırığını prioritetləşdirmək üçün heç bir motivasiyası olmayan komandası var.

Aylıq governance forumu məhz bu güzəşti eskalasiya etmək üçündür. Eskalasiya yolu olmayan keyfiyyət proqramı eyni datanı əbədi təmizləyən proqramdır.

İqtisadiyyatı görünən etmək kömək edir. Sahə araşdırmaları zəif data keyfiyyətinin qiymətini tipik müəssisə üçün ildə milyonlarla dollarla ölçür, analitiklərin isə vaxtının nəzərəçarpacaq hissəsi analiz yox, datanın hazırlanmasına gedir. Kök səbəb düzəlişini başqasının backlog-unda yuxarı qaldıran rəqəmlər məhz bunlardır.

Heç kimin oxumadığı qayda kitabxanasından necə yayınmaq olar?

Proqramı birinci ildən sonra da diri saxlayan dörd məhdudiyyət.

Domen üzrə qayda sayına limit qoyun. Kritik elementləri örtən, aktiv saxlanan iyirmi-otuz qayda heç kimin sıralamadığı yüzlərlə qaydadan üstündür. Yeni qayda mövcud olandan vacibdirsə, mövcud olanı ləğv edin.

Həcmə görə yox, ciddiliyə görə yönləndirin. Tənzimləyici göstəriciyə təsir edən pozuntu kiməsə zəng etməlidir. Analitik cədvəldəki pozuntu tapşırıq açmalıdır. Kosmetik uyğunsuzluq aylıq hesabata düşməlidir. Hər şeyə eyni bildiriş vermək funksional olaraq heç bir bildiriş verməməklə eynidir.

Qaydaları yox, növbəni ölçün. Mənalı metrik pozuntunun kiminsə onun mənasını qərara almasını nə qədər gözləməsidir. Qayda sayı və keçmə faizi boş metriklərdir — keçmə faizi xüsusən çətin qayda səssizcə söndürüləndə qalxır.

Qaydaları şüurlu şəkildə ləğv edin. Bir il ərzində fasiləsiz keçən qayda ya dəyərli nəyisə qoruyur, ya da pozula bilməyən nəyisə ölçür. İldə bir dəfə baxın və ikincini silin.

Keyfiyyət catalog-a nisbətdə harada dayanır?

Catalog tərifi saxlayır; keyfiyyət mühərriki ona qarşı yoxlayır; lineage isə partlayış radiusunu izah edir. Üçü də lazımdır və tez-tez ayrı-ayrı alınır, bu da öz inteqrasiya problemini yaradır.

Onları bir yerdə saxlamağın praktiki dəyəri pozuntunun triajıdır. Sütunda qayda pozulanda sütun səviyyəli lineage dərhal gələn iki suala cavab verir: bu dəyər haradan gəldi və aşağı axında hansı hesabatlar onu istehlak edir. Lineage olmadan hər iki cavab insident başına bir günortalıq araşdırmadır — keyfiyyət növbəsini backlog-a çevirən də budur.

Bu, həm də ardıcıllıqda governance-ı keyfiyyət alətindən əvvəl qoymağın arqumentidir — eyni məqam 2-ci səviyyədən 3-cü səviyyəyə keçiddə də təkrarlanır: catalog operating model yaratmaq üçün yox, artıq mövcud olan model-i daşımaq üçün quraşdırılır.

AI keyfiyyət tələbini necə dəyişir?

Riski konkret və az müzakirə olunan şəkildə artırır.

Ənənəvi analitik pipeline-da data ilə qərar arasında insan var. Hesabatı hazırlayan analitik rəqəmin ağlabatan olmadığını görür və araşdırır. Bu insan yoxlaması keyfiyyət pozuntularının nəzərəçarpacaq hissəsini kiməsə çatmamışdan əvvəl udur.

Retrieval əsaslı AI sistemləri bu yoxlamanı aradan götürür. Köhnəlmiş və ya səhv dəyəri olan sənəd çəkilir, model cavabını ona əsaslandırır və cavab mənbənin düzgünlüyünü qiymətləndirə bilməyən istifadəçiyə səlis və inamlı şəkildə çatdırılır. Model dəyərin səhv olduğunu bilmir; bilməsi üçün heç bir əsası yoxdur.

Planlaşdırmağa dəyən iki nəticə:

Retrieval əhatəsinin aktuallıq qaydası olmalıdır. Cari sənədlə eyni qovluqda duran qüvvədən düşmüş siyasət sənədi səhv cavaba çevrilən keyfiyyət defektidir. Versiyalar və qüvvəyəminmə tarixləri adlandırma konvensiyası yox, retrieval qatının süzə biləcəyi metadata olmalıdır.

Grounding yoxlanıla bilən olmalıdır. Cavab səhv olanda sual budur: hansı mənbədən gəldi — bu isə çəkilmiş sənədə istinad tələb edir və eyni tələb ISO/IEC 42001 audit izi gözləntilərində də görünür.

Ümumi məqam odur ki, AI orta keyfiyyətli dataya analitikadan daha dözümlü deyil; sadəcə daha az görünən şəkildə sınır. Governance işinin AI tətbiqindən əvvəl gəlməsinin praktiki səbəbi budur.

Əsas məqamlar

  • Quality governance-ın içindəki intizamdır. Qaydalar təsdiqlənmiş tərif və adlı sahib tələb edir, əks halda pozuntular həll edilə bilmir.
  • Kritik data elementlərində tamlıq və etibarlılıqdan başlayın. Uyğunluq bahalıdır, çünki hansı sistemin səlahiyyətli olmasına qərar verməyi tələb edir.
  • Qaydaları tənzimləyici tələblərdən, keçmiş insidentlərdən və profiling-dən çıxarın — əhatə hədəfindən heç vaxt.
  • Pozuntuda üç məsuliyyəti ayırın: steward mənasını qərara alır, custodian datanı düzəldir, mənbə sisteminin sahibi kök səbəbi maliyyələşdirir.
  • Domen üzrə qayda sayına limit qoyun, ciddiliyə görə yönləndirin, keçmə faizini yox, növbənin yaşını ölçün və qaydaları ildə bir dəfə ləğv edin.
  • Triajı ucuz edən lineage-dir: onsuz hər pozuntu bir günortalıq araşdırmaya başa gəlir.
  • AI sistemləri keyfiyyət pozuntularını udan insan yoxlamasını aradan qaldırır, ona görə retrieval əhatəsinə aktuallıq qaydaları və yoxlanıla bilən grounding lazımdır.

Yukon Labs OvalEdge tətbiqlərində keyfiyyət və stewardship model-ini birlikdə konfiqurasiya edir, çünki sahibi olmayan qayda sadəcə paneldir. Proqramınızın hazırda harada dayandığına əmin deyilsinizsə, data və AI hazırlıq qiymətləndirməsi reallıqda nə olduğunu profilləşdirməklə başlayır. Geniş kontekst üçün Azərbaycanda data governance məqaləsinə baxın.