Korporativ AI-da model sistemin ən az fərqləndirici hissəsidir. Hər təşkilat müqayisə oluna bilən modellərə çıxa bilir; fərqlənən həmin modellərə oxumaq üçün nəyin verilməsidir. Deməli, cavab keyfiyyəti əsasən retrieval məsələsidir və məyus edən nəticələrə daha böyük model seçməklə cavab verən komandalar adətən səhv komponenti düzəldir.

Bu məqalə nəticəni əslində müəyyən edən komponent haqqındadır.

Kontekst model seçimini niyə üstələyir?

Çünki model sizin təşkilatınızın xüsusiyyətlərini bilə bilməz. O, sizin kredit siyasətinizi, məhsul kataloqunuzu, ötən rübün rəqəmlərini və ya əməliyyat komandanızın izlədiyi proseduru heç vaxt görməyib. Bunların hər hansı biri barədə kontekstsiz sual veriləndə səlis, inandırıcı və əsassız cavab verir — qüsurlu olduğu üçün yox, edə biləcəyi yeganə şeyi etdiyi üçün.

Ona düzgün sənədi verin — eyni model düzgün cavab verir. Qüvvədən düşmüş versiyanı verin — inamla səhv cavab verir. Ona əlli zəif əlaqəli chunk verin — dumanlı cavab verir, çünki siqnal basdırılıb.

Praktiki nəticə prioritetlərin yenidən sıralanmasıdır. Retrieval keyfiyyətinə sərf olunan səy — nəyin indeksləndiyi, necə chunk edildiyi, hansı metadata daşıdığı, necə süzüldüyü — model seçiminə sərf olunan eyni səydən xeyli çox qaytarır. Bu, yaxşıdır, çünki nəzarət etdiyiniz hissə məhz retrieval-dır.

Bu sıralamanın burada xüsusi əhəmiyyət daşımasının ikinci səbəbi də var. On-premise tətbiqdə model tutumu artıq ödədiyiniz sabit xərcdir; retrieval-ın yaxşılaşdırılması isə onsuz da sahib olduğunuz sistem üzərində mühəndislik səyidir. Xərc quruluşu LLM-lərin on-premise tətbiqi məqaləsindədir.

Təlim, fine-tuning və grounding arasındakı fərq nədir?

Tələb müzakirələrində qarışdırılan, xüsusiyyətləri isə tamamilə fərqli olan üç mexanizm.

Təlim modeli böyük korpus üzərində sıfırdan qurur. Müəssisələrin etdiyi iş deyil və nəzərdən keçirməli olduqları iş də deyil.

Fine-tuning mövcud modelin çəkilərini sizin datanız üzərində düzəldir. Formanı öyrətmək üçün effektivdir — üslub, cavab formatı, domen lüğəti, sabit quruluşlu təsnifat tapşırığı. Faktları öyrətmək üçün isə zəif mexanizmdir, üç səbəbə görə: faktlar dəyişir, çəkilər yox; cavabın mənbəyini göstərə bilmirsiniz; faktı silmək yenidən təlim deməkdir. Sonuncu məqam mühəndislik problemi olduğu qədər uyğunluq problemidir də — fine-tuning olunmuş modelə qarşı silinmə sorğusu silmə əməliyyatı deyil.

Grounding və ya retrieval-augmented generation sorğu vaxtı aid məzmunu çəkir və kontekst kimi verir. Faktlar sənədlərdə qalır, ona görə sənədlər yeniləndikcə yenilənir, cavablar mənbələrini göstərə bilir və sənədi silmək onu sistemin biliyindən çıxarır.

Korporativ istifadə üçün defolt grounding-dir, fine-tuning isə fakt üçün yox, forma üçün saxlanılır. Bu seçimin uyğunluq ölçüsü — grounding-in datanı emal etməsi, təlimin isə onu içinə yerləşdirməsi — Azərbaycanda data rezidentliyi və şəxsi məlumat qanunu məqaləsində açılıb.

Retrieval keyfiyyətini nə müəyyən edir?

Praktikada əhəmiyyətinə görə təxmini sıra ilə altı amil.

Korpusda nə var. Retrieval heç vaxt indekslənməyəni tapa bilmir. Məyus edən assistentin ən çox rast gəlinən səbəbi insanların əslində ehtiyac duyduğu sənədləri buraxan korpusdur — çünki onlar kiminsə poçt qutusunda, heç kimin kataloqlaşdırmadığı paylaşılan diskdə və ya əhatədən kənar sistemdə yaşayır.

Korpusun aktual olub-olmaması. Cari sənədin yanında indekslənmiş qüvvədən düşmüş prosedur inamlı səhv cavablar doğurur. Nəzarət retrieval-ın süzə biləcəyi versiya və qüvvəyəminmə tarixi metadata-sıdır və bu, korporativ korpusda ən yüksək dəyərli metadata sahəsidir.

Chunking strategiyası. Sənədin çəkilə bilən vahidlərə bölünməsi nəyin birlikdə çəkilə biləcəyini həll edir. Sabit ölçülü chunking bəndləri və bölmələri kəsir; sənədin quruluşuna hörmət edən struktur yönümlü chunking müəssisələrin real saxladığı müqavilə, prosedur və qaydalarda nəzərəçarpacaq dərəcədə yaxşı işləyir.

Metadata və süzmə. Effektiv retrieval metadata ilə məhdudlaşdırılmış oxşarlıq axtarışıdır — bu departament, bu sənəd növü, yalnız cari, bu istifadəçinin səlahiyyətləri. Bütöv korpus üzərində sırf oxşarlıq axtarışı sadəlövh tətbiqdir və korpus böyüdükcə pisləşir.

Hibrid axtarış. Semantik oxşarlığın açar söz uyğunluğu ilə birləşdirilməsi. Sırf vektor axtarışı dəqiq identifikatorları, məhsul kodlarını və nadir terminləri buraxır; sırf açar söz axtarışı isə pərifrazı buraxır. Korporativ korpuslara hər ikisi lazımdır və hibrid retrieval adətən istənilən model dəyişikliyindən böyük keyfiyyət artımı verir.

Yenidən sıralama (reranking). İkinci mərhələ modeli namizədləri kontekstə düşməzdən əvvəl aidliyə görə yenidən sıralayır. Təsirinə görə ucuzdur, çünki geniş çəkib dar təqdim etməyə imkan verir.

Modeli yox, retrieval-ı necə qiymətləndirmək olar?

İnkişaf edən sistemləri müzakirə mövzusuna çevrilən sistemlərdən ayıran intizam.

Sual dəstini real suallardan qurun. İnsanların həqiqətən verdiyi yüz sual, hər biri üçün düzgün mənbə sənədi göstərilmiş. Domen mütəxəssisi ilə bir həftəlik işdir və sonrakı hər qərarın bünövrəsidir.

Retrieval-ı generasiyadan ayrı ölçün. Hər sual üçün: düzgün sənəd çəkilmiş dəstin içində idimi və hansı sırada. Bu, uğursuzluğu təcrid edir. Düzgün sənəd heç vaxt çəkilməyibsə, heç bir model dəyişikliyi kömək etməyəcək; çəkilib, cavab isə yenə səhvdirsə, problem prompt-da və ya modeldədir.

Metriki bir dəfə yox, zamanla izləyin. Korpus dəyişdikcə retrieval keyfiyyəti sürüşür. Sabit sual dəstinə qarşı aylıq icra yuxarı axında nəyinsə dəyişdiyinə dair ən erkən xəbərdarlıqdır.

Dil üzrə qiymətləndirin. Retrieval keyfiyyəti azərbaycanca, ingiliscə və rusca eyni deyil; yalnız ingiliscə qiymətləndirmə dəsti ən asan halı ölçür.

Bunda israr etməyin səbəbi: onsuz keyfiyyət müzakirələri epizodik olur. Bir adamın pis təcrübəsi heç kimin qiymətləndirə bilmədiyi model dəyişikliyinə səbəb olur və sistem yaxınlaşmır.

Retrieval işləyəndə də cavablar niyə səhv olur?

Ayrıca tanınmağa dəyən beş uğursuzluq forması, çünki həlləri fərqlidir.

Kontekstin durulaşması. Həddən çox chunk çəkilir və aid olan ətrafında zəif bağlı mətnlə əhatələnir. Çox kontekst yaxşı deyil; dəqiqlik yaxşıdır. Geniş çəkin, yenidən sıralayın, dar təqdim edin.

Ziddiyyətli mənbələr. İki sənəd bir-birinə zidd gəlir — adətən biri qüvvədən düşdüyü üçün, bəzən isə iki departament termini həqiqətən fərqli müəyyən etdiyi üçün. Model birini seçir və pis seçə bilər. Həll yuxarı axındadır: birinci hal üçün versiya idarəsi, ikinci hal üçün səlahiyyətli tərifi olan idarə olunan business glossary — mübahisəli təriflərə onları həll edən forum lazım olmasının səbəbi budur.

İtirilmiş təlimatlar. Uzun söhbətdə və ya böyük retrieval dəstində əvvəlki təlimatlar kəsilir və ya çəkisini itirir. Azaldıcı tədbir təlimatların yerləşdirilməsi və açıq kontekst büdcələridir.

Həddən artıq ümumiləşdirmə. Retrieval faydalı heç nə qaytarmayanda model bilmədiyini demək əvəzinə ümumi biliyindən cavab verir. Bu, həm prompt, həm sistem dizaynı məsələsidir: retrieval uğursuz olanda düzgün davranış bunu bildirməkdir və bu, açıq təyin olunmalıdır.

İstinadın olmaması. Cavab düzgündür və yoxlanıla bilmir. Korporativ mühitdə mənbəsiz düzgün cavab yalnız yarım nəticədir, çünki istifadəçi onu yoxlaya bilmir, audit izi isə izah edə bilmir — bu tələb ISO/IEC 42001 auditinin nə tələb etdiyi məqaləsində də görünür.

Azərbaycandilli məzmunla nə olur?

Bu, qeyd yox, real mühəndislik məhdudiyyətidir və adətən pilot gözləniləndən zəif çıxandan sonra kəşf olunur.

Embedding keyfiyyəti dilə görə dəyişir. Azərbaycan dili ümumi təyinatlı embedding modellərində ingilis və ya rus dilindən qat-qat az təmsil olunur. İngilis korpusunda yaxşı işləyən eyni retrieval arxitekturası azərbaycandilli korpusda nəzərəçarpacaq dərəcədə zəif işləyə bilər və ölçülmədikcə bu fərq görünmür.

Qarışıq dilli korpuslar burada normadır. Təşkilatın səlahiyyətli siyasəti azərbaycanca, texniki sənədləşməsi ingiliscə, köhnə əməliyyat prosedurları isə rusca ola bilər. Bir dildə soruşan istifadəçiyə hər üçündən məzmun çəkilməlidir.

Glossary üzərindən sorğu genişləndirməsi ciddi kömək edir. İstifadəçinin terminini retrieval işə düşməzdən əvvəl digər iki dildəki qarşılıqlarına genişləndirmək ucuz və effektiv müdaxilədir — və o, yalnız glossary həmin uyğunluqları saxlayanda işləyir; bu, üçdilli metadata problemidir.

Sualın dilində cavab verin, mənbənin dilində istinad göstərin. Mənbə ingiliscə olubsa, istifadəçi bunu bilməlidir ki, yoxlaya bilsin.

Real azərbaycanca sorğularla, o cümlədən diakritikasız yoxlayın. İstifadəçilər müştəri əvəzinə vaxtın təxminən yarısında musteri yazır; diakritikanı birləşdirməyən retrieval qatı bu sorğuları tamamilə buraxacaq.

Yaxşılaşdırma dövrü necə görünür?

Mübahisə yox, sabit inkişaf doğuran dövr.

Uğursuzluqları konteksti ilə toplayın. Bildirilən hər pis cavab sualı, çəkilmiş chunk-ları və nəticəni ilə birlikdə qeyd olunur. Çəkilmiş kontekst olmadan uğursuzluq hesabatı üzərində işləmək mümkün deyil.

Uğursuzluq formasına görə təsnifləndirin. Çəkilməyib, çəkilib amma aşağı sıralanıb, çəkilib amma durulaşıb, ziddiyyətli mənbələr, ya da real generasiya xətası. Paylanma nəyi düzəltmək lazım olduğunu deyir.

Üstünlük təşkil edən formanı düzəldin. Adətən əvvəlcə korpus əhatəsi, sonra chunking, sonra hibrid axtarış, sonra reranking, sonra prompt. Model dəyişikliyi ən sonda gəlir və nadir hallarda cavab olur.

Qiymətləndirmə dəstini yenidən işlədin. Düzəlişin problemi yerdəyişdirmək yox, metriki yaxşılaşdırdığını təsdiqləyin.

Ayda bir təkrarlayın. Retrieval keyfiyyəti başlanğıc tapşırığı deyil; əməliyyat intizamıdır və data quality növbəsi kimi adlı sahibi olmalıdır.

Əsas məqamlar

  • Model ən az fərqləndirici komponentdir. Cavab keyfiyyəti əsasən retrieval keyfiyyətidir.
  • Faktlar üçün grounding, yalnız forma üçün fine-tuning işlədin. Çəkilərdəki faktlar yenilənə, göstərilə və silinə bilmir.
  • Retrieval keyfiyyətini korpus əhatəsi, aktuallıq, chunking, metadata süzməsi, hibrid axtarış və reranking müəyyən edir — təxminən bu təsir sırası ilə.
  • Düzgün mənbələri məlum olan yüz real sualdan qiymətləndirmə dəsti qurun və retrieval-ı generasiyadan ayrı ölçün.
  • Dil üzrə qiymətləndirin. Yalnız ingiliscə dəst ən asan halı ölçür.
  • Retrieval-dan sonrakı beş uğursuzluq formasını ayırın; durulaşma, ziddiyyətli mənbələr və istinadsızlıq model keyfiyyətindən fərqli həll tələb edir.
  • Azərbaycan dili üçün embedding keyfiyyəti ingilis və rus dilindən geri qalır. Sorğuları glossary ilə genişləndirin və indeksdə diakritikanı birləşdirin.
  • Adlı sahibi olan aylıq yaxşılaşdırma dövrü işlədin. Model dəyişikliyi ilk yox, son çarədir.

Yukon Labs retrieval-ı idarə olunan bünövrə üzərində qurur — təsnifat və glossary üçün OvalEdge, strukturlu dataya idarə olunan giriş üçün Starburst, orchestration və retrieval qatı kimi isə on-premise quraşdırılan HAVAA. Altındakı platforma üçün korporativ AI və RAG üçün lakehouse arxitekturası, ətrafındakı komponentlər üçün isə AI orchestration arxitekturası məqaləsinə baxın.