Alətlər

Layihənin məqsədi: Öz gündəlik xərclərini, gəlirlərini və alış-veriş məlumatlarını avtomatik toplayıb, təmizləyib, saxlayıb, təhlil edib və gözəl dashboard-da göstərən tam bir data sistemi qurmaq. Bu, həm real bacarıq öyrənmək, həm də portfel üçün əla layihədir. İstifadə olunan alətlər (Məqalə 8-ə fokuslanaraq): Git + GitHub — Bütün kodu…

Bütün əsas mərhələlər (toplama, saxlama, emal, təhlil, vizualizasiya, böyük data və ML) hazırdır. İndi isə bu sistemləri dayaqdan tutan, işləri asanlaşdıran və peşəkar səviyyəyə qaldıran “əlavə silahlar” vaxtıdır. Bunlar birbaşa nəticə verməsə də, olmadan heç bir ciddi data layihəsi tamamlanmır. Digər faydalı alətlər mərhələsi mənim üçün “komanda…

Təmiz data, dərin təhlillər və gözəl dashboard-lar hazırdır. İndi isə kompüterə “öyrənməyi” öyrətmək vaxtıdır. Maşın Öyrənməsi (Machine Learning – ML) və Data Science burada işə düşür. Sən artıq keçmişdən nəticə çıxarmırsan, gələcəyi proqnozlaşdırır, şəkilləri tanıyır, müştəri davranışını proqnozlaşdırır və ya avtomatik qərarlar qəbul etdirirsən.…

Data kiçik olanda hər şey sadədir. Amma biznes böyüyəndə, verilənlər saatda terabaytlarla axanda, real-time qərarlar tələb olunanda... o zaman adi alətlər çatmır. Buraya Big Data və Data Engineering dünyası girir. Bu, artıq sadəcə məlumat emal etmək deyil, böyük, etibarlı və sürətli sistemlər qurmaqdır. Data Engineering mərhələsi mənim üçün…

Əlində təmiz data və dərin təhlillər var. İndi isə bu məlumatları başqalarına (rəhbərliyə, müştərilərə, komandaya) elə göstərmək lazımdır ki, onlar “Vay, bu nə qədər maraqlıdır!” desinlər. Sadəcə rəqəmlər yox, canlı, başa düşülən və qərar verməyə kömək edən hekayə yaratmaq lazımdır. Data Visualization və Business Intelligence (BI) mərhələsi mənim…

İndi əlində təmiz, formaya salınmış data var. Amma data özü heç nə demir. Sual budur: “Bu nə deməkdir? Nəyi izah edir? Gələcəkdə nə gözləyə bilərik?” Data Analysis mərhələsi mənim üçün detektivlikdir. Sən faktları toplayır, nümunələr axtarır, gizli əlaqələri aşkar edirsən və nəhayət, məlumatlara “səs” verirsən. Bu, ən yaradıcı və intellektual zövq…

Topladığın xəzinə çox vaxt “xam” vəziyyətdə olur: natamam, səhvli, təkrarlı, fərqli formatlarda... İndi isə onu incə zərgərlik kimi təmizləmək, formaya salmaq və istifadəyə hazır hala gətirmək lazımdır. Bu mərhələyə ETL (Extract – Transform – Load) və ya müasir variantı ELT (Extract – Load – Transform) deyilir. Data Processing & Transformation…

Topladığın xəzinəni harada saxlayacaqsan? Bu sual çox vacibdir. Düzgün “ev” seçsən, məlumatların təhlükəsiz, sürətli və asan əlçatan olacaq. Yanlış seçim etsən isə... illər sonra böyük miqyasda baş ağrısı, yavaş sorğular və ya hətta itki ilə üzləşəcəksən. Data Storage mərhələsi mənim üçün “fundament tikmək” kimidir. Gözə görünmür, amma bütün…

Təsəvvür et ki, sən bir xəzinə ovçususan. Qızıl külçələri hər yerdədir: veb-saytların dərinliklərində, API-lərin qapıları arxasında, insanlardan alınan cavablarda, sensorların axınında... Amma bu xəzinəni tapıb özünə gətirmək üçün düzgün “ov alətləri” lazımdır. Data collection mərhələsi mənim ən çox həyəcanlandığım hissədir. Çünki burada hər şey…