Layihənin məqsədi: Öz gündəlik xərclərini, gəlirlərini və alış-veriş məlumatlarını avtomatik toplayıb, təmizləyib, saxlayıb, təhlil edib və gözəl dashboard-da göstərən tam bir data sistemi qurmaq. Bu, həm real bacarıq öyrənmək, həm də portfel üçün əla layihədir.
İstifadə olunan alətlər (Məqalə 8-ə fokuslanaraq):
- Git + GitHub — Bütün kodu versiya nəzarətində saxlayırsan, branch-lərlə inkişaf edirsən.
- Docker — Bütün sistemi (database + Airflow + dashboard) konteynerlərə salırsan ki, hər yerdə eyni işləsin.
- PostgreSQL (Docker içində) — Təmiz datanı saxlamaq üçün.
- Apache Airflow (və ya Prefect) — Gündəlik məlumat toplama və transformasiya pipeline-ını avtomatlaşdırır.
- Great Expectations — Datanın keyfiyyətini yoxlayır (məsələn, xərc məbləği mənfi ola bilməz).
- Metabase və ya Streamlit — Gözəl interaktiv dashboard.
- Cloud (isteğe bağlı) — AWS/GCP-də deploy etmək üçün.
Layihənin addımları (qısa yol xəritəsi):
- Git repo yarad.
- Docker Compose ilə PostgreSQL + Airflow qur.
- Python skripti ilə bank SMS-lərindən və ya Excel-dən data topla.
- dbt və ya Pandas ilə transformasiya et.
- Great Expectations ilə testlər yaz.
- Metabase/Streamlit ilə dashboard qur.
- GitHub Actions ilə CI/CD pipeline əlavə et.
- README faylında hər şeyi sənədləşdir.
Bu layihəni 2-4 həftə ərzində bitirə bilərsiniz və LinkedIn-də paylaşanda çox yaxşı təsir bağışlayacaq.
Şərhlər bağlıdır, lakin trackbacks və pingbacks açıqdır.