ستقوم ببناء ورعاية خطوط أنابيب البيانات التي تنقل البيانات من الأنظمة التشغيلية للعميل إلى المستودع، بالإضافة إلى نماذج البيانات التي تعتمد عليها جميع العمليات اللاحقة. يتضمن ذلك الاستيعاب والمعالجة والنمذجة، إلى جانب التوثيق المصاحب لها. كما ستقوم بعمل تحليلي يضمن دقة وصحة الأرقام.
ما ستفعله
- تحليل المصادر الجديدة قبل البدء في البناء: قواعد البيانات، واجهات برمجة التطبيقات (APIs)، الملفات، البيانات المفتوحة، سواء كانت مهيكلة أو غير مهيكلة.
- بناء وجدولة ومراقبة خطوط أنابيب الاستيعاب والمعالجة باستخدام الأدوات التي يستخدمها العميل بالفعل، وتوسيع نطاقها عند الضرورة.
- تصميم وبناء نماذج المستودعات (مخططات النجوم، الأبعاد المتوافقة) التي تعتمد عليها لوحات المعلومات وحالات استخدام تعلم الآلة.
- إدراج فحوصات جودة البيانات وتتبع مسارها في كل خط أنابيب، والحفاظ على تحديث توثيق النماذج المفاهيمية والمنطقية والفيزيائية.
- العمل مع أصحاب الأعمال لمطابقة الأرقام وتحديد مؤشرات الأداء الرئيسية (KPIs)، والمساعدة في كتابة تقرير التقدم الشهري.
ما تحتاجه
- إتقان قوي للغتي Python و SQL، مع خبرة في استخدامهما في بيئات العمل الحقيقية.
- خبرة في Spark (Databricks أو Hadoop) و BigQuery، مع القدرة على التعامل مع أنماط بحيرات البيانات ومستودعات البيانات.
- خبرة عملية في اثنتين على الأقل من الأدوات التالية: Talend أو Informatica أو NiFi أو Denodo.
- استخراج والتقاط التغييرات من MS SQL Server و Oracle و MySQL و PostgreSQL.
- الاستيعاب من واجهات برمجة التطبيقات، والملفات (SFTP، Excel، CSV)، والبيانات المفتوحة، بنظام الدفعات (batch) أو التدفق (streaming).
- النمذجة البُعدية: مخططات النجوم، الأبعاد المتوافقة، الأبعاد المتغيرة ببطء، والقدرة على توثيق النماذج على المستوى المفاهيمي والمنطقي والفيزيائي.
- إدارة التنفيذ (Orchestration)، والمراقبة، وإعادة المحاولة، وفحوصات جودة البيانات، وتتبع المسار.
- تحليل البيانات (Profiling)، والمطابقة، وتحديد مؤشرات الأداء الرئيسية مع مستخدمي الأعمال.
أفضلية إضافية
- خبرة في dbt أو Airflow أو Dataflow أو Iceberg.
- شهادة Google Professional Data Engineer أو شهادة Databricks.
You will build and look after the pipelines that move data from the client's operational systems into the warehouse, and the data models that everything downstream depends on. Ingestion, processing and modelling, plus the documentation that goes with them. You will also do the analyst work that keeps the numbers honest.
What you will do
- Profile new sources before you build: databases, APIs, files, open data, structured and unstructured.
- Build, schedule and monitor ingestion and processing pipelines in the tools the client already uses, and extend them where it makes sense.
- Design and build the warehouse models (star schemas, conformed dimensions) that dashboards and machine-learning use cases sit on.
- Put data-quality checks and lineage capture into every pipeline, and keep the conceptual, logical and physical model documentation current.
- Work with business owners to reconcile figures and define KPIs, and help write the monthly progress report.
What you need
- Strong Python and SQL, used in production
- Spark (Databricks or Hadoop) and BigQuery, and comfort with both data-lake and warehouse patterns
- Hands-on experience with at least two of Talend, Informatica, NiFi and Denodo
- Extracting and capturing changes from MS SQL Server, Oracle, MySQL and PostgreSQL
- Ingesting from APIs, files (SFTP, Excel, CSV) and open data, in batch and streaming
- Dimensional modelling: star schemas, conformed dimensions, slowly changing dimensions, and the ability to document models at conceptual, logical and physical level
- Orchestration, monitoring, retries, data-quality checks and lineage
- Profiling, reconciliation, defining KPIs with business users
Good to have
- dbt, Airflow, Dataflow, Iceberg
- Google Professional Data Engineer or Databricks certificatio