وصف الوظيفة
نحن نبحث عن مهندس بيانات أول ذو خبرة لقيادة تصميم وتطوير وتوسيع نطاق منصة Data Lakehouse السحابية من الجيل التالي على منصة Google Cloud Platform (GCP).
في هذا الدور، ستلعب دوراً أساسياً في تحديث بنيتنا التحتية للبيانات، وبناء خطوط أنابيب ELT/ETL قوية، وإنشاء معايير نمذجة بيانات على مستوى المؤسسات لتمكين التحليلات، وتعلم الآلة، وذكاء الأعمال.
إذا كنت شغوفاً بتنسيقات الجداول مفتوحة المصدر الحديثة، والحوسبة الموزعة عالية الأداء، وموثوقية البيانات، فنحن نود انضمامك إلى فريقنا.
المسؤوليات الرئيسية • هندسة وتطوير Lakehouse: تصميم ونشر وصيانة نظام Lakehouse بيئي قابل للتوسع قائم على GCP، مع الاستفادة من Apache Iceberg لتحقيق اتساق المعاملات، والرجوع بالزمن (time-travel)، وإدارة فعالة للتخزين.
• هندسة خطوط الأنابيب: تصميم وبناء وتحسين خطوط أنابيب بيانات ETL/ELT عالية الإنتاجية باستخدام Python وApache Airflow لتنسيق تدفقات العمل المعقدة ذات الاعتمادية المتبادلة.
• معالجة البيانات الضخمة: تنفيذ أحمال عمل لمعالجة البيانات الموزعة على نطاق واسع وخطوط أنابيب التحويل باستخدام Apache Spark.
• مستودعات البيانات والتحليلات: الاستفادة من BigQuery للاستعلامات التحليلية عالية الأداء، وتحسين التكلفة، وإدارة الأقسام/المجموعات، وتوفير البيانات المهيكلة للمستهلكين في المراحل اللاحقة.
• التحويل والجودة: كتابة كود تحويل نظيف وقابل للاختبار باستخدام dbt (أداة بناء البيانات)، مع دمج اختبارات البيانات الآلية، والتوثيق، وتتبع أصل البيانات (lineage tracking).
• نمذجة البيانات: قيادة جهود نمذجة البيانات البُعدية والدلالية (مخططات النجمة/ندفة الثلج، جدول واحد كبير، وهيكلية الميداليات في Lakehouse) لضمان أداء استعلام عالٍ وسهولة استخدام الأعمال بسلاسة.
• ضبط الأداء وإتقان SQL: كتابة وتحسين واستكشاف أخطاء استعلامات SQL المعقدة لضمان زمن وصول منخفض ومعالجة فعالة من حيث التكلفة عبر مجموعات البيانات الكبيرة.
• التعاون: الشراكة الوثيقة مع علماء البيانات، وفرق التحليلات، ومديري المنتجات لفهم متطلبات البيانات وتقديم منتجات بيانات قوية وجاهزة للإنتاج.
• أكثر من 3 سنوات من الخبرة العملية في تصميم وتنفيذ منصات وخطوط أنابيب بيانات على مستوى المؤسسات.
• منصة سحابية: خبرة إنتاجية مثبتة في خدمات البيانات الأساسية لـ Google Cloud Platform (GCP) (BigQuery, Cloud Storage, Dataflow/Dataproc, IAM).
• Lakehouse وتنسيقات الجداول: فهم عميق لمفاهيم lakehouse الحديثة وخبرة عملية في Apache Iceberg.
• التحويل والتنسيق: كفاءة متقدمة في dbt لتحويلات خطوط الأنابيب وApache Airflow لتنسيق سير العمل.
• البيانات الضخمة والحوسبة: معرفة عملية قوية بـ Apache Spark لمعالجة البيانات الموزعة.
• البرمجة والاستعلام: o مهارات برمجة Python المتقدمة لمهام هندسة البيانات وتطوير المشغلات المخصصة.
o قدرات كتابة استعلامات SQL وضبط الأداء على مستوى الخبراء.
• نمذجة البيانات: خبرة مثبتة في النمذجة البُعدية، ومفاهيم مستودعات البيانات، وتصميم المخططات لأحمال العمل التحليلية.
• المنهجيات: فهم قوي لأنماط تصميم ETL/ELT الحديثة، وCI/CD لخطوط أنابيب البيانات، وحوكمة البيانات، وأفضل ممارسات جودة البيانات.
المرشح المفضل
سنوات الخبرة
لا يشترط وجود خبرة
الدرجة العلمية
درجة البكالوريوس / دبلوم عالي
Job description
We are seeking an experienced Senior Data Engineer to lead the design, development, and scaling of our next-generation, cloud-native Data Lakehouse platform on Google Cloud Platform (GCP).
In this role, you will be instrumental in modernizing our data infrastructure, building robust ELT/ETL pipelines, and establishing enterprise-grade data modeling standards to empower analytics, machine learning, and business intelligence.
If you are passionate about modern open-source table formats, high-performance distributed computing, and data reliability, we would love to have you on the team.
Key Responsibilities • Lakehouse Architecture & Development: Design, deploy, and maintain a scalable GCP-based Lakehouse ecosystem leveraging Apache Iceberg for transactional consistency, time-travel, and efficient storage management.
• Pipeline Engineering: Architect, build, and optimize high-throughput ETL/ELT data pipelines using Python and Apache Airflow for orchestrating complex dependency workflows.
• Big Data Processing: Implement large-scale distributed data processing workloads and transformation pipelines using Apache Spark.
• Data Warehousing & Analytics: Leverage BigQuery for high-performance analytical queries, cost optimization, partition/cluster management, and serving structured data to downstream consumers.
• Transformation & Quality: Write clean, modular, and testable transformation code using dbt (Data Build Tool), embedding automated data testing, documentation,and lineage tracking.
•Data Modeling: Lead dimensional and semantic data modeling efforts (Star/Snowflake schemas, One-Big-Table, and Lakehouse medallion architectures) to ensure high query performance and seamless business usability.
• Performance Tuning & SQL Mastery: Write, optimize, and troubleshoot complex SQL queries to ensure low latency and cost-efficient processing across large datasets.
• Collaboration: Partner closely with data scientists, analytics teams, and product managers to understand data requirements and deliver robust, production-ready data products.
•3+ years of hands-on experience designing and implementing enterprise-grade data platforms and pipelines.
• Cloud Platform: Proven production experience with Google Cloud Platform (GCP) core data services (BigQuery, Cloud Storage, Dataflow/Dataproc, IAM).
• Lakehouse & Table Formats: Deep understanding of modern lakehouse concepts and hands-on experience with Apache Iceberg.
• Transformation & Orchestration: Advanced proficiency in dbt for pipeline transformations and Apache Airflow for workflow orchestration.
• Big Data & Compute: Strong working knowledge of Apache Spark for distributed data processing.
• Programming & Querying: o Advanced Python programming skills for data engineering tasks and custom operator development.
o Expert-level SQL writing and performance tuning capabilities.
• Data Modeling: Demonstrated expertise in dimensional modeling, data warehousing concepts, and schema design for analytical workloads.
• Methodologies: Strong grasp of modern ETL/ELT design patterns, CI/CD for data pipelines, data governance, and data quality best practices.
Preferred candidate
Years of experience
No experience required
Degree
Bachelor's degree / higher diploma