The Senior Data Architect is responsible for designing data platforms and lakehouses for ZainTECH s customers and getting the best performance and stability out of workloads running on Cloudera. The role serves as the technical authority for ZainTECH s Cloudera engagements, from presales and sizing through delivery and optimisation, within the Data & AI business unit, Data Engineering & Management stream.
Working closely with customer architects and stakeholders, delivery teams, platform administrators and Cloudera, the Senior Data Architect provides architecture direction, platform sizing, workload optimisation and technical leadership. The role also builds the practice by mentoring engineers and administrators and creating reference architectures, tuning playbooks and sizing tools. The position is Senior / Lead level, with a flexible location that is not limited to KSA.
Responsibilities:
Data Architecture
- Design end-to-end data architectures covering ingestion, storage, processing, serving and governance layers for analytics and AI use cases.
- Define data models, lakehouse layering, table formats, and data lifecycle and retention strategies.
- Make sound technology choices and trade-offs, including batch vs streaming, lake vs warehouse, and on-prem vs hybrid.
- Set architecture standards, patterns and data contracts that delivery teams follow.
Cloudera Platform & Workload Optimisation
- Architect and size Cloudera Data Platform environments (CDP Private Cloud Base and Data Services), including topology, capacity and HA.
- Diagnose and optimise workloads on Cloudera, including Spark, Hive and Impala query tuning, YARN resource management and queueing, file layout, partitioning and compaction, and contention under mixed workloads.
- Make ingestion and processing pipelines more stable and faster, and bring latency and SLAs under control.
- Plan capacity and growth, and decide when to tune, re-architect or scale out.
- Guide platform security and governance design (Kerberos, Ranger, Atlas) with the admin team.
- Give technical direction on upgrades and migrations.
Presales & Customer Leadership
- Write the architecture and Cloudera sections of proposals, size licences and infrastructure, and estimate effort.
- Run platform health checks and performance assessments as client engagements.
- Present to customer architects and stakeholders, and act as the technical counterpart to Cloudera.
Practice Building
- Mentor engineers and administrators.
- Build reference architectures, tuning playbooks and sizing tools.
Success in the First 12 Months:
- Is the named architect on all active Cloudera engagements.
- Delivers measurable workload performance improvements for at least one customer platform.
- Publishes a Cloudera reference architecture, a tuning playbook and a sizing toolkit for bids.
Desired Candidate Profile
- 10+ years of experience in data engineering and data architecture, with a track record of designing enterprise data platforms.
- Strong hands-on Cloudera experience (CDH and/or CDP) in production, with proven results tuning and optimising workloads on it.
- Deep knowledge of distributed processing and query engines (Spark, Hive, Impala) and of resource management (YARN).
- Solid data modelling and lakehouse or warehouse design fundamentals.
- Experience with both batch and streaming ingestion (e.g. Kafka, NiFi, CDC).
- Ability to lead technically and explain trade-offs to customers.
- Experience with open table formats (Iceberg) and federated query engines (e.g. Trino) is an advantage.
- Exposure to other data platforms (cloud data platforms, enterprise warehouses), so that Cloudera can be positioned objectively, is an advantage.
- Experience designing data platforms for AI/ML consumption is an advantage.
- English at professional level. Arabic is an advantage.
- Cloudera certifications preferred.
يتولى مهندس البيانات الأول مسؤولية تصميم منصات البيانات ومستودعات البيانات (Lakehouses) لعملاء ZainTECH، وضمان تحقيق أفضل أداء واستقرار لأعباء العمل التي تعمل على Cloudera. يعمل هذا الدور كمرجع تقني لمشاريع ZainTECH المتعلقة بـ Cloudera، بدءاً من مرحلة ما قبل البيع وتحديد حجم العمل، وصولاً إلى التسليم والتحسين، وذلك ضمن وحدة أعمال البيانات والذكاء الاصطناعي، ومسار هندسة وإدارة البيانات.
يعمل مهندس البيانات الأول بشكل وثيق مع مهندسي العملاء وأصحاب المصلحة وفرق التسليم ومسؤولي المنصات وشركة Cloudera، حيث يقدم التوجيه المعماري، وتحديد حجم المنصة، وتحسين أعباء العمل، والقيادة التقنية. كما يساهم في بناء الممارسات من خلال توجيه المهندسين والإداريين، وإنشاء معماريات مرجعية، وكتيبات ضبط الأداء، وأدوات تحديد الحجم. هذا المنصب بمستوى أول/قيادي، مع موقع عمل مرن لا يقتصر على المملكة العربية السعودية.
المسؤوليات:
هندسة البيانات
- تصميم معماريات بيانات شاملة تغطي طبقات الاستيعاب، والتخزين، والمعالجة، والخدمة، والحوكمة لحالات استخدام التحليلات والذكاء الاصطناعي.
- تحديد نماذج البيانات، وطبقات مستودعات البيانات، وتنسيقات الجداول، واستراتيجيات دورة حياة البيانات والاحتفاظ بها.
- اتخاذ قرارات تقنية سليمة وفهم المقايضات، بما في ذلك المعالجة بالدفعات مقابل البث المباشر، والبحيرات (Lakes) مقابل المستودعات (Warehouses)، والحلول المحلية (on-prem) مقابل الهجينة.
- وضع معايير العمارة، والأنماط، وعقود البيانات التي تتبعها فرق التسليم.
منصة Cloudera وتحسين أعباء العمل
- تصميم وتحديد حجم بيئات منصة بيانات Cloudera (CDP Private Cloud Base and Data Services)، بما في ذلك الهيكلية والسعة وتوفر الخدمة العالي (HA).
- تشخيص وتحسين أعباء العمل على Cloudera، بما في ذلك ضبط استعلامات Spark وHive وImpala، وإدارة موارد YARN والجدولة، وتخطيط الملفات، والتقسيم والضغط، ومعالجة التنافس في أعباء العمل المختلطة.
- جعل خطوط أنابيب الاستيعاب والمعالجة أكثر استقراراً وأسرع، والتحكم في زمن الوصول واتفاقيات مستوى الخدمة (SLAs).
- تخطيط السعة والنمو، واتخاذ قرارات بشأن متى يجب الضبط أو إعادة التصميم أو التوسع.
- توجيه تصميم أمن المنصة والحوكمة (Kerberos, Ranger, Atlas) بالتعاون مع فريق الإدارة.
- تقديم التوجيه التقني بشأن الترقيات والترحيلات.
ما قبل البيع وقيادة العملاء
- كتابة أقسام العمارة وCloudera في العروض الفنية، وتحديد حجم التراخيص والبنية التحتية، وتقدير الجهد المطلوب.
- إجراء فحوصات صحة المنصة وتقييمات الأداء كجزء من مشاريع العملاء.
- تقديم العروض التقديمية لمهندسي العملاء وأصحاب المصلحة، والعمل كطرف تقني مقابل لشركة Cloudera.
بناء الممارسات
- توجيه المهندسين والإداريين.
- بناء معماريات مرجعية، وكتيبات ضبط الأداء، وأدوات تحديد الحجم.
النجاح في أول 12 شهراً:
- أن يكون هو المهندس المعتمد في جميع مشاريع Cloudera النشطة.
- تحقيق تحسينات قابلة للقياس في أداء أعباء العمل لمنصة عميل واحد على الأقل.
- نشر معمارية مرجعية لـ Cloudera، وكتيب ضبط أداء، ومجموعة أدوات لتحديد الحجم لتقديمها في العطاءات.
ملف المرشح المطلوب
- أكثر من 10 سنوات من الخبرة في هندسة البيانات وعمارة البيانات، مع سجل حافل في تصميم منصات بيانات مؤسسية.
- خبرة عملية قوية في Cloudera (CDH و/أو CDP) في بيئات الإنتاج، مع نتائج مثبتة في ضبط وتحسين أعباء العمل عليها.
- معرفة عميقة بمعالجة البيانات الموزعة ومحركات الاستعلام (Spark, Hive, Impala) وإدارة الموارد (YARN).
- أساسيات قوية في نمذجة البيانات وتصميم مستودعات البيانات (Lakehouse أو Warehouse).
- خبرة في كل من الاستيعاب بالدفعات والبث المباشر (مثل Kafka, NiFi, CDC).
- القدرة على القيادة التقنية وشرح المقايضات للعملاء.
- تعتبر الخبرة في تنسيقات الجداول المفتوحة (Iceberg) ومحركات الاستعلام الموحدة (مثل Trino) ميزة إضافية.
- تعتبر الخبرة في منصات بيانات أخرى (منصات البيانات السحابية، مستودعات البيانات المؤسسية) ميزة إضافية، لضمان وضع Cloudera بشكل موضوعي.
- تعتبر الخبرة في تصميم منصات البيانات لاستهلاك الذكاء الاصطناعي/تعلم الآلة ميزة إضافية.
- مستوى احترافي في اللغة الإنجليزية. وتعتبر اللغة العربية ميزة إضافية.
- يفضل الحصول على شهادات Cloudera.