Hello,
Our new lecture "Ch.02-32 Best Practices | ETL | DWH Architecture"
This lecture present:
The ETL Best Practices
- Auditing
- Managing Bad Data (Rejection Handling)
- Data Lineage
- Modularity
- Logging
- Error Handling
- Atomicity
https://t.co/CaFsOmOOSw
إن شاء الله بكره عندنا حلقة مهمة وجديد مع @MahHafez بخصوص موضوع ال Behavioural Interviews
الحلقة هتكون بتناقش معظم الجوانب اللي بنحتاجها في التحضير والأهداف من الأنترفيو. اللينك في التويت القادمة 🧵
من سنة تقريباً وأنا وكريم لما كنا بنشتغل مع كاستمرز سواء من أمازون أو ميكروسفت كنا بنتكلم عن المشاكل اللي بتواجه الشركات عشان تبني Data Platforms. في السلسلة ديه كريم بياخدنا في كورس بيتكلم عن كل التفاصيل في النقطة ديه. وانتظرونا في حاجات تانية قريباً
السلام عليكم,
بخصوص الأكواد اللي بنكتبها سوى في الكورس.
دلوقتي تقدر تشوفها بأكتر من طريقة:
1) حطيناها في الموقع ك Markdown وملونة لو بتحب الألوان زيي وتقدر تcopy-paste بسهولة.
2) لو عايز تحمل الكود على طول سواء Notebook أو تنزل الكود كله ك .py
رفعنا الكود والتحميل سواء على الموقع أو Github هتلاقي الأثنين.
اللينكات في التويتس الجاية.
Ch.04-27: Demo: Repartition Vs. Coalesce
وأنا بشرح ال 2 functions دول لاقيت إن فين ناس كتيرة بتتلغبط في الفرق بينهم وده كان سؤال كلاسيكي في كل الأنترفيوز بتوع سبارك ولو بنعمل أنترفيو لسينيور كنا بنخش معاه بالتفصيل نشوفه فاهم الفرق ولا لأ. حاولت في الحلقة ديه نشرح قدر التفاصيل اللي الناس تكون محتاجاه عشان المفهوم ده ثابت وهيتكرر معانا كتير.
Link: https://t.co/Imsvx4wIZm
Ch.04-26: Demo: Spark RDD APIs
الحلقة ديه بنمشي مع بعض على الDocumentation وبنستعرض أزاي تبحث فيها وتتعامل معاها وعملنا تطبيق لبعض ال functions الحلقة ديه ليها باقي تلت حلقات لسه.
https://t.co/YVXTLpyj2q
السلام عليكم,
حابب أعلن إننا عملنا موقع جديد اللينك
GarageEducation [dot] org
الموقع عليه شوية مميزات:
1) لو أنت مش بتحب تشوف الفيديوهات بس تحب تقرأ المحتوى مباشرة. هتلاقي البريزنتشن بتاعة كل حاجة موجودة بشكل تفصيلي في الموقع مكتوبة بحيث تخش على صفحة صفحة تقرأ مباشرة. 🧵🔥
4) لو عندك مشكلة في الأنترنت ممكن برده تنزل الحلقات كلها بأعلى جودة عندنا وتشوفها زي لما تحب الهدف مش المشاهدات على اليوتوب لكن إنك تستفاد. شوف الطريقة اللي تناسبك.
بنخطط إننا نعمل مونتاج للحلقات بحيث نشيل منها ال debugging & fixing the issues وتبقى فيها كل موضوع في حلقات مختصرة. الموضوع ده هنحاول نعمله بعد لما نخلص السلسلة وهنسيب الأتنين على القناة الحلقة الطويلة 2.5 ل 3 ساعات والحلقات المتقطعة ده هياخد مننا وقت بعد العيد إن شاء الله
?/3
السلام عليكم,
حرصاً مننا على وقتكم.
قسمنا كل الحلقات ل sections بحيث تقدر تخش تشوف جزء لو حابب وتكمل بعدين. أو لو مش مهتم بجزء وحابب تشوف جزء تاني تقدر تشوف من الموضوع اللي أنت مهتم بيه. حاولنا نكسر الموضوع قدر المستطاع.
يتبع
?/1
ما زلنا شايفين إن قدر الاستفادة الأكبر هو إننا نعمل كل حاجة سوى لايف وإننا نبني سوى. ممكن نحضر الكود وفقط نشرحه بس من خبرتنا البسيطة شايفين إن الناس هتستفاد أكتر لما تشوف المشاكل اللي بتحصل وبنحاول نحلها أزاي.
يتبع
2/?
إن شاء الله الحلقة هتكون الجمعة الساعة 11 بالليل. بنعتذر لو ده وقت مش مناسب بالذات متابعينا من دولنا العربية في الخليج.
حلقة ساعة تقريباً
- Fix Airflow deployment issue.
- Configure DMS for CDC.
ديه آخر حلقة في رمضان مش في السلسلة عشان العشرة الأواخر.
#Airflow#CDC#Ops#Infra
إن شاء الله الحلقة هتكون الجمعة الساعة 11 بالليل. بنعتذر لو ده وقت مش مناسب بالذات متابعينا من دولنا العربية في الخليج.
حلقة ساعة تقريباً
- Fix Airflow deployment issue.
- Configure DMS for CDC.
ديه آخر حلقة في رمضان مش في السلسلة عشان العشرة الأواخر.
#Airflow#CDC#Ops#Infra
في الحلقة اللي فاتت من 05 - Ready To Production | Building Infra Live علي @GarageEducation اتكلمنا علي ال rolling update بشكل سطحي و كنت حابب اقول ملاحظات عشان الناس ما تستخدمهاش عمياني و تقول انها zero downtime.
1/5
إن شاء الله الحلقة هتكون الجمعة الساعة 11 بالليل. بنعتذر لو ده وقت مش مناسب بالذات متابعينا من دولنا العربية في الخليج.
حلقة ساعة تقريباً
- Fix Airflow deployment issue.
- Configure DMS for CDC.
ديه آخر حلقة في رمضان مش في السلسلة عشان العشرة الأواخر.
#Airflow#CDC#Ops#Infra