# تطبيق عملي ومشروع كامل على تحليل البيانات في بايثون | Python Exploratory Data Analysis Case-study

**Channel:** Mustafa Othman
**Source:** https://www.youtube.com/watch?v=Ed0P_CVjJcM
**Transcript page:** https://www.withtranscript.ai/video/Ed0P_CVjJcM

## Chapters

- 0:03 — مقدمة عن منصة كاجل والتنقل
- 3:16 — تحديد أسئلة التحليل وتحميل البيانات
- 9:02 — استكشاف أولي للبيانات ووظائف الباندا
- 22:10 — تقنيات الفلترة والفهرسة في باندا
- 26:11 — إنشاء أعمدة جديدة وجمع القيم والتجميع
- 37:13 — الفلترة حسب السنة وتحليل التكرارات
- 43:12 — البحث النصي والتطبيق على السلاسل
- 48:52 — هندسة الميزات وطول النص وعلاقة الارتباط

## Transcript

**[0:03]:** بس خلونا بجي نبدأ المرة دي بداية مختلفة خلونا نبدأ ننزل على الكيس استوديو نحن بجي نحس بالعظمة بتاعت موقع كاجل تسمعوا عن موقع كاجل اللي أنا كلمتكوا عنه المرة اللي فاتت وقلتلكوا ان الموقع ده من اهم يعني انت مفروض كديتا اناليست او ديتا ساينتيست انت جاعت 24 ساعة الموقع دا بدي اعمل ايه؟ بتعمل قاتي صبحاً لو دخلت على الموقع هنا احنا عندنا سيكشنز كتيرة في سيكشان خاص بالكمبيوتشن قلتلك ده متقدم شوية ينزلوا مثل مسابقات وعليها جوائز وكلام زي كان وفيه سيكشن خاص بالديتا والنوتبوك هم دول اللي يعانونك هم دول اللي انت تشتغل عليهم ايه الميزة في الديتا والنتبوك ده فيه ناس بيقولك حلال بيرفعوا ديتا ست يعني كمثال مثلا انا ممكن عاوز اصيرش على حاجة مثلا للطقس فانا عاوز ديتا سيت فيها بيانات عن الطقس انا ما عنديش ديتا سيت انا مش لسه هاجوعد ادور على ديتا ستي أم أقوم بعمل ديتا ست بنفسي أم لا ، لا أملك ذلك لكنني أريد أن أعمل على ديتا ست ، أتعلم منها ، أقوم بها ، لا تقوم بمشاركة موضوعي كان هناك ديتا ست مشهورة جدًا ، سأعمل عليها إن شاء الله ، وهي 9-1-1 ، يعني التي هي الطوارئ ، الناس الذين يتصلون بأرقام الطوارئ إذا كنتم تعرفونها أو أشياء مثل ذلك ، سنرى ديتا ست ، وسنرى المواعدة للاتصال وعلم الجرائم التي ارتكبت ، يعني مواضيع جميلة جدًّا ، حسنًا ، دعونا نعود إلى ممكن أكون محتاج لديتا سيت إمتدادها في الـCSV ممكن أكون محتاج لديتى سيت عشان أعمل بها Exploratory Data Analysis أنا أريد أحد أن يقوم بعمل Exploratory Data Analysis على ديتا سيت مرتبطة بالطقس أخذني من حضرتكم فأنا ممكن أدخل هنا لا أدخل على الآخر قبل كده بس تعالوا نشوف الرجل اللطيف هل هو الرجل اللطيف معمل لي ديتا سيت مثلاً هذه ملف الـCSV بتاعها بيديك سيد الجدول ممكن تعمل جدول كومباكت كده تبص على القيم بتاعت الجدول ممكن تستفيد منها دي حاجات فيها time series analysis كمان حاجات مرتبطة بالوقت يعني ممكن طبعاً منها شغلة حلوة بلاص دي درجة الحرارة مش عارف الأيام الأسبوع حاجة حلوة خالص ممتاز أعمل إيه بلها؟

**[2:11]:** عاوز زي؟ عاوز البيتا دي السل دي عاوز اشتغل عليها اعملها دولون قبل ما تعملها دولون هنصحك بتعمل حاجة إيه هي؟ خش على النوت بوكس هنا لما تدخل على النوت ب بعدين بيعملوا ايه؟ بيشتغلوا على ال data set دي وكل واحد فيهم بيورمل شغله للناس لو دخلت عليه واحد فيهم ماعرفش والله يعني أنا نفسي مثلا ندخل على واحد زي ده هتلاجي مش راضي حمل زي ما انت شايف هتلاجي ايه؟ عمل لك نوت بوك كاملة بيجولك انا ازاي استفدت من ال data set اللي معايا دي في ان انا اعمل exploratory data analysis ايه الموضوع اللي انا دورت عليها؟ ايه الاسئلة اللي انا سألتها لنفسي؟ ايه الفيجوالايزنج اللي انا عملته؟ أنا أول مرة أفتحه، ولكن الانطباع الموجود في كل مصورة أو كل شيء أفتحها هنا في الدنيا الكبيرة.

**[3:01]:** أشياء في الموضوع الثانية، عندما تريد أن تبحث عن موضوع إيكوميرس، ممكن أن أجد إيكوميرس البيانات مثلاً. ممكن أن أجد أشياء على الانسونو. أو تبحث عن بيانات البيانات، اختار من أين أن أريد بيانات البيانات، اختار حجم البيانات ودعها سمويل لا تعمل على الكيميائية الآن.

**[3:16]:** اختار سيز في، اختار الموضوع الذي تريد أن تعمل بيانات الفيجوراليزية. على حاجات في الايكوميرسي انا عاوز اشتغل حاجات بيجنب مبتدئين بكرة وبعد ما تدخل ان شاء الله تعالى في الالغوريزمس عاوزين نشتغل ريجريشن وكلاسفكيشن ده نقطة مهمة بس حبنا ننوع عنها المهم بقول لانا الهاري الكتير ده ليه عشان الديتاست اللي انا بكلمك عليه النهارده احنا جيبناها من كابل ومن كابل من الحساب الرسمي كمان بتاع كابل الديتاست دي اسمها سانت فرسيسكو سيلاريس هي مرتبات الناس اللي في سان فرانسيسكو ودي دادست لطيفة جدا مشهورة وفيه ناس كتير بشغل عليها وهتتعلموا منها شوية حاجة ايه اللي انا ضغطهولك بجا في الموضوع ده ان انا المرة دي ساعدتك ايه الاسئلة اللي ممكن حضرتك تسألها عشان خاطر تستفيد من الديتا دي وركز بجا عينينا ايه عاوزين نسمع الصلاة على حضرة الناجي ونسمع صوتكم انا قلت ان اللي بيفرج محلل البيانات عن أي شخص تاني أنه هو بيسأل كثير بيسأله كثير مش بيوقفه وديت المثال ده لو أنتوا سمعتوني قبل كده على اليوتيوب لما تكلمت قلت ايه قلت الفرج بين محل البنات وأي شخص دخل مطعم أن أنا لو شفت شخص بيأكل جدام مثلا عشرين ساندويتش بيرجر فأي واحد تاني هيقول آه برافو ده ممتاز ده يدخل منصوع الجيلس وكلام زي كده لكن أنا أزل أناليست أعمل ايه لا سأسأل أسئلة كثيرة، كيف كان يأكل كنجب؟

**[4:45]:** كيف يستطيع أن يأكل دور؟ لماذا يفعل هذا؟ لا أعرف، فأنا أعرف أن أسأل أسئلة لذلك أريد أن أجلب لكم أسئلة جديدة، وأعتقد أنكم رأيتمها أريد أن تفكروا معي ما هي الأسئلة التي يمكن أن تطلبونها وفي نفس الوقت، تعالوا وتعلموا ما هي المفاوضات التي يمكن أن يساعدنا في شغل البيانات الإكسبيراتية أول شيء نتعامل عليه في شغلنا بشكل عام على المكتبات نحن نعمل إمبورت للمكتب اللي احنا نشتغل عليه وإحنا نستخدم النهاردة بنداس فيه شغل الـ EDA الـ EDA for Exploratory Data Analysis والناس أظن بيجي تفهم يعنيه الـ EDA الـ EDA يا أخواننا إن احنا عاوزين نستكشف الـ Data اللي معنا دي نفهم شوية موضوعنا واذاك الموضوع هنا مرتبط شوية بالـ Statistics الـ Basics بتاعة Descriptive Statistics فتعالوا نبدأ أول حاجة نعملها وأعتقد أنها واضحة وسهلة وليس بحاجة إلى شرح أننا نقوم بإمبورت البندس وطبعاً هناك أي إصطلاح أو أي مجموعة من الناس عندما تقوم بإنبورت البندس تقوم بعملها إمبورت أس دي فنحن هذه الحدة رأيناها في نومباي عندما قمنا بعمل إمبورط نومباي أس ان دي حل وخافة سوف نقوم بعملي ديتا فريم ونقوم بعمله مثل موضوع متغير نبدأ نخزن فيه القيمة اللي احنا هنجراها من ملف هنبدأ نسحب من ملف داتا ونبدأ نشتغل عليه مش احنا هنا دخلنا على السلريس ده وعملنا دولود للملف عظيم الملف اللي احنا عملنا له دولود ده عايزين نبدأ نشتغل عليه طب اشتغل عليه ازاي؟

**[6:21]:** فيه فونكشن عندنا جوه بندس ما بي ديل ريد اندرسكور سي اس وي عندنا جوة سلريس دا جوه داتا كان فيه سلريس او تمام سلريس خلاص لما اشتغل انا كده معناه ايه؟ معناه انا بقوله هاتلي الملف بتاع sellers ده وحولهولي لشكلة اقدر اتعامل معاه جوه بايثون الشكل اللي تقدر تعامل معاه جوه بايثون ده بيسموه ايه يا اخوانا؟ بيسمو ديتا فريم ودايماً الاصطلاح بتاع الديتا فريمن الناس بتسميه DF في ناس بالبعض الحين بالمناسبة بيسموو ديتة عادي في ناس بتعمل كده بس انا شخصياً ابضل الاصطلاع اللي بيبدأ DF عظيم طب يا عم جيبنا DF ده تعال نعرضه كد ستظهر لك الجدول لتعديد البيانات ولو أخذتم بالك الجدول يبدو أنه مليئ بهذا أول مرة بدأنا ندخل اليوم على بيانات كبيرة بالمناسبة هذه بيانات صغيرة خالص توجد بيانات تبقى بيانات فيها بالـ 20 و 30 مليون لكن نحن نتكلم معه بيانة جيدة بدأنا نتدخل 150 ألف بيانات هذا رقم جيد ونستطيع أن نشتغل عليه بشكل جيد لطيف يعني طيب بيانات التي جلبناها هذه عفوا من البيانات التي جلبناها هذه أنا ممكن أستفيد منها والله بص كده البيانات التي جلبتها هذه يبدو أنها طويلة و سنقوم بها أريد أن أحضر أول خمسة صفوف لأخذ انطباع عن البيانات هذه الحتة نحن نقوم بها باستخدام فونكشن اسمها head فأنا أستطيع أن أبدأ من البيانات التي قمت بها فونكشان لطيفة اسمها head و أقول لها سيدي أحضر لي أول خمسة صفوف بالمناسبة تحضر لك أول خمسمائة تقريباً تقريبًا تحضر لك أول ثلاثة صفوف لا مشاكل سنرى كيف أستطيع الانطباع الذي أستطيع كونه عن البيانات المعادلة راجع يعني عاوز أسمع صوتك وعاوز أسمع كده أفكر لو بصنا كده ده اسم الموظف ده الوظيفة بتاعته ده المرتب الأساسي بتاعه base pay وده الover time لو هو بياخد over time وده لو هو بيخد مثلا other pay يعني بياخد مدفوعات تانية benefits لو هو بيخد حوافز أو غيره وده الtotal pay without benefits يعني ده المرتبة اللي هو بياخدم من غير benefits وده المرتبة اللي هو بياخدي بالbenefits فاخدين لبالكوا يعني المرتب بالحوافز وديه السنة اللي خد فيها المرتب ده طبعاً هم هناك في أمريكا لو انتم عارفين بيحسبوا المرتب بشكل سنوي مش بشكل شهري يعني بيقولك فولاندا بيقبض مثلاً 100 ألف في السنة فأنت بيضيفه لتفهم مثلاً هو في المتوسط بياخد 8 ألف ل 10 ألف دولار في السنة المهم يبقى الحمدلله كده فهمت ايه الديتا دي اللي جواها صحيح كده فأحنا أول مرحلة احنا بنعملها في تكلمنا عن نقطة دي قبل كده هي تفهم الديتا كنا نتحدث من قبل أنه يجب أن يكون لديك نتيجة و أنت تقوم بعمل تحديث صحيح؟

**[9:02]:** تعالوا نفترض أننا الآن لم نحدد لك نتيجات معينة و أقول لك انظر إلى البيانات التي لديها فكر كيف يمكن أن تستفيد منها فكر كيف يمكن أن تفهم تفهم، انظر إلى اللفظة تفهم البيانات التي لديها بشكل جيد فسمعوني صالحة في تنايب و سمعوني صوتكم و أخبروني ما هي الأفكار التي لديكم ما هي الأسئلة التي يمكن أن أسألها لكي أفهم اي حد يقول يعني انا ممكن انا اسأل اول سؤال لانه داخل اول استاذ زينجعن انا ممكن انا اعرف بس مثال لو احنا بنتكلم على مدينة سان فرانسيسكو متوسط المرتبات متوسط المرتبات بمعنى ايه متوسط البيس بي ولا متوسط التوتر بي ده سؤال حلو برافو عليك يا ميشوان تنور ليه فكرة ايه انا ممكن نلعب على مستوى الريكورد ودي على فكرة اول مهارة تتعلمها النهاردة في الاكسبلوراتية الجديدة ليه فكرة ايه يا عم ماتيش جورج جيبلي اجريجيشن فونكشن على الكولوم كله هاتلي المتوسط بتاع التوتر بيت هاتلي المتوسط بتاع هاتلي حد هيقول لفظة تانية غير المتوسط هاتلي المينيمام والماكسيمام صح كده هاتلي اجل واحد بيقبض واعلى واحد بيضبط صح ايه كمان اسئلة ممكن اسألها ممكن أسأل مثلاً أعلى وظيفة بتاخد رئيسي؟

**[10:19]:** برافو عليك، سؤال عظيم. إيه أكتر وظيفة متكررة عندي في الديتة اللي بتاعتي؟ يعني إيه أكتر وظيفة مطلوبة في أمريكا؟ وإيه أجل وظيفة؟ صحيح كده؟ ومجموعة الوظائف دي كانت دي تكررت كم مرة؟ مش دي أسئلة ممكن أسئلها؟ إيه كمان؟ قولوا، قولوا والله بتقولوا على فكرة أنت بتقولوا عظم يعني فتسمعونا الصلاة على النبي وقولوا أفكار تانية فيه سؤال شائع عندما تدخل على الشركة بيسألوك انت وين بتشوف حالك كمان خمس سنوات؟ هذا الحكي يعني مش بس تايتل جوب او ممكن كمان البيمنت انت كديش راح تصير تاخد؟ طبعاً انا هقول لك على حاجة لا اللي انت بكلم عليه احمد دا حتة حلوة جداً جداً مرحباً عليك بس دي دلوقتي مش وقتها لازم نكلم عليه البريدكشن انا ممكن اتوقع السالريز بعد خمس سنين ممكن بشكلها ايه؟ الي احنا بتعلمه اليوم ال EDA احنا لسه جاست في الحاضر والماضي احنا لسه بنحاول نحلل الوضع الحالي لكن المستقبلة ان شاء الله تعالى ممكن ناخد ريجريشن ونشتغل على الكيستوديو دي ونعكسه بدل ما بنعمل اناليس للوضع الحالي لا ده انا بقولك ابدا استنتجلي من دي حاجات المستقبل سؤال حلو جدا بس انا هاخد من كلامك كلمة حلوة جولة هي ايه السنة ايه رأيك نبدأ نلعب على مستوى السنة نقول ايه ما تجيبلي الوظائف اللي كانت في سنة كذا وقوللي أكتر واحدة فيهم كانت مطلوبة كذا إيه رأيكم في سؤال زي ده؟

**[11:37]:** أنا عاوز تاني عاوز أسئلة تانية أنا جيب لك بتاعة 25 سؤال فقط يعني مفروض تقولولي أنت أسئلة تانية ممكن نشوف جوب تايتل المتكرر أكتر جوب تايتل متكرر وبالتالي ده يبقى فيه فرص أكتر ممكن نلعب على أوبرتايم شوية نشوف أكتر سنة فيها أوبرتايم ومتوسطتها دي اه ممتاز ممتاز برافو عليكم يبقى لو خدتوا بالكم انتو بتعملوا حاجة نطيفة جدا كلكم بتعملوها وانتو شاهدين اللي بقى بليها فكرة ايه انا بلعب على المستوى اللي ايه الكولوم بلعب على المستوى الفيتشا بلعب على المستوى الفيريابل صحيح كده بلعب حد بيلعب كده حد فيكو لعب كده معظم الاي دي ايه بيكون عالم اعمدة طب ينفع اعمل ايه دي على صفوف اه اه والله ينفع ينفع هجولك ايه انا هجولك بص شاف البرت ده عزارة في المتاريخ المرتب بتاعه كده بس ايه ده ينفع؟ اه والله ينفع يا دي ينفع عامل بولين انديكسي من زي ما نشوفه ان شاء الله بعد شوية ان انا هجلي المنظف اللي اسمه البرت اخديلي بالحضراتكم اه وقوللي سنة 2013 كان بيت متكامل وسنة 2016 كان بيت متكام لأنني أسمع أن البرت أكثر شخص يقبض لذلك أريد أن أقارن المرتبة في عام 2015 أو عام 2016 لذلك يمكنني أن ألعب على مستوى الريكورد ويمكنني أن ألعب على مستوى الفيكتور أو الفيتشورت عظيم عظيم أنا سعيد جداً والله أخواني ممكن أشتغل على كل سنة أرى المتوسط والمينو والماكسيمممممم؟

**[13:05]:** برافو عليك والله أريد برافو عليك لا أريد أن اعطيها برافو عليك بس يعني برافو عليك ما هي فكرة أخي؟ أنا ممكن أعمل هات لي الناس بتوقع 2011 وهات لي الناس بتوقع 2012 2013 وقل لي الخلاصة بتاعت الموضوع ده ممكن اشتغل بريف التيبل ممكن اشتغل جروبينج باي ممكن اشتهر نعمل جوينج للديتا صحيح كده؟ هي فكرة كتيرة وفي هذا الوقت لو انا عادي عدة سنين كتير ممكن اعرف برضو مثلا اكثر الوظائف كل سنة متكررة وشوف دي بتزيق ولا بتقل ممكن بس اقول طويلا برضو مش بس كده انا ممكن كمان اعمل لها فيجوالايزينك كمان بكرة وبعد ان شاء الله متعلم فيجوالايزينك سأبدأ بقارنة الوظائف في سنة 2012 كان شكلها مقارنة بالسنة 2013 نفس الشيء بإمكاني اشتغل على جوب تايتل وشوف على مدى الزمن ماذا حصل فيه كان مطلوب كده صحيح كده؟ والله العظيم أخواننا قسم بالله ما نفعله هو عظمة فعلا من لم يشعر بالعظمة في الاناليسز نحن سنبدأ نشعر وعندما تأخذ الفيجواليزيش ستشعر أكثر وعندما ندخل في سيشن كيس ستاديز لدينا سيشنين في الكيس ستاديز ستجدون عظمة لم ترونها من قبل ستستمتعون باستخدام بايثون وستستمتعون باستخدام سيشن برينستون ميكسيشن الذي قمنا به نفكر جميعا مع بعض وهذا من عظمة الكورس الالكتروني لأنك لا تسمع فيديو وانت تستمع ولكن عندما تقوم بجهد مع جروب ونفكر كيف نستطيع أن نخرج شيء من هذه البيانات فعلا ستستمعون جدا انا مسعيد جدا بروفو عليكم امامك خلاص يبقى احنا هنا عارف ننطلع اسئلة من التطبيق طبعا عندي سؤال تفضلي مني هتضيف سؤالة او هتسألي سؤالة ممكن مثلا لا هضيف سؤالي طبعا قولي ممكن نشوف المرتبات تغيرت ازاي من 2011 الى 2012 عشان لا تفسد لحظات في 2012 طبعا انا هضيف عليها اضافة ده انا ممكن اقول مرتبات بالنسبة ليه وظيفة معينة في سنين معينة يعني اربط الموضوع باكتر من ايه من فيتشر قولي بص هاتلي الوظيفة دي اتغيرت ازاي من سنة 2011 مثل حتى 2015 كويس تكلمنا عزونا عليها بس كويس بروحوا عليك اسئلة حلوة المهم عشان بس ما نسيبش منوضوح ده لان احنا مش نخلص كده خلونا بس ايه نضمن ان احنا الحمدلله تعالي نبدأ نطلع اسئلة من الجدول بس اطلع اسئلة برضو البالكوا اخوانا انا بعلمك just النهاردة بنداس for exploratory data analysis انا بظالم لو قلت لك انا بعلمك بندسة نهار دي يا اخواننا بندسة فيه بلاوة لسه عندنا سيشن للبري بروسيسنج عندنا سيشن للامبورتنج عندنا سيشن للرانجلنج عندنا سيشن للمانبيريشن موضيع كتير بندس قارنه باكسل هالاكسل ممكن يشرح في سيشن؟

**[15:50]:** مش ممكن انت هتشرح اكسل في مثل في 5-6 سيشن كل سيشن مدتها 5 ساعات يعني هفول بتاع 20 ساعة نفس الكلام مع بندسة بالعكس ده بندسة فيه بلاوه اكتر هذه الواحدة عوزالها بيوترفل صوب ولكلام ده عوزالها قسم بلا عوزالة مثلا بتاع ستو سيشن زجل الواجب يعني المخدراتش ثلاثة يعني المهم طيب انا لحد الوقت فهمت ان انا يوزنج بنداس انا ممكن اعمل امبورت للديتا وممكن اعرض الديتا دي وممكن قد ايه استخدم بقية فونكشن اسمها امفو عشان خاطر اعرف معلومات اكتر دعني اشوف امفو دي ممكن اتخذني ازاي روحش كده لما اشغل فونكشون بتاعت امفو بديك اس ويقول لك ديتا تايب تاعه وهكذا طيب فنكشن زي انفو دي ممكن تكون مفيدة ليه ازاي بسرعة فنكشن زي انفوا دي ممكن تقول لك عدد الانتريز اللي موجودة عندك في الجدار ده هيديك انتباع ان لو انت اي قيمة اقل من القيمة دي يبقى القيمة دى وانت مطمئن فيها missing data لو بصينا هنا هل في قيمة هنا فيها missing data او هلاك قيمة زي دى مثلاً خلاص فيها missing data هلاك قيمة زي دى ودى برضو فيها missing data فأنا ممكن أن أتعامل مع الميسنغ ديتا، وهذا سيكون قصة أخرى إن شاء الله تعالى لكي نأخذ الموضوع أن نرى ديتا فيها مشاكل ونبدأ نعالج الميسنغ ديتا التي فيها نبدأ نقوم بتسكيل الديتا، نبدأ نعمل نورماليزيشن، نبدأ نعمل شوفلينج، نبدأ نعمل سورتنج فيلترينج هناك الكثير من الأشياء التي تستطيع تفعيلها على هذه الديتا المهم أن نفهم أن فونكشن مثل DotInfo تقدم لي عرض عن الديتسيت الذي لدي هناك فنكشن أخر يمكن أن تكون مفيدة أيضًا في أن تأخذ انطباع عام على البيت اسمها Describe فنكشن Describe إذا تشغلتها كذلك ستجد أنها ستظهر لك مثل هكذا لما فيه الليلة بتاعة Summary Statistics Description بتاعة البيت أنه يقول لك هذي عامل Count والMean والStandard Deviation والMinimum والMaximum حالة عظيمة جدًا هذا أول فنكشون بتاعنا دعونا نبدأ نجاوب على الأسئلة وتعالوا نعرض ال data تاني عشان نخطط موجودة قدامي وبص عليها عظيم تعالوا بقى نبدأ نجاوب على الأسئلة أول سؤال بيقولك إيه يعني إيه عاوز الميم بتاع ال base Bay طيب إزاي أعمل حاجة زي كده إزاي تعمل ده جوه بنداس بإنك بالمنطق كده أنا بقولك إيه هكلي متوسط ال base Bay بالمناسبة أخونا ما تشغلوش بالكو بال code اللي أنا بكتبه دلوقتي من الظلم ليك أنك تقولها مش فاهم حاجة لأ افهم الميكانيزم اللي انا اشغل بيه افهم الطريقة اللي انا بتكلم بيها في شرح الاكسبلوريات ديتا اناليس يوزنج باندازي الكود هنشرحه حاليًا بعد شورعه هنرجع نشرح الفونكشن بس تعال نشوف ازاي سيلكت كله انت مش دلوقتي عاوز تجيب المتوسط بتاع العالم دي طب المتوسط بتاع العالم دي اللي متطرر اني انا اعمل ايه هاتهم كلهم خلاص واجمعهم وكسبهم على عددهم صح كده؟

**[18:55]:** طب إزاي يجيبهم كلهم؟ إزاي يسلكتوا كله دي؟ أسلكتوا كله بأن أنا بسحب الـ DataFrame نفسه ويبديهوا اسم الـ Column اللي أنا أشتغل عليه ودي ممكن حالة مختلفة عن اللي احنا شوفناه فين Number ليه؟ لأن في بندرس يا إخواننا الدنيا هنا مبنية على أن أنت عندك أسماء للـ Columns وعندك Indices تقدر تشتغل عليه يبقى بتالي أنت لازم تحدد هل حضرتك عاوز Observation؟ ولا أنت عاوز إيه؟ ولا أنت عاوز Column طب تعال ناخد الـ Col وليه كل الكولوم اللي هنشتغل عليه اسمه يا اخونا؟ بيس بي عاوز اعلمك حاجة انك تكتب اسم الكولوم وانت مش فاكره والدوس تاب هيكمله لك هو لوحده وهي حاجة كويسة جدا وهتوفر معاك ومش هترجع كل شو هتبص على الديتا فاسد وتروح تنسخ الكولوم وترجع له تاني لا دوس تاب الدنيا هتمشي معاك كده انا عملتها لو انا عرضت ده كده بصوا ايه اللي حصل؟ دابلي من سيريس اللي هي نسخة اقل من الديتا فيريم الديتا فيريم بالمناسبة بيتج اللي شبه ننباي بالمناسبة هرجعشحن حتة دي بعد شوية فجابلي سيريز السيريز ده عمليه بجد العمود اللي جابولي ده عمل عليها هون قولوا انتوا بقى العمود اللى انا جابته ده عمل بيه هن عاوز احسب له المين احسبه ازاد مجموعة هن تقلل هنقوله دوت مين مثلاً يبقى انا ممكن انده على طول دوت مين عشان استطيع اعمل ايه اجيب المتوسط بتاع العالم دي طب ثانية واحدة القيمة دي كان ايه بتاعة البيس بي بتاعة المين تعالوا نرجع كده في امتاز اذا احنا كده ايه او بدأنا الحمدلله الصورة توضح معانا فهمنا اخواني الفكرة دي طب السؤال اللي بعده السؤال اللى انتو سألتوه بالمناسبة ودي حاجة اسعدتني جدا اللي هو ايه هاتلي اكتر واحد عنده overtime في ال data set اللي عند دي طب ايه اكتر واحد ده عاجيب هزيه انت بتقول لي ايه هاتلي اكتر واحد نعم حد هيقول فضله حد يقول اخد ضرفتين dot max لك تحدد لا مش عاوز dot max مش عاوز اللي جابله dot max احنا نعطيك درجة ردوان و نعطي محمد أيضا درجة فكرة ايه اخوان ان اتفضلوا عنا ان انا بداية لازم اسحب الكولوم اللي اشتغل عليه صح ولا مش صح يبقى انا اول حاجة اعملها اسحب البيتا فريم اقول له هات ايه اسم الكولوم اللى انا عاوزه اسم الكولم اسمه ايه اوور تايم بيك صح كده بقى ادوس تاب عشان اكمله و اقول له ده ماله ده اندهل عليه مين اللي كان بيقول عليه احمد من شوي اللي هي الماكس اين ده على الماكس الماكس برضه هتديك القيمة دي لو طلعت فوق اللي هي 24 شوية دي طلع جيبت الماكس بتاع مين الماكس بتاع الأوفر تايم نفس القيمة جويس غلص بحكي شغالين زي الفولل طيب تعال شوف السؤال البعد هو حلمه حلمه خالص سؤال ده بيقولك ايه الجوب تايتل بتاع الأخص من جوزف ده خلص بس قللي ايه الجوب تايتل بتاع جوزف فكروا فيها كده ازاي سلكت جوزف لو طلعنا تاني بصينا على الجادول انا معرفش جوزف فين بالمناسبة بس فكروا معي إزاي يسلكت جوزيف؟

**[21:53]:** الأصل اللي اسمه جوزيف ده عايز أعرف مرتبه كام إيباني أنا بلعب على مستوى الكولومز ولا بلعب على مستوى الريكوردز طب بيرك نقول العكس لا ده أنا بلعب على مستوى الكولومز أنا محتاج أجيب الكولوم بتاع أنبلوينيند وأدور فيه على مين؟

**[22:10]:** وأدور فيه على جوزيف بعد ما أدور فيه على جوزيف إيه اللي يحصل؟ هاتلي مجاي ريكوردز على جوزيف كولومز تاني تاني تاني لو أنا هنا بقوله بس هاتلي جريه ده مثلا او البرت اي ان كانت خليها في البرت معنى كده انا بقول لك بص لف حاجة على كل الكولوم ده دورلي على اخ البرت ريجيتو ريجيتوا هاتلي يمين بجه هاتلي ريكورد بتاعه كله صحيح كده ويمين الريكورد بتاعه كله هاتلي تجيب تايتل بتاعه بالمناسبة هالشي بشو يذكر حد فيكو هنا عنده خلفية من الاسكيل لو حد عنده خلفية من الاسكيل هيببعظن جدا في الادي ايه ممتاز ممتاز كل شغل ال EDA اللي احنا بنعمله في البندس somehow مرتبط بالشغل يعني حتى ان شاء الله طبعاً لما ندخل في الجزائر بتاع ال data manipulation ال joining و ال concatenation و ال splitting و ال merge و ال pivot table و كل ده ممكن حاولت تعمله هناك ال joining lift و ال outer join و ال inner join و حتى اللي عنده خلقان ال SQL ممكن يكون سمعي مصنوع حد قبل كده فخلينا نرجع تاني هنا نجيب جوزف ده نجيبه ازاي نجيب جوزف دا ازاي اول حاجة هجيب الموظفين هتلي الموظف اللي اسمه مين هتلي من الامبلوينين الاخ اللي اسمه جوزف الامبلوينين دي بالمناسبة لما يجي عرضها هيعمل ايه هرجعلي كل مين كل الاسماء كل الاسماء الموظفين برافو عليكم انا عاوز اقول لهم من دول هتلي شوف هل جوزف موجود سؤال اللي انت بممكن تسأله عبد الموجود موجود خلاص تسأل هل جوزف موجود لما شغل دي بالله عليكو هتطلعلي اللي يقولها دي ياخد دراشتين طلع جوزف بس؟

**[23:49]:** ان انا لما شغلي هتطلّعلي سيرياس تانية هتروه فولز لما زمان انت لسه مش ملاحظ زي كان جوزف ظهر ولا لا هو أكيد موجود لان احنا عندنا 148 ألف ريكود حل طب انا عاوز بص عاوز اجيب جوزف احنا خلاص اتأكدنا ان احنا ممكن يكون مش موجود طب انا بص دور كتير انا عاوس واحد بس منه عاوز واحد بس منه فأنا بعمل indexing using record المعادلة تنزع من indexing ولا حاجة Df برضه بتنده Df على البوليا الindexing اللي انت عاملها شوفت العظمة؟ بتنده indexing على البوليا الانديكسينغ والحدة اللي احنا تعلمناها لو انتوا فاكرين لما كنا مش تلعب في الموبايلة ما كنت بقول يا ربي ايه اكبر من ثلاثة فكان بيجيب لي كل القيم اللي هي اكبر من ثلاثة صح؟ وبعدين بروح اقول لك selected القيم الاقل من ثلائة حد فاكر الكلام ده؟

**[24:42]:** نفس الكلام هنا يمكنك فعله اخو جاب لي جوزف اخو عليك شكرا اعطي ريكورد رقم 24 جوزف ده احنا عايزين منه مين؟ مش عارف جوب تايتل عايزين جوب تايتل بروف عليكم انا ممكن ايه اخو اخو دي اعمل جوب تاتل واجول له ايه من الريكورد ده من الديتا فريم دي بالمناسبة دي كلها كأنها ديتا فريم اللي مش فاهم كأن دي كلها انا شلتها كده طيب دي افتو اللي فيها ريكورد بتاع مين؟ بتاع جوزف من دي او من ده الي مين؟ فهذا ما يسمى جيل تايتل ولكن لكي نسهل عليكم يبدأ شكلها كذلك سوف تكتب لها جيل تايتل لكي بكرة وبعدها ستجد أكواد غبية كثيرة طويلة تجاوز في بنداف تفهم أنه داتا فريم بندع على داتا فريم وداتا فريم بندع على داتا فريم وداتا فريم بندع على سيريس فهمين الفكرة؟ فهذا كأنه داتا فريم خلصناه وعملنا به انديكسنج الانديكسنج جلبنا منه جيل تاتل من المفترض أن يكون كابتن صح؟

**[25:42]:** من المفترض أن يكون كابتن صح؟ من أن يكون كابتن صح المفترض؟ من المفترض أن يكون كابتن صح؟ من المفترض أن يكون كابتن صح؟ نعم من المفترج أن يكون كبتن صح؟ نعم من المفترج أن يكون كابتن صح؟ نعم من المفترج أن يكون كابتين صح؟ نعم من المفترج أن يكون كابتين صح؟ نعم من المفتريد أن يكوّن كابتين صح؟ نعم من المفترج أن يكون كابتم صح؟

**[26:11]:** ن� يعني Including Benefits طب الجبد اللي هو Including Benefits ده أجيبه ازاي ثاني واحد مش احنا عارفنا ازاي نجيب جوزف انا غير نجيب تايتل بالنسبة لك انا جيبت جوزف هوا هنروح نعمل حاج ماشي هاتلي منه مين انا احنا عاوزين مين الTotal Pay Benefit صح ممكن انده عليها على طولة هيه وبقول له ايه هاتلي الTotal Pay Benefit او لو انا ايه كسلان زي حالات كده يا عم خلاص انا انتقلك اه تجريفنا ليه ماوجدت وليه قدامك صح خد منه اللي انت عاوزه لكن احنا لو احنا عاوزين بنص منظمة لأ احنا عايزن ايه؟ الـTotal Benefits بس بتاعة الاخ ده فلازم خلنا؟ حد عنده مشكلة؟ طب لو انا مش موجود عنده وعايز اجمعهم على بعض مثلا الـBenefits زي ذي السلري وTotal Benefits طب عادي هنتعلم على حتة دي هذيك بقولت حتة هلوة جدا عمري ليه فكرت؟ انا ممكن اجمع معنديش ريكورد جديد اسمه Total Benefits صح؟ فأطفح هنا فوق لا الريكورد ده مثلا مثلا مش موجود اعمل ايه؟

**[27:07]:** هعمل ريكوردي هعمل عفواً الكولوم سأقوم بعمل كولوم تسميه Total Pay Benefit و أقول له هذا مجموعة هذا زائد هذا فهمت الفكرة؟ فأسحب ال DataFrame على هذا وأسحب ال DataFrame على هذا و أقول له plus زائد على زائد عادي ال Adding سأقوم بتجميع هذا و هذا و أضعه في كولوم جديد اسمه Total Pay Benefits سؤال جميل جدا و أظن أنه بدأ يفهمنا كيف يمكن أن تتحرك العالم عظيم اي اسم أكثر يبهد؟ هذا سؤال جيد ركز في المعنى وقل لي أسحب مين من ال data set اللي عندي وانا كده عايز الماكسمام بتاع المرتب اوه كويس كويس الماكسمام بتاع المرتّب ولا الماكسيمام بتاع الاسم ما هو في الآخر أجيب الماكسيمم الأول وبعد كده أشاور على الاسم بروب عليك بروب عليكم والله بروب عليكم اسمو سنور يعني تاخد عليك دراجتين دي تليك فترة ما تاخدش حاجة اوه ما لما تتلي بالكيس الصادق الموضوع يختلف ديني بالكيس الصادق صحيح يبقى تاني بس سنور هنا بيقول حاجة كويسة يقول ايه اسحب المرتبات كلها ايه اسحب التوتر بيه بنفس و بعد ما تسحب التوتر بيه بينفس دي عملية حتلي ماكسممتا صح؟

**[28:21]:** ثانية واحدة هو القيمة الجبالية دي ركزوا عشان حتة دي مهمة القيمة الجبلية دي هي قيمة واحد من الريكورس اللي عندي صح؟ انا عايز اعرف مين ده صح ولا فيه مشكلة؟ فانا محتاج اعمل حاجة او تركية وطيفة جدا ليه فكرة ديه؟ سأقوم بمقارنة مقارنه بمين بمين ألف على الرجل كله من اللي عندي كله بتاعة Total Payment Benefit أقول له مين مين في Total Payment Benefit بيساوي الماكسيمم ده حد فاهم حاجة في حد فاهم اللي أنا بقوله ده يعني كان بقول له بيقف وقف مين فيها بيساوي الماكسيمم مين في Total Payment Benefit بيساوي الماكسمم بتاعة Total Payment Benefits حد فاهم اللي أنا أقوله أهو كده ده أنا جبته فتخلي بالك اللي انا جابه ده indexing ده في الاخر هيطلع القيمة true or false يعني لو شغلنا كده اهو واحد اهو اسمه true صح كده؟ بس انا عاوز اindex بيه بقى عاوز index ال true ده هجيبه الزاد ولا حاجة انده data frame على صاحبنا ده لما انده data frame على صاحبنا ده هيرجع ليه؟

**[29:25]:** اللهم صلح حضرتنا رجع للاخ نساني لدولة فورد ولا اسموه وجاب لي ال record بتاعه طب انا عاوج من ده من؟

**[29:33]:** اسمه صحيح كده؟ بعاوز من ده اسمه يتبندع على مين؟ لا يا راجل احنا معلك من بلوينيه؟ خلاص خلاص دي نقص الدرجة من هنا خلاص؟ نعم صلى الله عليك احنا جابنا اسمه و ريكورد كمان موجود الموضوع منتعة والله اخواني الموضوع لطيف جدا بس خدوا بالكم انت هنا جايلك الكتسته دي الأسئلة جاهزة بكرة وبعد حضيرك اللي بتطلع الأسئلة بكرة وبعد انت اللي بتدور ايه اللي انا بدور عليهم؟ ايه الأسئلة اللي بتهمني؟ اخدي لبنى حضيركم نحن نحاول أن نساعدكم بمجرد أن نقوم بعمل كيس استودي سأطلب منك كيس استودي بس تطلع لي أسئلة ولو عملت لها كودينج سأكون سعيد جداً سأشكرك على أخذك بس أريد أن أعلمك المنتاليتي لتفكّر وتطلع أسئلة لكي نقوم بالاناليسيز للدّيتا تبعد أجل الواحد بيضبط خلاص بجمع شأخد دي وتعمل دي إيه هيّا وتعمل إيه مينيماً بقى تابعين مينيما ند نور وند شاشته عشان محدش يزعل خلاص يبقى ناخد ديور ونعمل لها ايه مينيما بس وانا بنسألك سؤال طيب بيقولك مت ملاحظ حاجة غريبة لا مش ملاحظ حاجة غريبة طب بقولك حاجة تعال نشيل اسم المظلف هنجيب ريكورد كله ونبص على ريكورد ونشوف إذا كان في حاجة غريبة ولا هو بقى فيه قيمة بالإيه بالمينوس بالمينوس معناها قيمة بالمينوس ده إن صاحبنا ده ممكن يكون مدين الشركة هنا أنا مخصوم منه لا مخصوم منه بالله نهار عليك يعني بنهاية السنة ده هو كمان ما جابتش حاجة ده ده ليه الشركة ليه عندي فلوس عند فهم الفكرة الشركة مدينة بقى الشركة مدينة عفوا يا ربا الشركة مدينة طيب مثلا سؤال حد ممكن يقولي حد لكل الناس اللي الشركة مداينة هم حد ممكن يقولي اكتب الكود ده ازاي اقل من صفر اه برافو عليك بس المهم اعمل ايه الاول انتو دايما تقولو الaggregation function يا عم قولي الاهم هاتلي الكولو هاتلي الكولو من اللي اسمه ايه اه الother pay اقل من صفره بعد ما تيب الother pay اعمل فيه ايه بصلي اذا كان فيه قيمة اقل من صفره ولا هيطلع لقيمة تروفو وسعمل ايه اعملها indexing جابلي كل الrecords اللي فيها المشاكل دي برافو عليك سؤال كويس اه طيب يلا السؤال اللي بعد اه ده سؤال حلو جدا اللي كان بتكلم عليه عمري من شوية اللي هي فكرة ايه ما تيجي نجمع بالسنين كده قول لي ايه متوسط الاساس المرتب في السنين من 2011 ل 2014 ركزوا عشان ده شغل موضوع ممتع ان شاء الله تعالى اللي بكرة وبعده زي عمري كده شغل متابط بالوقت الموضوع ده بالنسبة له لازم يكون الاساسي من دلوقتي يجروا عنه ويسمع عنه ما تستناش مصطفى لما يديك معلومة بالنسبة من دلوقت بص يعنيه time series analysis ده وإيه اللي بيعملوه؟

**[32:20]:** طب إنت بتعرف تستخدم إكسل صح؟ روح تعلم زي تعمل time series analysis using إكسل إذا ما تجيل هنا بايسون إنت عندك الباكجراوند لما نبدأ نشتغل عليها application on حالة تبديني واضح معاك هاتلي هنا العالم بتاعة 2014 دي نجيبها إزاي؟ هنا ناخد فانكشون جديد أنا ما كلمت ومش عنها اسمها group by اسمها إيه؟ group by لو حد فيكو عنده خلبي على LSTL فاهم بتعمل إيه دي؟ حد ممكن يقول أنا ماخد بايسين؟ هتجمع عن طري بس يا ريز جمعهم لي بيز ده على السادة ولا حاجة انت لو شغلتها دي مش تعمل حاجة لان هو كده جمعهم فكره عاوزة انت بقى على التجميع دي عاوزية على التجميع دي يابدك تطلع يابدك تعملهم في فيتشر ثاني لا لا لا مش محتاجة دول احطوا هذي كده اللي هو ليست كمان من 2011 الافراق احطوا عبسط من كده تاني انا بجمع ليه بعمل جروبن باين ليست بتوع السكيل عشان يشغل اجريكيشن فونكشن ليه بعمل بيفت ديبل عشان يشغل اجريكيشن فونكشن ليه بيعمل جويننج صحيح كده؟

**[33:21]:** عاوز يشغل الستاتيستيكل فونكشان المين المين برافو عليك يشغل المين هنا بعد ما يشغل مين هاللي حصل؟ اللهم صلى الله عليك حب ياخد لبالك طلع ليه؟ انا 2011 قادي كل الكولومز اللي عندك وكل واحد فيهم المين بتاعه كده احنا عايزين مين الكولومز ده مين؟ مهو لسه الوحيد بيس بيه البيس بيه صحيح ك يقول لك في عام 2011 بيس بي كان كذا ممكن اخد ده اللي انت شايفه وعمله فيجوالايزن اقارن بقى القيم من 2011 لحد 2014 وارسم بقى line plot او scatter plot اي ان كان bubble plot ممكن تعمل bar chart فيه افكار كتير اللي الفيجوالايزن ان شاء الله تعرف عليها المرة الجاية فكده احنا عملنا ايه اخونا عشان بس تبقى الصور راحة احنا كده جيبنا السنين كلها و جيبنا متوسط السنين كلها و اخترنا العمود اللي فيه البيس بيه قلعلي سيريوس فيها كل المتوسطات بتاعت السنين حلو عندنا فونكشن لطيفة جوه بنداس اسمها اني يونيك اسمها كده اني يونينك اني يوننك تبترجع ايه اسمها كدا سنة واحدة هو جالك اني يونيك على مين على مين جوب تايتلز جوب تايتلز برافو عليك بنيه لازم ينبهي الجوب تايتليز هاتلي عدد القيم الي هي اليونيك في جوب تايتلز وفي فنكشة اسمها يونيك رجعلك اليونيك جوب تايتلز الي عندك في البيتاسيتس لأن هناك جوب تايتل يمكن أن يتكرر معي مرة واثنين وعشرة لأنني أريد أن أرى عدد الوظائف الموجودة لدي في الداتا ست يعني يمكن أن يكون لدي مثلاً دكتور صح؟

**[35:08]:** دكتور يمكن أن يكرر مرة واتنين ومئة صح؟ أريد أن تقول لي أني لدي دكتور لدي ممرّب لدي مهندس لدي عامل لدي فني طيب عددهم كم يستخدمون لي ولي ليس بحاجة إلى أن يفكروا فيه ليس هذه عملة مثل ديستنيكت؟ نعم ايوه برافو عليك الستينكت اللي موجودة في SQL اللي هي هاتلي المختلف برافو عليك برافو عليك يعني أنا عجيبني ان انت على فكرة انا قلت اللي عنده خلفية عن SQL هيستمتع جدا انا اظن امنيه امكن ناخدتنا معانا ايه عن داخل فعل SQL هتلاقي الموضوع سهل جدا في ال EDA ان معظم الفونكشنز اللي احنا بنعمله هناك لحد ما شبه اللي انت موجود هين برنتز ايه اكتر خمس وظيف مطلوبين ده سؤال احنا سألناه بالمناسبة او حضرتكوا سألتوه وده حاجة تخلياني انا مستمتع ان انا معظم الأسئلة التقريرية اللي انا جبتها انتوا تتكلموا عنها ايه اكتر خمس وظايف مطلوبين ازاي اعمل حاجة زي دي شوفوا تاني كده ساعدوني ساعدونى جولولي اكتب ايه انا بقوله اكتر خمس وظايف يبقى انا محتاجة سحبينه انا دلوقتي مثلا انا عايز الفارف مست كومن جوبس هو اصده هنا بالكومن جوبس اللي هو مثلا كومن اللي بوبيلر اي مين البوبيلر يعني مست بوبيلر جوبس اه يعني انت اصدك المتكررين اكتر خمس وظيف متكررين متكررين مش مقصود يعني مش نسبة لمرتبهم هو نسبة للمتكررين لا لا لا هو هنا ما جيبش سيرة المرتب خلص هو جيبش بس انا مفروضة عفواني انا مفرودة ببوبيلر جوبس يعني احسن كتبتها كومن مع عفوان فإذا أسحب حاجزة دي ساعدوني أعملي أسحب مين؟

**[36:46]:** إيه كله من الأسحابة من الديتسيت اللي عندي؟ الجوب تايتل روضو عليك إيه بنا أسحب دي اف روضو عليك أسحب دي اف و أقول إيه؟ أعطلي الجوب تايتلا أعمليه بالجوب تايتل ده سمعوهم من دلوقتي مهمة جدا اسمها value counts اسمها value counts ما هي value counts دي؟ هتعد جوب تايتل متكرر كم مرة؟ ممتاز ممتاز صديق اتكلم تقريبا او ردوان صح كده؟

**[37:13]:** ردوان وعودة شغالين او صديق برضه عشان ما يزعجك خلاص الفاليو كاونس دي بص بتعمل ايه؟ بترجعلك الجوب تايتلي اللي عندنا وتكرر الفريكوينس بتاعه وتكرر كم مرة عندي في الديتر ست اللي عندي اخذوا لبال حضرتكم وبعد كده اللي ممكن نندع على دي على فاليو كونس دي ممكن نندع عليها ايه بجاه؟ ممكن نندح عليها اللي لسه كنا نتكلم عنه من شوية رجع لأول خمسة وممكن اعمل حركة تانية غير هدية حد يقدر يقولها والله اللي يقولها يديه تديله خمس درجات دي داتا فريم رجعلك داتا ست رجعلك وانا حافظة انديكس عطن دا سيريس رجعلك وانا حافظة انديكس اول خمس صفوف فيه ازاي انديكس اول خمس صفوف انا دي نومباي على فكرة ده شغل نومباي منزيله خمسة مش منزيله ستة فلاص هبصلي عمل كده اوك منزيله خمسة لانها يسع ايوه كده من الناس المذاكرة دي بترايحوا يبا تاني ممكن اسحب اول خمسة ريكورد كده وممكن اسحبهم باستخدام الفونكشن بتاع الهيد وحتى كمان ممكن جوه هيد احدد له الخمسة هو عادي ياعم خلص انت راجل فجري وكسلان ومش عارف ستعملها ايه ياعم بص يا رايس اول ما هو الخمسة اول اول عشرة من الصغارين صح يبا انت بالحالة دي محتاج تعمل ايه محتاج تسحب هيد خلص و ايه من الهيد دي تتسحب ايه هاتلي عمّا والعشرة بيقول لك على الأصعب بقلت لو قلت لك هاتلي أقل أقل شوف أقل إيه هي زي ما أنت كده وهند على فونكشن اسمها دوتيل اسمها إيه؟

**[38:47]:** آه بيخلص بقى إحنا بجينا شطرين تعرفنا هيد دي دوتيل بتعمل إيه؟ اللي فيه آخر الجدول برافو عليك أحمد تديله درجتين رضوان درجتين هيد بتجيب لك آخر خمس صفوف برضو ممكن يتحددلها رقم وممكن برضو برافو عليك هتلاقو اخر عشر سنوات اهو احب كده من اخواننا العظمى اللي بتحصل هنا دي ولا حد عنده مشاكل؟ ممتاز ممتاز جداً الله انا مبسوط جداً بالكيس ستاديز احنا بس هنكمل الكورس كله كيس ستاديز اه ولا انتوا تعاملوا بقى بقى بحاجة لكيس ستياديز اه طبعا طبعا عشان هيك يعني انت بتسأل واحنا من جهة انا الله يساعد بس انا فعلا متحمس جداً للسيشيلز بتاعة الكيس ستاديز اللي ان شاء الله تعالى هتبعت كلها بقى بضرب نار جيبنا جوه انت جوه انت جوه انتى ويبقى درجات للصبح يعني ان شاء الله طيب صبعا اه دا سؤال عظيم دا سؤال عميق جدا ركزوا بيقولك يا سنة 2013 شوف انا بجرح ازاي لان الجراية هنا مختلفة والجراية هتفهمك سنة 2013 ايه اللي حصلت هاتلي الجوب تايتل وبعدين بيجيبلي جوب تايتلز هاتلي جوب تايتلز اللي اتكررت مرة واحدة بس هو اللي انا قلته ده هو الكود اللي انت هتكتبه اقوله تاني سنة 2013 هاتلي الوظائف هاتلي الوقوف كلها اللي كت في 2013 والوظائف دي هاتلي اللي اتكرروا مرة واحده بس وهاتلي عدادهم انا بعمل ايه بجا؟

**[40:23]:** نفكر كده انت قلت سنة كم؟ انا هروح للرير بقى اللي 2013 هروح لكلهم الرير هروح الرير بروف عليك هروح الرير يا صاحب النادي دينا هنا ريش مصبوش قالوا الله ينور كده ينور؟ فلص ماذ حبير؟ ماذ حبيرا عامل بيها ايه؟

**[40:39]:** هتطلع اليونيك فيها بدك تدخل عليها جوب تايتل لا أسحب يل ساني واحدة انت بتقول كلمة عظمى ما تبقوزوش ولا مين بتكلم نورا أنا هسأدور على اليونيك بتاع الجوب ديسكريبشن اللي في الهير ده يا عم ساني واحدة ساني واحمدة احنا عم نشتغل على هير معينة صح؟ ايوه أمي أنا بتكلم على هير صح بس يبقى لازم أسلك تل الهير المعينة دي ماشي أه طبعاً ماشي راحي كده؟ بتكلم ماشي حلو خالص يبقى أنا كده إيه؟ دلو؟ أه كل العالم هلو خالص هلو طيب 2013 دي بس كان ممكن نسحب دي اف ونجيب اخيرا كده اعزيب يبقى كده جيبتلو كل ريكوردز اللي اف كان 2013 اها اهو عشان اللي عايز اتأكد اهو اعزيب طلعوا كامل 37000 ريكوردز ده كلام محترم جدا احنا عايزين مين بقى هاتلي كل الجوب تايتلز اللي فيهم صح اهو صح اللي انا بقوله او لا مصح بهاتلي كل الجوب تايتلز هاتهم يا عم فين هم فين الجوب تايتليز راحت فين قاعدة جوب تايتل صح جدا؟

**[41:40]:** ممتاز رجع لي قاعدة ريكورز وفيها جوب تايتل كنا كنا عاوزين نعرف كل واحدة اتكررت كم مرة صح؟ انا لسه فيه فانكشن جايلة مش عاوز مين يقولها ناخد درجتين كانت بتحسيب لي عدد مرات يونيك هادي؟ لا يا راجل لا يا صديقي برابو عليك رضوان مين جال تاني value counts غير رضوان؟ بنده value counts على مين؟ على السيريس اللي طلعت عندي دي اللي هي فيها الجوب تايتلز بتاعت سنة 2013 فالمفروض دلوقتي اللي انا منتظر هيرجع ليه؟ هيرجع لي كل واحد كل وظيفة تكرارية كم مرة؟ اللي هو 2013 احنا عاوزين منهم مين؟ واللي تكررت مرة واحدة تبرافو عليك تبرافوا عليك تبرافو عليك يمكن نجيب الاتين اتين ونجيب واحد احنا كده عاوزين نساوي دي بكام واحد يعني هاك القيم اللي تكررت باين؟ بواحد صح كده؟ صلوا على حضرتنا فتسانية واحدة عن المستفرة ادعلي true or false احنا عاوزين نجيب مجموعة بجد هاتلي مجموع قيمة true اللي هنا ده ما انا مش عاوزك ترجعلي ده تفهم خلاص اني موت هاتلي مجموع طب مجموع هابص هقولك السيريوس دي كلها وقوله ضد صم تراك في العظمة دي يا لاهو يختي كل داكونة جاءوا على السؤال ده خلاص؟

**[43:12]:** حد عنده مشكلة؟ أنا مستمتع بالحتة دي بصراحة مستمتعت جداً تمام زي فلو الاسؤال اللي بعده مسألة صخيفة شوية بس يعني جابو مش مشاكل بس هيعلمك حاجة يعني بيقولك لما فكر فيها كده هتعملها ازاي؟ فكر معايا اللي انا منتظر ومفروض ان انا اعمل دي اف واسحب مين؟ جوب ديسكريبشون لا اسحب جوب دايتلي اف؟ حلو خالص؟ المسحب الجوب تايتل ده مالو؟ يساوي يساوي يساوي ساوي ايه؟ دكتشب انا هنا مش معايا اسم وظيفة بعينها انا بقول لك دورلي شوفوا عشان تتعلموا الاناليس الصح بقى دورلي على الوظيفة اللي جواها شيف انا معرفش بصراحة ايه الوظيفه اللي جواها شيف صح؟ يعني الوظيفة انا لو عرضت ادول كده معايا اغطي اللي بالكم؟ اي وظيفة ممكن يكون جواها شيفي وممكن يكون جوها كل حاجة حل؟

**[44:05]:** انا عاوز ادور على اسم كلمة كلمة شيف جوه الوظيفة دي اللي هي بالمناسبة ممكن تكون مكتوبة كاملة لزمان شايفين كده انا عاوز ادور على اسمة شيف بس جوه ده الموضوع الاسترك شمال ديس حقا دي؟ بس انا بقولك على حاجة احلى من كده بقى فبايثون بنستخدم فونكشن اسمها dot apply اسمها فونكشان اسمها dot apply ليه؟ عشان ننده على فونكشان دنيا هو تقديل الوظيفه اللي انا عاويزها سنقوم بعمل فونكشن هنا مثلاً نسميها EF سنعمل فونكشان اسمها CHEF هي من المفروض أن تأخذ كل قيمة من هنا في كل ريكورد من دول هتأخذ القيمة دي بها تأخذ سترينج في الأخص صحيح كده الفونكشن دي هتعمل إيه هترجع لTRUE إذا كانت القيمة دى فيها CHEF وأتراجع فولس فكاد القيمة دي ملأ مفيش شيف فبعد أخذ القيم اللي هي ال true دي وأروح أعمل لها إيه؟ أعمل لها sum حد فحل شوف طريقة تفكيري في الحل بالمناسبة ممكن تحلل في طريقة تانية كثيرة أنا معرفش بس دي الطريقة اللي أنا وصلت لها نفكر فيها تاني كده هعمل functions ماها shift هلف بيها على كل records بالمناسب أنا هنا هند على shift هند عليها وأبعت لها مين؟

**[45:29]:** هند لها وأبعت لها الrecord اللي أنا واجه عليه اللي يكون x لا تستطيع فعل ذلك بالشكل هذا فبالتالي لا أحتاج أن أنبع على لمضة لأنني أقوم بخلق لمضة ديفينيشن داخل التي لا تحتاجها وليست مهمة لا تقلق عليها حتى ممكن تقول دلوقتي ليست مهمة ولكن بعد ذلك إن شاء الله ستكون مهمة أنبع على فنكشن أعطيها اكس اكس اليمين ريكورد هذا أقول له في الريكورد هذا دخلوه يبعث لي السترنج فيبعث لي السترنج أتشيك إذا كان true or false صح؟ فأعود لي true فأقوم بعمل summation على العالم كله دعونا نعرف الفنكشن الخاصة بك هل تريد أن ترى كلمة CHIEF؟ إذا كانت كلمة CHIEF موجودة في السترنجية التي تأتي إليها نسميها STEERING ونضعها بالأعلى لكي نرى ماذا حدث في القيم للأسف موجودة فيها ماذا حصل؟

**[46:34]:** إذا لم تكن موجودة، فإنها موجودة. إذا لم تكن موجودة فإنها موجودة. فإذا لم تكن موجودا، فإنه موجود. إذا لم تكن موجودا، فإنها موجودة. إذا لم تكن موجودا، فإنه موجود. إذا لم تكن موجودا فإنه موجود. إذا لم تكن موجودا فإنها موجود. إذا لم تكن موجودا فإنها موجودة. إذا لم يكن موجودًا فإنها موجودة. إذا لم تكن موجودًا فإنها موجود. إذا لم فالفونكشن بتاعي شغالة زي الفول بأخد عادي جبطة الكبير ده وعماله ايه؟ طلعلي منه القيمة اللي فيها الترول حلو خلصه بقت دي احنا عرفنا الفونكشن وعرفنا ان هي شغالة زي الفول اعمل ايه بجد؟ اعمل apply للفونكشون دي على الكونوم اللي انت جبته ده على السيريس اللي انت جبتها دي طب اعملها زيه؟ ولا حل دخل لها x اللي هي record اللي انت وقف عليه وين دا عالفنكشن دي بعت لها السترنج اللي انت واقف عليها دولة فانا كلهم في الاخرى استرنج استرنج دي ولا مش استرنج متعلمينها بتوع المدارس استرنجها صح الاسترنجها دي هتشيك ازا كان جواها حاجة ديها علاقة بكلمة شيف وازا كان كده هيرجعلك كده وازا كان كده هيرجعلك فوق عظيم لو انا شغلت كود ده منتظرين ايه اللي حصل هيديني الحاجة اللي فيها شيف اي كلمة اسمها فيها شيف لا هيديني انا بقول هيديني سيريس اي جواها طبعا عمري هيتقلع سيرياس فيها true قدام اللي لزيك مريم تجيب كده وترجع تقول لنا عظمة هرجع true false صح كده مثل انا اخوانا كنت برجعوا اصلا هنا كان true false صح ولا لا يبقى ارجع لكل القيم اللي فيها true true true صح اما حصلنا حاضر في يوم واحدة فيها true انا بقى بقول لك ده شوف السؤال كان بيقول ايه how many people يبقى انا عاوز اسحب على دول اسحب عليهم مين اجمع لكل القيم الtrue اللي عندي في السيرياس دي اجمعهم ازاي والله عادي ممكن انا انبح على صنع نفسها من بره كده عفوا ممكن ننضع على صامته أو ممكن ننضع على صامع السريس نفسه يعني حمشوناها لسه حلمنا شوية طلعوا كامي عنيه؟

**[48:36]:** طلعوا 627 شادوناها لما طلعت عندي فيه 627 وظيفة فيهم كلمة شيف بالمناسبة لو هو مديك اسم وظيفة معينة مش محتاش تهرق القرية اللي انا اريدها هتعمل ايه؟

**[48:52]:** هتاخد الجيب تايتل وتساويه تقوله بتساوي تساوي هو اسم الوظيفة صح ولا صح؟ لكن انا هنا بيقولك لا ده الموضوع اصعب شوية بيقولك خش شوية جوه اسمع الوظائف ودورلي مين فيهم اللي بالاسم ده هلاص؟ فيه سؤال تاني ريخ النغد ولا بونص ده فاكس؟ وعندما كنت عاوز اعلمك فيه حتة ستيستيكل بس اللي هي فكرة ايه؟ الكوريليشن هبقولها عشان برضو ما سمناش حاجة صلوا على حفظ النغد هلاص؟ هنا بيقوللك هل فيه علاقة بين طول المسامة الوظيفة والمرتب يعني كل لما حاول اكتب بسمة جيه ده الرئيس مجلس إدارة الشركة المجنحة الأسطورية اللي ما حصلتش وشاك كده بنت مرتبك عالي مثلاً وغنين اللي بدن ده سؤال ده حروب قبل الإسم بقى ألف بيه تيكسي دماغ هو من مناسبة بيسأل فعلاً هل المسمى الوظيف بتاعك لما يطوق ده هيأثر على السلري بتاعك طب نعمل إزاي حد يفكر فيه كده بداية أنا محتاج أعمل إيه أنا عاوز جوب جوب تايتل مالو عامل فين؟

**[49:56]:** يجولي عشان تاخد درفتين؟ يعني أنا عايز أعد بقى الحروف اللي فيه بس بمحتاج لأسحب اللينس بتاع مين؟ بتاع الجيبتوك بس سلام على العظمى طيب الكلام ده احنا لسه عاملينه شوية ايه راك لو قلنا ان احنا هنعمل مثلا متغير جديد في ال record متغير جديد او في ال data frame بتاعتي سميه مثلا number of titles any titles مثلا أي titles خلاص any titles ده بيساوي ايه؟ سأقوم بتغيير جديد لأنني سأقوم بمسحه بعد قليل لأرى إذا كان هناك تشكيل أم لا سأرى إذا كان هناك تشكيل بين هذا وبين السلري هل أحد يفهم شيء؟ عظيم السلري الذي لا أحد يفكر فيه كان الـTotal Pay Benefits طيب هذا هو الـNumber of Titles نحن لسا جاءنا له حل البشوان سمور كان يقول أننا نسحب الـDataFrame على الـJobTitles كلها طيب روضوا عليك روضوا عليّ بعد ذلك أريد أن أحضر الـLength والله الذي يقول هذا يأخذ خمس درجة عاوزة أجيب اللينس بتاع الكل واحدة من دول أحط اللينس قبل تدف جوب تقلتل؟

**[51:00]:** ده يا ريز منفعش الكلام الفاضي ده عارف الآخر يعمله؟ بص أقولك حالي عشان سؤالك حلو جداً وهيفهمك حاجة بص لما أحط لينس يمين يقول أقولها أنت عمرو خد عليها درس تاني راح يجيب اللينس تبع اللينس تبع اللي انت حاطه الجوال متغير رضوان تقول حاجة صحيح ان اللينس هاي رح تفحص اللي جوه رح تجيب الطول اللي جوها اللي انت حاطه لا غلط اللي قعد دف وشحن وغيره لا لا انت مش عارف تقولها انا اظن ان انت عارفها احنا بس مش عارف تقولها ده هيرجعلك عدد ريكولز بس شغل كده عم الفكرة يقولك السيديس اللي انت واقف عليها دي فيها كم ريكولا بس لا انا مش عاوز كده انا عاوز الجوب تايت اللي انا واقف عليه اللينس بتاعه كده ولزلك فيه عندنا حاجة انا قلتها من شوية حد يقولها ياخد خمس درج ماذا تقولين؟

**[52:02]:** تقولين أنني سأخذ اللينز على كل ريكورد وعندنا فونكشن في المكتبة في بايسون في البيلتين فونكشون اسمها لين بترجعلي اللينز بتاع السترنج فأنا ممكن أعمل ايه؟ احنا ممكن نقول بلت لين نفسنا؟ لا ممكن لكن ممكن اعمل حاجة شبه اللي انت بتقوله ده والله العظيم لسه جاي لعمل شوية هجول انا وخلاص هعمل فانكشن اسمها ايه؟ ابلايك ابلايك ده بتنفس فانكشان على الديت فين؟ هنفس مين دلوقتي؟ هندفس نفضوط لينس بقى بس الله يعني عليك روح مدخله لينس هجوله شغل فانكشن لينس بص شوف اللي انا بقوله هاللفز ده كده شغل فانكشن لينس على الكولوم ده شغل الفانكشن بتاعت لينس على الكولوم ده مش على الكولوم عفواً على كل ريكورد شوفت العظامة؟ فهيطلع لك ريكوردز ريكورز دي خزينة آلي فين؟ في كولوم جديد معايا جد عندك فاهمت دي كده؟ بالمناسبة تقدر تطبعوا ده عشان تشوف شكله ايه دي قف ايه التايتل ده؟ طبعوا كده؟ عظيم شفت العظم؟ حد شايف العظم اللي حصل هنا؟

**[53:07]:** ايه اللي حصل؟ طبعاً ايه العظم؟ طلعلك اللينز بتاع كل تايتل من عندي كل تايتلم من تايتلز اللي عندي دي طلعلي اللينز بتاعه وده حصل فعلاً انهم التايتل الاولاني لو كان كابتن مش عارف ايه حدش فاكره؟ والله مش عارف كان فين بس لو كان طويل شوية كده كابتن مش عارف فاير اه هو ايه ده ماله ده؟ او حاجة زي كده يعني مهم طلع مثلا 46 كاركتر ده 31 كاركترا بس ممتاز جيبنا التايتر تيجي نعمل ايه بغى؟ تعلم نقرنه بالسلري طب اقرنه بالسلري ازاي؟ هنا تيجي نتعلم بقى حاجة عظيمة اننا عندنا فاونتشن اسمها co-relations co-relations e-o-r-r بس نستطيع أن نخرج منها المعادلة بين قيمتين كيف ندخل القيمتين؟ سأدخل الـ DataFrame و سأدخله القيمتين القيمتين بالمناسبة يجب أن أعمل عليهم على شكل DataFrame كما ترون كيف أعرف أن هذا DataFrame و هذا Series؟ سأتعلمها من دروكتي عندما أشرح بعد قليل ما هو DataSeries؟ عندما أضعها بين Double Brackets فأنا أعمل على Frame على DataFrame أدخله في الـ Record الأولى لمن؟

**[54:13]:** الـ Intitles الذين سنقوم بعملهم قليلاً الان تايتلز الان لدي سؤال ايه كوريليشن لكي افهمك؟ حد يقدر يجيب السؤال لها لحد لما ارجع اجيبه لها تاني؟ ولا محدش يعرفه هقوله؟ العلاقة يعني كوريليشن كوريليسن من اسمها كده برافو عليكم كو بمشترك ريليشن يعني علاقة بمعنى ايه؟ في عندنا مصطلح في الاحصاص مو الكوريليشين يعني هوا المتغيرات دي لها علاقة ببعض ولا مالهاش علاقة ببعض فلو المتغير ليه علاقة ببعضه فهي عندي معامل اسمه الcorrelation coefficient لو كانت القيمة بواحد او بسالب واحد يبقى معناها ان دول دول correlated لبعض في واحد ممكن يكون perfect correlation في ناحية الزيادة و perfect correlation في ناحية النقصان هنرجع نتكلم عنها تاني متجلبتش مش هنسيب حاجة بل لما هنقولها ان شاء الله طيب هروح اعمل ايه بقى هشوف هل في علاقة بين الانتايتلز اللي احنا جيبناه من شوية ومين؟ والتوتل بي بنفت؟ سمعين؟ أنا سحبها من فوق عشان خاطر المشروع دي سحبها توتل بي بنفت حد شافها قبل كده؟

**[55:23]:** حد شاف توتل بي بنفت هل في علاقة بين انتايتلز اللي احنا حسبناه من شوية ده اللي هو لينس بتاع كل تايتل و التوتل بي بنفت؟ ازاي يحسب العلاقة دي؟ بند على الفونكشن بتاع مين؟ هل ستعود لنا جادول؟ كما نرى فيه الجادول لديه قيمة واحدة معناها أن هذه قيمة مفتوحة بالفعل هي الحاجة مع نفسها هي قيمة مفتوحة هناك علاقة بين الحاجة ونفسها نريد أن نرى العلاقة بين الـ Intitles و الـ Total Payment Benefit القيمة هي سالب 3 من 100 مجربة لسالب 0 سالب 0 يديني انطباعي اعتبرها صفر يديك انتباعي هل في كوريليشن هنا؟ مفيش مفيش برافو عليكم هنا مفيش كوريليشن لان القيم دي جليلة جدا مجربة للصفر طبعا ان هي مجربة للصفر لأ يبقى هما ده في سكة وده في زكة طبعا خلاص بس دي هو احبونا اسمعليش ما تشغلوش بالكوا بيها لو استفدتوا منها وفهمتوها خيروا برافو انا فهمتها اش عادي سكبت كده الحمدلله رب عمين احنا خلصنا الكيسة دي بتاعنا حد عنده اي سؤال
