افتح orders_messy.csv في جدول بيانات، فيسهل أن تفوتك الفجوات: خلية كمية فارغة هنا، وN/A في عمود القناة هناك. حمّله في pandas فتصبح تلك الفجوات NaN، تتدفّق بعدها بصمت عبر حساباتك: المجاميع تتخطّاها، والمتوسطات تتجاهلها، وfillna(0) مكتوبة على عجل تحوّل “لا نعرف” إلى “لم يُبَع شيء”. القيم المفقودة (missing values) ليست إزعاجًا تقنيًا تزيله من طريقك؛ كل واحدة منها سؤال عن العمل.
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nprint(messy.shape)\nprint(messy.isna().sum())\nprint(messy[messy.isna().any(axis=1)].head().to_string())تعيد isna() جدولًا (DataFrame) من القيم المنطقية، وجمعه يعدّ الفجوات في كل عمود: 9 كميات و7 قنوات. وتسأل isna().any(axis=1) لكل صف هل أيّ عمود فيه مفقود (axis=1 تعني “عبر الأعمدة”)، وهذا يتيح لك النظر إلى الصفوف المتضرّرة فعلًا. والنظر إليها مهم: الكميات التسع المفقودة تخصّ طلبات عادية عبر السنتين، لا يومًا واحدًا معطوبًا.
لا توجد في الملف الخام خلايا قناة فارغة. فيه النص N/A، وحوّلته pandas إلى NaN لأن N/A موجود في قائمتها الافتراضية لعلامات الفقد، مع الخلية الفارغة وNA وNaN وnull وNone وغيرها. هذا مفيد عادةً. وأحيانًا يكون خاطئًا: عمود رموز الدول سيفقد ناميبيا، التي رمزها في ISO هو NA. حمّل الملف دون التحويل لترى ما فيه حقًا:
import pandas as pd\n\nraw = pd.read_csv(\"orders_messy.csv\", keep_default_na=False)\nprint(raw[\"channel\"].value_counts())\nprint((raw[\"quantity\"] == \"\").sum(), \"empty quantity cells\")الآن يظهر N/A كقيمة حقيقية بعدد 7، وعمود الكمية كله نصوص، لأن الخلايا الفارغة بقيت نصوصًا فارغة. وللتحكّم في القائمة بدقة، مرّر na_values=["N/A", ""] مع keep_default_na=False.
لا يوجد إصلاح يصلح لكل حالة. اطرح ثلاثة أسئلة بهذا الترتيب، وإذا كانت الإجابة عنها كلها “لا” فأبقِ القيمة مفقودة:
\nالاسترجاع يأتي أولًا لأنه الخيار الوحيد الذي يضيف معلومة. معرّفات الطلبات في الملف المُصدَّر موجودة أيضًا في جدولي orders وorder_items النظيفين لدى Cartwheel، فيمكن البحث عن الكميات المفقودة هناك؛ وستتعلّم عملية الدمج (merge) التي تفعل ذلك في الدرس 4.2. وإلى أن تستطيع استرجاع قيمة، لا تخترع واحدة.
بالتطبيق على الملف المُصدَّر: القناة المفقودة لا يمكن تخمينها من أي شيء آخر في الصف، لكن “لا نعرف القناة” حقيقة تستحق أن تبقى ظاهرة، فتحصل على تسمية صريحة. أما كود الكوبون الفارغ في جدول orders النظيف فأمر مختلف مرة أخرى: هناك يعني الفقد “لم يُستخدم كوبون”، وهذه إجابة حقيقية.
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nmessy[\"channel\"] = messy[\"channel\"].fillna(\"unknown\")\nprint(messy[\"channel\"].value_counts())\nprint(len(messy.dropna(subset=[\"quantity\"])), \"rows with a known quantity\")تحذف dropna(subset=["quantity"]) الصفوف التي تنقصها الكمية فقط، وفي النتيجة التي تخزّنها فقط؛ أما dropna() العادية دون subset فتحذف الصف إذا كان أيّ عمود فيه مفقودًا، وهذا على الملف الخام سيرمي 16 صفًا، منها مجاميع سليمة تمامًا. احذف لتحليل محدّد، لا من نسختك الرئيسية.
وفخ آخر: لا تستطيع العثور على الفجوات بـ ==. القيمة NaN لا تساوي أي شيء، ولا حتى نفسها، فتكون messy["channel"] == np.nan مساوية لـ False في كل صف. استخدم دائمًا isna() وnotna().
حُمّل عمود الكمية على هيئة float64، فتُطبع الكميات 1.0 و2.0. هذا هو الأثر نفسه الذي رأيته مع referred_by في الدرس 2.2: NaN الكلاسيكية عدد عشري. ولدى pandas أيضًا أنواع قابلة للقيم المفقودة (nullable)، تُكتب بحرف كبير، وتخزّن علامة فقد مستقلة هي pd.NA:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nqty = messy[\"quantity\"].astype(\"Int64\")\nprint(qty.dtype, qty.iloc[32:35].tolist())\nprint(qty.sum(), qty.count(), len(qty))\nprint(round(qty.mean(), 2))يحتفظ Int64 بالأعداد الصحيحة كأعداد صحيحة، ويعرض الفجوات كـ <NA>. والحسابات التجميعية تتخطّى القيم المفقودة افتراضيًا، فتجمع sum() الكميات المعروفة الـ 159، ويخبرك الفرق بين count() وlen() بعدد المفقود بالضبط. وتضم العائلة نفسها Float64 وboolean وstring، وتحمّل pd.read_csv(..., dtype_backend="numpy_nullable") كل الأعمدة بهذه الطريقة. وسلوك واحد يجب أن تعرفه: المقارنات مع pd.NA تعيد <NA> بدلًا من False، لأن سؤال “هل الكمية المجهولة تساوي 1؟” لا إجابة صادقة عنه.
في التمرين تعدّ الفجوات وتضع لها تسميات وتغيّر نوعها. وفي الدرس التالي تنظّف الأعمدة النصية، حيث تأتي أسماء الدول بأربع كتابات مختلفة.
\n","toc":[{"id":"sec-1","text":"العثور على الفجوات","level":2},{"id":"sec-2","text":"ما قرّرته read_csv نيابةً عنك","level":2},{"id":"sec-3","text":"تقرير ما تفعله","level":2},{"id":"sec-4","text":"الأنواع القابلة للقيم المفقودة: أعداد صحيحة يمكن أن تُفقد","level":2}],"takeaways":["تحوّلread_csv افتراضيًا الخلايا الفارغة والنصوص مثل N/A وNA وnull إلى قيم مفقودة، فافحص الملف الخام حين تبدو الأعداد مفاجئة.","df.isna().sum() تعدّ الخانات الفارغة في كل عمود؛ وdf[df.isna().any(axis=1)] تعرض الصفوف التي فيها أيّ منها.","كل قيمة مفقودة تحتاج قرارًا - استرجعها، أو ضع لها تسمية، أو احذف الصف، أو أبقِها مفقودة - والملء بـ 0 نادرًا ما يكون صحيحًا.","النوع Int64 القابل للقيم المفقودة (nullable) يحتفظ بالأعداد الصحيحة كأعداد صحيحة ويعرض الفجوات كـ <NA>، بدلًا من تحويل العمود إلى أعداد عشرية.","المجاميع والمتوسطات والأعداد تتخطّى القيم المفقودة افتراضيًا، فيكون الفرق بين count() وlen() هو عدد الفجوات بالضبط."],"further":[{"title":"Working with missing data","url":"https://pandas.pydata.org/docs/user_guide/missing_data.html"},{"title":"Nullable integer data type","url":"https://pandas.pydata.org/docs/user_guide/integer_na.html"},{"title":"pandas.DataFrame.fillna","url":"https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.fillna.html"}],"quiz":[{"q":"في الملف الفوضوي 9 كميات فارغة. شغّل زميلك fillna(0) على العمود قبل حساب متوسط الكمية لكل طلب. ماذا يحدث؟
mean()، لا الأصفار. الملء حوّل “غير معروف” إلى “صفر”، وهذا ادّعاء عن البيانات."},{"text":"تُطلق pandas خطأً لأن العمود أصبح مختلطًا.","why":"الملء بـ 0 يُبقي العمود رقميًا؛ لا خطأ يظهر، ولهذا بالضبط يمرّ الخطأ دون أن يلاحظه أحد."},{"text":"ينخفض المتوسط، لأن 9 كميات مجهولة أصبحت تُحسب طلبات من صفر عناصر.","why":"صحيح. كل طلب فيه عنصر واحد على الأقل، فالصفر ليس قيمة معقولة. ترك الفجوات مفقودة يعطي المتوسط الصادق للكميات المعروفة."}],"answer":3},{"q":"في ملف CSV الخام النص N/A في عمود القناة في 7 صفوف. بعد pd.read_csv، ماذا تعرض value_counts() له؟
N/A بعدد 7","why":"النص N/A موجود في قائمة pandas الافتراضية لعلامات القيم المفقودة، فيُحوَّل إلى NaN ويُستبعد من value_counts()."},{"text":"لا شيء؛ الصفوف السبعة قيم مفقودة وتُستبعد ما لم تمرّر dropna=False","why":"صحيح. مرّر dropna=False لتراها، أو keep_default_na=False عند التحميل إذا كان يجب أن يبقى N/A فئة حقيقية."},{"text":"خطأ، لأن N/A ليست قناة صالحة","why":"لا تتحقّق read_csv من الفئات؛ فهي إما تحتفظ بالنص وإما تحوّل علامات الفقد المعروفة."}],"answer":1},{"q":"q = messy["quantity"].astype("Int64"). ماذا تعيد q.count() وlen(q) لـ 168 صفًا فيها 9 فجوات؟
159 و 168","why":"صحيح. تعدّ count() القيم غير المفقودة؛ وتعدّ len() الصفوف، والفجوات منها."},{"text":"168 و 168","why":"لا تعدّ count() القيم المفقودة أبدًا، أيًّا كان النوع."},{"text":"159 و 159","why":"القيم المفقودة تبقى صفوفًا؛ وlen() تشملها."}],"answer":0}],"exercise":{"kind":"python","files":["orders_messy.csv"],"starter":"import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\n\n# 1. A Series: number of missing values in each column\nmissing_by_col = None\n\n# 2. Replace missing channels with the label \"unknown\" (in messy itself)\n\n# 3. Convert quantity to the nullable integer dtype \"Int64\" (in messy itself)\n\n# 4. Average quantity of the rows where it is known, rounded to 2 decimals\navg_quantity = None\n","solution":"import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\n\nmissing_by_col = messy.isna().sum()\nprint(missing_by_col)\n\nmessy[\"channel\"] = messy[\"channel\"].fillna(\"unknown\")\nmessy[\"quantity\"] = messy[\"quantity\"].astype(\"Int64\")\n\navg_quantity = round(float(messy[\"quantity\"].mean()), 2)\n","checks":[{"id":"missing-counts","test":"isinstance(missing_by_col, pd.Series) and int(missing_by_col['quantity']) == 9 and int(missing_by_col['channel']) == 7 and int(missing_by_col.sum()) == 16"},{"id":"channel-labelled","test":"messy['channel'].isna().sum() == 0 and (messy['channel'] == 'unknown').sum() == 7"},{"id":"quantity-int64","test":"str(messy['quantity'].dtype) == 'Int64' and int(messy['quantity'].isna().sum()) == 9"},{"id":"avg","test":"round(float(avg_quantity), 2) == 1.43"},{"id":"rows-kept","test":"len(messy) == 168"}],"title":"عُدّ الفجوات وسمِّها وغيّر نوعها","prompt":"حمّل الملف الفوضوي (تم ذلك نيابةً عنك). اجعل missing_by_col كائن Series يعدّ القيم المفقودة في كل عمود. وفي messy نفسه، استبدل القنوات المفقودة بـ "unknown"، وحوّل quantity إلى النوع "Int64" القابل للقيم المفقودة، مع إبقاء فجواته مفقودة. ثم اجعل avg_quantity متوسط الكميات المعروفة، مقرّبًا إلى منزلتين عشريتين. احتفظ بكل الصفوف الـ 168: لا حذف، ولا ملء للكميات.
messy.isna().sum() تعيد عددًا لكل عمود.","أسنِد النتائج مرة أخرى: messy["channel"] = messy["channel"].fillna("unknown") وmessy["quantity"] = messy["quantity"].astype("Int64").","تتخطّى mean() القيم المفقودة من تلقاء نفسها: round(float(messy["quantity"].mean()), 2)."],"explanation":"تحصل فجوات القناة على تسمية صريحة لأن “قناة غير معروفة” معلومة مفيدة في تقرير، بينما تبقى فجوات الكمية مفقودة لأنه لا توجد قيمة يمكن الدفاع عنها إلى أن تسترجعها بعملية الدمج (merge) في الدرس 4.2. يحتفظ Int64 (بحرف I كبير) بالعمود كأعداد صحيحة مع <NA> للفجوات التسع، بدلًا من الأعداد العشرية 1.0 و2.0 التي بدأت بها. وتتخطّى mean() القيم المفقودة افتراضيًا، فيصف المتوسط 1.43 الكميات المعروفة الـ 159؛ أما الملء بـ 0 أولًا فكان سيعطي 1.36، وهو رقم لا يصف أي طلب حقيقي.
missing_by_col تجد 9 كميات مفقودة و7 قنوات مفقودة","channel-labelled":"القنوات المفقودة أصبحت "unknown"","quantity-int64":"quantity من النوع Int64 وما زالت فيه فجواته التسع","avg":"avg_quantity يساوي 1.43","rows-kept":"الصفوف الـ 168 كلها ما زالت موجودة"}},"words":611,"readMinutes":4}