تسعة صفوف في الملف الفوضوي تظهر مرتين. كل نسخة مكرّرة طلب حقيقي محسوب مرة أخرى، فكل مجموع حسبته من الملف المُصدَّر حتى الآن أعلى من حقيقته: 23,500.67 دولارًا بدلًا من 22,486.69، أي مبالغة بنسبة 4.5%. تأتي المكرّرات من ملفات أُعيد تصديرها، وصفوف نُسخت ولُصقت، وأنظمة تعيد محاولة رفع ملف بعد فشله. إنها آخر مشكلة في الملف، وإصلاحها يتيح لك تحويل هذا القسم كله إلى دالة واحدة.
\nimport pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\ndupes = messy.duplicated()\nprint(dupes.sum(), \"duplicate rows\")\n\nboth_copies = messy[messy.duplicated(keep=False)].sort_values(\"order_id\")\nprint(both_copies.head(4).to_string())تعيد duplicated() قناعًا قيمته True لكل صف مطابق لصف سابق. لا توضع علامة على الظهور الأول (keep="first")، وهذا ما تريده عند الحذف. أما للفحص، فتضع keep=False علامة على كل النسخ، والترتيب بحسب المعرّف يضع كل زوج معًا. انظر إليها قبل حذف أي شيء: الصفان 22 و113 هما الطلب نفسه، والمنتج نفسه، والمجموع نفسه، ويفصل بينهما نحو مئة صف. هذا النمط، صفوف متطابقة متباعدة، نموذجي لملف مُصدَّر أُضيف إلى نفسه.
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\ndeduped = messy.drop_duplicates()\nprint(len(messy), \"->\", len(deduped))\nprint(deduped[\"order_id\"].is_unique)بعد حذف المكرّرات المطابقة تمامًا، يظهر كل order_id مرة واحدة، وهذا يؤكّد أن المكرّرات كانت نسخًا كاملة لا نسختين مختلفتين من الطلب نفسه. لو كانت is_unique تساوي False، لكان لديك صفوف متعارضة: المعرّف نفسه مع مجموعين مختلفين مثلًا. وتلك تحتاج قرارًا، مثل الاحتفاظ بأحدث نسخة، وتطبّقه drop_duplicates(subset=["order_id"], keep="last") بعد أن تتّخذ ذلك القرار.
اكتشاف المكرّرات يقارن القيم مقارنة دقيقة. "Ali Evans" و"Ali Evans " نصان مختلفان، و$22.00 و22.00 مجموعان مختلفان. في هذا الملف المُصدَّر تصادف أن النسخ متطابقة حرفًا بحرف، لكن بشكل عام تحذف المسافات، وتوحّد حالة الأحرف، وتحوّل الأرقام قبل البحث عن المكرّرات، وإلا نجت النسخ شبه المتطابقة.
لديك الآن خمس خطوات تنظيف، مكتوبة عبر خمسة دروس. وحين تكون متفرّقة في notebook تكون هشّة: شغّل خلية مرتين أو تخطَّ واحدة، فتتغيّر النتيجة. ضعها في دالة واحدة، بالترتيب الصحيح، مع الفحوص في النهاية:
\nimport pandas as pd\n\nCOUNTRIES = {\"Egypt\", \"United Arab Emirates\", \"Saudi Arabia\", \"Jordan\",\n \"United Kingdom\", \"Germany\", \"United States\", \"Canada\"}\n\ndef parse_money(values):\n cleaned = (values.astype(\"string\").str.strip()\n .str.replace(\"$\", \"\", regex=False).str.replace(\",\", \"\", regex=False))\n return pd.to_numeric(cleaned, errors=\"coerce\")\n\ndef parse_dates(raw):\n iso = pd.to_datetime(raw, format=\"%Y-%m-%d\", errors=\"coerce\")\n dmy = pd.to_datetime(raw, format=\"%d/%m/%Y\", errors=\"coerce\")\n mdy = pd.to_datetime(raw, format=\"%m/%d/%Y\", errors=\"coerce\")\n ambiguous = dmy.notna() & mdy.notna() & (dmy != mdy)\n return iso.fillna(dmy).fillna(mdy), ambiguous\n\ndef clean_orders(path):\n \"\"\"Load the messy export and return a clean, deduplicated DataFrame.\"\"\"\n df = pd.read_csv(path)\n df[\"customer\"] = df[\"customer\"].str.strip()\n df[\"country\"] = df[\"country\"].str.strip().str.title()\n df[\"channel\"] = df[\"channel\"].str.strip().str.replace(\" \", \"_\").fillna(\"unknown\")\n df[\"quantity\"] = df[\"quantity\"].astype(\"Int64\")\n df[\"total\"] = parse_money(df[\"total\"])\n df[\"order_date\"], df[\"date_is_ambiguous\"] = parse_dates(df[\"order_date\"])\n df = df.drop_duplicates().reset_index(drop=True)\n\n assert df[\"order_id\"].is_unique, \"duplicate order ids remain\"\n assert df[\"order_date\"].notna().all(), \"unparsed dates\"\n assert df[\"total\"].notna().all() and (df[\"total\"] > 0).all(), \"bad totals\"\n assert set(df[\"country\"]) <= COUNTRIES, f\"unknown countries: {set(df['country']) - COUNTRIES}\"\n return df\n\nclean = clean_orders(\"orders_messy.csv\")\nprint(clean.shape)\nprint(clean.dtypes)\nprint(round(clean[\"total\"].sum(), 2), \"total sales,\", clean[\"date_is_ambiguous\"].sum(), \"ambiguous dates\")السطر df["order_date"], df["date_is_ambiguous"] = parse_dates(...) يفكّ القيمتين اللتين تعيدهما الدالة المساعدة إلى عمودين دفعة واحدة. وتعيد reset_index(drop=True) ترقيم الصفوف من 0 إلى 158 بعد الحذف، فتتّفق المواقع والتسميات من جديد. لاحظ الأنواع أيضًا: quantity من النوع Int64 وtotal من النوع Float64، وكلاهما قابل للقيم المفقودة، لأن parse_money تحوّل عبر النوع string في pandas وto_numeric تحافظ على العائلة القابلة للقيم المفقودة. وهما يتصرّفان كأرقام عادية في كل حساب ستجريه.
تقرأ الدالة ملفها بنفسها، فلا تعتمد أبدًا على ما تصادف أنك شغّلته سابقًا في notebook. المُدخل نفسه، المُخرج نفسه، في كل مرة. وحين يصل ملف الشهر القادم، تشغّل clean_orders("orders_messy_2026_01.csv") القسم كله في سطر واحد، وإذا احتوى الملف الجديد على كتابة تاسعة لدولة أو مجموع باليورو، يوقفه assertion برسالة تسمّي المشكلة.
أين تضع الدالة؟ أثناء الاستكشاف، في أول خلية من الـ notebook. وحين يحتاجها notebook ثانٍ أو زميل، انقلها إلى ملفها الخاص، مثل cleaning.py بجانب ملفات الـ notebook، واكتب from cleaning import clean_orders حيثما احتجتها. تعريف واحد مستورَد في كل مكان يعني أن الإصلاح الذي تجريه مرة يصل إلى كل تحليل يعتمد عليه.
أصبح الملف المُصدَّر نظيفًا: 159 طلبًا، و22,486.69 دولارًا من المبيعات، و25 تاريخًا عليها علامة الالتباس (كانت 30 قبل حذف المكرّرات). ينتقل القسم 4 من التنظيف إلى الإجابة، بدءًا بأكثر أدوات pandas استخدامًا: التجميع (groupby).
df.duplicated() علامة على التكرارات المطابقة تمامًا بعد ظهورها الأول؛ وkeep=False تضع علامة على كل النسخ لتفحصها جنبًا إلى جنب.","تزيل drop_duplicates(subset=[...]) المكرّرات بحسب أعمدة مفتاحية، لكن استخدم فقط مفتاحًا فريدًا فعلًا لكل صف، ولا تستخدم أبدًا order_id في جدول بنود الطلبات.","نظّف النصوص قبل البحث عن المكرّرات، لأن "Ali Evans" و"Ali Evans " نصان مختلفان.","دالة التنظيف تحوّل جلسة notebook لمرة واحدة إلى خطوة قابلة للتكرار - المُدخل نفسه، المُخرج نفسه، كل شهر.","اختم الدالة بجمل assert تعبّر عن معنى “نظيف”، كي توقف البيانات السيئة خط المعالجة بدلًا من أن تصل إلى تقرير."],"further":[{"title":"pandas.DataFrame.drop_duplicates","url":"https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.drop_duplicates.html"},{"title":"pandas.DataFrame.duplicated","url":"https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.duplicated.html"},{"title":"The assert statement","url":"https://docs.python.org/3/reference/simple_stmts.html#the-assert-statement"}],"quiz":[{"q":"في جدول صفان متطابقان للطلب 1026. ماذا تعدّ df.duplicated().sum() لهما؟
keep="first" لا توضع علامة على النسخة الأولى؛ بل على التكرارات فقط."},{"text":"0، لأن للصفين تسميتي فهرس مختلفتين","why":"تقارن duplicated() قيم الأعمدة، لا الفهرس."},{"text":"1، النسخة الثانية فقط","why":"صحيح. يُحتفظ بالظهور الأول على أنه الأصل، وتوضع علامة على كل صف مطابق يأتي بعده. استخدم keep=False لوضع علامة على الاثنين."}],"answer":2},{"q":"لماذا تكون items.drop_duplicates(subset=["order_id"]) خطيرة على order_items؟
order_item_id."},{"text":"تُطلق خطأً لأن order_id رقمي.","why":"يمكن استخدام أيّ نوع عمود كمفتاح في subset؛ الخطر هو فقدان بيانات صامت، لا خطأ."},{"text":"تغيّر الجدول الأصلي في مكانه.","why":"تعيد drop_duplicates جدولًا (DataFrame) جديدًا؛ والخطر فيما ينقص ذلك الجدول الجديد."}],"answer":0},{"q":"ما الفائدة الأساسية من ختم دالة التنظيف بـ assert df["order_id"].is_unique؟
return في الدالة هي التي تعيد البيانات."},{"text":"إذا كسر ملف مُصدَّر في المستقبل القاعدة، يتوقّف الـ script بخطأ بدلًا من إنتاج تقرير خاطئ.","why":"صحيح. يحوّل الـ assertion الافتراض إلى حقيقة مُختبَرة في كل مرة تعمل فيها الدالة."}],"answer":3}],"exercise":{"kind":"python","files":["orders_messy.csv"],"starter":"import pandas as pd\n\ndef parse_money(values):\n cleaned = (values.astype(\"string\").str.strip()\n .str.replace(\"$\", \"\", regex=False).str.replace(\",\", \"\", regex=False))\n return pd.to_numeric(cleaned, errors=\"coerce\")\n\n\ndef clean_orders(path):\n \"\"\"Return the messy export cleaned and deduplicated.\"\"\"\n df = pd.read_csv(path)\n # strip customer; strip + title-case country\n # channel: \"mobile app\" -> \"mobile_app\", missing -> \"unknown\"\n # total: parse_money\n # order_date: pd.to_datetime(..., format=\"mixed\", dayfirst=True)\n # drop exact duplicates and reset the index\n # assert that order_id is unique\n return df\n\n\nclean = clean_orders(\"orders_messy.csv\")\n\n# Sales per cleaned country, as a dict {country: total rounded to 2 decimals}\nsales_by_country = None\n","solution":"import pandas as pd\n\ndef parse_money(values):\n cleaned = (values.astype(\"string\").str.strip()\n .str.replace(\"$\", \"\", regex=False).str.replace(\",\", \"\", regex=False))\n return pd.to_numeric(cleaned, errors=\"coerce\")\n\n\ndef clean_orders(path):\n \"\"\"Return the messy export cleaned and deduplicated.\"\"\"\n df = pd.read_csv(path)\n df[\"customer\"] = df[\"customer\"].str.strip()\n df[\"country\"] = df[\"country\"].str.strip().str.title()\n df[\"channel\"] = df[\"channel\"].str.replace(\" \", \"_\").fillna(\"unknown\")\n df[\"total\"] = parse_money(df[\"total\"])\n df[\"order_date\"] = pd.to_datetime(df[\"order_date\"], format=\"mixed\", dayfirst=True)\n df = df.drop_duplicates().reset_index(drop=True)\n assert df[\"order_id\"].is_unique, \"duplicate order ids remain\"\n return df\n\n\nclean = clean_orders(\"orders_messy.csv\")\n\nsales_by_country = {}\nfor country in clean[\"country\"].unique():\n sales_by_country[country] = round(float(clean.loc[clean[\"country\"] == country, \"total\"].sum()), 2)\nprint(sales_by_country)\n","checks":[{"id":"rows","test":"isinstance(clean, pd.DataFrame) and len(clean) == 159 and clean['order_id'].is_unique"},{"id":"index","test":"list(clean.index) == list(range(159))"},{"id":"text","test":"clean['country'].nunique() == 8 and set(clean['channel']) == {'web', 'mobile_app', 'marketplace', 'unknown'} and (clean['customer'] == clean['customer'].str.strip()).all()"},{"id":"types","test":"pd.api.types.is_numeric_dtype(clean['total']) and pd.api.types.is_datetime64_any_dtype(clean['order_date'])"},{"id":"total","test":"round(float(clean['total'].sum()), 2) == 22486.69"},{"id":"by-country","test":"isinstance(sales_by_country, dict) and len(sales_by_country) == 8 and round(sum(sales_by_country.values()), 2) == 22486.69"},{"id":"reusable","test":"len(clean_orders('orders_messy.csv')) == 159"}],"title":"اكتب clean_orders()","prompt":"أكمل clean_orders(path) بحيث تحمّل الملف المُصدَّر وتعيده منظّفًا: احذف المسافات من customer؛ واحذف المسافات من country وحوّله إلى حالة العنوان؛ وحوّل mobile app إلى mobile_app والقنوات المفقودة إلى "unknown"؛ وحوّل total بالدالة المعطاة parse_money؛ وحلّل order_date بـ pd.to_datetime(..., format="mixed", dayfirst=True)؛ واحذف المكرّرات المطابقة تمامًا وأعِد ترقيم الفهرس من 0؛ واستخدم assert للتأكّد من أن order_id فريد قبل الإعادة. ثم اجعل sales_by_country قاموسًا يربط كل دولة منظّفة بإجمالي مبيعاتها، مقرّبًا إلى منزلتين عشريتين.
df[...]. نفّذ تنظيف النصوص والمبالغ قبل drop_duplicates().","df = df.drop_duplicates().reset_index(drop=True) تحذف النسخ وتعيد ترقيم الصفوف من 0 إلى 158. ثم assert df["order_id"].is_unique, "duplicate order ids remain".","للقاموس، مرّ على clean["country"].unique() واجمع clean.loc[clean["country"] == country, "total"]، كما في الدرس 1.4. (يعرض الدرس 4.1 طريقة groupby من سطر واحد لهذا.)"],"explanation":"تقرأ الدالة ملفها بنفسها وتطبّق كل إصلاح من هذا القسم بترتيب ثابت، فتشغيلها مرتين، أو على ملف الشهر القادم، يعطي النوع نفسه من النتائج. يحدث التنظيف قبل إزالة المكرّرات كي تتطابق النسخ شبه المتطابقة أيضًا؛ وهنا كانت النسخ التسع مطابقة تمامًا. وهناك اختصار يجب أن تكون صريحًا بشأنه: ما زال format="mixed", dayfirst=True يخطئ في قراءة التواريخ الخمسة المكتوبة بالشهر أولًا التي اكتشفتها في الدرس 3.4، لذا تحتفظ النسخة المعتمدة في العمل الحقيقي بعلامة الالتباس أو تصلح تلك الصفوف من نظام الطلبات. والـ assertion هو عقد الدالة: إذا احتوى ملف مُصدَّر مستقبلي على صفين مختلفين لطلب واحد، فإنها تتوقّف بدلًا من إعادة بيانات سيئة. ومجاميع الدول تعود فتساوي 22,486.69، رقم المبيعات بعد إزالة المكرّرات، وهذا فحص “الأجزاء تساوي الكل” من الدرس 1.4 مرة أخرى. في الدرس التالي، تحلّ clean.groupby("country")["total"].sum() محل الحلقة.
clean 159 صفًا، صف لكل طلب","index":"أُعيد ترقيم الفهرس من 0 إلى 158","text":"الدول والقنوات وأسماء العملاء منظّفة","types":"total رقمي وorder_date من نوع datetime","total":"إجمالي المبيعات 22,486.69","by-country":"في sales_by_country 8 دول مجموعها 22,486.69","reusable":"استدعاء clean_orders مرة أخرى يعطي الصفوف الـ 159 نفسها"}},"words":600,"readMinutes":4}