اسأل الملف الفوضوي: إلى كم دولة تبيع Cartwheel؟ فيقول 22. الإجابة الحقيقية ثماني دول. والأربع عشرة الأخرى هي الدول نفسها مكتوبة بالشكل UNITED KINGDOM وunited kingdom وغيرهما. جمّع الإيراد بحسب الدولة الآن، فتتوزّع مبيعات المملكة المتحدة على ثلاثة صفوف، كلٌّ منها أصغر من حقيقته. تنظيف النصوص عمل غير لامع، لكنه الفرق بين رسم بياني صحيح وآخر خاطئ.
للـ Series النصية خاصية .str تكشف methods النصوص في Python، وتطبّقها على كل القيم دفعة واحدة:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nprint(messy[\"country\"].nunique(), \"spellings\")\nprint(messy[\"country\"].value_counts().tail(6))\n\nclean = messy[\"country\"].str.strip().str.title()\nprint(clean.nunique(), \"countries\")\nprint(sorted(clean.unique()))كل استدعاء لـ .str يعيد Series جديدة، فتسلسلها: احذف المسافات، ثم وحّد حالة الأحرف. تصبح الكتابات الـ 22 ثماني، وهذا يطابق الدول الثماني التي تبيع لها Cartwheel فعلًا. والقيم المفقودة تمرّ مفقودة بدلًا من أن تسبّب خطأً، وهذه هي الميزة الأساسية مقارنةً بكتابة حلقة تستدعي .strip() على كل قيمة بنفسك. وعدّ القيم المختلفة قبل التنظيف وبعده، كما يفعل أمرا الطباعة الأول والثالث، هو أسرع دليل على أن التنظيف فعل ما قصدته.
تعمل title() هنا لأن كل دول Cartwheel أسماء مكوّنة من كلمات عادية. لكنها ستُفسد قيمًا مثل USA (فتصبح Usa) أو McDonald (فتصبح Mcdonald). حين يكون في العمود قيم كهذه، استخدم str.lower() للمقارنة، أو قاموس تحويل مع map() كما في الدرس 2.5.
ثلاثة عشر اسم عميل في الملف المُصدَّر فيها مسافات قبلها أو بعدها. تبدو متطابقة في الجدول، فالطريقة الوحيدة لرؤيتها هي القياس:
\nimport pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\npadded = messy[\"customer\"] != messy[\"customer\"].str.strip()\nprint(padded.sum(), \"padded names\")\nprint(messy.loc[padded, \"customer\"].head(3).map(repr).tolist())\nmessy[\"customer\"] = messy[\"customer\"].str.strip()تعرض repr() النص مع علامات تنصيصه، فتجعل المسافات مرئية: ' Hassan Hughes '. الأسماء التي لم تُحذف مسافاتها تكسر بالضبط العمليات التي ستعتمد عليها لاحقًا: التجميع، والمطابقة مع جدول آخر، وحذف المكرّرات. احذف المسافات من كل عمود نصي ستجمّع أو تربط عليه، حتى لو بدا نظيفًا. وتحذف str.strip() أكثر من المسافات العادية: علامات الجدولة (tabs)، وفواصل الأسطر، والمسافات غير القابلة للكسر التي يحملها كثيرًا النص المنسوخ من صفحات الويب وملفات PDF، كلها مسافات بيضاء بالنسبة إلى Python، فيتعامل معها استدعاء واحد.
يكتب الملف المُصدَّر القناة mobile app، بينما تستخدم جداول Cartwheel النظيفة mobile_app. مطابقة الأعراف الآن توفّر عليك ربطًا فاشلًا في القسم 4:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nmessy[\"channel\"] = messy[\"channel\"].str.replace(\" \", \"_\")\nprint(messy[\"channel\"].value_counts(dropna=False))\n\nnames = messy[\"customer\"].str.strip().str.split(\" \", expand=True)\nnames.columns = [\"first_name\", \"last_name\"]\nprint(names.head(3))\n\ncoffee = messy[\"product\"].str.contains(\"coffee\", case=False)\nprint(coffee.sum(), \"coffee lines\")تعيد str.split(" ", expand=True) جدولًا (DataFrame) فيه عمود لكل جزء؛ وبدون expand تحصل على Series من القوائم، و.str[0] تختار الجزء الأول من كل منها. وتعيد str.contains() قناعًا منطقيًا جاهزًا للتصفية كما في الدرس 2.4، وcase=False تتجاهل حالة الأحرف.
تستطيع str.replace وstr.contains أيضًا أن تأخذا تعابير نمطية (regular expressions)، وهي لغة مصغّرة لأنماط النصوص. في pandas 2 تعامل str.replace الوسيط الأول كنص عادي ما لم تمرّر regex=True، وتعامله str.contains كنمط ما لم تمرّر regex=False. ويوقعك هذا الفرق في المشكلات مع الرموز التي لها معنى خاص في الأنماط، مثل $ و. و(. ويعرض الدرس 3.3 حالة $، التي تمسّ كل عمود مبالغ مالية ستنظّفه في حياتك.
كود التنظيف الذي نجح مع ملف هذا الشهر قد يقابل كتابة جديدة الشهر القادم. اختم بفحص يحدّد معنى “نظيف”:
\nimport pandas as pd\n\nEXPECTED = {\"Egypt\", \"United Arab Emirates\", \"Saudi Arabia\", \"Jordan\",\n \"United Kingdom\", \"Germany\", \"United States\", \"Canada\"}\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nmessy[\"country\"] = messy[\"country\"].str.strip().str.title()\nunexpected = set(messy[\"country\"]) - EXPECTED\nassert not unexpected, f\"Unknown countries: {unexpected}\"\nprint(\"country column OK:\", messy[\"country\"].nunique(), \"values\")لا تفعل assert condition, message شيئًا حين يكون الشرط صحيحًا، وتوقف الـ script برسالتك حين يكون خاطئًا. طرح المجموعات يسرد أيّ قيمة منظّفة ليست في القائمة المتوقّعة، وتضعها الـ f-string في رسالة الخطأ لتعرف بالضبط ما الذي تصلحه.
في التمرين تنظّف الأعمدة النصية الثلاثة في الملف المُصدَّر. وبعدها تأتي المجاميع: أرقام محبوسة داخل نصوص مثل $1,234.50.
.str يطبّق method نصية على كل قيمة في العمود، وتبقى القيم المفقودة مفقودة بدلًا من أن تسبّب أخطاء.","str.strip() وحالة أحرف موحّدة (str.title() أو str.lower()) تصلح معظم الكتابات المختلفة؛ تحقّق منها بـ nunique() قبل وبعد.","str.replace(old, new) تعامل old كنص عادي افتراضيًا في pandas 2؛ مرّر regex=True فقط حين تقصد نمطًا.","str.split(" ", expand=True) تحوّل عمودًا نصيًا واحدًا إلى عدة أعمدة، وstr.contains() تبني قناعًا منطقيًا من نمط.","اختم كل تنظيف نصي بفحص مقابل قائمة القيم التي تتوقّعها، كي تفشل كتابة جديدة الشهر القادم بصوت عالٍ."],"further":[{"title":"Working with text data","url":"https://pandas.pydata.org/docs/user_guide/text.html"},{"title":"pandas.Series.str.replace","url":"https://pandas.pydata.org/docs/reference/api/pandas.Series.str.replace.html"},{"title":"pandas.Series.str.split","url":"https://pandas.pydata.org/docs/reference/api/pandas.Series.str.split.html"}],"quiz":[{"q":"في messy["country"] 22 قيمة مختلفة لثماني دول حقيقية. أيّ سطر هو الإصلاح الذي يجب أن تكتبه؟
messy["country"].str.title()","why":"يعطي 8 في هذا الملف مصادفةً، لأن كتابات الدول فيه لا تختلف إلا في حالة الأحرف. لكن قيمة فيها مسافة زائدة في ملف الشهر القادم ستبقى مختلفة عن نظيرتها النظيفة، فاحذف المسافات أولًا كما تفعل مع أي عمود تجمّع بحسبه."},{"text":"messy["country"].str.strip().str.title()","why":"صحيح. حذف المسافات يزيل الفروق غير المرئية، وحالة العنوان (title case) تجعل EGYPT وegypt وEgypt قيمة واحدة."},{"text":"messy["country"].unique()","why":"هذا يسرد الكتابات الـ 22؛ ولا يغيّر أيًّا منها."},{"text":"messy["country"].str.replace(" ", "")","why":"هذا يحذف المسافات داخل الأسماء، فتصبح United Kingdom UnitedKingdom، ويترك اختلافات حالة الأحرف كما هي."}],"answer":1},{"q":"لماذا يسبّب messy.product.str.contains("Coffee") الخطأ AttributeError: 'function' object has no attribute 'str'؟
product اسم method في الـ DataFrame، فيعيد الوصول بالنقطة الـ method بدلًا من العمود.","why":"صحيح. الـ method DataFrame.product() تضرب القيم، وتحجب العمود. أما messy["product"] فتصل إلى العمود دائمًا."},{"text":"العمود فيه قيم مفقودة.","why":"القيم المفقودة تجعل methods الـ .str تعيد NaN لتلك الصفوف؛ ولا تسبّب AttributeError."},{"text":"contains لا تعمل إلا على الأعمدة المحمّلة بـ dtype="string".","why":"تعمل .str.contains على الأعمدة النصية العادية (object) أيضًا."}],"answer":0},{"q":"نظّفت عمود الدولة ثم شغّلت assert set(clean) <= set(EXPECTED). ما فائدة هذا الـ assertion؟
في messy: احذف المسافات من customer؛ واحذف المسافات من country وحوّله إلى حالة العنوان (title case)؛ وفي channel، استبدل المسافة بشرطة سفلية (mobile app ← mobile_app) واملأ القيم المفقودة بـ "unknown". أضِف عمودًا first_name يحمل الكلمة الأولى من اسم العميل المنظّف. وأخيرًا اجعل desk_lines عدد الصفوف التي يحتوي فيها product على “desk” بأيّ حالة أحرف.
.str وأسنِد النتيجة إلى العمود نفسه: messy["country"] = messy["country"].str.strip().str.title().","تترك .str.replace(" ", "_") القيم المفقودة مفقودة، فتستطيع تسلسل .fillna("unknown") بعدها مباشرة.","messy["customer"].str.split(" ").str[0] تأخذ الكلمة الأولى. وللعدّ، str.contains("desk", case=False).sum()؛ واستخدم messy["product"] لا messy.product."],"explanation":"بعد حذف المسافات وتحويل حالة الأحرف، تتقلّص كتابات الدول الـ 22 إلى الدول الثماني التي تبيع لها Cartwheel بالضبط، ويبقى 122 اسم عميل مختلفًا بعد أن تتطابق المكرّرات المحاطة بالمسافات مع نظيراتها المنظّفة. والقناة الآن تستخدم الأكواد نفسها التي في جدول orders النظيف، فيمكن مقارنة الاثنين أو ربطهما لاحقًا. تأخذ str.split(" ").str[0] الجزء الأول من كل تقسيم؛ أما expand=True فتعطيك كل الأجزاء كأعمدة. وتجد case=False كلًّا من Standing Desk 140cm وCompact Writing Desk وDesk Mat XL: 15 بندًا.
country يحمل الدول الحقيقية الثماني بالضبط","channel":"channel يستخدم web وmobile_app وmarketplace وunknown","first-name":"first_name يحمل كلمة واحدة لكل صف، أولها Daniel","desk":"desk_lines يساوي 15"}},"words":608,"readMinutes":4}