{"id":"l-pda-3-3","courseId":"python-data-analysis","lang":"ar","kind":"lesson","summary":"حوّل المبالغ المالية المخزّنة كنص، مثل “$1,234.50”، إلى عمود رقمي بحذف الرموز، والتحويل بـ astype أو to_numeric، ثم فحص كل قيمة فشل تحويلها.","html":"

اسأل الملف الفوضوي عن إجمالي مبيعاته، فتحصل على شيء غريب. لا خطأ، ولا رقم: نص طويل يبدأ بـ '$65.0018.0033.00...'. يبدو عمود total رقميًا في جدول البيانات، لكن نحو نصف قيمه يبدأ بعلامة دولار، فخزّنت pandas العمود كله كنص، وجمع النصوص يعني لصقها. وصول المبالغ المالية كنصوص من أشيع المشكلات في البيانات المُصدَّرة، وتحتاج إصلاحًا مقصودًا ومفحوصًا.

\n

اكتشفها: النوع object في عمود أرقام

\n
Python
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nprint(messy[\"total\"].dtype)\nprint(messy[\"total\"].head(3).tolist())\nprint(repr(messy[\"total\"].sum()[:40]))\nprint(messy[\"total\"].str.startswith(\"$\").sum(), \"values start with $\")
\n

يلتقط روتين الفحص من الدرس 2.2 هذا فورًا: كانت info() ستعرض total كـ object حيث توقّعت float64. كلما كان عمود يُفترض أن يحمل أرقامًا من النوع object، فهناك قيمة واحدة على الأقل فيها شيء ليس رقمًا. هنا، 76 قيمة من 168 تبدأ بـ $.

\n

أصلحها: احذف الرموز ثم حوّل

\n

أزِل كل حرف ليس جزءًا من الرقم، ثم حوّل النص النظيف:

\n
Python
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\ntotal = (\n    messy[\"total\"]\n    .str.strip()\n    .str.replace(\"$\", \"\", regex=False)\n    .str.replace(\",\", \"\", regex=False)\n    .astype(float)\n)\nprint(total.dtype, round(total.sum(), 2))\nprint(total.describe().round(2))
\n

تغليف السلسلة بقوسين يتيح لك وضع خطوة في كل سطر، وهذا أسهل في القراءة وفي تعطيل خطوة بتعليق أثناء تتبّع الأخطاء. وفاصل الآلاف يُزال أيضًا: هذا الملف المُصدَّر تصادف أنه لا يحتوي مجاميع فوق 1,000 دولار، لكن الملف التالي سيحتوي، و"1,234.50" ستكسر astype(float).

\n

describe() هي فحص السلامة. تتراوح المجاميع بين 18 و942.90 دولارًا بوسيط 72، وهذا يطابق كتالوج Cartwheel: أرخص منتج حبل قفز بـ 18 دولارًا، وأكبر بند مكتبان واقفان. أما حد أدنى قدره 0 أو حد أقصى قدره 94,290 فسيخبرك بأن فاصلة عشرية ضاعت.

\n

مجموع 23,500.67 ليس رقم إيراد بعد: الملف المُصدَّر ما زال يحتوي تسعة صفوف مكرّرة. ستزيلها في الدرس 3.5.

\n

فخ علامة الدولار

\n

تستطيع str.replace أيضًا العمل مع التعابير النمطية (regular expressions)، وهي لغة أنماط لبعض الحروف فيها معانٍ خاصة. و$ واحدة منها: تعني “نهاية النص”. انظر ماذا يحدث حين تطلب نمطًا بالخطأ:

\n
Python
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nas_pattern = messy[\"total\"].str.replace(\"$\", \"\", regex=True)\nprint(as_pattern.head(1).tolist())   # still '$65.00'\ntry:\n    pd.to_numeric(as_pattern)\nexcept ValueError as error:\n    print(\"ValueError:\", error)
\n

طابق النمط $ الموضع الفارغ في نهاية كل نص واستبدله بلا شيء، فنجت كل علامات الدولار. في pandas 2 تكون القيمة الافتراضية لـ str.replace هي regex=False، لكن الدروس التعليمية القديمة وإصدارات pandas الأقدم كانت تفترض الأنماط، وستقابل كودًا مكتوبًا بالطريقتين. كتابة regex=False صراحةً توضّح القصد لكل قارئ ولكل إصدار. وإذا أردت نمطًا فعلًا، فاهرب من الحرف الخاص (escape) أو استخدم فئة حروف: str.replace(r"[$,]", "", regex=True) تزيل الرمزين في خطوة واحدة.

\n

حين لا تتحوّل بعض القيم

\n

astype(float) كل شيء أو لا شيء: قيمة سيئة واحدة ويفشل التحويل كله. أما pd.to_numeric مع errors="coerce" فتحوّل ما تستطيع وتحوّل البقية إلى NaN. هذا مفيد وخطير بالقدر نفسه، لذا يأتي دائمًا مع فحص لاحق:

\n
Python
import pandas as pd\n\nraw = pd.Series([\"$1,234.50\", \"18.00\", \"N/A\", \"€89.00\", \" $65.00 \"])\ncleaned = raw.str.strip().str.replace(\"$\", \"\", regex=False).str.replace(\",\", \"\", regex=False)\namount = pd.to_numeric(cleaned, errors=\"coerce\")\nprint(amount)\n\nfailed = amount.isna() & raw.notna()\nprint(\"Could not convert:\", raw[failed].tolist())
\n

يسرد الفحص ما فشل بالضبط: N/A، وهي قيمة مفقودة فعلًا، و€89.00، وهي عملية بيع حقيقية بعملة لم تتوقّعها أداة التنظيف. وهاتان تحتاجان معاملة مختلفة. الأولى تبقى مفقودة؛ والثانية تحتاج قاعدة تحويل، أو على الأقل حديثًا مع من أنتج الملف. الإجبار على التحويل دون نظر كان سيُسقط بهدوء 89 يورو من المبيعات من كل مجموع.

\n\n

اجعلها دالة

\n

ستنظّف أعمدة مبالغ مالية مرة أخرى، في هذه الدورة وفي عملك. ضع المنطق حيث يمكن إعادة استخدامه واختباره:

\n
Python
import pandas as pd\n\ndef parse_money(values):\n    \"\"\"Convert text like ' $1,234.50' to floats; unparseable values become NaN.\"\"\"\n    cleaned = (\n        values.astype(\"string\")\n        .str.strip()\n        .str.replace(\"$\", \"\", regex=False)\n        .str.replace(\",\", \"\", regex=False)\n    )\n    return pd.to_numeric(cleaned, errors=\"coerce\")\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nmessy[\"total\"] = parse_money(messy[\"total\"])\nprint(messy[\"total\"].dtype, messy[\"total\"].isna().sum(), \"unparsed\")
\n

تجعل astype("string") في البداية الدالة آمنة مع الأعمدة التي قرأتها pandas أصلًا كأرقام (حين يتصادف ألّا يحتوي ملف على $ إطلاقًا)، لأن methods الـ .str لا تعمل إلا على النصوص. ولأن المُدخل عمود من النوع string، تعيد to_numeric النوع Float64 القابل للقيم المفقودة الذي رأيته في الدرس 3.1، مع <NA> حيث فشل التحويل. وتعيد الدالة Series جديدة، ويقرّر المستدعي أين يخزّنها، وهو المبدأ نفسه في الإعادة بدلًا من الطباعة من الدرس 1.5.

\n\n

في التمرين تبني أداة التحويل وتطبّقها على الملف المُصدَّر. وبعدها يأتي أصعب عمود في الملف: تواريخ مكتوبة بثلاث طرق مختلفة.

\n","toc":[{"id":"sec-1","text":"اكتشفها: النوع object في عمود أرقام","level":2},{"id":"sec-2","text":"أصلحها: احذف الرموز ثم حوّل","level":2},{"id":"sec-3","text":"فخ علامة الدولار","level":2},{"id":"sec-4","text":"حين لا تتحوّل بعض القيم","level":2},{"id":"sec-5","text":"اجعلها دالة","level":2}],"takeaways":["العمود الذي يبدو رقميًا ونوعه object هو نص، وsum() عليه تلصق النصوص ببعضها بدلًا من جمع الأرقام.","أزِل رموز العملة وفواصل الآلاف بـ str.replace(..., regex=False)، ثم حوّل بـ astype(float) أو pd.to_numeric.","في التعابير النمطية تعني $ “نهاية النص”، فلا تزيل str.replace("$", "", regex=True) شيئًا.","تحوّل pd.to_numeric(errors="coerce") القيم التي لا يمكن تحليلها إلى NaN؛ فاسرد دائمًا القيم التي فشلت قبل أن تتابع.","غلّف التنظيف في دالة، وافحص سلامة النتيجة بـ describe() والحد الأدنى والحد الأقصى."],"further":[{"title":"pandas.to_numeric","url":"https://pandas.pydata.org/docs/reference/api/pandas.to_numeric.html"},{"title":"pandas.Series.astype","url":"https://pandas.pydata.org/docs/reference/api/pandas.Series.astype.html"},{"title":"Regular expression syntax (re module)","url":"https://docs.python.org/3/library/re.html#regular-expression-syntax"}],"quiz":[{"q":"

نوع messy["total"] هو object. ماذا تعيد messy["total"].sum()؟

","options":[{"text":"المجموع الصحيح كعدد عشري","why":"تجمع pandas النصوص بـ +، وهذا يصل النصوص ببعضها. لا تحصل على مجموع رقمي إلا بعد التحويل."},{"text":"خطأ TypeError","why":"العامل + معرَّف للنصوص، فتلصقها pandas ببعضها دون أي اعتراض أو خطأ، وهذا ما يجعل هذا الفخ خطيرًا."},{"text":"NaN، لأن بعض القيم فيها $","why":"لا يُحلَّل شيء، فلا يوجد فشل تحويل ينتج NaN."},{"text":"نص طويل واحد فيه كل المجاميع ملتصقة ببعضها","why":"صحيح. النصوص تتّصل ببعضها مع +، فيكون “المجموع” نصًا مثل '$65.0018.0033.00...'."}],"answer":3},{"q":"

أيّ سطر يزيل علامات الدولار من قيم بشكل "$65.00"؟

","options":[{"text":"s.str.replace("$", "", regex=False)","why":"صحيح. مع regex=False تُطابَق $ كحرف عادي. (وهذا أيضًا السلوك الافتراضي لـ str.replace في pandas 2.)"},{"text":"s.str.replace("$", "", regex=True)","why":"كنمط، تطابق $ نهاية النص، وهي موضع فارغ، فلا يُزال شيء مرئي."},{"text":"s.str.strip("$") ثم astype(int)","why":"حذف $ بـ strip يعمل مع العلامات في البداية، لكن astype(int) تفشل مع "65.00" لأن فيها كسورًا عشرية."}],"answer":0},{"q":"

أعادت pd.to_numeric(cleaned, errors="coerce") أربع قيم NaN لم تكن مفقودة من قبل. ماذا تفعل بعد ذلك؟

","options":[{"text":"املأها بـ 0 كي تتطابق المجاميع.","why":"هذا يخفي أربع عمليات بيع حقيقية. اعرف ما هي أولًا."},{"text":"اطبع النصوص الأصلية لتلك الصفوف وقرّر كيف تتعامل مع كل صيغة.","why":"صحيح. الإجبار على التحويل (coercion) وسيلة للعثور على المشكلات، لا لإخفائها. قد تحمل تلك الصفوف علامة يورو أو فاصلة عشرية أوروبية فاتت أداة التنظيف لديك."},{"text":"احذف تلك الصفوف، فهي غير صالحة.","why":"إنها مبيعات صالحة بصيغة لم تتوقّعها. حذفها يقلّل الإيراد عن حقيقته."},{"text":"انتقل إلى errors="ignore" كي يبقى العمود دون تغيير.","why":"عندها لن يُحوَّل شيء إطلاقًا، وهذا الخيار مُهمَل (deprecated) في إصدارات pandas الحديثة."}],"answer":1}],"exercise":{"kind":"python","files":["orders_messy.csv"],"starter":"import pandas as pd\n\ndef parse_money(values):\n \"\"\"Convert a Series of text like ' $1,234.50' to floats.\n Values that cannot be converted become NaN.\"\"\"\n return values\n\n\nmessy = pd.read_csv(\"orders_messy.csv\")\n\n# 1. Replace messy[\"total\"] with the parsed numbers\n\n# 2. Sum of all totals, rounded to 2 decimals\ntotal_sum = None\n\n# 3. Number of rows with a total above 200\nover_200 = None\n","solution":"import pandas as pd\n\ndef parse_money(values):\n \"\"\"Convert a Series of text like ' $1,234.50' to floats.\n Values that cannot be converted become NaN.\"\"\"\n cleaned = (\n values.astype(\"string\")\n .str.strip()\n .str.replace(\"$\", \"\", regex=False)\n .str.replace(\",\", \"\", regex=False)\n )\n return pd.to_numeric(cleaned, errors=\"coerce\")\n\n\nmessy = pd.read_csv(\"orders_messy.csv\")\n\nmessy[\"total\"] = parse_money(messy[\"total\"])\ntotal_sum = round(float(messy[\"total\"].sum()), 2)\nover_200 = int((messy[\"total\"] > 200).sum())\n","checks":[{"id":"parse-basic","test":"[float(x) for x in parse_money(pd.Series(['$65.00', '18.00', ' $129.00 ']))] == [65.0, 18.0, 129.0]"},{"id":"parse-thousands","test":"float(parse_money(pd.Series(['$1,234.50'])).iloc[0]) == 1234.5"},{"id":"parse-bad","test":"pd.isna(parse_money(pd.Series(['N/A', '$12.00'])).iloc[0])"},{"id":"column-numeric","test":"pd.api.types.is_float_dtype(messy['total']) and int(messy['total'].isna().sum()) == 0"},{"id":"sum","test":"round(float(total_sum), 2) == 23500.67"},{"id":"over-200","test":"int(over_200) == 31"}],"title":"ابنِ أداة تحليل للمبالغ المالية","prompt":"

أكمل parse_money(values) بحيث تأخذ Series من نصوص مثل " $1,234.50" أو "$65.00" أو "18.00" وتعيد Series من الأعداد العشرية، وتحوّل أيّ قيمة لا يمكن تحليلها (مثل "N/A") إلى NaN بدلًا من إطلاق خطأ. ثم استبدل messy["total"] بالقيم المحلَّلة، واجعل total_sum مجموعها مقرّبًا إلى منزلتين عشريتين، واجعل over_200 عدد الصفوف التي مجموعها أكبر من 200.

\n","hints":["داخل الدالة: احذف المسافات، وأزِل $ و, بـ .str.replace(..., regex=False)، ثم حوّل.","pd.to_numeric(cleaned, errors="coerce") تحوّل ما تستطيع وتعيد NaN للبقية.","أسنِد النتيجة بـ messy["total"] = parse_money(messy["total"])؛ وعُدّ بـ (messy["total"] > 200).sum()."],"explanation":"

تزيل الدالة الرمزين كنص عادي، وتترك التحويل لـ to_numeric مع errors="coerce"، فتصبح قيمة شاردة مثل N/A قيمةَ NaN بدلًا من أن تُفشل تحويل العمود كله. في هذا الملف المُصدَّر تُحلَّل كل القيم (لا قيم NaN جديدة)، وهذا ما يؤكّده الفحص column-numeric. وastype("string") في البداية اختيارية هنا، لكنها تجعل الدالة آمنة مع عمود قرأته pandas أصلًا كأرقام. والمجموع 23,500.67 ما زال يحسب تسعة صفوف مكرّرة مرتين؛ وستصلح ذلك في الدرس 3.5.

\n","checkLabels":{"parse-basic":"parse_money تتعامل مع $ والأرقام العادية والمسافات الشاردة","parse-thousands":"parse_money تزيل فواصل الآلاف","parse-bad":"parse_money تحوّل "N/A" إلى NaN بدلًا من إطلاق خطأ","column-numeric":"messy["total"] عمود أعداد عشرية بلا تحويلات فاشلة","sum":"total_sum يساوي 23,500.67","over-200":"31 صفًا مجموعها أكبر من 200"}},"words":659,"readMinutes":4}