يكتب الملف الفوضوي التواريخ بثلاث طرق: 2024-03-05 و05/03/2024 و03/05/2024. الأولى لا لبس فيها. والأخريان اليوم نفسه مكتوبًا بجدول بيانات أوروبي وآخر أمريكي، والمشكلة أن 03/05/2024 قد تكون أيضًا الطريقة الأوروبية لكتابة 3 مايو. التواريخ هي العمود الذي تتباعد فيه عبارة “تم التحليل دون أخطاء” عن عبارة “النتيجة صحيحة” أكثر من أي عمود آخر.
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nprint(messy[\"order_date\"].sample(8, random_state=1).tolist())\ntry:\n pd.to_datetime(messy[\"order_date\"])\nexcept ValueError as error:\n print(str(error).splitlines()[0])تستنتج pandas 2 صيغة واحدة من القيمة الأولى، 2024-01-02، وتطبّقها على العمود كله. الصف 6، 08/04/2024، لا يناسبها، فيتوقّف التحويل. هذه الصرامة ميزة: الإصدارات الأقدم كانت تخمّن صفًا بصف، وقد تخلط بين الأيام والأشهر بصمت.
أنت تعرف أيّ الصيغ موجودة، فقل ذلك. رموز الصيغة تصف الترتيب: %Y سنة من أربعة أرقام، و%m شهر من رقمين، و%d يوم من رقمين. حلّل العمود مرة لكل صيغة مع errors="coerce"، التي تحوّل الصفوف غير المطابقة إلى NaT (“ليس وقتًا” في pandas)، ثم املأ الفجوات بحسب ترتيب الأفضلية:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nraw = messy[\"order_date\"]\niso = pd.to_datetime(raw, format=\"%Y-%m-%d\", errors=\"coerce\")\ndmy = pd.to_datetime(raw, format=\"%d/%m/%Y\", errors=\"coerce\")\nmdy = pd.to_datetime(raw, format=\"%m/%d/%Y\", errors=\"coerce\")\nprint(iso.notna().sum(), \"ISO |\", dmy.notna().sum(), \"fit day-first |\", mdy.notna().sum(), \"fit month-first\")\n\nparsed = iso.fillna(dmy).fillna(mdy)\nprint(parsed.isna().sum(), \"unparsed\")\nprint(parsed.min(), parsed.max())حُلّل كل صف، والنطاق صحيح: من يناير 2024 إلى ديسمبر 2025. يأتي اليوم أولًا قبل الشهر أولًا في السلسلة لأن معظم دول Cartwheel تكتب التواريخ بهذه الطريقة. وتستطيع pandas فعل الشيء نفسه في استدعاء واحد بـ pd.to_datetime(raw, format="mixed", dayfirst=True)، التي تحلّل كل قيمة وحدها؛ النسخة الصريحة أطول، لكنها تبيّن لك بالضبط أيّ قاعدة حسمت كل صف.
لكن انظر إلى الأعداد. 57 قيمة تناسب اليوم أولًا و44 تناسب الشهر أولًا، من 68 قيمة فقط فيها شرطات مائلة. إذن 33 منها تناسب الاثنتين.
\nالقيمة التي تُحلَّل بالطريقتين إلى تاريخين مختلفين ملتبسة. ثلاث من القيم الـ 33 تواريخ مثل 05/05/2025، حيث تتّفق القراءتان، فهي غير مؤذية:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nraw = messy[\"order_date\"]\ndmy = pd.to_datetime(raw, format=\"%d/%m/%Y\", errors=\"coerce\")\nmdy = pd.to_datetime(raw, format=\"%m/%d/%Y\", errors=\"coerce\")\nambiguous = dmy.notna() & mdy.notna() & (dmy != mdy)\nprint(ambiguous.sum(), \"ambiguous dates\")\nprint(raw[ambiguous].head(6).tolist())ثلاثون صفًا تعتمد على افتراض. تستطيع أن تفترض، كما فعلت سلسلة fillna، لكن يجب أن تعرف أنك افترضت، ويجب أن يعرف ذلك أيضًا من يقرأ تقريرك.
جدول orders النظيف لدى Cartwheel هو نظام السجلات الأساسي: كل معرّف طلب في الملف المُصدَّر يظهر هناك أيضًا مع وقته الحقيقي. البحث بمعرّف الطلب يتيح لك اختبار الافتراض مباشرة. تحوّل set_index("order_id") التواريخ إلى Series مسمّاة بالمعرّف، وتبحث map() عن كل صف من الملف المُصدَّر فيها:
import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\nraw = messy[\"order_date\"]\niso = pd.to_datetime(raw, format=\"%Y-%m-%d\", errors=\"coerce\")\ndmy = pd.to_datetime(raw, format=\"%d/%m/%Y\", errors=\"coerce\")\nmdy = pd.to_datetime(raw, format=\"%m/%d/%Y\", errors=\"coerce\")\nparsed = iso.fillna(dmy).fillna(mdy)\n\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\ntrue_dates = orders.set_index(\"order_id\")[\"order_date\"].dt.normalize()\ntruth = messy[\"order_id\"].map(true_dates)\n\nwrong = parsed != truth\nprint(wrong.sum(), \"dates disagree with the order system\")\nprint(messy.loc[wrong, [\"order_id\", \"order_date\"]].assign(parsed=parsed[wrong].dt.date, real=truth[wrong].dt.date))تُسقط dt.normalize() الوقت من اليوم كي تكون المقارنة تاريخًا بتاريخ. خمسة تواريخ خاطئة، وكل واحد منها قيمة ملتبسة كانت فعلًا بصيغة الشهر أولًا: 02/08/2025 هو 8 فبراير، لا 2 أغسطس. كان افتراض اليوم أولًا صحيحًا في 25 من 30 صفًا ملتبسًا، وهذا يبدو جيدًا حتى تدرك أنه ينقل خمسة طلبات إلى الشهر الخطأ، وبعضها إلى الربع الخطأ.
الملف المُصدَّر يحمل تواريخ فقط، لكن جدول orders فيه طوابع زمنية كاملة مثل 2025-12-30 21:19:03، ولا يذكر أيٌّ منها منطقته الزمنية. تسجّل Cartwheel كل شيء بساعة متجر واحدة، فتستطيع معاملتها كأوقات محلية والمضيّ قُدمًا. أما حين يحتوي ملف على فروق توقيت مثل +04:00، فمرّر utc=True إلى pd.to_datetime كي تستقر كل القيم على ساعة مشتركة واحدة قبل أن تقارنها أو تجمّعها؛ ترك المناطق الزمنية مختلطة هو ما يجعل طلبين قُدّما في اللحظة نفسها في دبي ولندن ينتهيان في تاريخين مختلفين، أو حتى في سنتين مختلفتين حول منتصف ليل 31 ديسمبر.
حين يصبح العمود datetime64، يكشف الـ accessor المسمّى .dt أجزاءه:
import pandas as pd\n\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nd = orders[\"order_date\"]\nprint(d.dt.year.value_counts().sort_index())\nprint(d.dt.day_name().value_counts().head(3))\nprint(d.dt.to_period(\"M\").value_counts().sort_index().tail(3))السنة، والشهر، واسم يوم الأسبوع، والشهر التقويمي كفترة (period): هذه هي المفاتيح التي ستجمّع بحسبها في القسم 4، حيث يشرح الدرس 4.4 السلاسل الزمنية (time series) بالتفصيل.
\nفي التمرين تحلّل تواريخ الملف المُصدَّر وتضع عليها العلامات وتصلحها. ثم تبقى مشكلة واحدة قبل أن يصبح الملف نظيفًا: صفوف تظهر مرتين.
\n","toc":[{"id":"sec-1","text":"ترك pandas تخمّن","level":2},{"id":"sec-2","text":"حلّل كل صيغة صراحةً","level":2},{"id":"sec-3","text":"ضع علامة على الالتباس","level":2},{"id":"sec-4","text":"تحقّق مقابل مصدر الحقيقة","level":2},{"id":"sec-5","text":"الأوقات والمناطق الزمنية","level":3},{"id":"sec-6","text":"ما يعطيك إياه عمود تواريخ حقيقي","level":2}],"takeaways":["بدونformat= تخمّن pandas 2 الصيغة من القيمة الأولى، وتفشل مع أيّ صف مكتوب بشكل مختلف.","حلّل كل صيغة معروفة صراحةً بـ pd.to_datetime(col, format=..., errors="coerce")، ثم ادمج النتائج بـ fillna.","تاريخ مثل 05/08/2025 يُحلَّل وفق قاعدتي اليوم أولًا والشهر أولًا كلتيهما؛ ولا تستطيع أيّ أداة تحليل أن تخبرك أيّهما الصحيح.","ضع علامة على القيم الملتبسة وحلّها من مصدر موثوق (نظام السجلات الأساسي، أو عمود آخر، أو الشخص الذي أعدّ الملف)، لا بالافتراض وحده أبدًا.","حين يصبح العمود datetime64، يعطيك الـ accessor المسمّى .dt كلًّا من year وmonth وday_name() وto_period() للتجميع."],"further":[{"title":"pandas.to_datetime","url":"https://pandas.pydata.org/docs/reference/api/pandas.to_datetime.html"},{"title":"strftime() and strptime() format codes","url":"https://docs.python.org/3/library/datetime.html#strftime-and-strptime-format-codes"},{"title":"Time series / date functionality","url":"https://pandas.pydata.org/docs/user_guide/timeseries.html"}],"quiz":[{"q":"يُطلق pd.to_datetime(messy["order_date"]) الخطأ ValueError: time data "08/04/2024" doesn't match format "%Y-%m-%d". لماذا؟
2024-01-02 هي التي حدّدتها."},{"text":"التواريخ ذات الشرطات المائلة غير مدعومة في pandas.","why":"التواريخ ذات الشرطات المائلة تُحلَّل بلا مشكلة مع الـ format الصحيح، مثل %d/%m/%Y."},{"text":"العمود فيه قيم مفقودة.","why":"القيم المفقودة تصبح NaT (ليس وقتًا)؛ ولا تسبّب خطأ صيغة."}],"answer":1},{"q":"أيّ هذه القيم ملتبس، أي أن قراءتي اليوم أولًا والشهر أولًا تعطيان تاريخين صالحين لكن مختلفين؟
","options":[{"text":"25/10/2025","why":"لا يوجد شهر رقمه 25، فالقراءة الوحيدة الصالحة هي اليوم أولًا."},{"text":"10/25/2025","why":"لا يوجد شهر 25 في قراءة اليوم أولًا أيضًا، فلا بد أن تكون الشهر أولًا."},{"text":"2025-10-05","why":"تواريخ ISO تضع دائمًا السنة ثم الشهر ثم اليوم، فلها قراءة واحدة فقط."},{"text":"05/08/2025","why":"صحيح. قد يكون 5 أغسطس أو 8 مايو. وحدها المعلومات الخارجية تستطيع الحسم."}],"answer":3},{"q":"تفترض أداة التحليل لديك أن اليوم أولًا في التواريخ الملتبسة. كيف تتحقّق من صحة هذا الافتراض؟
","options":[{"text":"قارن التواريخ المحلَّلة بمصدر موثوق للسجلات نفسها، مثل نظام الطلبات، وعُدّ حالات الاختلاف.","why":"صحيح. هنا يُظهر جدولorders النظيف أن الافتراض خاطئ في 5 من الصفوف الملتبسة الـ 30."},{"text":"تحقّق من أنه لا يوجد تاريخ محلَّل قيمته NaT.","why":"التاريخ الملتبس لا يفشل تحليله أبدًا؛ بل يُحلَّل إلى تاريخ خاطئ، وهذا ما لا يستطيع هذا الفحص رؤيته."},{"text":"تحقّق من أن كل التواريخ تقع بين 2024 و2025.","why":"تبديل اليوم والشهر داخل السنة نفسها يبقى ضمن النطاق، فلا يستطيع هذا الفحص التقاط الخطأ."}],"answer":0}],"exercise":{"kind":"python","files":["orders_messy.csv","orders.csv"],"starter":"import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nraw = messy[\"order_date\"]\n\n# 1. Parse raw three ways (ISO, day-first, month-first) and combine: ISO, then day-first, then month-first\nparsed = None\n\n# 2. Column is_ambiguous: True where raw parses both day-first and month-first to DIFFERENT dates\n\n# 3. The real date of each export row, looked up by order_id in orders (date only, no time)\ntruth = None\n\n# 4. How many parsed dates disagree with truth\nn_wrong = None\n\n# 5. messy[\"order_date\"]: parsed dates, but use truth for the ambiguous rows\n","solution":"import pandas as pd\n\nmessy = pd.read_csv(\"orders_messy.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nraw = messy[\"order_date\"]\n\niso = pd.to_datetime(raw, format=\"%Y-%m-%d\", errors=\"coerce\")\ndmy = pd.to_datetime(raw, format=\"%d/%m/%Y\", errors=\"coerce\")\nmdy = pd.to_datetime(raw, format=\"%m/%d/%Y\", errors=\"coerce\")\nparsed = iso.fillna(dmy).fillna(mdy)\n\nmessy[\"is_ambiguous\"] = dmy.notna() & mdy.notna() & (dmy != mdy)\n\ntrue_dates = orders.set_index(\"order_id\")[\"order_date\"].dt.normalize()\ntruth = messy[\"order_id\"].map(true_dates)\n\nn_wrong = int((parsed != truth).sum())\n\nmessy[\"order_date\"] = parsed.where(~messy[\"is_ambiguous\"], truth)\nprint(n_wrong, messy[\"is_ambiguous\"].sum())\n","checks":[{"id":"parsed","test":"isinstance(parsed, pd.Series) and pd.api.types.is_datetime64_any_dtype(parsed) and int(parsed.isna().sum()) == 0"},{"id":"ambiguous","test":"'is_ambiguous' in messy.columns and int(messy['is_ambiguous'].sum()) == 30"},{"id":"wrong","test":"int(n_wrong) == 5"},{"id":"fixed-column","test":"pd.api.types.is_datetime64_any_dtype(messy['order_date']) and messy.loc[messy['order_id'] == 2401, 'order_date'].iloc[0] == pd.Timestamp('2025-02-08')"},{"id":"all-correct","test":"(messy['order_date'] == messy['order_id'].map(orders.set_index('order_id')['order_date'].dt.normalize())).all()"}],"title":"حلّل التواريخ وضع العلامات وأصلحها","prompt":"باستخدام raw = messy["order_date"]: ابنِ parsed بتحليل صيغة ISO (%Y-%m-%d)، ثم اليوم أولًا (%d/%m/%Y)، ثم الشهر أولًا (%m/%d/%Y)، ودمجها بهذا الترتيب. أضِف عمودًا منطقيًا is_ambiguous يساوي True حيث ينجح تحليلا اليوم أولًا والشهر أولًا كلاهما ويعطيان تاريخين مختلفين. اجعل truth التاريخ الحقيقي لكل صف من orders، بالبحث بـ order_id ومع حذف الوقت، وn_wrong عدد تواريخ parsed التي تختلف عنه. وأخيرًا، اجعل messy["order_date"] مساويًا لـ parsed، إلا في الصفوف الملتبسة، حيث يأخذ القيمة من truth.
pd.to_datetime(raw, format=..., errors="coerce")، ثم سلسِل .fillna() بحسب ترتيب الأفضلية.","الملتبس: dmy.notna() & mdy.notna() & (dmy != mdy). وللحقيقة: orders.set_index("order_id")["order_date"].dt.normalize() هي Series للبحث؛ وmessy["order_id"].map(...) تستخدمها.","تحتفظ parsed.where(condition, other) بـ parsed حيث يكون الشرط True وتأخذ other في غير ذلك، فيكون الشرط ~messy["is_ambiguous"]."],"explanation":"الصيغ الصريحة مع errors="coerce" تحلّل كل صف وتسجّل أيّ قاعدة طابقت. ثلاثون قيمة تناسب صيغتي الشرطة المائلة بنتيجتين مختلفتين؛ ويصيب تفضيل اليوم أولًا في 25 منها ويخطئ في 5، وهذا ما لا يمكنك اكتشافه إلا بالفحص مقابل نظام الطلبات. تحتفظ Series.where(cond, other) بالقيم حيث يتحقّق الشرط وتستبدلها في غير ذلك، فلا تُستبدل إلا الصفوف الملتبسة، ويطابق العمود المُصلَح الآن مصدر الحقيقة في الصفوف الـ 168 كلها. في المشاريع الحقيقية، احتفظ بعلامة is_ambiguous حتى بعد الإصلاح: فهي توثّق أيّ القيم اعتمدت على بحث خارجي.
parsed هي Series من التواريخ ليس فيها قيم غير محلَّلة","ambiguous":"is_ambiguous تضع علامة على 30 صفًا","wrong":"n_wrong يساوي 5","fixed-column":"تاريخ الطلب 2401 هو 8 فبراير 2025، لا 2 أغسطس","all-correct":"كل تاريخ مُصلَح يطابق نظام الطلبات"}},"words":624,"readMinutes":4}