Faragiri

همهٔ زبان‌ها

پایتون برای تحلیل داده ابزارهای تحلیل داده

پشته‌ای که یک کار داده رویش می‌ایستد، از پایین به بالا، با اینکه هر لایه برای چیست. از کجا شروع کنید، چه را یک سال کنار بگذارید، و مشکل محیط که همه را متوقف می‌کند.

۶بخش
۳دقیقه خواندن
۴عمق

چهار لایه، و فقط لایه سوم را باید درست یاد بگیرید. پشته این کار زبان است، کتابخانه آرایه، کتابخانه جدول، و کتابخانه‌های تخصصی، و بیشتر وقتی که آدم‌ها هدر می‌دهند صرف لایه‌ای می‌شود که هیچ‌وقت مستقیم به آن دست نمی‌زنند.

یک کارشناس که از اکسل می‌آید معمولاً از لایه اول شروع می‌کند و شش ماه بعد هنوز به لایه سوم نرسیده.

هر لایه برای چیست

لایه اول زبان است: حلقه، تابع، دیکشنری و پرونده. دو هفته کار است و کسر کوچکی از چیزی است که یک دوره عمومی برنامه‌نویسی درس می‌دهد. لایه دوم کتابخانه آرایه است: عدد در یک شبکه، و حساب روی همه‌اش با یک عمل. لایه سوم کتابخانه جدول است: سطر، ستون نام‌دار، نوع، اتصال و گروه‌بندی. لایه چهارم کتابخانه‌های تخصصی‌اند: رسم نمودار، آمار، یادگیری ماشین.

یک پشته، چهار لایه

چه چیزی چه چیزی را نگه می‌دارد، و کدام لایه را یاد بگیرید

لایه سوم جایی است که یک سال کار در آن اتفاق می‌افتد، و لایه دوم همان است که در آموزش‌ها اول می‌آید.

  1. زبانحلقه، تابع، دیکشنری، پرونده. کسر کوچکی از یک دوره عمومی برنامه‌نویسیدو هفته
  2. کتابخانه آرایهعدد در یک شبکه، و حساب روی همه‌اش با یک عمل. مستقیم کم نوشته می‌شودفعلا رد کنید
  3. کتابخانه جدولسطر، ستون نامدار، نوع، اتصال، گروه‌بندی. جایی که کار آنجاستشش هفته
  4. کتابخانه‌های تخصصینمودار، آمار، یادگیری ماشین، مکانی. همه همان جدول را می‌گیرندبه وقتش

لایه‌ها بر اساس وابستگی چیده شده‌اند و نه بر اساس ترتیب یادگیری، و همان دو با هم فرق دارند.

شما روی کتابخانه جدول می‌نویسید و تقریباً هیچ‌وقت مستقیم روی کتابخانه آرایه. و کتابخانه آرایه را تا وقتی چیزی مجبورتان نکرده کنار بگذارید؛ همان لایه‌ای است که در آموزش‌ها اول می‌آید و در کار روزمره تقریباً هیچ‌وقت.

چه چیزی را به چه ترتیبی یاد بگیرید

دو هفته زبان، شش هفته کتابخانه جدول، و بقیه در حین کار. کتابخانه‌های تخصصی همه همان جدول را می‌گیرند، و به همین دلیل است که لایه سوم اهمیت دارد: وقتی جدول را بلد باشید، رفتن سراغ رسم نمودار یا آمار یک بعدازظهر است.

ترتیب یادگیری

زمان‌بندی تسلط بر پشته ابزارهای داده

دو هفته برای زبان پایه، شش هفته برای جدول‌ها، و بقیه ابزارها حین کار روی پروژه‌های واقعی یاد گرفته می‌شوند.

  1. ۰۱دو هفته زبان پایهتمرکز دقیق بر حلقه، تابع، دیکشنری و خواندن پرونده بدون ورود به مباحث غیرضروری
  2. ۰۲شش هفته کتابخانه جدولکار عمیق روی سطرها، ستون‌های نامدار، فیلترها، اتصالات و گروه‌بندی دیتافریم
  3. ۰۳کتابخانه‌های تخصصی حین کارورود به رسم نمودار و آمار تنها در زمان نیاز، زیرا همگی داده را به شکل جدول می‌گیرند

تسلط عمیق بر یک کتابخانه رسم نمودار بسیار بهتر از آشنایی سطحی با چند ابزار مختلف است.

و یک کتابخانه رسم نمودار را خوب یاد بگیرید نه سه‌تا را بد. سه کتابخانه نیم‌بلد یعنی هر نمودار یک جست‌وجوی تازه.

مشکلی که بیشتر آدم‌ها را متوقف می‌کند

محیط. برای هر پروژه یک محیط مجازی جدا بسازید، چون دو پروژه نسخه‌های متفاوتی می‌خواهند. بدون این، نصب یک کتابخانه برای پروژه تازه، پروژه پارسال را می‌شکند و هیچ‌کس نمی‌فهمد چرا.

سپر پایداری محیط

مهار دو عامل شکست کدهای پایتون

جداسازی محیط پروژه‌ها و قفل کردن نسخه‌ها جلوی خطاهای ناگهانی هنگام ارتقای کتابخانه‌ها را می‌گیرد.

  1. محیط مجازی اختصاصیشکستن کدهای پروژه‌های قبلی به دلیل ارتقای نسخه‌هاامکان اجرای هم‌زمان پروژه‌ها با نسخه‌های کتابخانه‌ای کاملا مستقل
  2. پرونده قفل وابستگی‌هاخطای ناشی از تغییر نام یا رفتار توابع در نسخه‌های آیندهبازسازی دقیق و فوری محیط از روی نسخه ذخیره‌شده حتی در زمان اختلال مخازن
محیط پایدار

پرونده قفل تنها تضمینی است که اجازه می‌دهد محیط یک سال پیش دوباره بدون تغییر ساخته شود.

و با یک پرونده قفل نصب کنید، تا همان نسخه‌ها سال بعد برگردند. برای خواننده ایرانی یک نکته عملی هم هست: نصب از مخزن‌های عمومی گاهی کند یا در دسترس نیست، و همان پرونده قفل تنها چیزی است که اجازه می‌دهد یک محیط را از روی یک نسخه ذخیره‌شده دوباره بسازید.

دو عادتی که ارزش زود ساختن دارند

دفترچه برای کاوش است و اسکریپت برای هر چیزی که دو بار اجرا می‌شود. دفترچه‌ای که هر ماه دستی اجرا می‌شود، یک اسکریپت است که هنوز نوشته نشده.

جداسازی ابزارها

مرز میان دفترچه کاوش و اسکریپت تکرارپذیر

دفترچه برای آزمایش و کاوش اولیه است، اما هر فرآیندی که دوباره اجرا می‌شود باید اسکریپت شود.

دفترچه کاوشمحیط تعاملی برای آزمون فرضیه‌ها
اسکریپت تکرارپذیربرنامه مستقل برای اجرای منظم
کاربرد اصلیکاوش اولیه، نمایش دیداری داده و تحلیل مرحله‌به‌مرحلهاجرای خودکار و بدون دخالت کاربر در دوره‌های زمانی مشخص
نحوه نگهداریکدهای موقت و خروجی‌های میانی ذخیره‌شدهکد تمیز، ماژولار و نسخه‌بندی‌شده در مخزن پروژه
شیوه خواندن خطابررسی سلول جاری تا رسیدن به نتیجه مد نظرخواندن از پایین به بالا برای یافتن خط اختصاصی خودتان

دفترچه‌ای که هر ماه به صورت دستی اجرا می‌شود، در واقع اسکریپتی است که هنوز کامل نوشته نشده است.

و خطا را از پایین به بالا بخوانید، چون آخرین خط نام خط خود شماست. بیست خط بالای آن مربوط به داخل کتابخانه است و تقریباً هیچ‌وقت خواندنی نیست.

ایست: اول زبان را یاد می‌گیرند

کار اینجا می‌ایستد. یک دوره عمومی برنامه‌نویسی برداشته می‌شود، سه ماه صرف مفاهیم شیئ‌گرایی و ساختمان داده می‌شود، و هیچ جدولی هنوز خوانده نشده. دو هفته از آن دوره به کار می‌آید و بقیه‌اش برای کار دیگری است.

دوراهی یادگیری

انتخاب میان دوره عمومی نرم‌افزار یا مسیر تخصصی داده

صرف ماه‌ها زمان برای یادگیری ساختار شیءگرایی و درخت‌ها، کار با جدول را ماه‌ها به تعویق می‌اندازد.

هدف اصلی شما از یادگیری پایتون چیست؟
  • تحلیل داده و کار با جدول
    مسیر مستقیم به کتابخانه جدولفقط دو هفته صرف مفاهیم پایه و ورود فوری به کار با دیتافریم
    • یادگیری حلقه، تابع، دیکشنری و خواندن پرونده
    • ورود فوری به پردازش سطرها و ستون‌های جدول
    • پرهیز از مباحث انتزاعی معماری نرم‌افزار
  • توسعه نرم‌افزار و معماری سامانه
    دوره عمومی و شیءگراییسه ماه صرف مفاهیم عمیق شیءگرایی، الگوهای طراحی و ساختمان داده‌ها
    • مباحث وراثت، کپسوله‌سازی و کلاس‌های پیشرفته
    • پیاده‌سازی ساختمان داده‌های سنتی
    • آمادگی برای آزمون‌های ورودی مهندسی نرم‌افزار

بیشتر آموزش‌های عمومی برای مهندسان نرم‌افزار طراحی شده‌اند و تحلیلگر را در مباحث غیرکاربردی متوقف می‌کنند.

انجام دادنش، در ۲۰۲۶

pandas از ۲۰۲۶ همان لایه سوم است و جای انجام دادن همین کارها در صفحه‌گسترده را گرفته، که تکرارپذیر نیست و روی دویست هزار سطر باز نمی‌شود. رایگان و متن‌باز است و آفلاین اجرا می‌شود. Power BI Desktop هم از ۲۰۲۶ همان کارها را بدون کد انجام می‌دهد و جای نوشتن کد را برای کسی گرفته که خروجی‌اش یک گزارش تعاملی است؛ رایگان است و روی ویندوز اجرا می‌شود.

طیف ابزارهای ۲۰۲۶

جایگاه ابزارهای داده بر پایه تکرارپذیری و نیاز به کد

از صفحه‌گسترده سنتی تا کتابخانه‌های پردازش جدول، هر ابزار برای یک سطح مشخص از مقیاس ساخته شده است.

میزان اتکا به کدنویسی در ابزارهای تحلیل داده

بدون کد و دیداریکدنویسی کامل و تکرارپذیر
  1. صفحه‌گسترده سنتیآسان برای مرور سریع، اما ناتوان در پردازش تکرارپذیر دویست هزار سطر داده
  2. نرم‌افزار Power BI Desktopرایگان و بدون کد روی ویندوز برای ساخت مدل، سنجه و گزارش تعاملی پایدار
  3. کتابخانه pandasرایگان، متنباز و آفلاین برای پردازش تکرارپذیر و خودکار داده‌های جدولی سنگین

در سال ۲۰۲۶ پرونده قفل تضمین می‌کند تحلیل نوشته‌شده روی رایانه‌های دیگر نیز بدون خطای نسخه اجرا شود.

وقتی خراب می‌شود چه شکلی است

شکلش کدی است که روی یک ماشین کار می‌کند و روی ماشین بعدی نه. یک تحلیل که شش ماه پیش نوشته شده بود روی رایانه همکار خطا داد، چون نسخه کتابخانه جدول عوض شده بود و یک تابع نامش فرق کرده بود. با پرونده قفل، همان محیط در دو دقیقه ساخته می‌شد.

عمیق‌تر شدن در همان لایه سوم در دیتافریم، و کارهایی که هر روز تکرار می‌کنید آمده، و راه بدون کد در مدل، سنجه و گزارش. و همان جدول‌ها از کجا می‌آیند در CSV و JSON و اکسل، و مشکل‌های کدگذاری است. هر سه زیر تحلیل واقعاً در چه چیزی انجام می‌شود می‌نشینند.

کنار این

بالای این