Faragiri

همهٔ زبان‌ها

آموزش ابزارهای تحلیل داده داده · پایتون برای داده، پاور بی‌آی، متلب

کد یا کلیک، بحث بر سر بهتر بودن نیست؛ بحث بر سر این است که در کدام نیمه کار ایستاده‌اید. و پله، خاصیت فرایند است نه ابزار.

۳شاخه
۳زیرمجموعه
۳عمق

بحث میان ابزار کدنویس و ابزار کلیکی، بحث بر سر بهتر بودن نیست؛ بحث بر سر این است که در کدام نیمه کار ایستاده‌اید. آزمون واقعی هم هیچ‌کدام از این دو نیست: چه کسی می‌تواند این عدد را سه‌شنبه‌ای که شما نیستید دوباره بسازد.

ندا آذرنوش در یک آموزشکده فنی در قم آمار ثبت‌نام فصلی را می‌سازد. تا پارسال یک پرونده صفحه‌گسترده بود با چهارده برگه که سه‌تایشان پنهان بودند، و یک مرحله دستی که فقط خودش می‌دانست.

دو کفه، و دو جنس کار

کفه چپ ابزار کدنویس است: خط لوله، پیوندها، تعریف‌ها. به شکل متن قابل بازبینی است، روی زمان‌بندی اجرا می‌شود، برای ساختن اولین نمودار کندتر است، و هیچ‌کس وسط جلسه فیلترش نمی‌کند. کفه راست ابزار کلیکی است: آخرین متر، جلوی آدم‌ها. یک همکار خودش کاوشش می‌کند، سریع به اولین تصویر می‌رسد، منطقش یازده کلیک عمق دارد، و برای اشتراک‌گذاری به ازای هر نفر پروانه می‌خواهد.

یک آموزشکده

نوشتهشده، یا کلیکشده

تراز کشیده شده چون یک آموزشکده واقعاً هر دو را لازم دارد، و بحث بر سر بهتر بودن نیست، بحث بر سر این است که در کدام نیمه کار ایستادهاید.

  • ابزار کدنویسخط لوله، پیوندها، تعریفها
    • به شکل متن قابل بازبینی
    • روی زمانبندی اجرا میشود
    • برای ساختن اولین نمودار کندتر
    • هیچکس وسط جلسه فیلترش نمیکند
  • ابزار کلیکیآخرین متر، جلوی آدمها
    • یک همکار خودش کاوشش میکند
    • سریع به اولین تصویر میرسد
    • منطق یازده کلیک عمق دارد
    • برای اشتراکگذاری پروانه میخواهد

آمار ثبتنام فصلی

دو کفه دو جنس چیز دارند و این تقسیم کار است نه مقایسه. آموزشکدهای که فقط کفه چپ را داشته باشد، عددهایی تولید میکند که کسی بازشان نمیکند و بدون کفه چپ، شش نسخه غیرقابل بازسازی تولید میشود.

دو کفه دو جنس چیز دارند و همین نکته است: این تقسیم کار است نه مقایسه. آموزشکده‌ای که فقط کفه چپ را اجرا کند، عددهایی تولید می‌کند که کسی بازشان نمی‌کند؛ آموزشکده‌ای که فقط کفه راست را داشته باشد، شش نسخه از یک عدد دارد و هیچ‌کدام قابل بازسازی نیستند.

و کفه راستی که از ایران خریدنی نیست

پروانه به ازای هر نفر برای ابزارهای کلیکی بزرگ از ایران مستقیم پرداختنی نیست، و این یعنی برای بیشتر تیم‌ها انتخاب پیش از رسیدن به ترازو انجام شده است. راه صادقانه‌اش این است که ابزار کلیکی متن‌باز را روی سرور خودتان بالا بیاورید و همان را کفه راست حساب کنید؛ راه ناصادقانه‌اش نسخه بدون پروانه است، که هم ریسک است و هم روزی که ممیزی بیاید کل گزارش‌ها را بی‌پشتوانه می‌کند.

چهار پله، نام‌گذاری‌شده با اینکه چه کسی می‌تواند دوباره بسازدش

پله اول فقط خودتان: یک صفحه‌گسترده با یک مرحله دستی. پله دوم شما، و کسی که کنارتان نگاه می‌کند: یک نوت‌بوک، که به ترتیبی که نوشته شده فقط اتفاقی اجرا می‌شود. پله سوم هر همکاری که پرونده را بخواند: یک اسکریپت، از بالا تا پایین، از روی پرونده‌های خام، هر بار. پله چهارم هر کسی، بدون پرسیدن: یک کار زمان‌بندی‌شده با یک گزارش، که عدد پیش از آنکه کسی لازمش داشته باشد وجود دارد.

آزمون واقعی

نامگذاریشده با اینکه چه کسی میتواند دوباره بسازدش

پلههای نامدار، خاصیت فرایندند نه ابزار. هر ابزاری میتواند روی هر پله بنشیند.

  1. ۰۴هر کسی، بدون پرسیدنعدد پیش از آنکه کسی لازمش داشته باشد آماده استکار زمانبندیشده با گزارش
  2. ۰۳هر همکاری که پرونده را بخوانداجرا از بالا تا پایین از روی پروندههای خام در هر باراسکریپت
  3. ۰۲شما، و کسی که کنارتان نگاه میکندبه ترتیبی که نوشته شده فقط اتفاقی اجرا میشودنوتبوک
  4. ۰۱فقط خودتانوابستگی کامل به حضور یک نفر در روز سهشنبهصفحهگسترده با مرحله دستی

بازسازی ندا از پله اول به پله سوم رفت و برای خودش کندتر شد؛ تمام هزینه همین است، اما چیزی که میخرد یک فرایند است به جای یک آدم.

پله، خاصیت فرایند است نه خاصیت ابزار، و هر ابزاری روی هر پله می‌نشیند. یک صفحه‌گسترده که از یک پرونده خام با فرمول‌های دیدنی ساخته شده می‌تواند روی پله سوم باشد، و یک اسکریپت پایتون با یک مسیر دستی روی پله اول است.

بازسازی ندا از پله اول به پله سوم رفت و برای خودش، در هر سه‌شنبه‌ای که هست، کندتر شد. این تمام هزینه‌اش است، و چیزی که می‌خرد این است که آموزشکده به جای یک آدم، یک فرایند دارد.

ایست: ابزار را عوض می‌کنند و پله را نه

کار اینجا می‌ایستد و شبیه مدرن شدن است. صفحه‌گسترده به یک ابزار کلیکی گران تبدیل می‌شود، و همان مرحله دستی حالا داخل آن ابزار است، فقط با کلیک به جای فرمول. عدد هنوز فقط با حضور یک نفر ساخته می‌شود و حالا آن یک نفر یک پروانه هم لازم دارد. سوالی که پیش از هر خرید باید پرسید همان یک جمله است، و اگر جوابش عوض نشد، هیچ چیزی عوض نشده.

تله ارتقا

زنجیره تغییر ابزار بدون تغییر پله

وقتی فقط ابزار مدرن میشود، مرحله دستی از صفحهگسترده به منوی ابزار کلیکی جابهجا میشود و وابستگی زنجیره سر جایش میماند.

حلقه ضعیف این زنجیره نرم‌افزار نیست، مرحله دستی است. اگر پاسخ پرسش عوض نشود، هیچ چیزی عوض نشده است.

با چه چیزی این دو کفه پر می‌شوند

DuckDB از ۲۰۲۶ جای باز کردن یک پرونده دومیلیون‌سطری در صفحه‌گسترده را گرفته است: پرونده‌های خام را همان‌جا که هستند پرس‌وجو می‌کند، بدون سرور و بدون وارد کردن. رایگان و متن‌باز است و روی همان لپ‌تاپ اجرا می‌شود. برای کفه چپ، همین یک ابزار بیشتر کارها را از پله اول به پله سوم می‌برد.

ابزارهای دو کفه

DuckDB در برابر Metabase برای کفه چپ و راست

دو ابزار مدرن متنباز که بدون نیاز به پروانه دلاری، کارهای آماری را از ایران به پله سوم و چهارم میرسانند.

DuckDB (کفه چپ)پرسوجوی پرونده خام روی همان لپتاپ
Metabase (کفه راست)پرسوجو روی سرور برای کاوش مستقیم همکار
محل اجراروی همان لپتاپ بدون نیاز به سرورروی سرور اختصاصی خودتان
ورودی دادهپرسوجوی مستقیم پروندههای دومیلیونسطرینشستن پرسوجوها روی سرور
دسترسی و پروانهرایگان و متنباز بدون نیاز به وارد کردن دادهرایگان و متنباز بدون هزینه پروانه به ازای هر نفر

DuckDB کار کفه چپ را از پله اول به سوم میبرد و نسخه متنباز Metabase با حذف پروانه نفری، کفه راست را از ایران در دسترس میکند.

Metabase از ۲۰۲۶ جای فرستادن نمودار در پیام‌رسان هر دوشنبه را گرفته: پرس‌وجوها روی سرور می‌نشینند و همکار خودش سوالش را می‌پرسد. نسخه متن‌بازش را روی سرور خودتان رایگان اجرا می‌کنید و به ازای هر نفر چیزی نمی‌خواهد، که همان چیزی است که این کفه را از ایران در دسترس می‌کند.

چهار ابزاری که این کار در آن‌ها انجام می‌شود

پایتون برای داده پایه کفه چپ است. پانداس همان کتابخانه‌ای است که بیشتر تبدیل‌ها در آن نوشته می‌شوند. پاور بی‌آی و تبلو دو ابزار غالب کفه راست‌اند، با همان مسئله پروانه که این صفحه نامش را برد. هر چهار زیر به دست آوردنش، تمیز کردنش، و فهمیدن اینکه چه می‌گوید می‌نشینند.

چهار ابزار

چهار قطعه پردازش و ارائه داده

دو ابزار برای مهندسی و تبدیل در کفه چپ، و دو ابزار برای کاوش و گزارش در کفه راست.

  1. پایتونپایه کفه چپ برای خط لوله، تعریفها و پیوندها
  2. پانداسکتابخانه اصلی برای نوشتن تبدیلها و تمیزکاری
  3. پاور بیآیابزار دیداری کفه راست برای کاوش همکار
  4. تبلوتحلیل دیداری دادهها با مسئله پروانه به ازای کاربر

این چهار ابزار زیرمجموعه تبدیل جدول به جوابند؛ چالش بعدی زمانی آغاز میشود که عدد خودکار ساخته شود اما مالک تعریف آن مشخص نباشد.

سه همسایه دارد. آنچه در این ابزارها ساخته می‌شود موضوع تبدیل یک جدول به یک جواب است. شکل نهایی همان خروجی در دیدنی کردن آنچه پیدا کرده‌اید تصمیم گرفته می‌شود. و پله چهارم، یعنی کار زمان‌بندی‌شده، از جایی شروع می‌شود که داده از کجا می‌آید، پیش از آنکه به کار بیاید شرحش داده.

سوال بعدی این است: وقتی عدد روی پله چهارم رسید، چه کسی مالک تعریفش است. عددی که خودکار ساخته می‌شود و تعریفش را کسی به گردن نمی‌گیرد، شش ماه بعد در جلسه به آن استناد می‌شود و هیچ‌کس نمی‌تواند بگوید دقیقاً چه چیزی را می‌شمارد.

درون این، ۳

بالای این