Faragiri

همهٔ زبان‌ها

آموزش آزمون نرم‌افزار انتشار و استقرار

محاسبه‌گر پستی که با ویرایشی شبیه مرتب کردن خراب شد، تنها ورودی‌ای که می‌توانست بگیردش، و آزمونی که بهتر است حذف شود.

۴بخش
۵دقیقه خواندن
۳عمق

محاسبه‌گر هزینه‌ی پست یک کتاب‌فروشی: تا نیم کیلو ۳۸۰۰۰ تومان، بعد از آن به ازای هر ۲۵۰ گرم اضافه ۷۵۰۰ تومان، و برای پیشتاز دو برابر. پنج آزمون، نوشته‌شده پیش از هر تغییری، هر کدام یک ورودی و یک جواب:

  • assertEqual(poste(300), 38000)
  • assertEqual(poste(500), 38000)
  • assertEqual(poste(501), 45500)
  • assertEqual(poste(300, pishtaz=True), 76000)
  • assertRaises(ValueError) برای وزن صفر

یک آزمون ورودی و جواب انتظاری را نام می‌برد و اجراکننده آن دو را مقایسه می‌کند. کل سازوکار همین است، و باقی این موضوع درباره‌ی این است که کدام ورودی‌ها را انتخاب کنید.

حالا یک نویسه عوض کنید: <= به < در مقایسه‌ی همان پله، از آن ویرایش‌هایی که موقع مرتب کردن کد اتفاق می‌افتد. عوض کردن یک نویسه یک آزمون از پنج تا را قرمز کرد و چهار تا سبز ماندند، و پیامش این بود: AssertionError: 45500 != 38000. آن خروجی اول جواب واقعی را می‌گوید و بعد انتظار را، یعنی محاسبه‌گر ۴۵۵۰۰ گرفته جایی که باید ۳۸۰۰۰ می‌گرفت.

آزمونی که گرفتش همان بود که دقیقا روی مرز ۵۰۰ نشسته بود. آزمون ۳۰۰ داخل پله بود و سبز ماند. آزمون ۵۰۱ بیرون پله بود و آن هم سبز ماند. فقط مقداری که دقیقا روی لبه بود می‌توانست بفهمد، و این مفیدترین چیزی است که درباره‌ی انتخاب ورودی می‌شود دانست.

کدام ورودی‌ها، و چند تا

قاعده‌ای که از بالا بیرون می‌آید کوتاه است. مرز را آزمون کنید، یکی این طرف و یکی آن طرفش، و حالت خالی را. تقریبا هر خطای یکی‌کم‌یکی‌زیاد روی یک مرز زندگی می‌کند، تقریبا هر فروپاشی روی صفر و فهرست خالی و مقدار تهی، و تقریبا هیچ‌چیز وسط یک بازه نیست، جایی که سه مقدار بیشتر همان حرف را می‌زنند.

انتخاب ورودی

کدام مقدارها می‌توانستند آن ویرایش یک‌نویسه‌ای را بگیرند

پنج آزمون اجرا شد. یکی‌شان می‌توانست بفهمد، و همانی نبود که همه انتظارش را داشتند.

هزینه پست، بعد از اینکه <= شد <

  1. خیر۳۰۰ گرم، داخل پلهسبز ماند. آن ویرایش هیچ مقداری را وسط یک بازه عوض نمی‌کند.خیر
  2. بله۵۰۰ گرم، دقیقا روی مرزقرمز شد: ۴۵۵۰۰ به جای ۳۸۰۰۰. تنها آزمونی که می‌توانست.بله
  3. خیر۵۰۱ گرم، یکی بالاترسبز ماند. پیش و پس از تغییر هم بیرون پله بود.خیر
  4. خیرپیشتاز، که پایه را دو برابر می‌کندسبز ماند، چون وزنی داخل پله را به کار برده بود.خیر
  5. خیرصفر، که با استثنا رد می‌شودسبز ماند. قاعده دیگری را می‌سنجد و هنوز ارزش داشتن دارد.خیر
  6. بررسی نشدهرقم فارسی از فرم یا گرم و کیلوگرمهیچ‌کدام نپرسیدند. آزمون واحد درز ورودی و تبدیل را نمی‌بیند.بررسی نشده

ستون بله یک سطر دارد، و همین استدلال انتخاب ورودی روی مرز و حالت خالی است.

برای یک محاسبه‌گر ایرانی یک حالت خالی مخصوص هم هست که در هیچ فهرست انگلیسی نمی‌آید: وزنی که از فرم می‌آید ممکن است رشته‌ای با رقم فارسی باشد. int('۶۰۰') در پایتون بی‌صدا ۵۰۰ برمی‌گرداند، ولی اگر همان رشته بدون تبدیل به تابع برسد، TypeError می‌گیرید نه جواب غلط. هر دو حالت ارزش یک آزمون دارند، چون یکی‌شان خاموش است و دیگری سر و صدا می‌کند.

آزمونی که یک استثنا را ادعا می‌کند دارد رفتار را ادعا می‌کند، نه نبودن فروپاشی را، و گفتنش لازم است چون رد کردن وزن صفر یک قابلیت است: آزمون پنجم اگر کسی تابع را طوری عوض کند که مودبانه صفر برگرداند قرمز می‌شود، و این درست است، چون قیمت گذاشتن روی بسته‌ای که وجود ندارد بدتر از ایستادن است.

نیمه‌ی دیگر انتخاب این است که یک آزمون اجازه دارد به چه چیزی دست بزند. آزمون واحد سریع و منزوی است، پس با هر بار ذخیره اجرا می‌شود: بدون پایگاه داده، بدون شبکه، بدون ساعت. همین است که هزار تا از آن‌ها را در چند ثانیه تمام می‌کند، و همین است که آن ویرایش یک‌نویسه‌ای را ظرف یک دقیقه پیدا می‌کند. این موضوع یک چیز در هر بار، سریع و منزوی است.

آزمون‌هایی که عمدا کند هستند

انزوا سرعت می‌خرد و واقع‌گرایی می‌فروشد، پس نمی‌تواند کل ماجرا باشد. آزمون واحد محاسبه‌گر هیچ حرفی درباره‌ی این نمی‌زند که فرم سفارش وزن را به گرم می‌فرستد یا به کیلوگرم، و بخش بزرگی از خرابی‌های واقعی دقیقا روی همین درز زندگی می‌کنند.

نسبت‌ها

چرا از نوع سریع تعدادش بیشتر است

ادعا حجم است نه اهمیت. هر طبقه از طبقه زیرش کندتر است و کمتر از آن نوشته می‌شود.

  1. سرتاسریهر کدام ثانیه‌ها یا دقیقه‌ها، یک مرورگر واقعی، و توان قرمز شدن به دلیل بی‌ربط
  2. یکپارچگیدرزها. پایگاه داده واقعی به‌جای بدل، که خرابی‌های واقعی همانجا هستند.
  3. واحدهر کدام میلی‌ثانیه، بدون پایگاه داده، بدون شبکه، بدون ساعت. آن‌قدر که با هر ذخیره اجرا شود.

این شکل نتیجه سرعت است، نه قاعده‌ای که از بالا آمده باشد.

پس آزمون‌هایی هستند که عمدا دو بخش واقعی را با هم درگیر می‌کنند، با پایگاه داده‌ی واقعی به‌جای بدل، که درزهای بین بخش‌ها است. و آزمون‌هایی هستند که کل سامانه را همان‌طور که مشتری می‌راند می‌رانند، در مرورگر، که کل سامانه، آن‌طور که کاربر با آن روبه‌رو می‌شود است.

نسبت‌ها را حساب تعیین می‌کند. آزمون سرتاسری کند و مشترک است، پس چند تا از آن بهتر از صد تاست: هر کدام ثانیه‌ها یا دقیقه‌ها طول می‌کشد، هر کدام می‌تواند به دلیلی بی‌ربط به تغییر شما قرمز شود، و مجموعه‌ای از دویست تا یک ساعت طول می‌کشد و بعد نادیده گرفته می‌شود. نمودار اول همین نسبت را می‌کشد و شکلش نتیجه‌ی سرعت است نه یک قاعده‌ی نازل‌شده.

جایی که کار می‌خوابد: آزمونی که فقط بعضی وقت‌ها قرمز می‌شود

آزمونی که فقط بعضی وقت‌ها قرمز می‌شود از نبودن آزمون بدتر است، و همین است که بی‌سروصدا بیشتر تلاش‌های آزمون‌نویسی را تمام می‌کند. قرمز می‌شود، کسی دوباره اجرایش می‌کند، سبز می‌شود، و ظرف یک ماه کل مجموعه مشورتی می‌شود: یک بیلد قرمز دیگر معنایی ندارد و خرابی واقعی که بالاخره می‌گیرد، رد می‌شود.

ریشه‌های بی‌اعتمادی

چهار علتی که یک آزمون را گاهی‌قرمز می‌کنند

آزمون ناپایدار با تکرار و گذشت زمان، میل همه را به باور کردن نتیجه قرمز از بین می‌برد.

آزمون گاهی‌قرمز
  • وابستگی به ساعت و تقویمتبدیل شمسی سر سال نو و حذف ساعت تابستانی در سال ۲۰۲۲
  • وابستگی به ترتیب اجراحالتی که آزمون قبلی روی محیط جا گذاشته است
  • صبر با زمان ثابتانتظار تعداد ثابتی ثانیه برای کاری که گاهی دیرتر تمام می‌شود
  • رکورد مشترک در پایگاه دادهدو آزمون که همزمان روی یک ردیف مشترک تغییر می‌دهند

قاعده درست ساده است: آزمون گاهی‌قرمز همان هفته یا درست می‌شود یا حذف، و دوباره اجرا نمی‌شود.

علت‌ها فهرست کوتاهی هستند و تقریبا همیشه یکی از چهار تا. آزمونی که به تاریخ یا ساعت امروز وابسته است؛ برای ما این تله دو برابر است، چون تبدیل شمسی سر سال نو مرز دارد و ساعت تابستانی ایران از سال ۲۰۲۲ برداشته شده، پس هر آزمونی که اختلاف ساعت را ثابت فرض کرده بود یک بار قرمز شد و کسی نفهمید چرا. آزمونی که به ترتیب اجرای آزمون‌ها وابسته است، معمولا از راه حالتی که آزمون قبلی جا گذاشته. آزمونی که تعداد ثابتی ثانیه برای چیزی صبر می‌کند که معمولا کمتر طول می‌کشد. و دو آزمون که از یک رکورد در یک پایگاه داده‌ی مشترک استفاده می‌کنند.

پس قاعده نامحبوب و درست است: آزمونی که گاهی قرمز می‌شود همان هفته یا درست می‌شود یا حذف، و تا وقتی سبز شود دوباره اجرا نمی‌شود. نگه داشتنش از پوششی که می‌دهد گران‌تر است، چون چیزی که واقعا از بین می‌برد میل همه به باور کردن یک نتیجه‌ی قرمز است.

با چه چیزی اجرا کنیم

ابزار، اجراکننده‌ی آزمون است و هر زبانی یکی رایگان دارد. در پایتون خروجی بالا از اجراکننده‌ی کتابخانه‌ی استاندارد آمده که به نصب هیچ‌چیز نیاز ندارد؛ pytest چیزی است که بیشتر پروژه‌ها استفاده می‌کنند و جای همان کلاس‌به‌ازای‌هر‌فایلی را گرفته که کتابخانه‌ی استاندارد هنوز می‌خواهد. اجرای آزمون‌ها روی هر push، رایگان در هر میزبان کد، جای «یادمان باشد» را گرفت. همین تغییر است که نوشتن مجموعه‌ی آزمون را اصلا ارزشمند می‌کند، چون آزمونی که کسی اجرایش نمی‌کند توضیحی است که نوشتنش بیشتر طول کشیده، و این بحث به ماشینی که به جای شما می‌سازد و منتشر می‌کند می‌رسد. برای آن چند آزمون سرتاسری هم یک ابزار خودکارسازی مرورگر لازم است، جای کسی که پیش از هر انتشار خودش خرید را تا آخر کلیک می‌کرد؛ اینکه کدام و چطور از قرمز شدن تصادفی‌شان جلوگیری کنیم آزمون‌هایی که خودشان اجرا می‌شوند است.

ابزار اجرا

سه چرخ‌دنده‌ای که مجموعه آزمون را زنده نگه می‌دارند

آزمونی که کسی اجرایش نکند، فقط توضیحی است که نوشتنش بیشتر طول کشیده است.

  • اجراکننده آزمون
  • اجرا روی هر push
  • خودکارسازی مرورگر
  • اجراکننده آزمونابزار استاندارد زبان یا pytest برای اجرای سریع آزمون‌های واحد روی دستگاه
  • اجرا روی هر pushاجرای رایگان در میزبان کد که جای «یادمان باشد اجرا کنیم» را می‌گیرد
  • خودکارسازی مرورگراجرای چند مسیر سرتاسری خرید به‌جای کلیک دستی پیش از هر انتشار

وقتی این سه با هم بچرخند، با هر تغییر کوچک می‌دانید خط دقیق کجاست و دیگر حدس نمی‌زنید.

کاری که وقتی آزمونی قرمز شد باید کرد و پیدا کردن خط به‌جای حدس زدنش، پیدا کردن خط، به‌جای حدس زدن است. عادت نوشتن جواب پیش از عوض کردن شکل کد در عادت‌هایی که تعیین می‌کنند بعدا کسی می‌تواند این کد را عوض کند یا نه است، و همه‌ی این کار زیرمجموعه‌ی بیرون بردن کد از دستگاه خودتان و زنده نگه داشتنش است.

کنار این

بالای این