هرچه یک شبکه یاد میگیرد در یک حلقه چهارگامی اتفاق میافتد، و آن حلقه فقط عددهای وزنها را عوض میکند. تعداد لایهها و اندازهشان داخل این حلقه نیستند: پیش از شروع انتخاب شدهاند و هیچ مقدار آموزشی دربارهشان تجدید نظر نمیکند.
الهه صمدی روی یک خط بستهبندی خرما در بم یک دستهبند تصویری گذاشت: عکس هر بسته از بالای تسمه، و تصمیم اینکه درجه یک است یا نه. سه بار آموزشش داد و هر سه بار عدد روی صفحه بالاتر رفت.
چهار گام، تا وقتی وزنها بهتر نشوند
گام اول رو به جلو است: دسته از میان وزنها رد میشود و جوابها بیرون میآیند. گام دوم زیان است، و زیان یک عدد است برای اینکه کل دسته چقدر غلط بود. گام سوم گرادیان است: گرادیان میگوید هر وزن به کدام طرف برود تا آن عدد کوچکتر شود. گام چهارم بهروزرسانی است، و هر وزن به همان اندازه که نرخ یادگیری میگوید در آن جهت جابهجا میشود. بعد دسته بعدی.
یک دسته
چهار گام، تکرارشونده تا وقتی وزنها بهتر نشوند
هرچه یک شبکه یاد میگیرد همینجا اتفاق میافتد، و تنها چیزی که این حلقه میتواند عوض کند عددهای داخل وزنهاست.
و دسته بعدی
- ۰۱رو به جلودسته از میان وزنها رد میشود و جوابها بیرون میآیند
- ۰۲زیانیک عدد، برای اینکه کل دسته چقدر غلط بود
- ۰۳گرادیانبرای هر وزن، اینکه کدام جهت آن عدد را کوچکتر میکند
- ۰۴بهروزرسانیهر وزن به اندازه نرخ یادگیری در آن جهت میرود
- ۰۱رو به جلودسته از میان وزنها رد میشود و جوابها بیرون میآیند
- ۰۲زیانیک عدد، برای اینکه کل دسته چقدر غلط بود
- ۰۳گرادیانبرای هر وزن، اینکه کدام جهت آن عدد را کوچکتر میکند
- ۰۴بهروزرسانیهر وزن به اندازه نرخ یادگیری در آن جهت میرود
تعداد لایهها و اندازه هرکدام داخل این حلقه نیستند. پیش از شروعش انتخاب شدهاند و هیچ مقدار آموزشی دربارهشان تجدید نظر نمیکند.
ارزش دانستن این چهار گام در چیزی است که بیرون از آنهاست. معماری بیرون است، اندازه دسته بیرون است، نرخ یادگیری بیرون است. وقتی آموزش خوب پیش نمیرود، آدمها بیشتر آموزش میدهند، و بیشتر آموزش دادن فقط همین حلقه را بیشتر میچرخاند. چیزی که باید عوض شود اغلب چیزی است که این حلقه اصلاً به آن دست نمیزند.
فاصله دو سر میله
سه اجرای الهه روی یک محور نشستند و چیزی گفتند که عدد تنها نمیگفت. شبکه کوچک روی عکسهایی که دیده بود ۹۱ از صد و روی عکسهایی که ندیده بود ۸۹ گرفت. شبکه بزرگ روی دیدهها ۱۰۰ گرفت و روی ندیدهها ۸۲. شبکه بزرگ با حذف تصادفی و داده بیشتر، ۹۶ و ۹۳.
سه اجرا، یک تسمه
فاصله میان آنچه دیده و آنچه ندیده
فاصله، همان چیزی است که کشیده شده. سطری که دو سرش نزدیکاند مدلی است که روی تسمه همانطور رفتار میکند، هر بلندیای که داشته باشد.
طبقهبندی درست، از صد
عکسهایی که رویشان آموزش دیدعکسهایی که هیچوقت ندیده
- شبکه کوچک۹۱۸۹کمترین فاصله، و بهترین نمره نیست
- شبکه بزرگ۱۰۰۸۲وزن کافی برای حفظ کردن عکسهایی که دیده
- بزرگ، با حذف تصادفی و داده بیشتر۹۶۹۳یازده هزار عکس بیشتر، بیشترش را همین کرد
سطر وسط بلندترین نمره آموزشی صفحه را دارد و همان است که در بهمن شکست میخورد. خواندن فقط سر چپ هر میله، همان راهی است که به خط تولید میرسید.
سطر وسط بلندترین سر چپ کل صفحه را دارد و همان است که در بهمن روی خط شکست میخورد. شبکهای با وزن کافی، خودِ عکسها را حفظ میکند؛ صد از صد روی داده آموزشی خبر خوبی نیست، تعریف حفظ کردن است. پس فاصله دو سر میله را بخوانید، نه بلندی سر چپ را: سطری که دو سرش نزدیکاند، روی تسمه همانطور رفتار میکند که در آزمون، هر بلندیای که داشته باشد.
و آن یازده هزار عکس از کجا آمدند
سطر سوم دو تغییر داشت، و داده بیشتر بیشتر از هر تنظیمی این فاصله را بست. اینجا همان جایی است که کار در ایران با راهنمای انگلیسی فرق میکند: هیچ مجموعه آمادهای از عکس خرمای ایرانی وجود ندارد که دانلود شود. یازده هزار عکس یعنی چند شیفت روی همان تسمه، با نور و زاویههای متفاوت، و بعد یک نفر که برچسبشان زده. در برنامهریزی این پروژه، آن چند شیفت بزرگترین ردیف هزینه است و معمولاً نوشته نمیشود.
ایست: عدد آموزش را نگاه میکنند
کار اینجا میایستد و آرامبخش هم هست، چون عدد آموزش همان است که در حین کار جلوی چشم است و همیشه بالا میرود. تنها عددی که معنا دارد سر راست میله است، و آن فقط وقتی به دست میآید که مجموعهای کنار گذاشته باشید و به آن دست نزنید. کسی که سطر وسط را با سر چپش قضاوت کند، بهترین مدل صفحه را میفرستد روی خط و ماه بعد نمیفهمد چه شد.
ایست میانه راه
معیار آرامبخش سر چپ در برابر معیار واقعی سر راست
عدد آموزش در حین اجرا همیشه جلوی چشم است و بالا میرود، اما فقط عدد مجموعه کنارگذاشته رفتار تسمه را نشان میدهد.
- سر چپ میله (داده آموزش)آرامبخش و گمراهکننده
- مدام در حین آموزش بالا میرود
- حفظ کردن عکسها را پنهان میکند
- مدل سطر وسط را بهترین نشان میدهد
- سر راست میله (مجموعه کنارگذاشته)تنها عدد معنادار پیش از خط تولید
- نیازمند داده دستنخورده و جداگانه است
- فاصله دیده و ندیده را آشکار میکند
- جلوی شکست ماه بعد روی تسمه را میگیرد
کدام سر میله معیار فرستادن به خط تولید است؟
بدون نگه داشتن یک مجموعه دستنخورده، بدترین مدل صفحه با بهترین نمره آموزشی روی خط میرود.
با چه چیزی این حلقه اجرا میشود
PyTorch از ۲۰۲۶ جای نوشتن مشتقها با دست را گرفته است: گام سوم را خودش حساب میکند و شما فقط گام اول و دوم را مینویسید. رایگان و متنباز است و روی رایانه خودتان با یک کارت گرافیک معمولی کار میکند. برای دیدن اینکه این چهار گام واقعاً چهارتاست، یک بار حلقه را با دست بنویسید؛ ده خط است.
اجرای حلقه و تنوعبخشی
PyTorch گام سوم را میگیرد و Albumentations هزینه نور شیفتها را کم میکند
دو ابزار رایگان و متنباز (۲۰۲۶) که اجرای حلقه روی کارت گرافیک معمولی و تولید تنوع نوری عکسها را پیش میبرند.
- PyTorch برای گرادیان خودکار
- Albumentations برای تغییر نور و زاویه
- PyTorch برای گرادیان خودکارگام اول و دوم را مینویسید و گام سوم را خودش حساب میکند؛ یک بار نوشتن دستی ده خطی کل حلقه را روشن میکند
- Albumentations برای تغییر نور و زاویهچرخش، برش و تغییر روشنایی روی عکسهای موجود؛ جای شیفت اضافه را نمیگیرد اما بخشی از نیاز عکس تازه را ارزانتر میکند
برای تسمهای که نور بین شیفتهایش فرق میکند، تنوع روشنایی و سایه در Albumentations دقیقاً روی نقطه اختلاف کار میکند.
Albumentations از ۲۰۲۶ جای عکس گرفتن دوباره از همان تسمه برای داده بیشتر را گرفته: چرخش، برش، تغییر روشنایی و سایه، روی همان عکسهایی که دارید. رایگان و متنباز است. جای شیفت اضافه را نمیگیرد، ولی بخشی از آن یازده هزار عکس را ارزانتر میکند، و روی نور که مهمترین تفاوت میان دو شیفت است خوب کار میکند.
چهار چیزی که این حلقه از آنها ساخته شده
گام اول موضوع نورونها و لایهها است، یعنی همان چیزی که پیش از حلقه انتخاب میشود. آموزش دادن یک شبکه سه گام دیگر را باز میکند، با نرخ یادگیری و اندازه دسته. بیشبرازش همان فاصله دو سر میله است و سطر وسط این صفحه. و یادگیری عمیق میگوید وقتی همین حلقه روی لایههای بیشتر اجرا شود چه چیزی تازه میشود. هر چهار زیر مدلهایی که از داده یاد گرفته میشوند، نه با دست نوشته مینشینند.
چهار مفهوم و همسایهها
چهار بخشی که از حلقه چهارگامی ساخته میشوند و پرسش خرمای سال بعد
هر چهار مفهوم اصلی زیر مدلهای یادگیرنده از داده قرار میگیرند، اما هیچکدام تغییر رنگ محصول در سال آینده را پیشبینی نمیکنند.
- نورونها و لایههاگام اول حلقه
- انتخابشده پیش از شروع حلقه
- بیشبرازشفاصله دو سر میله
- سطر وسط و حفظ کردن عکسها
- آموزش دادن یک شبکهسه گام بعدی حلقه
- نرخ یادگیری
- اندازه دسته
- یادگیری عمیق و همسایههااجرای حلقه روی لایههای بیشتر
- داده جدولی، سه نوع یادگیری و طرحهای متن
- پرسش بعدی: خرمای تیرهتر امسال در مجموعه پارسال نیست
مجموعه کنارگذاشته پارسال هم نشان نمیدهد وقتی خرمای امسال کمی تیرهتر شد کدام سطر اول میشکند.
سه همسایه دارد. اگر دادهتان یک جدول است نه یک عکس، روشهایی که روی داده جدولی هنوز برندهاند جای درستتری است و این صفحه سومش کرد. اینکه اصلاً برچسب دارید یا نه در سه نوع یادگیری، و اینکه کدام به مسئله شما میخورد تعیین میشود. و همین حلقه وقتی روی متن اجرا شود و بزرگ شود، طرحهایی که نسل امروز روی آنها ساخته شده را میسازد.
سوال بعدی این است: وقتی خرمای امسال کمی تیرهتر از پارسال باشد، کدامیک از این سه سطر اول از همه میشکند. جوابش را همان مجموعه کنارگذاشته نمیدهد، چون آن هم مال پارسال است.