عمق ویژگیهایی میخرد که کسی مجبور نبوده نامشان ببرد، و خیلی پیش از آنکه هزینهاش تمام شود، سودش تمام میشود. عمق یعنی ویژگیها یاد گرفته میشوند به جای آنکه یک آدم توصیفشان کند، و همین یک جمله تفاوت این کار با روشهای کلاسیک است.
یک کارخانه فرآوری قهوه در گرگان شبکهای چهارلایه روی ۶۰ هزار عکس دانه آموزش داد و بعد لایه به لایه دید که هر لایه به چه چیزی واکنش نشان میدهد.
هر لایه به چه چیزی واکنش نشان داد
لایه اول به لبهها و لکههای رنگی واکنش میداد: روشن در برابر تیره در زاویههای مختلف، و همان قهوهای خاص یک دانه سالم. لایه دوم به بافتها: سطح ترکخورده کپک، براقی تخمیر خوب، و لکههای ریز. لایه سوم به اجزا: پوسته ترکخورده، پهلوی صافشده، شکل یک برش کدر. و لایه چهارم به دانه کامل یک درجه، که لایه خروجی آن را به چهار عدد تبدیل میکند.
چهار لایه، شصت هزار عکس
هر لایه در نهایت به چه چیزی واکنش نشان داد
هیچکس کلمه بافت را جایی ننوشته بود و دو پله پایین در هر مسئله تصویری دیگری هم همینها میشوند.
- ۰۴دانه کامل یک درجهلایه خروجی آن را به چهار عدد تبدیل میکند، یکی به ازای هر درجهویژه همین کار
- ۰۳اجزاپوسته ترکخورده، پهلوی صافشده و شکل یک برش کدرویژه همین کار
- ۰۲بافتهاسطح ترکخورده کپک، براقی تخمیر خوب و لکههای ریزمنتقل میشود
- ۰۱لبهها و لکههای رنگیروشن در برابر تیره در زاویههای مختلف و همان قهوهای خاص یک دانه سالممنتقل میشود
دو پله اول که منتقل میشوند همان دلیلی هستند که یک شبکه از پیش آموزشدیده کار را از نیمه راه شروع میکند.
هیچکس کلمه بافت را جایی ننوشته بود. لایه اولیه به لبه واکنش میدهد و لایه دیرتر به کل جسم، و هر لایه ویژگیهایش را از لایه زیرش میسازد، که همان چیزی است که عمق هست.
چه چیزی میخواهد، و کجا سود میدهد
عمق به سطرهای زیاد نیاز دارد، چون چیز بیشتری برای برازش هست و هیچچیز هدایتش نمیکند. ۶۰ هزار عکس عدد کمی نیست و کارخانه دو سال جمعش کرده بود.
شرط داده و نوع مسئله
عمق چه چیزی میخواهد و کجا سود میدهد
شبکه عمیق سطرهای زیاد و ورودی خام میخواهد؛ روی جدول ستونی معمولاً ترکیب تقویتی جلو میزند.
- ورودی خام است (پیکسل، صدا یا متن) و سطر زیاد داریدشبکه عمیق سود میدهدبرای دانه قهوه، ۶۰ هزار عکس طی دو سال جمع شده بود
- یادگیری خودکار ویژگیهایی که آشکار نیستند
- توان برازش بدون راهنمایی دستی ستونها
- ورودی یک جدول از ستونهای مشخص استترکیب تقویتی انتخاب بهتر استعمق روی جدول معمولاً برتری ایجاد نمیکند
- در پیشبینی مصرف برق همان کارخانه جلوتر زد
- نیاز کمتر به داده انبوه برای نتیجه پایدار
نبود راهنمای دستی یعنی لایههای عمیق به نمونههای فراوان نیاز دارند تا ساختار پنهان ورودی خام را پیدا کنند.
و جایی سود میدهد که ورودی خام پیکسل یا صدا یا متن است و ویژگیها آشکار نیستند. روی یک جدول از ستونها، عمق معمولاً چیزی روی یک ترکیب تقویتی اضافه نمیکند: همان کارخانه برای پیشبینی مصرف برق از یک جدول، شبکه عمیق را امتحان کرد و ترکیب تقویتی جلو زد.
منحنی کجا صاف میشود
از یک جایی به بعد، لایه بیشتر وقت و حافظه خرج میکند و دیگر دقت اضافه نمیکند. کارخانه شش لایه و هشت لایه را هم امتحان کرد و دقت روی همان عدد چهار لایه ماند، در حالی که آموزش دو برابر طول کشید.
بازده نزولی و انتقال لایهها
منحنی عمق کجا صاف میشود
از یک نقطه به بعد لایههای بیشتر فقط زمان و حافظه میخورند و شروع از شبکه آماده نیمی از راه را کم میکند.
توازن عمق، زمان آموزش و انتقال دانش در مسئله تصویری
- شروع از شبکه از پیش آموزشدیدهدو لایه اول منتقل میشوند و فقط دو لایه آخر آموزش میبینند
- چهار لایه: سقف دقت عملینقطه تعادل برای یادگیری اجزا و درجهبندی کامل دانه
- شش و هشت لایه: منحنی صاف شدهدقت همان میماند ولی آموزش دو برابر طول میکشد
چون دو لایه اول ویژگیهای عمومی تصویر را میگیرند، آموزش مجدد کل شبکه از صفر هزینه اضافی بدون سود است.
و یک صرفهجویی بزرگ: یک شبکه از پیش آموزشدیده، لایههای اولیه کس دیگری است و همانها منتقل میشوند. دو لایه اول این شبکه چیزی یاد گرفتهاند که در هر مسئله تصویری تکرار میشود، و به همین دلیل کارخانه توانست از یک شبکه آماده شروع کند و فقط دو لایه آخر را آموزش بدهد.
ایست: عمق را مترادف خوب میگیرند
کار اینجا میایستد. شبکه عمیقتر برداشته میشود چون عمیقتر است، بیآنکه کسی نسخه کمعمق را اجرا کرده باشد. عمق را در برابر نسخه کمعمق بسنجید، نه در برابر هیچ: در این کارخانه، شبکه دولایه ۸۹ درصد و چهارلایه ۹۴ درصد بود، و همان پنج واحد تنها چیزی است که عمق را توجیه میکند.
ساختنش، در ۲۰۲۶
PyTorch از ۲۰۲۶ همان چیزی است که این چهار لایه با آن نوشته میشوند و بارگذاری یک شبکه از پیش آموزشدیده هم یک خط است. جای آموزش دادن از صفر برای هر مسئله تصویری را گرفته است. TensorBoard هم از ۲۰۲۶ میگذارد ببینید هر لایه به چه چیزی واکنش نشان میدهد و جای حدس زدن درباره داخل شبکه را گرفته. هر دو رایگان و متنباز و آفلایناند.
ابزار ۲۰۲۶ و تله داده کم
ابزار ساخت در برابر شکست عمق روی ۴۰۰۰ عکس
PyTorch و TensorBoard ساخت و دیدن لایهها را ساده میکنند، اما روی داده کم مدل ساده از شبکه عمیق جلو میزند.
- ۲۰۲۶PyTorch و TensorBoard آفلایننوشتن چهار لایه، بارگذاری شبکه آماده در یک خط و دیدن واکنش هر لایه؛ رایگان و متنباز
- ۷۶ درصدشبکه هشتلایه روی ۴۰۰۰ عکسعمق آماده بود ولی سطرهای لازم وجود نداشتند
- ۸۱ درصدروش کلاسیک روی ۴۰۰۰ عکسعملکرد بهتر مدل ساده وقتی حجم نمونه برای عمق کافی نیست
شکل شکست عمق، شبکهای پرلایه است که روی داده محدود از یک روش کلاسیک عقب میافتد.
وقتی خراب میشود چه شکلی است
شکلش شبکهای است که عمیق است و از یک مدل ساده روی همان داده بدتر. تیم کارخانه اول یک شبکه هشتلایه روی ۴۰۰۰ عکس آموزش داد و دقتش ۷۶ درصد شد، در حالی که یک روش کلاسیک روی همان ۴۰۰۰ عکس ۸۱ درصد گرفت. عمق آنجا بود و سطرهایی که لازم داشت نبودند.
خود واحد و لایه در واحد، و اینکه روی هم چیدنشان چه میخرد آمده، و حالتی که شبکه به جای یاد گرفتن حفظ میکند در حفظ کردن مجموعه آموزش، و تشخیص دادنش. و کاربردی که این چهار لایه برایش ساخته شدند در در این عکس چه چیزی هست است. هر سه زیر لایههای وزن، و آنچه آموزش تنظیمش میکند مینشینند.