Faragiri

همهٔ زبان‌ها

آموزش زبان و گفتار یادگیری ماشین

پنج جنس ضبط، پنج نرخ خطای متفاوت، و بدترینشان دقیقاً همان چیزی است که یک آرشیو صوتی اصلاً برای نگه داشتنش وجود دارد.

۵بخش
۴دقیقه خواندن
۳عمق

کیفیت یک رونوشت خودکار درباره گوینده چیزی نمی‌گوید، درباره این می‌گوید که چه صوتی جمع شده و بابتش پول داده شده. هیچ‌کس در این ضبط‌ها نامفهوم حرف نمی‌زند، و هر فاصله‌ای که در جدول زیر می‌بینید یک واقعیت درباره داده است.

کاوه شریفی آرشیو صوتی یک شبکه استانی را رونویسی می‌کند: چند هزار ساعت، از گوینده استودیو تا تماس تلفنی و ضبط میدانی. یک ساعت نمونه از هر جنس برداشت و خطا را شمرد.

کجا خوب است، و برای چه کسی بد

کمتر بهتر است، و ترتیب، ترتیب خود آرشیو است نه ترتیب اندازه. گوینده استودیو با فارسی معیار ۴ خطا در هر صد کلمه داشت. همان گوینده، همان اتاق و همان میکروفن، با لهجه محلی ۹ خطا. تماس تلفنی با فارسی معیار ۱۱، ضبط میدانی با فارسی معیار ۱۸، و تماس تلفنی با لهجه محلی ۲۶ خطا در هر صد کلمه.

یک آرشیو

رونوشت کجا خوب است، و برای چه کسی بد

کمتر بهتر است. ترتیب، ترتیب خود مواد آرشیو است نه ترتیب اندازه، و دو سطر آخر بیشترِ آن چیزی‌اند که ارزش شنیدن دارد.

خطا در هر صد کلمه، یک آرشیو، ۲۰۲۶

  1. گوینده استودیو، فارسی معیار۴
  2. گوینده استودیو، لهجه محلیهمان اتاق، همان میکروفن، صوت ضبط‌شده کمتر۹
  3. تماس تلفنی، فارسی معیار۱۱
  4. ضبط میدانی، فارسی معیارباد، و آدم‌هایی در فاصله‌های مختلف۱۸
  5. تماس تلفنی، لهجه محلیهر دو اثر با هم، و همان چیزی که آرشیو برایش هست۲۶

هیچ‌کس در این ضبط‌ها نامفهوم حرف نمی‌زند. هر فاصله روی این نمودار یک واقعیت درباره صوتی است که جمع شده و بابتش پول داده شده، و هیچ‌کدام درباره گوینده‌ها نیست. پیش از مقایسه، نرمال‌سازی نیم‌فاصله لازم است.

سطر دوم مهم‌ترین سطر است چون همه چیز جز یک چیز در آن ثابت است: صوت ضبط‌شده کمتر، و همین یک تفاوت نرخ خطا را بیش از دو برابر می‌کند. و دو سطر آخر همان چیزی هستند که یک آرشیو اصلاً برایش وجود دارد: صدای مردم، نه صدای گوینده. یعنی ابزار دقیقاً روی موادی بدترین کار را می‌کند که ارزش نگه داشتنشان بیشتر است.

نتیجه عملی‌اش این است که رونوشت خودکار برای این آرشیو یک پیش‌نویس جست‌وجوپذیر است نه یک سند. کاوه فهرست را بر اساس همین جدول چید: استودیو مستقیم به نمایه می‌رود، تماس‌ها و ضبط میدانی با علامت پیش‌نویس، و اصلاح دستی فقط روی چیزی که کسی واقعاً جست‌وجویش کرده.

و چیزی که در فارسی به این عددها اضافه می‌شود

خطا در هر صد کلمه برای فارسی یک ابهام دارد: کلمه‌هایی که با نیم‌فاصله نوشته می‌شوند، بسته به اینکه رونوشت چطور نوشته باشدشان، یک کلمه شمرده می‌شوند یا دو تا. پیش از شمردن خطا، رونوشت و متن مرجع را با یک نرمال‌ساز از یک شکل کنید، وگرنه عدد بین دو ابزار قابل مقایسه نیست. کاوه بار اول ۳۱ خطا برای همان سطر آخر گرفت و تفاوت تماماً از همین بود.

شش کاری که دیگر شش رشته نیستند

رونویسی گفتار، ترجمه، دسته‌بندی متن، خلاصه‌سازی، بیرون کشیدن نام‌ها و جواب دادن از یک متن، تا یک دهه پیش شش ادبیات جدا با شش کنفرانس جدا بودند. حالا یک معماری مشترک دارند: تکه می‌گیرند و تکه می‌دهند. صوت هم پیش از رسیدن به مدل به فریم بریده می‌شود، که همان کاری است که با متن می‌شود.

یک طرح

شش کاری که دیگر شش رشته جدا نیستند

چسبیده کشیده شده چون حالا یک معماری مشترک دارند. هر خانه پیش از این ادبیات خودش، کنفرانس خودش و یک دهه روش خودش را داشت.

تکه می‌گیرد، تکه می‌دهد
  • رونویسی گفتارصوت، بریده‌شده به فریم
  • ترجمهتکه‌های یک زبان به تکه‌های زبان دیگر
  • دسته‌بندی متنتکه‌ها می‌روند، یک برچسب می‌آید
  • خلاصه‌سازیتکه‌ها می‌روند، تکه‌های کمتری می‌آیند
  • بیرون کشیدن نام‌هایک برچسب برای هر تکه، نه برای هر سند
  • جواب دادن از یک متنمتن و سوال، با هم
  • رونویسی گفتارصوت، بریده‌شده به فریم
  • ترجمهتکه‌های یک زبان به تکه‌های زبان دیگر
  • دسته‌بندی متنتکه‌ها می‌روند، یک برچسب می‌آید
  • خلاصه‌سازیتکه‌ها می‌روند، تکه‌های کمتری می‌آیند
  • بیرون کشیدن نام‌هایک برچسب برای هر تکه، نه برای هر سند
  • جواب دادن از یک متنمتن و سوال، با هم

همین وجه مشترک است که بهبود در یکی را ظرف چند ماه به بقیه می‌رساند، و همان است که یک زبان کم‌داده را در هر ششتا با هم عقب نگه می‌دارد.

این وجه مشترک دو نتیجه دارد و هر دو را می‌شود دید. اول اینکه بهبود در یکی، ظرف چند ماه در بقیه هم می‌رسد. دوم، و مهم‌تر برای فارسی: یک زبان کم‌داده در هر شش‌تا با هم عقب است، نه در هرکدام جداگانه. پس وقتی رونویسی فارسی بهتر شد، ترجمه و خلاصه‌سازی هم بهتر می‌شوند، و علتش کار کسی روی ترجمه نبوده.

ایست: عدد کلی ابزار را باور می‌کنند

کار اینجا می‌ایستد. یک ابزار رونویسی عددی اعلام می‌کند و آن عدد روی صوت تمیز و پرتکرار به دست آمده. تیمی که آن عدد را برای آرشیو خودش بردارد، برای تماس‌های تلفنی بودجه‌ای می‌بندد که واقعیت ندارد، و شش ماه بعد کشف می‌کند نیمی از آرشیو باید با دست اصلاح شود. یک ساعت نمونه از هر جنس صوت خودتان، این را در همان روز اول می‌گوید.

ایست میانه راه

زنجیره خطا وقتی عدد تبلیغاتی ابزار مبنای بودجه می‌شود

عدد کلی روی صوت تمیز و پرتکرار سنجیده شده است؛ بردن همان عدد به آرشیو تلفنی بودجه را به شکست می‌رساند.

حلقه سست همین فرض است که نرخ خطای استودیو روی تماس تلفنی هم برقرار می‌ماند.

با چه چیزی این جدول ساخته می‌شود

Whisper از ۲۰۲۶ جای فرستادن صوت به یک سرویس بیرونی را گرفته است: روی رایانه خودتان اجرا می‌شود، فارسی را می‌شناسد، و صوت از دستگاه بیرون نمی‌رود، که برای یک آرشیو صوتی شرط اول است. رایگان و متن‌باز است و هزینه‌اش زمان پردازش است.

ساخت و سنجش محلی

سه گام اجرای محلی با Whisper و سنجش نیم‌فاصله با jiwer

هر دو ابزار (۲۰۲۶) رایگان و متن‌بازند و صوت آرشیو را داخل رایانه خودتان نگه می‌دارند.

  1. ۰۱رونویسی محلی با Whisperشناخت فارسی روی دستگاه خودتان بدون فرستادن صوت به سرویس بیرونی؛ هزینه فقط زمان پردازش است
  2. ۰۲یکسان‌سازی نیم‌فاصله در دو متننرمال‌سازی متن مرجع و رونوشت تا تفاوت کلمه‌های نیم‌فاصله‌دار خطای کاذب نسازد
  3. ۰۳محاسبه نرخ خطای کلمه با jiwerسنجش دقیق خطا به جای مقایسه چشمی، برای اینکه عدد درباره ابزار باشد نه نیم‌فاصله

بدون گام نرمال‌سازی پیش از jiwer، عددهای به‌دست‌آمده بین دو ابزار قابل مقایسه نیستند.

برای شمردن خطا، jiwer از ۲۰۲۶ جای مقایسه دو متن با چشم را گرفته: نرخ خطای کلمه را می‌دهد و همان‌جا می‌شود نرمال‌سازی را پیش از مقایسه اعمال کرد. رایگان و متن‌باز است. بدون آن نرمال‌سازی، عددی که می‌گیرید بیشتر درباره نیم‌فاصله است تا درباره ابزار.

سه کاری که از همین وجه مشترک درمی‌آیند

تبدیل گفتار به متن ستون اول این جدول است و همان جایی که آرشیو زندگی می‌کند. کار روی متن چهار خانه از آن شش‌تاست، از دسته‌بندی تا بیرون کشیدن نام‌ها. و ترجمه ماشینی خانه‌ای است که بیشتر از همه از وجه مشترک سود برده. هر سه زیر مدل‌هایی که از داده یاد گرفته می‌شوند، نه با دست نوشته می‌نشینند.

سه خروجی یک معماری

سه کاری که از وجه مشترک گفتار و متن تغذیه می‌شوند

گفتار به متن، پردازش متن و ترجمه ماشینی یک سرنوشت مشترک دارند و کمبود داده فارسی هر سه را هم‌زمان محدود می‌کند.

  • بهبود یک معماری، ظرف چند ماه به دیگری می‌رسد
  • کمبود داده فارسی هر سه را با هم عقب نگه می‌دارد
  • ارتقای سطر آخر نیازمند صدها ساعت صوت تلفنی بومی است
  • تبدیل گفتار به متن
  • کار روی متن
  • ترجمه ماشینی
  • تبدیل گفتار به متنستون اول جدول و جای اصلی زندگی آرشیو
  • کار روی متنچهار خانه از آن ششتا، از دسته‌بندی تا نام‌ها
  • ترجمه ماشینیبیشترین سود از معماری مشترک

پاسخ سطر آخر یک ابزار تازه نیست؛ ساخت چند صد ساعت صوت تلفنی رونویسی‌شده با لهجه محلی است.

سه همسایه دارد. حلقه‌ای که مدل رونویسی را می‌سازد همان حلقه‌ای است که لایه‌های وزن، و آنچه آموزش تنظیمش می‌کند بازش می‌کند. اینکه چرا کم بودن داده فارسی این‌قدر تعیین‌کننده است، از حلقه چهارگامی و گام پنجمی که وجود ندارد می‌آید. و همان معماری روی تصویر، کاری که یک ماشین با یک تصویر می‌کند است.

سوال بعدی این است: آن سطر آخر را چه چیزی بهتر می‌کند. جوابش یک ابزار تازه نیست؛ چند صد ساعت صوت تلفنی رونویسی‌شده با لهجه محلی است، که امروز در هیچ‌جا وجود ندارد و همین آرشیو می‌تواند بسازدش.

کنار این

بالای این