Faragiri

همهٔ زبان‌ها

آموزش خط فرمان سیستم‌عامل

یک سطر که به پرسشی درباره ۱۲٬۴۸۳ رکورد تحویل جواب می‌دهد، شش بازنویسی که پوسته پیش از هر دستور انجام می‌دهد، و سه چیزی که فقط روی فارسی می‌شکنند.

۴بخش
۵دقیقه خواندن
۳عمق

فایل تحویل یک شرکت پیک در تهران ۱۲٬۴۸۳ سطر دارد و پرسش این است که ناموفق‌ها بیشتر در کدام محله‌ها بوده‌اند. یک سطر جوابش را می‌دهد و هیچ برنامه‌ای باز نمی‌شود:

  • grep NASHOD tahvil.csv | cut -d, -f3 | sort | uniq -c | sort -rn | head -5

هر مرحله یک چیز دور می‌ریزد. wc -l tahvil.csv می‌گوید کل چقدر بوده، grep آن را به ۴٬۲۱۲ سطر ناموفق می‌رساند، cut -d, -f3 از هر سطر فقط ستون سوم را برمی‌دارد که نام محله است، و sort و uniq -c با هم ۳۱۸ محله متمایز باقی می‌گذارند. sort -rn بر اساس همان شمارش و از بزرگ به کوچک می‌چیند، ۲۲ محله بیش از پنجاه بار دیده شده‌اند، و ۵ سطر روی صفحه می‌ماند. یک نکته اینجا اختیاری به نظر می‌رسد و نیست: uniq -c فقط سطرهای مجاور را می‌شمارد، پس sort پیش از آن اختیاری نیست، و بدون آن هر محله چند بار جدا شمرده می‌شود و هیچ خطایی هم چاپ نمی‌شود.

سه چیزی که فارسی را در ترمینال جور دیگری رفتار می‌دهد

تا اینجا هر چیزی که گفته شد روی هر زبانی درست است. سه چیز نیست، و هر سه بی‌صدا شکست می‌خورند.

خطاهای بی صدا

آنچه ترمینال نشان می دهد در برابر آنچه زیر متن فارسی می گذرد

هر سه تله بی صدا شکست می خورند و هیچ پیام خطایی چاپ نمی کنند. مشکل در دستور نیست، در تفاوت لایه کاراکتر و شبکه چپ به راست است.

  • جستوجوی grep هیچ نتیجه ای نمی دهدشبیه داده ناموجود دیده می شود، نه الگوی غلط
  • طول گزارش شده با wc -c دو برابر استنصف ظرفیت واقعی میدان برآورد می شود
  • ترتیب الفبایی sort با «ی» و «ک» به هم می ریزدحرف ها در جای غیرمنتظره می افتند
  • برش با cut -c سمت دیگری را می بردآنچه انتخاب می کنید با خروجی یکی نیست
آنچه روی صفحه ترمینال دیده می شود
  • نیمفاصله یک نویسه جدا از فاصله استباید با کد یونیکد در grep -P جستوجو شود
  • هر حرف فارسی در UTF-8 دو بایت استwc -c بایت می شمارد و wc -m نویسه
  • LC_ALL=C بر اساس کد نویسه مرتب می کندبرای خواندن انسان fa_IR.UTF-8 و برای اسکریپت C لازم است
  • متن راست به چپ روی شبکه چپ به راستcut -c بر پایه ترتیب نویسه می برد نه نمایش دیداری

تنها راه تشخیص این چهار تله، دانستن تفاوت بایت با نویسه و کد کاراکتر است؛ وگرنه ترمینال همیشه خروجی تمیز اما اشتباه تحویل می دهد.

اول، نیم‌فاصله. grep با فاصله معمولی هرگز کلمه‌ای را که با نیم‌فاصله نوشته شده پیدا نمی‌کند، چون آن یک نویسه دیگر است و در ترمینال دیده نمی‌شود؛ جست‌وجویی که هیچ نتیجه‌ای نمی‌دهد شبیه دادهٔ ناموجود است نه شبیه الگوی غلط. راهش این است که خود نویسه را با کد بنویسید: grep -P 'می\x{200c}شود' notes.txt. دوم، شمارش. wc -c بایت می‌شمارد و wc -m نویسه، و چون هر حرف فارسی در یونیکد دو بایت است، عدد اولی روی متن فارسی تقریبا دو برابر است. هر جایی که طول یک میدان را با wc -c بررسی کنید، روی فارسی نصف ظرفیت واقعی را گزارش می‌کند.

سوم، ترتیب. ترتیب sort را متغیر LC_ALL تعیین می‌کند، و LC_ALL=C sort بر اساس کد نویسه مرتب می‌کند نه الفبای فارسی، پس «ی» و «ک» جایی می‌افتند که هیچ فهرستی آنجا انتظارشان را ندارد. برای خروجی‌ای که آدم قرار است بخواند LC_ALL=fa_IR.UTF-8 sort را صدا بزنید، و برای خروجی‌ای که قرار است اسکریپت دیگری بخواند LC_ALL=C را، چون همان یکی است که پایدار و قابل پیش‌بینی است. یک تله چهارم هم هست که به بریدن مربوط می‌شود: cut -c بر حسب نویسه می‌برد، نه بر حسب آنچه روی صفحه می‌بینید، و چون فارسی راست‌به‌چپ است و ترمینال یک شبکه چپ‌به‌راست، آنچه انتخاب می‌کنید و آنچه بریده می‌شود یکی نیست.

شش بازنویسی، پیش از اینکه دستور چیزی ببیند

هیچ دستوری آنچه را تایپ کرده‌اید تحویل نمی‌گیرد. پوسته پیش از اجرا شش بار سطر شما را بازنویسی می‌کند و تقریبا هر شگفتی‌ای که در ترمینال پیش می‌آید یکی از این شش‌تاست که زودتر یا دیرتر از انتظار اتفاق افتاده. دوتایشان بیشتر از بقیه گاز می‌گیرند. یکی جایگزینی دستور است، که چیزی داخل $( ) را واقعا اجرا می‌کند و خروجی‌اش را به شکل متن می‌گذارد سر جایش، مثل $(date +%F) که تاریخ امروز را در نام یک فایل می‌نشاند. دیگری تقسیم به کلمه است و بعد از جایگزینی متغیر اتفاق می‌افتد؛ برای همین همیشه متغیر را در گیومه بگذارید، چون تقسیم به کلمه بعد از باز شدن متغیر انجام می‌شود، و نامی که فاصله دارد بدون گیومه دو آرگومان می‌شود. گیومه چیز پنجمی برای حفظ کردن نیست، همان کلید خاموش کردن این دو مرحله برای یک کلمه است.

پیش از اینکه دستور اجرا شود

شش بازنویسی که پوسته روی سطر شما می کند، به همین ترتیب

هیچ دستوری آنچه را تایپ کرده اید تحویل نمی گیرد. تقریبا هر شگفتی ترمینال یکی از این ششتاست که زودتر یا دیرتر از انتظار اتفاق افتاده است.

  1. آکولادها باز می شوندgozaresh-{mehr,aban}.csv پیش از هر چیز دو کلمه جدا می شود.
  2. مد به پوشه خانگی تبدیل می شودفقط در ابتدای یک کلمه، و برای همین گاهی نادیده گرفته می شود.
  3. متغیرها با مقدارشان عوض می شوندبه شکل متنی، بی آنکه بداند آن متن بعدا چه معنایی می دهد.
  4. یک دستور اجرا می کندجایگزینی دستور اجرا می شودآنچه داخل $( ) است واقعا اجرا و خروجی آن به شکل متن گذاشته می شود.
  5. همان که گاز می گیردنتیجه به کلمه تقسیم می شودروی فاصله ها، بعد از باز شدن متغیر. همین مرحله نام فایل فاصله دار را می خورد.
  6. الگوها با نام فایل ها تطبیق می شوندالگویی که با هیچ فایلی جور درنیاید دستنخورده به دستور می رسد.

گیومه چیز پنجمی برای حفظ کردن نیست؛ کلید خاموش کردن مرحله های پنجم و ششم برای یک کلمه است و برای همین دور متغیر می آید نه کل سطر.

یک رفتار غافلگیرکننده هم هست که خطا نیست: الگویی که با هیچ فایلی جور در نیاید دست‌نخورده به دستور می‌رسد، پس ls *.log در پوشه‌ای بدون لاگ، به دنبال فایلی به اسم ستاره‌نقطه‌لاگ می‌گردد و همان را در پیام خطا چاپ می‌کند. و یک عملگر که همه‌جا لازم می‌شود: 2>&1 خطاها را به همان‌جایی می‌فرستد که خروجی می‌رود، که تنها راه گرفتن هر دو در یک فایل است.

جایی که کار می‌ایستد

ایست، لوله است. آدم دو سال در ترمینال کار می‌کند بدون اینکه یک بار «|» تایپ کند، چون هر دستور را جدا یاد گرفته و هیچ‌کس نگفته که خروجی یکی می‌تواند ورودی دیگری باشد. نشانه‌اش این است که آدم خروجی را در فایل می‌ریزد، فایل را در ویرایشگر باز می‌کند و با چشم می‌شمارد. آن کار روی دویست سطر جواب می‌دهد و روی دوازده هزار سطر نه، و همان نقطه‌ای است که خط فرمان از یک ابزار کند به یک ابزار سریع تبدیل می‌شود. مسیرها و آرگومان‌ها در مسیرها، آرگومان‌ها، و جابه‌جا شدن است، و خود لوله و تغییر مسیر خروجی در هدایت خروجی، و زنجیر کردن دستورها.

یک لوله به جای شمارش دستی

هر مرحله لوله چه چیزی را دور می ریزد

ریختن فایل در ویرایشگر روی دویست سطر جواب می دهد اما روی دوازده هزار سطر می ایستد. این قیف نشان می دهد لوله در پنج گام چگونه داده را می برد و می شمارد.

  1. هر سطر فایلwc -l همین را می گوید۱۲٬۴۸۳
  2. سطرهایی که ناموفق اندبعد از grep۴٬۲۱۲
  3. محله های متمایز میانشانچیزی که sort و uniq باقی می گذارند۳۱۸
  4. محله های بیش از پنجاه بارهمان ها که یک تماس تلفنی می ارزند۲۲
  5. چاپ شده روی صفحهhead همینجا می ایستد۵

افت تند میان نوار سوم و چهارم است، و uniq -c بدون sort پیش از آن سطرهای تکراری غیرمجاور را جدا می شمارد و خطا هم چاپ نمی کند.

وقتی ماشین جلوی شما نیست

تقریبا هیچ‌کدام از دستورهای این صفحه روی صفحه‌کلید همان ماشین تایپ نمی‌شوند، و کار کردن روی ماشینی که جلوی شما نیست همان کانال است. وقتی یک سطر چند بار تکرار شد، تبدیلش به یک ابزار کار تبدیل یک رشته دستور به یک ابزار است، و روی ویندوز همین کارها با آبجکت انجام می‌شود نه با متن، که تفاوت بنیادی است و در آبجکت به جای متن، روی ویندوز باز می‌شود.

چه چیزی امروز باز می‌شود

ripgrep رایگان و متن‌باز است و جای grep -r را در جست‌وجوی درون یک پروژه گرفت، چون به طور پیش‌فرض به .gitignore احترام می‌گذارد و پوشه‌های ساخت را نمی‌گردد. fzf هم رایگان است و جای Ctrl+R ساده را گرفت: تاریخچه را به یک فهرست قابل تایپ تبدیل می‌کند، و روی خط فرمان بیشتر از هر ابزار دیگری سرعت اضافه می‌کند. zsh روی مک از سال ۲۰۱۹ پوسته پیش‌فرض است و جای bash را گرفت، و تفاوتی که برای این صفحه مهم است این است که تقسیم به کلمه در zsh به طور پیش‌فرض روی متغیرها انجام نمی‌شود، پس اسکریپتی که آنجا سالم است روی bash می‌شکند و نه برعکس. دستورهایی که متن را می‌برند و می‌دوزند در پیدا کردن و شکل دادن متن با سرعت هستند.

ابزارهای امروز

سه جایگزینی که سرعت و پیش فرض خط فرمان را عوض کردند

هر سه رایگان و متن باز یا پیش فرض امروزی اند، و تغییر رفتار zsh در تقسیم متغیرها نکته ای است که هنگام انتقال اسکریپت به bash باید دید.

جایگزین های امروزی خط فرمان

  • ripgrep به جای grep -rجستوجوی سریع داخل پروژه
    • احترام پیش فرض به .gitignore
    • رد شدن از پوشه های ساخت
  • fzf به جای Ctrl+R سادهتاریخچه قابل جستوجو
    • تبدیل تاریخچه به فهرست قابل تایپ
    • بیشترین افزایش سرعت در خط فرمان
  • zsh به جای bash از سال ۲۰۱۹ روی مکتفاوت پنهان در متغیرها
    • تقسیم نکردن پیش فرض متغیرها به کلمه
    • اسکریپت سالم روی zsh ممکن است روی bash بشکند

تفاوت zsh و bash یکطرفه است: اسکریپتی که به اتکای تقسیم نشدن متغیر در zsh کار می کند، روی لینوکس با bash خراب می شود و نه برعکس.

پرسش بعدی این است که این سطرها را روی کدام سیستم‌عامل و با کدام مجموعه ابزار می‌نویسید، چون همان لوله روی لینوکس و روی میزکاری که بیشتر سازمان‌ها روی آن کار می‌کنند دو چیز متفاوت تحویل می‌گیرد؛ و اینکه هر مرحله لوله زیر پوست چه می‌کند در کارهایی که هیچ‌وقت نمی‌بینید انجامشان می‌دهد است.

کنار این

بالای این