النص ليس ASCII

المحارف ونقاط الترميز والبايتات

ثلاثة مستويات

قدّم الدرس المحارف والقيم المنطقية والتحويلات والثوابت النوع char عددًا صحيحًا من بايت واحد يُكتب حرفًا بحسب جدول ASCII، ونبّه إلى أن 'ر' لا يتّسع له؛ وبيّن الدرس الترجمة والتنفيذ والإعداد أن "سنة" تشغل ستة بايتات، وهيّأ الطرفية لكتابتها. وهذا الدرس يشرح السبب. يُسند ASCII رقمًا إلى 128 محرفًا، من 0 إلى 127، تتّسع لها سبعة بتات: حروف الإنجليزية والأرقام وعلامات الترقيم وبعض رموز التحكم. غير أن النص الحقيقي يحتوي حروفًا عربية وحروفًا لاتينية ذات علامات وحروفًا يونانية ورموزًا صينية ورموزًا رياضية ورموزًا تعبيرية، يبلغ مجموعها مئات الآلاف. فيلزم من ذلك أمران: أولًا جدول أكبر بكثير، وثانيًا طريقة لكتابة أرقامه بالبايتات.

يحسن التمييز بين ثلاثة مستويات. الأول هو المحرف المجرد: الحرف الإسباني «ñ الصغير»، بصرف النظر عن طريقة حفظه أو رسمه. ويونيكود هو المعيار الذي يُسند إلى كل محرف مجرد رقمًا، هو نقطة الترميز الخاصة به، ويُكتب U+ متبوعًا بأربعة أرقام ست عشرية على الأقل: فالحرف «ñ» هو U+00F1 (241)، والحرف «A» هو U+0041 (65، وهو الرقم نفسه في ASCII)، والرمز «€» هو U+20AC (8364). وتمتد نقاط الترميز من 0 إلى U+10FFFF، أي أكثر من مليون بقليل. والمستوى الثاني هو الترميز: القاعدة التي تحوّل كل نقطة ترميز إلى متتالية من البايتات. وUTF-8 هو الترميز الذي تستعمله الشبكة والأنظمة الحالية وهذه الدورة. والمستوى الثالث هو الإظهار: الشكل الذي يرسمه الخط على الشاشة، وقد يتغيّر من خط إلى آخر دون أن يتغيّر المحرف.

وإذا كان الأمر كذلك، فالمعطى النصي ليس نصًا ما دام ترميزه غير معروف: البايتان c3 b1 هما الحرف «ñ» في UTF-8، لكنهما إذا قُرئا بجدول طرفية قديمة كانا رمزين لا علاقة لهما به، وهو العطل الذي علّم الدرس 1.4 تشخيصه. والمسألة نفسها، من جهة تنضيد الوثائق، تظهر في درس «اللغات والخطوط» من دورة LaTeX للكتابة الأكاديمية.

رؤية البايتات

لرؤية بايتات سلسلة نصية يكفي اجتيازها: فكل من std::string وstd::string_view متتالية من char، وحلقة for على النطاق تُسلّم بايتاتها واحدًا واحدًا. ولكتابتها بالنظام الست عشري يصلح الحقل {:02x} (رقمان ست عشريان، مع صفر على اليسار). وكما في {:d} في الدرس 2.4، وبسبب التصحيح نفسه للمعيار الذي اعتُمد في 2023 وطبّقه GCC 15، يكتب {:02x} قيمة char بايتًا بلا إشارة. ولهذه القاعدة أهمية، لأن char ذو إشارة في GCC على x86-64: فالبايت c3، إذا حُوّل إلى int، كان العدد $-61$، الذي كان {:02x} سيكتبه -3d.

#include <print>#include <string_view>​// بايتات نص.// الشرط المسبق: لا شيء.// الشرط اللاحق: يكتب سطرًا فيه text وحجمه بالبايتات وكل بايت بالنظام الست عشري.void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("باب");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80باب 6: d8 a8 d8 a7 d8 a8

يُظهر كل سطر النص وحجمه وبايتاته. محرف من كل طول: الحرف «A» يشغل بايتًا واحدًا، والحرف «ñ» اثنين، والرمز «€» ثلاثة، والرمز التعبيري أربعة. وكلمة «باب» تشغل ستة بايتات، d8 a8 وd8 a7 وd8 a8، وقيمة size() لها 6 لا 3. ويُلاحظ أن الحرف «A» هو البايت 41، وهو نفسه في ASCII: فـUTF-8 يكتب محارف ASCII الـ128 كما يكتبها ASCII تمامًا.