テキストは ASCII ではない

文字、コードポイント、バイト

三つの層

レッスン 文字・真偽値・型変換・定数 は、char を ASCII 表に従って文字として書かれる一バイトの整数として紹介し、'ぱ' がそれに収まらないことを注意した。レッスン コンパイル・実行・設定 は、"新年" が六バイトを占めることを示し、それを出力できるようにコンソールを準備した。このレッスンはその理由を説明する。ASCII は 0 から 127 までの 128 個の文字に番号を割り当てており、それらは七ビットに収まる。英語のアルファベット、数字、句読点、いくつかの制御コードである。しかし、実際のテキストには仮名や漢字、アクセント記号やウムラウトの付いた文字、ギリシャ文字、数学記号、絵文字が含まれ、その数は数十万にのぼる。したがって、第一にずっと大きな表が必要であり、第二にその番号をバイトで書く方法が必要である。

三つの層を区別しておくとよい。第一の層は抽象文字であり、保存や描画の仕方とは無関係な「小文字のエニェ」という文字そのものである。Unicode は各抽象文字に番号、すなわちコードポイントを割り当てる規格であり、コードポイントは U+ のあとに少なくとも四桁の十六進数字を続けて書く。「ñ」は U+00F1（241）、「A」は U+0041（65、ASCII と同じ番号）、「€」は U+20AC（8364）である。コードポイントは 0 から U+10FFFF まであり、百万をわずかに超える。第二の層はエンコーディング、すなわち各コードポイントをバイトの列に変換する規則である。UTF-8 は、ウェブ、現在のシステム、そしてこのコースが使うエンコーディングである。第三の層は表示、すなわちフォントが画面に描く字形であり、文字が変わらなくても書体によって変わりうる。

もしそうであれば、テキストのデータは、そのエンコーディングがわかるまではテキストではない。バイト c3 b1 は UTF-8 では「ñ」だが、古いコンソールの表で読めば、それとは無関係な二つの記号になる。これはレッスン 1.4 が診断の仕方を教えた不具合である。同じ問題を文書組版の側から見たものが、コース「学術文書作成のための LaTeX」のレッスン「言語と書体」に出てくる。

バイトを見る

文字列のバイトを見るには、それをたどればよい。std::string と std::string_view は char の並びであり、範囲 for ループがそのバイトを一つずつ渡す。それを十六進で書くには書式指定 {:02x}（十六進二桁、左をゼロで埋める）を使う。レッスン 2.4 の {:d} と同じく、2023 年に採択され GCC 15 が適用している同じ規格の修正によって、{:02x} は char を符号なしのバイトとして書く。この規則は重要である。x86-64 上の GCC では char は符号付きだからである。バイト c3 を int に変換すると数 $-61$ になり、{:02x} はそれを -3d と書いてしまうだろう。

#include <print>#include <string_view>​// テキストのバイト。// 事前条件：なし。// 事後条件：text、そのバイト単位のサイズ、各バイトの十六進表記を一行に書く。void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("神戸");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80神戸6: e7 a5 9e e6 88 b8

各行はテキスト、そのサイズ、そのバイトを示す。長さごとに一文字ずつ：「A」は一バイト、「ñ」は二バイト、「€」は三バイト、絵文字は四バイトを占める。単語「神戸」は六バイト、e7 a5 9e と e6 88 b8 を占め、その size() は 6 であって 2 ではない。「A」がバイト 41、つまり ASCII と同じであることに注意しよう。UTF-8 は ASCII の 128 文字を ASCII とまったく同じに書く。