文本不只是 ASCII

字符、码位与字节

三个层次

字符、布尔值、类型转换与常量一课把 char 介绍为一个按 ASCII 表写成字母的单字节整数，并提醒过 '山' 放不进它；编译、运行与配置一课说明了 "新年" 占六个字节，并设置好控制台来输出它。本课解释其中的原因。ASCII 为 128 个字符分配了编号，从 0 到 127，用七位就能容纳：英文字母、数字、标点符号和一些控制码。然而，真实的文本含有汉字、带重音符号和分音符的字母、希腊字母、数学符号和表情符号，总数达数十万。由此可见，首先需要一张大得多的表，其次需要一种把表中编号写成字节的方法。

应当区分三个层次。第一个是抽象字符：字母“小写 eñe”，与它如何保存或如何画出无关。Unicode 是为每个抽象字符分配一个数的标准，这个数就是它的码位，写作 U+ 后跟至少四位十六进制数字：“ñ”是 U+00F1（241），“A”是 U+0041（65，与 ASCII 中的编号相同），“€”是 U+20AC（8364）。码位从 0 到 U+10FFFF，略多于一百万个。第二个层次是编码：把每个码位变成一串字节的规则。UTF-8 是网络、现今的系统和本课程所用的编码。第三个层次是呈现：字体在屏幕上画出的字形，它可以随字体而变，而字符不变。

如果是这样，那么在知道其编码之前，一份文本数据还不是文本：字节 c3 b1 在 UTF-8 中是“ñ”，但用旧式控制台的码表来读，就是两个与它毫无关系的符号，这正是1.4一课教过如何诊断的故障。同一个问题从文档排版的角度来看，出现在 LaTeX 学术写作课程的“语言与字体”一课中。

查看字节

要查看一个字符串的字节，遍历它就够了：std::string 和 std::string_view 都是 char 的序列，基于范围的 for 循环逐个交出它们的字节。要以十六进制写出这些字节，可用格式说明 {:02x}（两位十六进制数字，左侧补零）。与2.4一课中的 {:d} 一样，由于 2023 年通过、GCC 15 已实施的同一项标准修正，{:02x} 把 char 当作无符号字节写出。这条规则很重要，因为在 x86-64 上的 GCC 中 char 有符号：字节 c3 转换为 int 后是数 $-61$，{:02x} 会把它写成 -3d。

#include <print>#include <string_view>​// 一段文本的字节。// 前置条件：无。// 后置条件：输出一行，含 text、它以字节计的大小和每个字节的十六进制值。void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("新年");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80新年6: e6 96 b0 e5 b9 b4

每一行显示文本、它的大小和它的字节。每种长度各一个字符：“A”占一个字节，“ñ”占两个，“€”占三个，表情符号占四个。“新年”这个词占六个字节，e6 96 b0 和 e5 b9 b4，它的 size() 是 6，不是 2。请注意，“A”是字节 41，与 ASCII 中相同：UTF-8 写 ASCII 的 128 个字符时与 ASCII 完全一样。