Le texte n’est pas ASCII

Caractères, points de code et octets

Trois niveaux

La leçon Caractères, booléens, conversions et constantes a présenté le char comme un entier d’un octet qui s’écrit comme une lettre selon la table ASCII, et a averti que 'ñ' n’y tient pas ; la leçon Compiler, exécuter et configurer a montré que "año" occupe quatre octets et a préparé la console pour l’écrire. Cette leçon explique pourquoi. ASCII attribue un nombre à 128 caractères, de 0 à 127, qui tiennent sur sept bits : les lettres de l’anglais, les chiffres, les signes de ponctuation et quelques codes de contrôle. Or le texte réel contient des ñ, des accents, des trémas, des lettres grecques, des idéogrammes chinois, des signes mathématiques et des emojis, qui se comptent par centaines de milliers. Il s’ensuit qu’il faut, d’abord, une table beaucoup plus grande, et ensuite, une manière d’écrire ses nombres en octets.

Il convient de distinguer trois niveaux. Le premier est le caractère abstrait : la lettre « ñ minuscule », indépendamment de la manière dont on la stocke ou la dessine. Unicode est la norme qui attribue à chaque caractère abstrait un nombre, son point de code, qui s’écrit U+ suivi d’au moins quatre chiffres hexadécimaux : le « ñ » est U+00F1 (241), le « A » est U+0041 (65, le même nombre qu’en ASCII), le « € » est U+20AC (8364). Les points de code vont de 0 à U+10FFFF, un peu plus d’un million. Le deuxième niveau est le codage : la règle qui convertit chaque point de code en une suite d’octets. UTF-8 est le codage qu’utilisent le web, les systèmes actuels et ce cours. Le troisième niveau est le rendu : la figure que la police de caractères dessine à l’écran, qui peut changer d’une police à l’autre sans que le caractère change.

Si tel est le cas, une donnée textuelle n’est pas un texte tant qu’on ne connaît pas son codage : les octets c3 b1 sont le « ñ » en UTF-8, mais lus avec la table d’une ancienne console ils sont deux symboles sans rapport avec lui, ce qui est la panne que la leçon 1.4 a appris à diagnostiquer. La même question, vue depuis la composition de documents, apparaît dans la leçon « Langues et polices » du cours LaTeX pour la rédaction académique.

Voir les octets

Pour voir les octets d’une chaîne, il suffit de la parcourir : un std::string et un std::string_view sont des suites de char, et la boucle for basée sur un intervalle en livre les octets un par un. Pour les écrire en hexadécimal, on se sert de la spécification de format {:02x} (deux chiffres hexadécimaux, avec un zéro à gauche). Comme avec {:d} dans la leçon 2.4, et par la même correction de la norme adoptée en 2023 et appliquée par GCC 15, {:02x} écrit un char comme un octet non signé. La règle compte, parce que char est signé dans GCC sur x86-64 : l’octet c3, converti en int, est le nombre $-61$, que {:02x} écrirait -3d.

#include <print>#include <string_view>​// Octets d’un texte.// Précondition : aucune.// Postcondition : écrit une ligne avec text, sa taille en octets et chaque octet en hexadécimal.void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("año");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80año 4: 61 c3 b1 6f

Chaque ligne montre le texte, sa taille et ses octets. Un caractère de chaque longueur : le « A » occupe un octet, le « ñ » deux, le « € » trois et l’emoji quatre. Le mot « año » occupe quatre octets, 61, c3 b1 et 6f, et son size() vaut 4, non 3. On remarquera que le « A » est l’octet 41, le même qu’en ASCII : UTF-8 écrit les 128 caractères d’ASCII exactement comme ASCII.