Το κείμενο δεν είναι ASCII

Χαρακτήρες, σημεία κώδικα και byte

Τρία επίπεδα

Το μάθημα Χαρακτήρες, λογικές τιμές, μετατροπές και σταθερές παρουσίασε τον char ως ακέραιο ενός byte που γράφεται ως γράμμα σύμφωνα με τον πίνακα ASCII και προειδοποίησε ότι το 'α' δεν χωράει σε αυτόν· το μάθημα Μεταγλώττιση, εκτέλεση και ρύθμιση έδειξε ότι η "έτος" πιάνει οκτώ byte και προετοίμασε το τερματικό για να τη γράφει. Αυτό το μάθημα εξηγεί το γιατί. Το ASCII αντιστοιχίζει έναν αριθμό σε 128 χαρακτήρες, από το 0 έως το 127, που χωρούν σε επτά bit: τα γράμματα της αγγλικής, τα ψηφία, τα σημεία στίξης και μερικούς κωδικούς ελέγχου. Ωστόσο, το πραγματικό κείμενο περιέχει ελληνικά γράμματα με τόνους και διαλυτικά, κυριλλικά, κινεζικά ιδεογράμματα, μαθηματικά σύμβολα και emoji, που φτάνουν τις εκατοντάδες χιλιάδες. Από αυτό έπεται ότι χρειάζεται, πρώτον, ένας πολύ μεγαλύτερος πίνακας και, δεύτερον, ένας τρόπος να γράφονται οι αριθμοί του σε byte.

Αξίζει να διακρίνουμε τρία επίπεδα. Το πρώτο είναι ο αφηρημένος χαρακτήρας: το ισπανικό γράμμα «πεζό ενιέ», ανεξάρτητα από το πώς αποθηκεύεται ή σχεδιάζεται. Το Unicode είναι το πρότυπο που αντιστοιχίζει σε κάθε αφηρημένο χαρακτήρα έναν αριθμό, το σημείο κώδικα του, που γράφεται U+ ακολουθούμενο από τουλάχιστον τέσσερα δεκαεξαδικά ψηφία: το «ñ» είναι το U+00F1 (241), το «A» είναι το U+0041 (65, ο ίδιος αριθμός όπως στο ASCII), το «€» είναι το U+20AC (8364). Τα σημεία κώδικα πηγαίνουν από το 0 έως το U+10FFFF, λίγο περισσότερα από ένα εκατομμύριο. Το δεύτερο επίπεδο είναι η κωδικοποίηση: ο κανόνας που μετατρέπει κάθε σημείο κώδικα σε μια ακολουθία byte. Το UTF-8 είναι η κωδικοποίηση που χρησιμοποιούν ο ιστός, τα σημερινά συστήματα και αυτός ο κύκλος μαθημάτων. Το τρίτο επίπεδο είναι η απεικόνιση: η μορφή που σχεδιάζει η γραμματοσειρά στην οθόνη, η οποία μπορεί να αλλάζει από μια γραμματοσειρά σε άλλη χωρίς να αλλάζει ο χαρακτήρας.

Αν είναι έτσι, ένα κειμενικό δεδομένο δεν είναι κείμενο όσο δεν είναι γνωστή η κωδικοποίησή του: τα byte c3 b1 είναι το «ñ» σε UTF-8, αλλά, αν διαβαστούν με τον πίνακα ενός παλιού τερματικού, είναι δύο σύμβολα άσχετα με αυτό, που είναι η βλάβη που το μάθημα 1.4 δίδαξε να διαγιγνώσκουμε. Το ίδιο ζήτημα, ιδωμένο από τη στοιχειοθεσία εγγράφων, εμφανίζεται στο μάθημα «Γλώσσες και γραμματοσειρές» του κύκλου μαθημάτων LaTeX για την ακαδημαϊκή γραφή.

Βλέποντας τα byte

Για να δούμε τα byte μιας συμβολοσειράς αρκεί να τη διατρέξουμε: ένα std::string και ένα std::string_view είναι ακολουθίες από char, και ο βρόχος for με εύρος δίνει ένα ένα τα byte τους. Για να τα γράψουμε στο δεκαεξαδικό χρησιμεύει το πεδίο {:02x} (δύο δεκαεξαδικά ψηφία, με μηδενικό στα αριστερά). Όπως με το {:d} στο μάθημα 2.4, και λόγω της ίδιας διόρθωσης του προτύπου που υιοθετήθηκε το 2023 και εφαρμόζεται από τον GCC 15, το {:02x} γράφει έναν char ως byte χωρίς πρόσημο. Ο κανόνας μετράει, γιατί ο char έχει πρόσημο στον GCC σε x86-64: το byte c3, μετατρεπόμενο σε int, είναι ο αριθμός $-61$, που το {:02x} θα έγραφε -3d.

#include <print>#include <string_view>​// Τα byte ενός κειμένου.// Προσυνθήκη: καμία.// Μετασυνθήκη: γράφει μια γραμμή με το text, το μέγεθός του σε byte και κάθε byte στο δεκαεξαδικό.void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("έτος");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80έτος8: ce ad cf 84 ce bf cf 82

Κάθε γραμμή δείχνει το κείμενο, το μέγεθός του και τα byte του. Ένας χαρακτήρας από κάθε μήκος: το «A» πιάνει ένα byte, το «ñ» δύο, το «€» τρία και το emoji τέσσερα. Η λέξη «έτος» πιάνει οκτώ byte, ce ad, cf 84, ce bf και cf 82, και το size() της είναι 8, όχι 4. Παρατηρήστε ότι το «A» είναι το byte 41, το ίδιο όπως στο ASCII: το UTF-8 γράφει τους 128 χαρακτήρες του ASCII ακριβώς όπως το ASCII.