टेक्स्ट ASCII नहीं है

वर्ण, कोड पॉइंट और बाइट

तीन स्तर

पाठ वर्ण, बूलियन, रूपांतरण और स्थिरांक ने char को एक बाइट के ऐसे पूर्णांक के रूप में प्रस्तुत किया जो ASCII तालिका के अनुसार अक्षर के रूप में लिखा जाता है, और चेताया कि 'ऱ' उसमें नहीं समाता; पाठ कंपाइल करना, चलाना और कॉन्फ़िगर करना ने दिखाया कि "नगर" नौ बाइट लेता है और उसे लिखने के लिए कंसोल तैयार किया। यह पाठ समझाता है कि ऐसा क्यों है। ASCII 128 वर्णों को, 0 से 127 तक, एक-एक संख्या देता है, जो सात बिट में समा जाती है: अंग्रेज़ी के अक्षर, अंक, विराम चिह्न और कुछ नियंत्रण कोड। लेकिन वास्तविक टेक्स्ट में देवनागरी, बलाघात-चिह्नों और डायरेसिस वाले अक्षर, यूनानी अक्षर, चीनी चित्राक्षर, गणितीय चिह्न और इमोजी होते हैं, जिनकी गिनती लाखों में है। इससे यह निकलता है कि पहले तो एक कहीं बड़ी तालिका चाहिए, और दूसरे, उसकी संख्याओं को बाइटों में लिखने का एक तरीका।

तीन स्तरों को अलग करना उचित है। पहला है अमूर्त वर्ण: “छोटा एन्ये” अक्षर, इससे स्वतंत्र कि उसे कैसे सहेजा या बनाया जाता है। यूनिकोड वह मानक है जो हर अमूर्त वर्ण को एक संख्या देता है, उसका कोड पॉइंट, जिसे U+ के बाद कम से कम चार हेक्साडेसिमल अंकों के साथ लिखा जाता है: “ñ” U+00F1 है (241), “A” U+0041 है (65, वही संख्या जो ASCII में है), “€” U+20AC है (8364)। कोड पॉइंट 0 से U+10FFFF तक जाते हैं, दस लाख से थोड़े अधिक। दूसरा स्तर है एन्कोडिंग: वह नियम जो हर कोड पॉइंट को बाइटों के एक अनुक्रम में बदलता है। UTF-8 वह एन्कोडिंग है जिसका उपयोग वेब, आज के सिस्टम और यह पाठ्यक्रम करते हैं। तीसरा स्तर है प्रदर्शन: वह आकृति जो फ़ॉन्ट स्क्रीन पर बनाता है, और जो वर्ण के बदले बिना एक टाइपफ़ेस से दूसरे में बदल सकती है।

यदि ऐसा है, तो कोई टेक्स्ट डेटा तब तक टेक्स्ट नहीं है जब तक उसकी एन्कोडिंग ज्ञात न हो: बाइट c3 b1 UTF-8 में “ñ” हैं, पर किसी पुराने कंसोल की तालिका से पढ़े जाएँ तो वे उससे असंबद्ध दो चिह्न हैं, और यही वह दोष है जिसका निदान करना पाठ 1.4 ने सिखाया। यही प्रश्न, दस्तावेज़ों के टाइपसेटिंग की दृष्टि से, पाठ्यक्रम “शैक्षणिक लेखन के लिए LaTeX” के पाठ “भाषाएँ और फ़ॉन्ट” में आता है।

बाइट देखना

किसी स्ट्रिंग के बाइट देखने के लिए उसे पार करना काफ़ी है: std::string और std::string_view char के अनुक्रम हैं, और रेंज पर चलने वाला for लूप उनके बाइट एक-एक करके देता है। उन्हें हेक्साडेसिमल में लिखने के लिए फ़ॉर्मैट विनिर्देश {:02x} काम आता है (दो हेक्साडेसिमल अंक, बाईं ओर शून्य के साथ)। जैसे पाठ 2.4 में {:d} के साथ, और मानक के उसी सुधार के कारण जो 2023 में अपनाया गया और GCC 15 में लागू है, {:02x} एक char को चिह्नरहित बाइट के रूप में लिखता है। यह नियम महत्त्वपूर्ण है, क्योंकि x86-64 पर GCC में char चिह्नयुक्त है: बाइट c3, int में बदलने पर, संख्या $-61$ है, जिसे {:02x} -3d लिखता।

#include <print>#include <string_view>​// किसी टेक्स्ट के बाइट।// पूर्व-शर्त: कोई नहीं।// पश्च-शर्त: एक पंक्ति लिखता है जिसमें text, बाइटों में उसका आकार और हर बाइट हेक्साडेसिमल में है।void printBytes(std::string_view text){    std::print("{:<4}{}:", text, text.size());    for (const char c : text) {        std::print(" {:02x}", c);    }    std::println("");}​int main(){    printBytes("A");    printBytes("ñ");    printBytes("€");    printBytes("😀");    printBytes("नगर");}

A   1: 41ñ   2: c3 b1€   3: e2 82 ac😀  4: f0 9f 98 80नगर 9: e0 a4 a8 e0 a4 97 e0 a4 b0

हर पंक्ति टेक्स्ट, उसका आकार और उसके बाइट दिखाती है। हर लंबाई का एक वर्ण: “A” एक बाइट लेता है, “ñ” दो, “€” तीन और इमोजी चार। शब्द “नगर” नौ बाइट लेता है, e0 a4 a8, e0 a4 97 और e0 a4 b0, और उसका size() 9 है, 3 नहीं। ध्यान दें कि “A” बाइट 41 है, वही जो ASCII में है: UTF-8 ASCII के 128 वर्णों को ठीक ASCII की तरह लिखता है।