第26.20章:字符编码

English

1. 编码方案

encoding_scheme 含义
execution_charset编译器为源字符类型选择的执行字符集。
utf_le小端代码单元的 UTF。
utf_be大端代码单元的 UTF。
utf原生端序的 UTF 别名。
gb18030GB18030 / GBK。
utf_ebcdicUTF-EBCDIC。

方案名字描述的是字符单元的编码,不是字符数量。char8_t 序列在 utf 里是 UTF-8;char16_t 序列是原生字节序的 UTF-16; char32_t 序列是原生字节序的 UTF-32。

2. 执行字符集检测

execution_charset_encoding_scheme<char_type>() 返回编译器为该字符类型 选择的方案。它识别 GCC/Clang 的 GB18030/GBK 执行字符集名、MSVC 的执行字符集宏、 EBCDIC 目标和宽字符端序。

execution_charset_encoding<char_type> 是同一个值的变量模板。 需要编译期默认值时用它;线格式有固定字节序时传显式方案。


constexpr auto native_scheme{
    ::fast_io::execution_charset_encoding_scheme<char>()};

辅助函数和枚举目前在头文件侧。模块只导出下面的两个操纵器,不导出方案名字。

3. code_cvt

mnp::code_cvt<src, dst>(value) 在输出时转换一个 print alias/scatter。 目标字符类型来自输出流;源类型来自值。


::fast_io::u16obuf_file out{"utf16.txt"};
::fast_io::io::println(
    out, ::fast_io::mnp::code_cvt<::fast_io::encoding_scheme::utf,
                                     ::fast_io::encoding_scheme::utf>(u8"Hello"));
形式 用途
code_cvt<src, dst>(value) 转换一个可打印值或 scatter。
code_cvt_os_c_str<src, dst>(ptr) 转换 NUL 结尾的 OS 字符串。
code_cvt_os_c_str<src, dst>(ptr, n) 转换已知长度的 OS 字符串。

转换写入输出设备的 reserve 缓冲区;不分配中间字符串。 非法源序列被替换成编码的替换代码单元(Unicode 编码是 U+FFFD)。

4. OS 字符串与执行字符集

来自 argv 或环境变量的路径是执行字符集,不一定是 UTF-8。 打印它时用 code_cvt_os_c_str:


::fast_io::io::println(
    ::fast_io::mnp::code_cvt_os_c_str<::fast_io::encoding_scheme::execution_charset,
                                          ::fast_io::encoding_scheme::utf>(argv[1]));

文件的设备类型已经选择原生编码路径;这个操纵器用于把 OS 字符串变成输出流上的文本。

5. 不是 transcoder

code_cvt 是值局部的格式化适配器。它不是更老的有状态 transcoder 管线,也不暴露流对象。需要带显式状态的增量解码器时, 用头文件接口里的通用 general_code_cvt 重载; 普通输出用 code_cvt 就够了。

6. 模块与头文件边界

fast_io 模块导出 mnp::code_cvt 和 mnp::code_cvt_os_c_str。encoding_scheme、 execution_charset_encoding_scheme、execution_charset_encoding、 code_cvt_result 和通用转换器目前在头文件侧。 需要显式命名方案时包含 <fast_io.h>。

要点