第26.20章:字符编码
1. 编码方案
encoding_scheme |
含义 |
|---|---|
execution_charset | 编译器为源字符类型选择的执行字符集。 |
utf_le | 小端代码单元的 UTF。 |
utf_be | 大端代码单元的 UTF。 |
utf | 原生端序的 UTF 别名。 |
gb18030 | GB18030 / GBK。 |
utf_ebcdic | UTF-EBCDIC。 |
方案名字描述的是字符单元的编码,不是字符数量。char8_t 序列在
utf 里是 UTF-8;char16_t 序列是原生字节序的 UTF-16;
char32_t 序列是原生字节序的 UTF-32。
2. 执行字符集检测
execution_charset_encoding_scheme<char_type>() 返回编译器为该字符类型
选择的方案。它识别 GCC/Clang 的 GB18030/GBK 执行字符集名、MSVC 的执行字符集宏、
EBCDIC 目标和宽字符端序。
execution_charset_encoding<char_type> 是同一个值的变量模板。
需要编译期默认值时用它;线格式有固定字节序时传显式方案。
constexpr auto native_scheme{
::fast_io::execution_charset_encoding_scheme<char>()};
辅助函数和枚举目前在头文件侧。模块只导出下面的两个操纵器,不导出方案名字。
3. code_cvt
mnp::code_cvt<src, dst>(value) 在输出时转换一个 print alias/scatter。
目标字符类型来自输出流;源类型来自值。
::fast_io::u16obuf_file out{"utf16.txt"};
::fast_io::io::println(
out, ::fast_io::mnp::code_cvt<::fast_io::encoding_scheme::utf,
::fast_io::encoding_scheme::utf>(u8"Hello"));
| 形式 | 用途 |
|---|---|
code_cvt<src, dst>(value) |
转换一个可打印值或 scatter。 |
code_cvt_os_c_str<src, dst>(ptr) |
转换 NUL 结尾的 OS 字符串。 |
code_cvt_os_c_str<src, dst>(ptr, n) |
转换已知长度的 OS 字符串。 |
转换写入输出设备的 reserve 缓冲区;不分配中间字符串。 非法源序列被替换成编码的替换代码单元(Unicode 编码是 U+FFFD)。
4. OS 字符串与执行字符集
来自 argv 或环境变量的路径是执行字符集,不一定是 UTF-8。
打印它时用 code_cvt_os_c_str:
::fast_io::io::println(
::fast_io::mnp::code_cvt_os_c_str<::fast_io::encoding_scheme::execution_charset,
::fast_io::encoding_scheme::utf>(argv[1]));
文件的设备类型已经选择原生编码路径;这个操纵器用于把 OS 字符串变成输出流上的文本。
5. 不是 transcoder
code_cvt 是值局部的格式化适配器。它不是更老的有状态
transcoder 管线,也不暴露流对象。需要带显式状态的增量解码器时,
用头文件接口里的通用 general_code_cvt 重载;
普通输出用 code_cvt 就够了。
6. 模块与头文件边界
fast_io 模块导出 mnp::code_cvt 和
mnp::code_cvt_os_c_str。encoding_scheme、
execution_charset_encoding_scheme、execution_charset_encoding、
code_cvt_result 和通用转换器目前在头文件侧。
需要显式命名方案时包含 <fast_io.h>。
要点
encoding_scheme命名 UTF 端序变体、GB18030 和 UTF-EBCDIC。utf是原生端序别名;字符类型决定它是 UTF-8、UTF-16 还是 UTF-32。execution_charset_encoding_scheme<T>()检测编译器的执行字符集。code_cvt<src, dst>在输出时转换一个可打印值。code_cvt_os_c_str转换 NUL 结尾或已知长度的 OS 字符串。- 非法序列变成替换代码单元,不是悄悄截断。
- 模块导出两个操纵器;方案名字和通用转换器在头文件侧。