Question

我有一个工作算法可以将 UTF-8 字符串转换为 UTF-32 字符串, 但是, 我必须提前为我的 UTF-32 字符串分配全部空间。有没有办法知道 UTF- 32 字符串中有多少字符会被 UTF-8 字符串带走。

例如, UTF-8 字符串“% 0” 是 3 个字符, 一旦转换为 UTF-32 是 2 个未签名的字符。在转换前, 有没有办法知道需要多少 UTF-32 字符? 还是我必须重写算法?

Answer 1

有两个基本选择:

您可以通过 UTF-8 字符串做两次传送, 第一次计算出您需要生成的 UTF-32 字符数, 第二次将它们写成缓冲。
分配您可能需要的最大32位字符数 -- -- 即 UTF-8 字符串的长度。这浪费了内存, 但意味着您可以一次变换 utf8- gt; utf32 。

您也可以使用混合法 -- -- 例如,如果字符串短于某些阈值,那么使用第二种方法,否则使用第一种方法。

首先,第一通行证看起来是这样的:

size_t len=0;  // warning: untested code.
for(const char *p=src; *p; ++p) {
    // characters that begin with binary 10xxxxxx... are continuations; all other
    // characters should begin a new utf32 char (assuming valid utf8 input)
    if ((*p & 0xc0) != 0x80) ++len;
}

友情链接