我正在测试我的一些代码如何处理不良数据,并且我需要一些无效的 UTF-8 字节系列。
你能发布一些,理想情况下,解释为什么它们不好/你从哪里得到它们?
看看Markus Kuhn's UTF-8 decoder capability and stress test file
您会发现许多 UTF-8 不规则性的示例,包括单独的起始字节、缺少连续字节、超长序列等。
在 PHP 中:
$examples = array(
'Valid ASCII' => "a",
'Valid 2 Octet Sequence' => "\xc3\xb1",
'Invalid 2 Octet Sequence' => "\xc3\x28",
'Invalid Sequence Identifier' => "\xa0\xa1",
'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);
来自http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805
格式错误的字节序列模式的概念可以从格式良好的字节序列表中得到。请参阅 Unicode 标准 6.2 中的“Table 3-7. Well-Formed UTF-8 Byte Sequences”。
Code Points First Byte Second Byte Third Byte Fourth Byte
U+0000 - U+007F 00 - 7F
U+0080 - U+07FF C2 - DF 80 - BF
U+0800 - U+0FFF E0 A0 - BF 80 - BF
U+1000 - U+CFFF E1 - EC 80 - BF 80 - BF
U+D000 - U+D7FF ED 80 - 9F 80 - BF
U+E000 - U+FFFF EE - EF 80 - BF 80 - BF
U+10000 - U+3FFFF F0 90 - BF 80 - BF 80 - BF
U+40000 - U+FFFFF F1 - F3 80 - BF 80 - BF 80 - BF
U+100000 - U+10FFFF F4 80 - 8F 80 - BF 80 - BF
以下是从 U+24B62 生成的示例。我将它们用于错误报告:Bug #65045 mb_convert_encoding breaks well-formed character
// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD" ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"
在各种库中可以看到尾随字节([0x80,0xBF])范围的过度简化。
// U+0800 - U+0FFF
\xE0\x80\x80
// U+D000 - U+D7FF
\xED\xBF\xBF
// U+10000 - U+3FFFF
\xF0\x80\x80\x80
// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF
,̆ 特别邪恶。我认为它在 ubuntu 上结合在一起。
逗号短
这可能不是 OP 所要求的,但它有点相关:
如果您碰巧已经有字节条例值 (0 - 255)
并且想知道字节#是否是有效的 UTF-8
起始字节,我想出了这个返回 1 (true)
或 0 (false)
的奇怪统一公式:
function newUTF8start(__) {
return 118^(+__< 194) < (246-__) }
模糊测试 - 生成随机的八位字节序列。很可能你迟早会得到一些非法序列。
srand()
建议是个好主意,它可能会帮助这里的其他人。