RE 错误：Mac OS X 上的非法字节序列

将以下行添加到您的 ~/.bash_profile 或 ~/.zshrc 文件中。

export LC_CTYPE=C 
export LANG=C

---

我的解决方法是使用 Perl：

find . -type f -print0 | xargs -0 perl -pi -e 's/was/now/g'

---

您只需在 sed 命令之前通过管道传输 iconv 命令。例如带有 file.txt 输入：

iconv -f ISO-8859-1 -t UTF8-MAC 文件.txt | sed 's/某事/àéèêçùû/g' | ......

-f 选项是“从”代码集，-t 选项是“到”代码集转换。

注意大小写，网页通常显示像 < charset=iso-8859-1"/> 这样的小写字母，而 iconv 使用大写字母。您的系统中有 iconv 支持的代码集列表，使用命令 iconv -l

UTF8-MAC 是用于转换的现代 OS Mac 代码集。

---

mklement0's answer 很棒，但我做了一些小调整。

使用 iconv 时明确指定 bash 的编码似乎是个好主意。此外，我们应该在前面加上一个字节顺序标记 (even though the unicode standard doesn't recommend it)，因为 there can be legitimate confusions between UTF-8 and ASCII without a byte-order mark。不幸的是，当您明确指定字节顺序（UTF-16BE 或 UTF-16LE）时，iconv 不会预先添加字节顺序标记，因此我们需要使用 UTF-16，它使用特定于平台的字节顺序，然后使用 { 9} 发现使用的真正字节顺序 iconv。

（我将所有编码都大写，因为当您使用 iconv -l 列出所有 iconv 支持的编码时，它们都是大写的。）

# Find out MY_FILE's encoding
# We'll convert back to this at the end
FILE_ENCODING="$( file --brief --mime-encoding MY_FILE )"
# Find out bash's encoding, with which we should encode
# MY_FILE so sed doesn't fail with 
# sed: RE error: illegal byte sequence
BASH_ENCODING="$( locale charmap | tr [:lower:] [:upper:] )"
# Convert to UTF-16 (unknown endianness) so iconv ensures
# we have a byte-order mark
iconv -f "$FILE_ENCODING" -t UTF-16 MY_FILE > MY_FILE.utf16_encoding
# Whether we're using UTF-16BE or UTF-16LE
UTF16_ENCODING="$( file --brief --mime-encoding MY_FILE.utf16_encoding )"
# Now we can use MY_FILE.bash_encoding with sed
iconv -f "$UTF16_ENCODING" -t "$BASH_ENCODING" MY_FILE.utf16_encoding > MY_FILE.bash_encoding
# sed!
sed 's/.*/&/' MY_FILE.bash_encoding > MY_FILE_SEDDED.bash_encoding
# now convert MY_FILE_SEDDED.bash_encoding back to its original encoding
iconv -f "$BASH_ENCODING" -t "$FILE_ENCODING" MY_FILE_SEDDED.bash_encoding > MY_FILE_SEDDED
# Now MY_FILE_SEDDED has been processed by sed, and is in the same encoding as MY_FILE

---

我的解决方法是使用 gnu sed。为我的目的工作得很好。

---

有谁知道如何让 sed 打印非法字节序列的位置？或者有谁知道非法字节序列是什么？

$ uname -a
Darwin Adams-iMac 18.7.0 Darwin Kernel Version 18.7.0: Tue Aug 20 16:57:14 PDT 2019; root:xnu-4903.271.2~2/RELEASE_X86_64 x86_64

通过使用 tr，我得到了部分回答上述问题的方法。

我有一个 .csv 文件，它是信用卡对帐单，我正在尝试将其导入 Gnucash。我在瑞士，所以我必须处理像苏黎世这样的词。怀疑 Gnucash 不喜欢数字字段中的“”，我决定简单地替换所有

; ;

和

;;

开始：

$ head -3 Auswertungen.csv | tail -1 | sed -e 's/; ;/;;/g'
sed: RE error: illegal byte sequence

我用 od 阐明了一些观点：注意 374 在这个 od -c 输出的中途

$ head -3 Auswertungen.csv | tail -1 | od -c
0000000    1   6   8   7       9   6   1   9       7   1   2   2   ;   5
0000020    4   6   8       8   7   X   X       X   X   X   X       2   6
0000040    6   0   ;   M   Y       N   A   M   E       I   S   X   ;   1
0000060    4   .   0   2   .   2   0   1   9   ;   9   5   5   2       -
0000100        M   i   t   a   r   b   e   i   t   e   r   r   e   s   t
0000120                Z 374   r   i   c   h                            
0000140    C   H   E   ;   R   e   s   t   a   u   r   a   n   t   s   ,
0000160        B   a   r   s   ;   6   .   2   0   ;   C   H   F   ;    
0000200    ;   C   H   F   ;   6   .   2   0   ;       ;   1   5   .   0
0000220    2   .   2   0   1   9  \n                                    
0000227

然后我想我可能会尝试说服 tr 用 374 代替正确的字节码。所以首先我尝试了一些简单的方法，但没有奏效，但副作用是向我展示了麻烦的字节在哪里：

$ head -3 Auswertungen.csv | tail -1 | tr . .  ; echo
tr: Illegal byte sequence
1687 9619 7122;5468 87XX XXXX 2660;MY NAME ISX;14.02.2019;9552 - Mitarbeiterrest   Z

您可以在 374 字符处看到 tr 保释。

使用 perl 似乎可以避免这个问题

$ head -3 Auswertungen.csv | tail -1 | perl -pne 's/; ;/;;/g'
1687 9619 7122;5468 87XX XXXX 2660;ADAM NEALIS;14.02.2019;9552 - Mitarbeiterrest   Z?rich       CHE;Restaurants, Bars;6.20;CHF;;CHF;6.20;;15.02.2019

---