Java使用哪种编码使用UTF-8或UTF-16?


问题内容

现在考虑下面给出的代码:

public static void main(String[] args) {
    printCharacterDetails("最");
}

public static void printCharacterDetails(String character){
    System.out.println("Unicode Value for "+character+"="+Integer.toHexString(character.codePointAt(0)));
    byte[] bytes = character.getBytes();
    System.out.println("The UTF-8 Character="+character+"  | Default: Number of Bytes="+bytes.length);
    String stringUTF16 = new String(bytes, StandardCharsets.UTF_16);
    System.out.println("The corresponding UTF-16 Character="+stringUTF16+"  | UTF-16: Number of Bytes="+stringUTF16.getBytes().length);
    System.out.println("----------------------------------------------------------------------------------------");
}

当我尝试调试character.getBytes()上面代码中的行时,调试器将我带到getBytes()String类的方法中,然后将我带到static byte[] encode(char[] ca, int off, int len)StringCoding类的方法中。String csn = Charset.defaultCharset().name();在调试过程中,encode方法的第一行()返回“ UTF-8”作为默认编码。我希望它是“
UTF-16”。

该程序的输出为:

最= 6700的Unicode值UTF-8字符=最| 默认值:字节数= 3

对应的UTF-16字符= UTF-16:字节数= 6

当我在程序中将其显式转换为UTF-16时,它花了6个字节来表示字符。它不应该为UTF-16使用2或4个字节吗?为什么要使用6个字节?

我的理解哪里出错了?我使用Ubuntu 14.04,locale命令显示以下内容:

LANG=en_US.UTF-8

这是否意味着JVM根据基础操作系统决定使用哪种编码,还是仅使用UTF-16?请帮助我理解这个概念。


问题答案:

人物是人类文化中的图形实体。当计算机需要处理文本时,它将使用这些字符的字节 表示形式 。所使用的确切表示形式称为 编码

有许多编码可以表示相同的字符-通过Unicode字符集,或通过其他字符集(例如各种ISO-8859编码或JIS X 0208)。

在内部,Java使用UTF-16。这意味着每个字符可以由两个字节的一个或两个序列表示。您所使用的字符最糟的是代码点U +
6700,它以UTF-16表示为字节0x67和字节0x00。

那是 内部 编码。除非您转储内存并查看转储图像中的字节,否则您将看不到它。

但这种方法getBytes()没有 返回这个内部表示。它的文档说:

public byte[] getBytes()

String使用平台的默认字符集将其编码为字节序列,并将结果存储到新的字节数组中。

语言环境变量说的是“平台的默认字符集”。即UTF-8。因此,它将采用UTF-16内部表示形式,并将其转换为其他表示形式-UTF-8。

注意

new String(bytes, StandardCharsets.UTF_16);

不会像您假设的 那样
“将其明确转换为UTF-16”。此字符串构造函数采用一个字节序列,该字节序列应该位于第二个参数中给出的编码中,并将其转换为UTF-16表示形式,以表示这些字节在该编码中表示的任何字符。

但是您给了它一个以UTF-8编码的字节序列,并告诉它将其解释为UTF-16。这是错误的,并且您没有获得期望的字符或字节。

您无法告诉Java如何在内部存储字符串。它始终将它们存储为UTF-16。构造函数String(byte[],Charset)告诉Java从应该位于给定字符集中的字节数组中创建UTF-16字符串。该方法getBytes(Charset)告诉Java给您一个字节序列,该字节序列表示给定编码(字符集)中的字符串。而且getBytes()不带参数的方法也一样-
但是使用平台的默认字符集进行转换。

所以你误解了getBytes()给你的东西。这 不是
内部表示。您不能直接得到它。只会getBytes(StandardCharsets.UTF_16)给您,并且因为您知道那UTF-16是Java的内部表示。如果Java的未来版本决定以不同的编码表示字符,则getBytes(StandardCharsets.UTF_16)不会向您显示内部表示。

编辑: 实际上,Java
9在字符串的内部表示中引入了这种更改,默认情况下,所有字符都在ISO-8859-1范围内的字符串在内部用ISO-8859-1表示,而带有at的字符串与以前一样,该范围之外的至少一个字符在UTF-16中内部表示。因此的确,getBytes(StandardCharsets.UTF_16)不再返回内部表示。