技术开发 频道

再论Oracle数据库字符集转换

  【IT168 技术文档】字符集是一个老生常谈的问题了。这个问题的引起,绝大部分是因为“乱码”。而乱码是由于客户端与服务器的字符集的不同进行字符集转换而引起的。不过很多提到了转换,却没有提到这个转换是在哪个阶段和哪里发生的?是在服务器向块里写入数据的时候吗?在客户端还是在服务器端?

  正确的答案是,普通字符串转换发生在客户端(具体来说是由OCI LIBRARY完成的),国家字符串经过两次转换,第一次发生在客户端,第二次发生在服务器端。下面做个测试:

  连接到:

  Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production

  With the Partitioning, Real Application Clusters, OLAP and Data Mining options

  SQL> select * from nls_database_parameters where parameter like ‘%CHARACTERSET%’;

  PARAMETER VALUE

  ------------------------------ ------------------------------

  NLS_CHARACTERSET ZHS16GBK

  NLS_NCHAR_CHARACTERSET AL16UTF16

  SQL> create table t1(a varchar2(100));

  表已创建。

  SQL>

  SQL> insert into t1 values (’中’);

  已创建 1 行。

  SQL>

  在本次连接中,我没有设置NLS_LANG变量。则客户端字符集为操作系统的缺省字符集ZHS16GBK。通过捕获网络包,可以发现客户端传送给客户端的数据(不能上传图片,郁闷):

  00000090 00 00 00 00 00 00 00 00 00 00 00 28 DB 00 01 1C ………..(….

  000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v

  000000B0 61 6C 75 65 73 20 28 27D6 D027 29 01 00 00 00 alues.(’..’)….

  000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 …………….

  注意红色的部分,16进制D6 D0正是“中”字的GBK编码。(关于怎么获取汉字的各种编码,暂且略过,如有需要再交流)

  现在我们退出SQLPLUS,设置环境变量NLS_LANG:

  SQL> rollback;

  回退已完成。

  SQL> exit

  从 Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production

  With the Partitioning, Real Application Clusters, OLAP and Data Mining options

  断开

  C:\Documents and Settings\Administrator>set nls_lang=american_america.us7ascii

  C:\Documents and Settings\Administrator>sqlplus test/test@dmdb

  SQL*Plus: Release 10.2.0.1.0 - Production on Mon Jan 28 00:48:41 2008

  Copyright (c) 1982, 2005, Oracle. All rights reserved.

  Connected to:

  Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production

  With the Partitioning, Real Application Clusters, OLAP and Data Mining options

  SQL> insert into t1 values (’中’);

  1 row created.

  抓获的网络包发现,在SQL提交给服务器之前已经转换了。OCI库认为提交过来的编码是US7ASCII,因此要将转换为服务器端的ZHS16GBK编码,然而“中”的编码即16进制D6 D0并不是有效的US7ASCII编码,所以ORACLE OCI就转为了转省值3F3F(US7ASCII是单字节字符集,会认为“中”字是两个字符,因此为有两个3F) 这就是“??”号的由来。

  00000090 00 00 00 00 00 00 00 00 00 00 00 C8 1D FF 00 1C …………….

  000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v

  000000B0 61 6C 75 65 73 20 28 273F 3F27 29 01 00 00 00 alues.(’??’)….

  000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 …………….

  我们再看看将客户端NLS_LANG设置为simplified chinese_china.zhs16cgb231280会发生什么:

  SQL> insert into t1 values (’中’);

  已创建 1 行。

  00000090 00 00 00 00 00 00 00 00 00 00 00 00 EC 01 01 1C …………….

  000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v

  000000B0 61 6C 75 65 73 20 28 27D6 D027 29 01 00 00 00 alues.(’..’)….

  000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 …………….

  嗯,这里仍然是D6 D0,我们知道ZHS16GBK近似于ZHS16CGB231280超级。“中”对两种字符集来说,都是同一个编码。

  看看我们使用生僻字会发生什么:

  SQL> insert into t1 values (’喫’);

  ERROR:

  ORA-01756: 引号内的字符串没有正确结束

  居然没有捕获到这个INSERT INTO语句提交到服务器的网络吧。由于在客户端要将“喫”字从ZHS16GB231280转换为ZHS16GBK,但这个字并不是一个有效的GB2312编码的字。但为什么出现了ORA-01756?转换过程认为“喫”字是GB2312编码,而操作系统传过来的编码是16进制86 CB,GB2312的编码,每个字节都是大于A1,因此认为第1个字节是一个8位的单字符,下一个字节大于A1,因此转换过程就将CB和下一个字节“’”合起来成为一个GB2312的双字节字符,因此就造成了这个错误信息。然而下面的语句是可以通过的:

  SQL> insert into t1 values (’喫1′);

  已创建 1 行。

  抓获的网络包却发现是下面的结果:

  00000090 00 00 00 00 00 00 00 00 00 00 00 10 EC 01 01 1D …………….

  000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v

  000000B0 61 6C 75 65 73 20 28 273F A3 BF27 29 01 00 00 alues.(’?..’)…

  000000C0 00 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 …………….

  验证了上面的观点。第1字节被作为一个单字节字符转换,但是也不能转换为GBK字符,因此就转为了3F,但后面的两个字节仍然不是有效的GBK编码,就转为了A3 BF(全角的“?”)

0
相关文章