技术开发 频道
IT168首页 > 技术开发 > 技术开发技术 > 正文

PHP对GB编码动态转UTF-8几种方法评测

作者：来自ITPUB论坛 编辑： cynthia 2007-12-14 00:00
分享

　　【IT168 技术文档】在《IP地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取IP数据库文件是效率最高的，相比用MySQL数据库存储IP数据，用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL方法，可以在数据存入数据库时就转换为UTF-8编码，一劳永逸。但是QQWry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。

　　动态转换GB->UTF-8编码至少有四种方法：

　　用PHP的iconv扩展转换

　　用PHP的mb_string扩展转换

　　用对换表转换，对换表存储在MySQL数据库中

　　用对换表转换，对换表存储在文本文件中

　　前两种方法要服务器作了相应设置(编译安装了相应扩展)才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。

　　测评程序如下(func_ip.php参见《IP地址->地理位置转换的测评》一文)：　　 

　　require_once (\"func_ip.php\");

　　function u2utf8($c) {
　　$str = \"\";

　　if ($c < 0x80) {
　　$str .= $c;
　　} elseif ($c < 0x800) {
　　$str .= chr(0xC0 | $c >> 6);
　　$str .= chr(0x80 | $c & 0x3F);
　　} elseif ($c < 0x10000) {
　　$str .= chr(0xE0 | $c >> 12);
　　$str .= chr(0x80 | $c >> 6 & 0x3F);
　　$str .= chr(0x80 | $c & 0x3F);
　　} elseif ($c < 0x200000) {
　　$str .= chr(0xF0 | $c >> 18);
　　$str .= chr(0x80 | $c >> 12 & 0x3F);
　　$str .= chr(0x80 | $c >> 6 & 0x3F);
　　$str .= chr(0x80 | $c & 0x3F);
　　}
　　return $str;
　　}
　　function GB2UTF8_SQL($strGB) {
　　if (!trim($strGB)) return $strGB;
　　$strRet = \"\";

　　$intLen = strlen($strGB);
　　for ($i = 0; $i < $intLen; $i++) {
　　if (ord($strGB{$i}) > 127) {
　　$strCurr = substr($strGB, $i, 2);
　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
　　$strSql = \"SELECT code_unicode FROM nnstats_gb_unicode

　　WHERE code_gb = \".$intGB.\" LIMIT 1\"

　　;
　　$resResult = mysql_query($strSql);
　　if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode[\"code_unicode\"]);

　　else $strRet .= \"??\";

　　$i++;
　　} else {
　　$strRet .= $strGB{$i};
　　}
　　}
　　return $strRet;
　　}
　　function GB2UTF8_FILE($strGB) {
　　if (!trim($strGB)) return $strGB;
　　$arrLines = file(\"gb_unicode.txt\");

　　foreach ($arrLines as $strLine) {
　　$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
　　}
　　$strRet = \"\";

　　$intLen = strlen($strGB);
　　for ($i = 0; $i < $intLen; $i++) {
　　if (ord($strGB{$i}) > 127) {
　　$strCurr = substr($strGB, $i, 2);
　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
　　if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
　　else $strRet .= \"??\";

　　$i++;
　　} else {
　　$strRet .= $strGB{$i};
　　}
　　}
　　return $strRet;
　　}
　　function EncodeIp($strDotquadIp) {
　　$arrIpSep = explode(\'.\', $strDotquadIp);

　　if (count($arrIpSep) != 4) return 0;
　　$intIp = 0;
　　foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
　　return $intIp;
　　//return sprintf(\'%02x%02x%02x%02x\', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);

　　}
　　function GetMicroTime() {
　　list($msec, $sec) = explode(\" \", microtime());

　　return ((double)$msec + (double)$sec);
　　}
　　for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址

　　$strIp = mt_rand(0, 255).\".\".mt_rand(0, 255).\".\".mt_rand(0, 255).\".\".mt_rand(0, 255);

　　$arrAddr[$i] = ip2addr(EncodeIp($strIp));
　　}
　　$resConn = mysql_connect(\"localhost\", \"netnest\", \"netnest\");

　　mysql_select_db(\"test\");

　　// 测评MySQL查询的编码转换

　　$dblTimeStart = GetMicroTime();
　　for ($i = 0; $i < 100; $i++) {
　　$strUTF8Region = GB2UTF8_SQL($arrAddr[$i][\"region\"]);

　　$strUTF8Address = GB2UTF8_SQL($arrAddr[$i][\"address\"]);

　　}
　　$dblTimeDuration = GetMicroTime() - $dblTimeStart;
　　// 测评结束并输出结果

　　echo $dblTimeDuration; echo \"\r\n\";

　　// 测评文本文件查询的编码转换

　　$dblTimeStart = GetMicroTime();
　　for ($i = 0; $i < 100; $i++) {
　　$strUTF8Region = GB2UTF8_FILE($arrAddr[$i][\"region\"]);

　　$strUTF8Address = GB2UTF8_FILE($arrAddr[$i][\"address\"]);

　　}
　　$dblTimeDuration = GetMicroTime() - $dblTimeStart;
　　// 测评结束并输出结果

　　echo $dblTimeDuration; echo \"\r\n\";

　　?>

　　测评两次结果(精确到3位小数，单位是秒)：

　　MySQL查询转换：0.112

　　文本查询转换：10.590

　　MySQL查询转换：0.099

　　文本查询转换：10.623

　　可见这次是MySQL方法遥遥领先于文件查询法。但是现在还不急于使用MySQL方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下：

　　0x2121 0x3000 # IDEOGRAPHIC SPACE

　　0x2122 0x3001 # IDEOGRAPHIC COMMA

　　0x2123 0x3002 # IDEOGRAPHIC FULL STOP

　　0x2124 0x30FB # KATAKANA MIDDLE DOT

　　0x2125 0x02C9 # MODIFIER LETTER MACRON (Mandarin Chinese first tone)

　　……

　　0x552A 0x6458 #

　　0x552B 0x658B #

　　0x552C 0x5B85 #

　　0x552D 0x7A84 #

　　……

　　0x777B 0x9F37 #

　　0x777C 0x9F3D #

　　0x777D 0x9F3E #

　　0x777E 0x9F44 #

　　文本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数;接着一条接一条记录存入文件，每条记录4字节，前2字节对应GB代码，后2字节对应Unicode代码。转换程序如下：　　 

　　$arrLines = file(\"gb_unicode.txt\");

　　foreach ($arrLines as $strLine) {
　　$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
　　}
　　ksort($arrCodeTable);
　　$intCount = count($arrCodeTable);
　　$strCount = chr($intCount % 256) . chr(floor($intCount / 256));
　　$fileGBU = fopen(\"gbu.dat\", \"wb\");

　　fwrite($fileGBU, $strCount);
　　foreach ($arrCodeTable as $k => $v) {
　　$strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
　　fwrite($fileGBU, $strData);
　　}
　　fclose($fileGBU);
　　?>

　　执行程序后就获得了二进制的GB->Unicode对照表gbu.dat，并且数据记录按GB代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下：

　　function GB2UTF8_FILE1($strGB) {
　　if (!trim($strGB)) return $strGB;
　　$fileGBU = fopen(\"gbu.dat\", \"rb\");

　　$strBuf = fread($fileGBU, 2);
　　$intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
　　$strRet = \"\";

　　$intLen = strlen($strGB);
　　for ($i = 0; $i < $intLen; $i++) {
　　if (ord($strGB{$i}) > 127) {
　　$strCurr = substr($strGB, $i, 2);
　　$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
　　$intStart = 1;
　　$intEnd = $intCount;
　　while ($intStart < $intEnd - 1) { // 折半法查找

　　$intMid = floor(($intStart + $intEnd) / 2);
　　$intOffset = 2 + 4 * ($intMid - 1);
　　fseek($fileGBU, $intOffset);
　　$strBuf = fread($fileGBU, 2);
　　$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
　　if ($intGB == $intCode) {
　　$intStart = $intMid;
　　break;
　　}
　　if ($intGB > $intCode) $intStart = $intMid;
　　else $intEnd = $intMid;
　　}
　　$intOffset = 2 + 4 * ($intStart - 1);
　　fseek($fileGBU, $intOffset);
　　$strBuf = fread($fileGBU, 2);
　　$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
　　if ($intGB == $intCode) {
　　$strBuf = fread($fileGBU, 2);
　　$intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});
　　$strRet .= u2utf8($intCodeU);
　　} else {
　　$strRet .= \"??\";

　　}
　　$i++;
　　} else {
　　$strRet .= $strGB{$i};
　　}
　　}
　　return $strRet;
　　}

　　把其加到原来的测评程序，对三种方法同时测评2次得到数据(精确到3位小数，单位：秒)：

　　MySQL方法：0.125

　　文本文件方法：10.873

　　二进制文件折半法：0.106

　　MySQL方法：0.102

　　文本文件方法：10.677

　　二进制文件折半法：0.092

　　可见二进制文件折半法还比MySQL法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢?我找来5个Blog的RSS 2.0文件，都是GB2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下(精确到3位小数，单位：秒)：

　　MySQL方法：7.206

　　文本文件方法：0.772

　　二进制文件折半法：5.022

　　MySQL方法：7.440

　　文本文件方法：0.766

　　二进制文件折半法：5.055

　　可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下(精度和单位同上)：

　　从文本文件读入对照表：0.766

　　从二进制文件读入对照表：0.831

　　从文本文件读入对照表：0.774

　　从二进制文件读入对照表：0.833

　　表明这次改进失败了，从文本文件读入转码对照表更高效。

　　总结：用PHP对GB编码到UTF-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换;如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。

0
相关文章
    盛拓传媒简介 关于IT168 广告服务 使用条款 投稿指南 联系我们
    北京盛拓优讯信息技术有限公司. 版权所有 中华人民共和国增值电信业务经营许可证 编号：京B2-20170206 北京市公安局海淀分局网监中心备案编号：11010802020118
    广播电视节目制作经营许可证:(京) 字第25315号 信息系统安全等级保护备案：11010813655-00001 京公网安备11010802020118号
    违法和不良信息举报电话 :010-58859066,18101376593,shengtuo20@it168.com