【IT168 评论】2014年淘宝双11交易额达到了惊人的571亿，有人对此提出了质疑，认为并发处理能力最高的当属移动，那么这疯狂数字背后究竟有哪些玄机?ITPUB论坛的网友们对此各抒己见，为我们上演了一场精彩的辩论赛。

　　yjxbravo:其实在中国，日交易量最大的公司是工商银行，不是什么淘宝。而每秒并发处理能力最高的是移动，并不是什么秒杀。支付宝秒杀的并发量只有银联的几分之一，更别说和移动的处理量比。只是工商银行，移动从不说自己技术高，说了也没人信。

　　NinGoo：移动的BOSS是个好例子，确实也是个多年做出来的牛B系统。如果熟悉其中的情况，欢迎也能到各个技术大会上好好吹吹，相信搞技术的都会很期待。移动在这套系统上的投入，也是多年来花了大成本的。反正在网上尝试想找更具体的数字，也没太找到。不过要说省级运营商每天语音话单数量到百亿，我还是有点存疑，一个省按1亿人口算，平均每人每天通话10通，我觉得不太合理，即使按10亿，每人每天1通电话也有点偏高，当然，我没有具体的数据，只是瞎猜。

　　话单生成过程中会产生多次预计算、冻结、反算、实时销帐等交易。你自己去算算实际交易一天能到多少。

　　皮皮：据说天猫、淘宝、支付宝的大数据处理，都是基于阿里云计算的大数据处理平台ODPS完成，为天猫双十一的商品个性化推荐提供了技术支持。而谈到阿里云ODPS，有这么一组数字，ODPS可在6小时内处理100PB数据，相当于1亿部高清电影.能否从ODPS的架构角度，结合阿里双十一为我们谈谈它的具体应用?

　　lamport_qi@皮皮：ODPS现在基本上已经统一了全阿里的数据处理以及应用场景。从传统的数据仓库、BI、数据应用、数据挖掘乃至机器学习等都在基于ODPS。另外，在实时计算方面也不断涌现出了新的计算体系，包括Galaxy和Ads等，其应用也在不断加强。集群规模现在也在不断扩大，其处理能力每秒也突破千亿级别。比如大家比较熟悉的双11大屏，这些指标是能够影响市场的，容不得半点数据问题和延时。我们会考虑到数据链路的所有环节，必须做到完全的容错和容灾。有些计算指标是多流join，这对性能和容错挑战是非常大的。大家看到大屏幕上数字不断跳跃，其背后是大量的资源和技术智力的积累。再比如ads，它的创新技术可以使得原来分析数百亿甚至数千亿数据的时间从小时，分钟直接到秒，毫秒。这块已经对外开放使用，欢迎大家试用。

　　wolfop:不吹牛会死啊，双11日交易量只有银联或者广东移动在线计费日交易量的1/20，竟然给我吹处理那么大的数据。上次我问那数据量怎么来的，没人回答，后来在阿里另外一个人写的网络优化的文章找到答案。ODPS的处理数据量=阿里网络平均流量/s*时间，吻合的一塌糊涂。如果一个图片有100K，被点击了100K次，就相当于ODPS处理了10G数据?真能吹的。

　　lamport_qi@wolfop:都是搞技术的。这里计算的并不是最源头的业务数据。是集群处理的数据量。包括中间数据。很简单，如果中间有计算是做笛卡尔积的，数据会极大的膨胀。有些数据的sql长达1000行。这里统计的并不是数据源。

　　Wolfop@lamport_qi:哦，不是吧，图片访问了1000次就计算1000次流量，而是把join的临时数据也算上。照这个算法，RDBMS处理的数据量=IO量乘以压缩比?

　　这果然和另外一个推论完全吻合，ODPS平台按照公开资料有5000台服务器，按照6小时能处理100PB计算，每台服务器每秒吞吐量

　　100*1024*1024/5000/6=0.97GB/s。这个速度差不多也到了是PC服务器内置盘在读写混合下IO极限了。果然就是

　　服务器的IO极限吞吐量×集群节点数量×时间

　　拿出手的案例不过每天9亿条，2TB新增数据，这真让别人用流计算+RDBMS每天1200亿条数据的案例感觉毫无压力。

　　SQL长达1000在分析类系统并不少见，阿里的所谓大数据平台开放给别人做挖掘和分析被第一吐槽的就是SQL性能不行。

　　NinGoo@wolfop:双11日交易量只有银联或者广东移动在线计费日交易量的1/20。

　　数据这么精确，看起来是银联或者广东移动的内部人士，那么请问下银联和广东移动计费具体的日交易量和日交易笔数大概是多少?是一套交易系统处理的，还是分布在不同的交易系统做本地处理再集中结算?

　　如果从技术的角度来说，需要比较的应该是交易笔数。看交易量，不同的业务场景的笔单价差别还是蛮大的，至少银联跨行转账和取款相对交易来说要大很多。

　　从网上搜索到的数据，银联“其中就单日交易情况看，长假前一天的9月30日以及10月1日国庆当天，交易笔数分别达到7458万笔和7218万笔，分列近年各节假日交易笔数第一和第二峰值”(出处：http://corporate.unionpay.com/in ... file_116362456.html)

　　而支付宝“天猫双十一购物节11日零时正式开幕，支付宝方面透露，第一个小时支付宝完成的付款笔数已达6283万笔，完成了去年全天1.88亿笔约三分之一的量。”(出处：http://www.cs.com.cn/xwzx/jr/201410/t20141008_4528906.html，注意这里是付款笔数，系统中创建的交易笔数是要超过这个数的)

　　不知道1/20是怎么得出来的?

　　交易系统的挑战不仅仅在于全天的交易量，更多在凌晨瞬间的几秒钟，这个尖峰，到目前为止，我还没有看到确切的有比支付宝更高的交易系统的记录，如果谁有，希望能够当面请教下，学习下。

　　Wolfop@NinGoo:把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。瞬间交易笔数，这次就是双11秒杀瞬间交易笔数导致了后期严重的不一致和取消订单，这事情你不会打算否认吧?阿里自己内部的人都漏嘴，平均双11一天的平均交易数量不过2000多/s。ODPS数据量=总磁盘的吞吐量乘以时间，NB的算法，自叹吹牛水平严重不如。有本事拿个象样子的案例来吹啊，一天2亿条记录也到处吹。

　　另外再告诉你一个数字，一个大的省级运营商的每天语音话单数量是用10亿到百亿来计的。真正的实时计费要求话务接续的过程中，在线计费必须300ms内完成DCC协议的响应，一条话单生成过程中会产生多次预计算、冻结、反算、实时销帐等交易。你自己去算算实际交易1天能到多少。更不用说加上数据流量的实时计费。

　　NinGoo@Wolfop：1.把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。

　　不是偷换，是真的不知道总交易笔数是多少，只能从网上搜索这样的公开数据。如果你知道，能透露下具体的粽交易笔数的量级么?在7458万的基础上要再加上多少?另外请教下，用卡交易和跨行转账/取款是不是同一套交易系统?

　　2.瞬间交易笔数，这次就是双11秒杀瞬间交易笔数导致了后期严重的不一致和取消订单，这事情你不会打算否认吧?

　　我还真不清楚你说的这个事什么情况，什么叫“后期严重的不一致和取消订单”，具体的案例出处在哪里，占比有多严重?

　　3.阿里自己内部的人都漏嘴，平均双11一天的平均交易数量不过2000多/s。

　　首先，讨论技术和系统压力，说平均值我只能呵呵了。。。

　　其次，什么叫内部的人说漏嘴?去年双11的1.88亿笔支付是公开数据，一天下来平均就是每秒2175，你可以自己算出来零点峰值和平均值，在双11是非常大的。具体的数字我不清楚，但今年鲁肃有公开的说法，每分钟285万笔，即使不算秒峰值，这一分钟的平均峰值也是47500/s 出处在这里：http://tech.sina.com.cn/i/2014-11-11/doc-icczmvum9777295.shtml

　　ODPS数据量=总磁盘的吞吐量乘以时间，NB的算法，自叹吹牛水平严重不如。

　　有本事拿个象样子的案例来吹啊，一天2亿条记录也到处吹。

　　4.我不知道你说的一天2亿条记录到处吹是什么情况?具体案例在哪里?2亿条当然不值得吹，谁在吹我都替他脸红。光是我这个团队做的一个产品，每天处理的增量原始数据都是几百亿条了，都还没敢到外面吹呢。

　　这个问题，前面讨论的交易笔数，都是业务层面的笔数，不是换算到数据库的transaction。如果要换算到数据库层面的交易笔数，一条淘宝交易也有很多个状态的，比如拍下，付款，发货，确认收货，而且还涉及到淘宝的交易库，支付宝的交易库，支付宝的账户库等等。早些年双11的时候，系统压力扛不住的时候，也有做过短暂停止卖家做确认发货操作的降级方案来确保卖家下单的体验的事情。

     更多专家观点，请查看IT名人堂栏目：http://www.itpub.net/star/

　　2015中国数据库技术大会即将于4月16日-18日在北京新云南皇冠假日酒店召开，届时阿里的刘昆即将发表主题为“面向未来的阿里数据库新架构体系剖析”的精彩演讲，阿里分布式数据库DRDS负责人沈询也将为大家带来主题为“云上的分布式数据库DRDS”的演讲，大会目前报名6.8折优惠，欢迎大家踊跃报名!http://dtcc.it168.com/