技术开发 频道

Python开发者迁移到Go前需知道的事情

        【IT168 评论】这是一篇记录了我们把一大段 Python/Cython 代码迁移到 Go语言经历的(长)博客。如果你希望了解整个故事、背景等所有的内容,请接着读。如果只对 Python 开发者进入之前需要知道的东西感兴趣,点击下面的链接:从Python迁移到Go的提示与技巧

  背景

  我们在 Repustate 技术上最大的成果就是实现了阿拉伯语情感分析。阿拉伯语真是一个难啃的骨头,它的单词语法形态太复杂了。阿拉伯语的分词(tokenization,把一个句子分成独立的词语)相比诸如英语更难,因为阿拉伯语单词内部可能包含空格(例如,aleph内的位置)。这个不需要保密,那就是 Repustate 使用了支持向量机(SVM)来得到句子最可能的意思,然后在此基础上分析情感。我们总共用了 22 个模型(22 个支持向量机),文档中的每个单词都会被分析。也就是说,如果一篇文档包含 500 词的话,将会有一万次以上的支持向量机的比较操作。

  Python

  Repustate几乎是彻底用 Python 实现的,因为我们使用了 Django 作为应用程序接口和网站架构。所以只能保持代码的统一,同时用 Python 实现整个阿拉伯语情感引擎。原型与实现的过程中,Python 还是很不错的。非常强的表达能力,强大的第三方库资源。如果你只是服务于网页的话,还是很完美的。但是,当你需要进行底层计算,需要在散列表(Python 中的字典)上进行大量的比较运算的时候,速度就慢下来了。我们每秒钟只能处理2到3篇阿拉伯语文档,这太慢了。对比我们的英语情感引擎,每秒钟能处理 500 篇文档。

  瓶颈

  于是,我们启动了 Python 分析器,研究哪部分执行得慢。还记得我说过我们会用 22 个支持向量机处理每一个单词吗?这些处理都是串行的,没有并行操作。好,我们第一个想法是把这个改成类似 map/reduce 的操作。长话短说:Python 中不适合使用 map/reduce。当你需要并发性的时候,Python 一点都不好用。2013 年的 PyCon 大会上,Guido 提到了 Tulip,他试图解决这个问题的新项目,但是还需要一段时间才能推出。如果已经有更好的选择,我们为什么还要等它呢。

  换Go语言还是回家种田

  我在 Mozilla 的朋友告诉我,Mazilla 服务中日志架构的大部分代码已经切换成 Go 了,部分原因是 goroutine(Go 线程)的强大。Go 是 Google 的一群人设计的,它把并行性作为一级概念,而不像 Python 的不同解决方案做的事后补充。于是,我们开始着手把 Python 换成 Go。

  尽管 Go 代码还没达到产品级别,其结果已经非常令人鼓舞了。我们达到了每秒 1000 文档的速度,使用了更少的内存,还不用去处理用 Python 时碰到的多进程/gevent/“为什么 Ctrl+C 杀掉了我的进程”代码等讨厌的问题。

  我们为什么爱上了Go

  只要知道一点儿编程语言工作原理的人,(明白解释和编译以及动态与静态的区别),就会说:“老兄,Go 显然会更快”。没错,我们也可以把整个东西用 Java 来重写,并且得到类似的性能,但这不是 Go 胜出的原因。你用 Go 写出代码来就很容易是正确的。我也说不清楚怎么回事,但是一旦代码编译通过(编译速度还很快),你就感觉到它可以工作了(不只是运行不提示错误,而是逻辑上就是对的)。我知道这听起来很玄乎,但确实是事实。这就像 Python 解决冗余问题(或者说无冗余),它把函数作为一级对象,从而函数编程可以轻松的进行。go线程和通道(channel)让你的生活如此轻松。你还可以得到静态类型带来的性能提升,更精确的控制内存分配,却不会因此损失表达性。

0
相关文章