国际数据公司(IDC)于近日发布了《中国市场代码生成产品评估，1H24》(Doc# CHC51598624，2024年10月)，报告分析了整体代码生成市场情况，对当前主流产品进行了多维度评估和实际测评，从C++和Java两种语言来评估AI产品的生成代码和注释准确率和可帮助性，旨在为企业选择产品时提供更好的参考。
IDC预测，到2030年，AI会累计为全球经济带来19.4万亿的经济收入，每在AI解决方案和服务上花费1美元，就可以产生4.6美元的经济收益，包括直接价值链收益和间接全生态影响。
代码生成产品作为生成式AI的主要服务形式之一，拥有巨大的发展空间和前景。IDC全球数据显示，82%的开发人员已经使用具有自动完成或智能代码生成功能的IDE或代码编辑器，其中71%的人表示他们编写的代码中有40%以上是自动生成的。另一项面向中国市场的调研数据显示，对于已经探索和应用GenAI的企业，其中有31%的人员已经使用了代码生成产品。
本次报告收录了CodeGeeX、豆包MarsCode、Q Developer、通义灵码、腾讯云AI代码助手、文心快码、小浣熊Raccoon、亚信图灵程序员共8个产品(按产品拼音首字母排序)，并从产品能力水平(实测项)、功能丰富度、产品架构、开发者体验、商业化水平、工程化落地支持、生态布局、战略领先性维度进行评估，呈现不同产品的能力水平和优势。
实测结果如下图所示
从上述结果可以看出，各代码生成产品在C++和Java语言上已经具备了基本的问题解决能力，可以生成有效且可用的代码和注释，帮助开发人员提高效率。
但在实际测评过程中IDC发现产品仍有很大改进空间：
编程范式支持不足：各家均支持面向过程、对象的范式，但对于面向组件、服务、切面、函数、并发、泛型编程，头部支持更佳;
理解问题表面：部分任务仅停留在处理问题的表层描述，系统应根据用户输入识别目的，例如进行数据处理、构建算法、实现接口、性能优化，不仅生成任务框架本身，还需考虑安全性问题、状态管理;
可扩展性不足：生成的代码不仅是短期有效，还应具备可维护性和扩展性，遵循软件开发的设计模式、SOLID原则等最 佳实践;
性能优化不足：在处理涉及大量数据、复杂计算或实时要求的场景时，系统生成的代码应考虑效率问题，选择高效的算法和数据结构，例如排序算法应考虑数据规模和场景，而不只是单纯返回通用的冒泡排序;
健壮性和容错能力不足：生成的代码应当能够处理意外情况、异常输入和潜在的错误，确保在各种场景下都能运行，自动生成异常处理逻辑;
安全考虑不足：生成的代码在处理涉及用户数据、身份认证、数据库查询等敏感信息时，系统还应当自动加入必要的安全性检查，防止潜在的安全漏洞，避免直接拼接用户输入。
IDC给技术供应商的建议：
产品应该深入挖掘背后的业务逻辑，很多问题的解决不仅仅依赖生成符合语法规范的代码，还涉及如何高效的访问、处理数据、针对场景进行优化;
代码注释和文档也非常重要，帮助开发者理解思路和决策设计，特别是在复杂逻辑(如并发处理或异步操作)中，应详细说明各步骤的目的和流程;
在面对不同复杂度的问题时，应生成灵活的代码结构，如模块化、服务化的结构，确保考虑功能实现、性能优化、可扩展性;
生成内容要提供扩展性建议，考虑未来可能的扩展和优化;
在某些特定场景下，不应仅搭建简单的框架，例如还要考虑线程管理、锁机制、死锁避免等问题;
当涉及特定技术栈时，系统能识别并生成与该技术栈相匹配的最 佳实践代码，而非通用代码结构。
IDC中国新兴科技研究组高级分析师李浩然表示，中国市场目前仍有较大培育和发展的空间，代码生成产品可以极大帮助企业提高开发效率、缩短产品更新周期。但企业也需要注意到，当前生成代码的采纳率普遍在20%-30%之间，近四分之三的开发人员(72%)表示，他们需要大幅修改超过40%的自动生成代码，这意味着大模型产品仍需持续提升准确度，并开发新的代码审核工具，来帮助企业审查和修订AI生成的内容，这也是产品从探索走向实际落地的关键。
