随着人工智能技术的飞速发展，我们迎来了一个令人兴奋的议题：在不久的将来，程序员们是否还会需要亲自编写代码？最近，IEEE期刊上发表的一篇论文为我们提供了一些洞见，该论文对ChatGPT在代码生成任务上的表现进行了全面评估，使用了程序员们广泛使用的LeetCode题库作为数据集。这项研究不仅揭示了大型语言模型（LLM）在处理代码任务时可能遇到的潜在问题，也让我们对如何更有效地利用ChatGPT写代码有了更深的理解。
这项研究发表在IEEE TSE期刊上，其结果表明，ChatGPT在生成功能性代码方面的表现参差不齐。具体来说，成功率从0.66%到89%不等，这取决于任务的难度、使用的编程语言以及其他多种因素。研究团队由格拉斯哥大学的Yutian Tang博士领导，他们测试了ChatGPT在五种不同的编程语言（C、C++、Java、JavaScript和Python）中解决LeetCode上的728个编码问题的能力，并对18个CWE（常见弱点枚举）场景进行了评估。
尽管在某些情况下，AI生成的代码质量优于人类程序员，但研究同时发现，AI生成的代码存在一些安全性问题。Tang博士指出，尽管AI代码生成技术能够在一定程度上提升开发效率并自动化软件工程任务，但了解这些模型的优势和局限性至关重要。他解释说：“通过进行全面的分析，我们可以发现ChatGPT在代码生成过程中可能出现的问题和局限性，并进而改进生成技术。”
研究结果显示，ChatGPT在解决2021年之前出现在LeetCode上的编码问题时表现尤为出色。例如，在解决简单、中等和困难问题时，它生成功能性代码的成功率分别约为89%、71%和40%。然而，当处理2021年之后的问题时，ChatGPT的表现有所下降。这可能是因为ChatGPT的训练数据只到2021年为止，对于之后出现的新问题，它缺乏相应的理解和解决能力。
研究还发现，ChatGPT在生成代码时可能会产生一些编译或运行时错误。尽管它在修正编译错误方面表现不错，但在纠正逻辑错误方面则不那么擅长。此外，ChatGPT生成的代码在运行时间和内存开销方面通常优于至少50%的人类解决方案。
在安全性方面，ChatGPT生成的代码中存在一些漏洞，例如缺少空值检查，但许多漏洞都比较容易修复。研究团队还发现，使用C语言生成的代码复杂度最高，其次是C++和Python，与人类编写的代码复杂度相似。
这项研究为开发人员使用ChatGPT时提供了一些指导，例如在遇到更复杂的编程问题时，开发人员可以提供更多相关知识，并在提示中告知ChatGPT需要注意哪些潜在的安全隐患。
这项研究的结果表明，虽然ChatGPT在代码生成方面展现出了巨大的潜力，但它在逻辑理解、代码安全性以及多轮对话修复能力上仍有待提高。随着AI技术的不断进步，我们可以期待未来这些局限性将得到克服，AI将在软件工程领域发挥更大的作用。
