ChatGPT解决这个技术问题 Extra ChatGPT

什么是代码覆盖率,你如何衡量它?

什么是代码覆盖率,你如何衡量它?

我被问到这个关于我们自动化测试代码覆盖率的问题。似乎在自动化工具之外,它更像是艺术而不是科学。是否有任何关于如何使用代码覆盖率的真实示例?


P
Peter Mortensen

代码覆盖率是对在运行自动化测试时执行了多少行/块/弧的代码的度量。

代码覆盖率是通过使用专门的工具来检测二进制文件以添加跟踪调用并针对检测的产品运行全套自动化测试来收集的。一个好的工具不仅可以为您提供已执行代码的百分比,还可以让您深入研究数据并准确查看在特定测试期间执行了哪些代码行。

我们的团队使用 Magellan - 一套内部代码覆盖工具。如果您是 .NET 商店,Visual Studio 已集成工具来收集代码覆盖率。您还可以推出一些自定义工具,如 this article 所述。

如果您是一家 C++ 商店,英特尔有一些可在 Windows 和 Linux 上运行的 tools,尽管我没有使用过它们。我也听说有 GCC 的 gcov 工具,但我对此一无所知,无法给你链接。

至于我们如何使用它——代码覆盖率是我们每个里程碑的退出标准之一。我们实际上有三个代码覆盖率指标——单元测试覆盖率(来自开发团队)、场景测试(来自测试团队)和组合覆盖率。

顺便说一句,虽然代码覆盖率是衡量您进行多少测试的好指标,但它不一定是衡量您测试产品的好坏的好指标。您应该使用其他指标以及代码覆盖率来确保质量。


“您应该使用其他指标以及代码覆盖率来确保质量。”你能说一下这些其他指标是什么吗?
您也可以使用 Testwell CTC++,它是一个非常完整的 C、C++、C# 和 Java 代码覆盖工具
@Troopers 变异测试是衡量测试范围的另一种方法。
P
Pang

代码覆盖率基本上告诉您有多少代码被测试覆盖。例如,如果你有 90% 的代码覆盖率,这意味着 10% 的代码没有被测试覆盖。

我知道你可能会想,如果覆盖了 90% 的代码,那就足够了,但你必须换个角度看。是什么阻止您获得 100% 的代码覆盖率?

一个很好的例子是:

if(customer.IsOldCustomer()) 
{
}
else 
{
}

现在,在上面的代码中,有两个路径/分支。如果您总是点击“YES”分支,则您没有覆盖“else”部分,它将显示在代码覆盖率结果中。这很好,因为现在您知道没有涵盖的内容,您可以编写一个测试来涵盖“其他”部分。如果没有代码覆盖,你只是坐在定时炸弹上,等待爆炸。

NCover 是衡量代码覆盖率的好工具。


最好的答案,大约 10 年前!该死! :)
简单而有意义的答案:)
是的。唯一说得通的。即使我什至懒得继续向下滚动。这就是我停下来的地方。已收藏。
真的很好描述!
d
dbr

请记住,拥有“100% 代码覆盖率”并不意味着所有内容都经过了完全测试——虽然这意味着每一行代码都经过了测试,但这并不意味着它们在每种(常见)情况下都经过了测试。

我会使用代码覆盖来突出显示我可能应该为其编写测试的代码。例如,如果任何代码覆盖工具显示 myImportantFunction() 在运行我当前的单元测试时没有执行,它们可能应该得到改进。

基本上,100% 的代码覆盖率并不意味着您的代码是完美的。使用它作为编写更全面(单元)测试的指南。


-“100% 代码覆盖率”并不意味着所有内容都经过完全测试 - 虽然它意味着每一行代码都经过测试,但这并不意味着它们在每个(常见)情况下都经过测试..-“在每个(常见)下情况”这与数据输入和参数有关吗?我很难理解为什么如果一切都经过测试,它并不等同于完全经过测试。
仅仅因为您的代码的每一行都在您的测试中的某个时间点运行,这并不意味着您已经测试了代码可以在其中运行的所有可能场景。如果您只有一个函数,它使用 x 并返回 x/x,并且您使用 my_func(2) 运行测试,那么您将获得 100% 的覆盖率(因为函数的代码已经运行)但是您错过了一个大问题当参数为 0 时。即,即使覆盖率为 100%,您还没有测试所有必要的场景。
P
Peter Mortensen

补充许多以前的答案的几点:

代码覆盖率意味着您的测试集覆盖源代码的程度。即测试用例集涵盖的源代码到什么程度。

如上述答案所述,有各种覆盖标准,如路径、条件、函数、语句等。但要涵盖的其他标准是

条件覆盖:所有布尔表达式都被评估为真和假。决策覆盖:不只是布尔表达式被评估一次真假,而是覆盖所有后续的 if-elseif-else 主体。循环覆盖率:表示每个可能的循环是否已执行一次、多次和零次。此外,如果我们假设最大限制,那么,如果可行,测试最大限制时间,并且比最大限制时间多一倍。进入和退出覆盖率:测试所有可能的调用及其返回值。参数值覆盖率 (PVC)。检查是否测试了参数的所有可能值。例如,字符串通常可以是以下任何一种:a) null,b) 空,c) 空格(空格、制表符、换行符),d) 有效字符串,e) 无效字符串,f) 单字节字符串,g ) 双字节字符串。未能测试每个可能的参数值可能会留下错误。仅测试其中一个可能会导致 100% 的代码覆盖率,因为覆盖了每一行,但由于仅测试了七个选项中的一个,这意味着只有 14.2% 的参数值覆盖率。继承覆盖:如果是面向对象的源,当返回基类引用的派生对象时,覆盖评估,如果返回兄弟对象,则应测试。

注意:静态代码分析会发现是否有任何无法访问的代码或挂起的代码,即没有被任何其他函数调用覆盖的代码。以及其他静态覆盖。即使静态代码分析报告 100% 的代码被覆盖,如果所有可能的代码覆盖率都被测试,它也不会给出关于你的测试集的报告。


这里很好地补充了其他答案
P
Peter Mortensen

代码覆盖率在前面的答案中已经得到了很好的解释。所以这更像是对问题第二部分的回答。

我们使用了三种工具来确定代码覆盖率。

JTest - 基于 JUnit 构建的专有工具。 (它也生成单元测试。) Cobertura - 一个开源代码覆盖工具,可以轻松地与 JUnit 测试结合以生成报告。 Emma - 另一个 - 我们用于与单元测试略有不同的目的。它已用于在最终用户访问 Web 应用程序时生成覆盖率报告。这与 Web 测试工具(例如:Canoo)相结合,可以为您提供非常有用的覆盖率报告,告诉您在典型的最终用户使用期间覆盖了多少代码。

我们使用这些工具来

审查开发人员编写了良好的单元测试

确保在黑盒测试期间遍历所有代码


P
Peter Mortensen

代码覆盖率只是对被测试代码的度量。有多种覆盖率标准可以衡量,但通常是程序中的各种路径、条件、函数和语句构成了总覆盖率。代码覆盖率指标只是执行这些覆盖率标准的测试的百分比。

至于我如何跟踪项目的单元测试覆盖率,我使用静态代码分析工具来跟踪。


m
moritz

对于 Perl,我经常在我的模块中使用出色的 Devel::Cover 模块。

如果构建和安装由 Module::Build 管理,您只需运行 ./Build testcover 即可获得一个漂亮的 HTML 站点,该站点告诉您每个子、行和条件的覆盖率,漂亮的颜色使您可以轻松查看哪个代码路径没有被覆盖。


t
taha027

在前面的答案中,代码覆盖率已经得到很好的解释。如果您在 iOSOSX 平台上工作,我只是添加一些与工具相关的知识,Xcode 提供了测试和监控代码覆盖率的工具。

参考链接:

https://developer.apple.com/library/archive/documentation/DeveloperTools/Conceptual/testing_with_xcode/chapters/07-code_coverage.html

https://medium.com/zendesk-engineering/code-coverage-and-xcode-6b2fb8756a51

两者都是学习和探索 Xcode 代码覆盖率的有用链接。


G
Gunjan

代码覆盖测试的目的是弄清楚有多少代码正在被测试。代码覆盖率工具会生成一份报告,显示已经运行了多少应用程序代码。代码覆盖率以百分比来衡量,越接近 100% 越好。这是一个白盒测试的例子。以下是一些用于代码覆盖测试的开源工具:

Simplecov - 对于 Ruby Coverlet - 对于 .NET Cobertura - 对于 Java Coverage.py - 对于 Python Jest - 对于 JavaScript


a
adilbo

对于 PHP,你应该看看 Sebastian Bergmann 的 Github

为 PHP 代码覆盖率信息提供收集、处理和呈现功能。

https://github.com/sebastianbergmann/php-code-coverage


关注公众号,不定期副业成功案例分享
关注公众号

不定期副业成功案例分享

领先一步获取最新的外包任务吗?

立即订阅