Question

我的（相当小的）公司开发了一个流行的Windows应用程序，但有一件事我们一直在努力测试——它经常只由开发人员在与他们开发的系统相似的系统上进行测试，当更新被推送给客户时，我们的一部分客户会因为Windows补丁的一些奇怪功能而遇到问题，或者在某些偏执的防病毒应用程序的情况下（我看着你，科莫多和卡巴斯基！），他们会在我们的应用程序上出现假阳性。

我们对70%的用户使用的内容进行手动测试，但测试过程缓慢而痛苦，有时甚至没有达到应有的完整性。管理层一直坚持认为我们需要做得更好，但在发布时，他们一直在这个问题上争论不休（测试需要多长时间？只需推出它，我们就会向遇到问题的客户发布补丁！）。

我想使用虚拟机设计一个更好的自动化测试系统，但可以使用一些关于如何实现它的想法，或者如果有COTS产品，任何建议都会很好。我正在破解一个Python脚本，该脚本“运行”我们产品的每一个功能，但我不知道如果我们遇到Windows崩溃（除了检查它是否仍在进程列表中），或者更糟的是，如果科莫多出于某种愚蠢的原因标记了它，该如何进行测试。

为了最好地模拟测试环境，我试图让虚拟机尽可能“纯净”，不要在操作系统、防病毒软件和一些常见的应用程序（Acrobat Reader、Firefox等）之外加载太多垃圾。

任何想法都将不胜感激！

Answer 1

有趣的问题。需要避免的一件事是使用防病毒API来检查您的应用程序是否触发了它们。您希望在预期的操作系统上对您的应用程序进行真正的实时部署，并通过实时AV安装对其进行监控。这样，您将触发启发式监控以及API使用的简单“此代码是否与校验和匹配”。

您还没有告诉我们您的应用程序是用什么编写的，但如果应用程序的测试套件实际执行了应用程序的部分，而不是测试单个代码路径，那么这可能是一个良好的开端。理想情况下，集成测试套件与用于检查部署目标问题的测试套件相同。集成测试应该在实时环境中验证每个测试的输入和输出，这应该会捕获崩溃等。此外，不要忘记检查那些花费的时间比它们应该花费的时间长得多的东西，这是一种不幸的常见故障模式。最重要的是，您的测试套件需要足够容易地编写、更改和改进，以便与产品保持同步。不测试所有内容的测试是无用的，不运行的测试更糟糕。如果我们有更多关于您的程序如何工作的信息，我们可以就如何自动化提供更好的建议。

您可能需要一套跨预期部署目标的VM映像，这些映像处于各种修补（和取消修补）状态。对于某些应用程序，IE的每个变体都需要一个单独的VM，因为这会改变系统的其他方面。要非常小心每个虚拟机中的东西的组合。一次不要测试多个AV。在运行测试之前，请更新快照中的AV。如果你的图像中有一个足够大的组合软件，你可能需要自动创建图像-构建基本系统，更新到最新的补丁级别，然后编写AV和其他应用程序组合的安装脚本。

是的，维护这个虚拟机场将是一件痛苦的事情，但如果你为应用程序的部署编写脚本，并有良好的快照和修补和更新快照的计划，那么在给定适当的硬件的情况下，实际的测试套件本身不应该花那么长时间来运行。您需要研究VM解决方案，但我可能会从VMWare开始。

友情链接