Embedded 版 (精华区)
发信人: Zinux (Linux技工), 信区: Embedded_system
标 题: CodeTEST嵌入式软件在线测试与分析工具在嵌入式系统�
发信站: 哈工大紫丁香 (Mon Sep 10 12:27:18 2001) , 转信
摘要：嵌入式软件的应用与开发是当今计算机软件发展的一个热点。本文首先分析了在嵌
入式系统开发中软件开发的重要性，接着描述了AMC公司的CodeTEST嵌入式软件在线分析与
测试解决方案的功能，并列举了几个典型的应用。
关键字：嵌入式软件 分析 测试 动态测试 实时 白盒测试 性能分析 内存分析 覆盖率分
析代码跟踪
引言：随着嵌入式技术的发展，嵌入式应用的不断增长以及嵌入式系统复杂性不断提高，
要求嵌入式软件的规模和复杂性也不断提高。这样，嵌入式软件的质量和开发周期对产品
的最终质量和上市时间起到决定性的影响，嵌入式软件的开发、分析与测试成为了研究的
热点。针对这一变化，本文提出了一种为嵌入式软件的开发、分析与测试特别设计的一种
测试工具——CodeTEST。
一. 嵌入式软件分析与测试的重要性
随着社会科技水平的发展，计算机技术越来越深入社会生活的方方面面，以智能化、嵌入
式为特点，方便、灵活的服务于人类，并存在于众多的关键性运用中。而在整个嵌入式系
统设计所涉及到的各个技术层面中，由于计算机硬件元件质量逐步提高，元件的集成量也
大大增加，从而使嵌入式系统的硬件设计方便，性能和可靠性得到了极大的提高；与此同
时，通过采用成熟的商用操作系统，使系统运行在一个高性能的、可靠的软件平台上，为
实现各种大型的复杂的应用打下了良好的基础。这样，使得用户自己编写的应用软件成为
影响整个系统性能的关键，应用软件设计的质量和消耗的时间，对产品的最终质量和开发
进度起到了决定性的作用。
而软件的开发要在经历需求分析、设计、编程和检验四个阶段。由于分析、设计和编程都
由人来完成，软件中的错误在所难免。与此同时，软、硬件来自不同厂商，程序运行环境
复杂；版本不断升级以及同时使用多个厂家的不同版本，致使程序运行环境经常改变，更
增加了出现错误的可能性，延误项目开发的周期。
但事实上，我们对嵌入式系统的质量控制多停留在以硬件为主，软件为辅的阶段，问题的
关键在于对嵌入系统的软件的开发和测试缺乏行之有效的手段和工具，致使所编写的程序
没有得到有效的测试就交付给用户使用，经常会给用户带来巨大的经济损失。而嵌入式系
统往往应用在通讯、工控、航天、军事等对产品质量要求非常严格的领域，用于一些关键
性任务的控制管理。所以，由它产生的错误往往会导致无可挽回的、致命的损失！
所以我们认为：软件开发过程中一定存在着错误，软件检验不但是必要的，而且是必需的
。软件检验的目的在于发现其中的错误并提交测试报告。问题是我们应该思考“采用什么
方法、如何安排测试?”
简单地说，测试是一种检验，为了判断应用系统是否合格，而用预先确定的一系列数据在
应用系统中运行，并与预期的结果进行比较，这一过程称为测试。它是软件质量保证的重
要手段。测试的这一特点，决定了测试的目的是为调试提供真实可靠的信息；在测试时，
一个最基本的要求就是待测系统要在真实的使用环境中运行，测试系统要对待测系统影响
最小。简单的说，我们测试的应该是我们要测的真实系统。
而目前就我们的实际情况来看，对软件质量的控制是我们的相对薄弱环节，我们的测试工
作被限制在静态评测或某个小范围内的动态测试。这样，使测试的有效性和效率受到极大
的影响，使我们对产品开发的各个阶段的质量无法把握，对产品的最终质量无法控制。
综上所述，随着嵌入式系统的发展，我们迫切需要一种工具能够在保证系统真实性的前提
下，在软件开发的单元阶段、集成阶段、系统阶段等各阶段对嵌入式系统的软件进行实时
在线的测试与分析，以保证系统的性能和可靠性。
二. 软件检验的手段和流程
目前，软件检验的手段有三类：动态测试、静态检查和正确性证明。
正确性证明，又称为程序证明。程序证明中最常用的方法是归纳断言法，它对程序提出一
组命题，用数学归纳法证明。由于设置命题和证明命题需要大量艰苦的脑力劳动，其间的
公式推导及其冗长，而且其技术目前还处于它的早期，故近期内不适于实际软件系统的检
验。
静态检查，指无须执行被测代码，而是人工或借助专用工具软件评审软件文档或程序，而
对代码的一些静态指标进行分析，借以发现编写的程序的不足之处，减少错误出现的概率
。静态检查一般由纯软件在主机上即可完成，不需要下载到目标板，不需硬件支持，检查
的主要内容有：
1．编程标准验证
2．数据流分析技术
3．质量度量信息
4．代码结构可视化显示
5．测试外壳的创建
从以上几点可以看出，静态测试只是对代码进行扫描分析，检测它的语法规则复杂度等是
否符合要求，由于它没有真正运行被测代码，所以不能测出代码在运行时才能体现的功能
、逻辑、行为、结构等错误。静态测试相当于测试人员对代码进行走查的过程，它主要是
为软件的质量保证提供依据，以提高软件的可靠性和易维护性，减少了产品出现错误的概
率，但作为软件质量以及产品最终质量保障的手段，是远远不够的。一台机器，设计的再
完善，他可以不测试吗？
动态测试，是使被测代码在真实环境下运行，对代码在运行情况下能体现的功能、逻辑、
行为、结构等多角度观察程序运行时的行为，以发现其中的错误现象。对于嵌入式系统，
要想保证测试的真实性，就需要将被测代码下载到目标板运行，并且测试系统不要影响原
有系统的运行，就需一定硬件支持。
对于软件动态测试工具需要提供的功能主要有：
1. 代码覆盖率（CodeCoverage）
2. 性能分析测试：
3. 内存分析：
4. 执行跟踪分析（TRACE）和启动/停止测试、
详细内容在CodeTEST功能阐述中介绍。
几乎所有软件测试产品都提供代码覆盖率分析功能，但如果是纯软件测试产品，由于对待
测系统的影响较大，使其应用范围有限，且有效性不高。而性能分析，内存分析，代码跟
踪，是一般的纯软件测试产品难以实现的。
动态测试、静态检查和正确性证明都是卓有成效的，软件检验应综合运用以上手段。
以下我们重点介绍嵌入式软件的动态测试的主要工具——CodeTEST
三. CodeTEST概述
4.1. 产品说明
AMC公司采用了专利插桩技术开发出专为嵌入式开发者设计的高性能分析测试工具――Cod
eTEST。作为全球第一台专为嵌入式系统软件分析测试而设计的工具套件, CodeTEST广泛应
用于嵌入式软件在线动态测试中。CodeTEST采用硬件辅助软件的系统构架（这种构架目前
在世界上是唯一的）和专利的源代码插装技术，用适配器或探针，直接连接到被测试系统
，从目标板总线获取信号，为跟踪嵌入式应用程序，分析软件性能，测试软件的覆盖率以
及内存的动态分配等提供了一个实时在线的高效率解决方案。
CodeTEST支持所有的32/16位CPU和MCU，支持总线频率高达100MHz。它可通过PCI/VME/CPC
I/VME总线，MICTOR插头或CPU插座对嵌入式系统进行在线测试，无需改动用户的PCB，与用
户系统的连接极为方便。
CodeTEST可同时监视整个应用程序，可以适应从单元级、集成级，直到系统级等各个阶段
的应用。从而避免了在选择程序的哪部分来观测以及如何配置相应工具来对各部分进行测
试时带来的困难。即便是在程序超出高速缓存(cache)或被动态再分配时，CodeTEST仍能生
成可靠的跟踪及测试结果。
在进入连续运行模式时，CodeTEST能够同时测试出软件的性能，代码覆盖以及存储器动态
分配，捕获函数的每一次运行，无论是在检测一个局部的软件模块还是整个软件系统测试
，工程师只须简单地将CodeTEST的测试探头(probe)与目标系统恰当的连接，预处理待测的
源程序，启动CodeTEST，运行测试处理软件。测试结果在测试进行过程中或在测试结束后
均可随时翻阅。
CodeTEST-ACT（CodeTEST Advanced Coverage Tools）使得软件测试符合美国FAA、DOD17
8B、FAE等一些最严格的工业标准的要求。
CodeTEST还是一个可共享的网络工具，它将给整个开发和测试团队带来高品质的测试手段
。
与纯软件测试产品相比较，它的插装代码对系统影响最小，也做到最大的系统无关性。它
的这种方式十分适合嵌入式系统的。它可以解决一些纯软件测试产品不能解决的问题。这
一问题在下一篇文章中详细阐述。
4.2. 完全的解决方案
它可以用于本机测试（native）或在线测试(in-circuit)。CodeTEST包括三个产品
l CodeTEST Native™：在主机上完成软件开发后的测试；
l CodeTEST Software-In-Circuit™：纯软件的测试方案。将软件植入目标系统通过
以太网连接进行软件测试；
l CodeTEST Hardware-In-Circuit™：硬件辅助的软件测试方案，需要软硬件配合测
试。
由于CodeTEST Hardware-In-Circuit™型在技术上的独到优势，本文重点介绍CodeT
EST Hardware-In-Circuit™型
CodeTEST Hardware-In-Circuit™支持的嵌入式操作系统
AMC公司提供操作系统支持级的扩展支持，使CodeTEST可以提供任务级的触发和测试功能。
CodeTEST支持以下商用RTOS
l •OSE from EneaData
l •pSOS from IntegratedSystems,Inc.
l •VxWorks from WindRiverSystems,Inc.
l •OS20 from STMicroelectronics
l •ChorusOS from SunMicrosystems
l •QNX from QNXSoftwareSystemsLtd.
CodeTEST Hardware-In-Circuit™支持的主机平台：
l Windows2000/NT
l Solaris
l Linux.
CodeTEST Hardware-In-Circuit™提供了六大独立的软件模块：性能分析，内存分析
，代码跟踪，语句覆盖，决策覆盖，多条件决策覆盖。这些模块你可以自由的选择，来满
足你分析测试的要求。
四. CodeTEST功能
5.1. 性能分析
对于嵌入式的实时系统来说，性能指标的至关重要的，优化性能是指在系统资源(如内存容
量,CPU时钟频率)不变的情况下,采取相应的措施，来提高系统的响应速度,执行效率等性能
。
性能分析是为优化性能提供科学的依据，它主要是对任务，函数，调用关系进行跟踪检测
，实时的显示他们的执行时间，调用的次数等信息，以使我们较容易的发现系统的瓶颈。
CodeTEST能够同时对多达32000个函数、1,000个任务进行非采样性动态实时监控测试，在
每次监视过程中，CodeTEST可以完全精确的同时监视整个应用程序，探测程序执行的瓶颈
所在, 时间误差不大于50nS。因此它可以监控大型程序中每一个子程序的执行。而现有的
调试工具通常采用采样技术，因此只能对部分代码和程序进行分析。CodeTEST可以精确计
算出每个函数或任务（基于RTOS下）的执行时间或间隔，并能够列出其最大和最小的执行
时间。对于每两个函数或任务之间的调用也能够计数，从而确认出其中失败的调用和调用
次数。CodeTEST的性能分析能够为嵌入式应用程序的优化提供依据，通过优化关键函数的
运算法则，调整优化调用接口，纠正任务的优先权，使软件工程师可以有针对性地优化某
些关键性地函数或模块，以及改善整个软件地总体性能。
优点：
l 一次可同时测量多达32000个函数，生产率提高，再也不用凭猜测进行局部测量，不用多
次进行复杂枯燥的设置和测量。
l 非采样方式，收集全部数据，精确度提高
l 上下文相关跟踪，时间误差不大于50nS
l 易于理解，以不同的级别显示性能数据（函数级，任务级），组织严密的性能数据显示
简明易读。
函数性能分析示意图
5.2. 测试覆盖分析
代码覆盖率表明了被测软件在测试执行时那些代码被执行过了，那些没有执行过。在软件
测试过程中有效地监控代码覆盖率是提高软件测试有效性的一项重要途径。通过对被测软
件在测试执行时代码覆盖情况，可了解当前测试完成的程度，判断我们的测试进行到了什
么程度，有没有完成，需不需要改进，快速识别遗漏的测试数据，为测试人员科学的控制
测试的进程，增加测试用例提供依据。
常用的代码覆盖率指标：
l 语句覆盖（Statement）；
l 分支/判定覆盖（Branch/Decision）；
l 多条件覆盖（MultipleCondition）；
l 多条件决策覆盖（ModifiedCondition/Decision）；
CodeTEST提供程序总体概况，函数级代码以及源级覆盖趋势等多种模式来观测软件地覆盖
情况。由于它是一种完全地交互式工具，测试者可以在对系统进行操作地同时跟踪覆盖情
况。
CodeTEST覆盖率信息包括程序实际执行的所有内容，而不是采样的结果，它以不同颜色区
分运行和未运行的代码，可以跟踪超过一百万个分支点，特别适用于测试大型嵌入式软件
。
CodeTEST-ACT（CodeTESTAdvancedCoverageTools）扩展了CodeTEST的简单语句覆盖的功能
，提供决策覆盖（DC）以及条件决策覆盖（MC/DC）。
SC（StatementCoverage）每一条源代码语句执行过即视为这一条语句100 覆盖
DC（DecisionCoverage）对于每一条条件语句（if/switch/do/while/for）语句的每一个
不同的决策值至少出现一次才可被视为100 覆盖。
MC/DC（ModifiedCondition/DecisionCoverage）对于每一条条件语句的条件，在分解为乘
积最小项的加法的真值表中，至少每一个最小项的条件都被满足一次才，可视为完全覆盖
。
（CodeTEST覆盖可以显示程序中覆盖过的函数以及代码的总覆盖率。）
CodeTEST-ACT另一个独特之处是它在测试过程中提供了一张可以显示覆盖程度的覆盖率趋
势图，该图可以让你确定花多少时间就可以完成一个特定等级的代码覆盖。这样，一旦覆
盖率的峰值一到你就可以终止测试，从而避开了测试中多余的和低效的部分，大大的缩短
了测试的时间。
CodeTEST-ACT可以为不同等级的测试提供清晰的分析报告：CodeTESTSC提供语句覆盖分析
报告；、RTCA/DO-178LevelB测试标准所需的决策覆盖分析报告；、MCDC分析报告。以使测
试者看到整套测试地总体效果。
优点：
l 通过动态显示覆盖率趋势，去除不必要的测试，减少测试次数，测试更有效率。
l 实时动态显示覆盖率，简化测试用例生成过程。
l 在一个实时运行的目标系统中，确保可以显示详细的软件运行过程。
l 指出嵌入式系统中没有得到足够测量的部分-让你清楚的知道要测量什么地方。
l 巩固现有的覆盖率，提高覆盖率，提高产品质量。
l 清楚的描述你的代码被检验到了什么程度，发现死代码。
l 符合最严格的工业软件测试标准：有利于通过ISO，医疗器材和航空器材的认证。
l 提供的报告可以直接在对测试过程和测试条件描述的文档中使用。
5.3. 动态存储器分配分析
在嵌入式系统中，很多资源（如ROM.,RAM等）是有限的，对这些资源的使用不当就会造成
系统的运行错误，甚至是系统崩溃。然而这种问题往往很难解决，因为这种问题在程序静
态的情况下是无法发现的，必须在程序动态执行的时候才有可能发生，它不会很快造成明
显错误而逃过我们的测试。然而它确是一个严重的隐患。
CodeTEST内存分析解决了难以跟踪动态内存分配问题。它不仅可以报告为程序中每条语句
分配多少字节的内存（当程序运行时），而且它还可以鉴别20多种内存分配错误。例如，
CodeTEST内存分析可以捕捉像“释放空指针（freeinganullpointer）”一样常见的程序错
误，报告发生错误的函数和代码行。这样就不难发现那些函数占用了较多的存储空间，那
些函数没有释放相应的存储空间。测试者甚至还可以观察到内存分配情况随着程序运行动
态的增加和减少，即CodeTEST可以统计出所有的内存的分配情况。随着程序的运行，Code
TEST能够指出内存分配的错误，测试者可以同时看到其对应的源程序内容。而相比而言，
现有的调试工具需要进行上百次的代码跟踪和监视，花数周的的时间才能探测一个程序问
题的所在。
优点：
l 动态内存分配分析，显示分配的内存块的大小，了解程序内存分配的真实情况。
l 检测内存泄露，检测内存分配错误，可视化的内存错误提示，并精确显示发生错误时的
上下文情况，精确定位内存错误。
l 指出发生错误的原由，无须做痛苦的代码跟踪，就可以发现错误，并在问题出现前发现
征兆，在系统崩溃前发现内存泄露错误。
5.4. CodeTEST代码跟踪
对程序实际运行过程进行纪录，以了解程序运行的实际情况。对于实时多任务系统，还要
求对任务的执行与切换及对应时间进行纪录，解决任务或中断优先级的问题。
CodeTEST代码跟踪把深度跟踪和便捷的运用特点结合起来。该工具可以从三个不同的抽象
层次显示程序执行过程：1）高级，显示RTOS事件和函数执行的入口和出口。2）控制流程
级，显示可执行函数中每一条分支语句。3）原码级，显示每条执行过的C或C++语句。提供
在跟踪记录中单步的模拟程序的运行，显示函数的调用链。最大跟踪深度可达150万条源级
程序；你可以跟踪显示过程中指定变量的值，打印指定信息，如果你想标识出跟踪过程中
你感兴趣的事件，你还可以在你的代码中插入用户定义的标记。这些标记和时间记录会在
跟踪过程中显示出来。
CodeTEST具有强大的触发功能，CodeTEST使用专为软件工程师设计的触发（trigger）和存
贮（storage）功能。你完全可以避开采用其它调试工具复杂的设置，只需根据确定一个任
务中RTOS任务和函数等级来选择所需要跟踪的软件内容，包括内存分配错误触发。由于Co
deTEST可以记录每一条代码行执行的时间（timestamp），因此你可以很容易的确定函数中
每个循环执行的时间。
优点：
l 彻底的可视化，参数交换，函数嵌套等非常清析
l 支持程序在缓存执行，Cache/pre-fetch使能。
l 代码跟踪，“软”跟踪、调试摹拟工具
l 500K源代码运行跟踪空间，可实现深度跟踪。
l RTOS运行，函数嵌套，易于对代码的跟踪，函数调用，程序运行分枝可视化
l 使用软件事件设置跟踪任务，函数，调用链等
l 以amc_printf，amc_puts和使用者标记定制数据跟踪
五. 用CodeTEST发现错误的范例
6.1. 3COM公司使用CodeTEST的经验
3Com是一个在数据网络技术上处于世界领先地位的公司，它的声誉是建立在产品的性能、
功能和具有竞争力的价格上。MartinBrewer从AMC购买了CodeTEST，目的就是要“跟踪软件
的行为，测量软件的性能，从而决定如何改善性能”。Martin在3Com的SuperStack-II系列
交换机中选定了两个项目为待测目标。他的报告如下：
作为最先使用CodeTEST的人，我们依靠AMC的良好的技术支持，很快的度过了学习期。安装
好以后，我们就可以规范我们的系统的性能，我们可以一次检测2000个函数。CodeTEST提
供的可视化的数据观察方式，比我们以前所用过的所有嵌入式工具都要好得多。
你可以观察一个单独运行的软件模块的性能，但是一旦你把它集成到一个真正的嵌入式系
统以后，你几乎不可能去估计不同的模块是如何互相作用的。CodeTEST就能够做到这一点
并使这个过程可视化。
我们在CodeTEST上投入了较短的时间，所获得的关于软件运行的信息，就使我们能够消除
系统运行的瓶颈，改进关键函数的算法和函数之间调用关系。更可贵的是，这一切是在函
数真实运行的情况下获得的，我们的决策是建立在真实的测试上的，而不是单纯的建立在
开发工程师的判断上。因此，我们能够把我们的交换机的远程监控速度提高了大约40 。这
个速度提高使我们能够保持我们的客户所期望的性能和功能。在现有的硬件环境中，使用
CodeTEST来帮助优化软件性能，能够帮助3Com生产具有最大性能和最快速度的产品，同时
获得最大的利润，从而保持在领先的地位。同时又避免了改变硬件平台带来的成本增长，
加速了产品的升级换代，减轻了软硬件工程师工作的压力，为用户也提交了更好的性能价
格比的产品。
6.2. 测试覆盖率显著地提高
“重要使命任务”，致使在军队和航天应用需要保持严格的质量和测试标准。很多在这个
领域的CodeTEST用户发现他们正在处理的程序的测试中存在很多漏洞。很多情况下，他们
发现自己仅仅测试了系统的30％－40％的代码。而长时间的测试是违背有效测试的原则。
而且尽管测试了很长时间，但事实上只有一部分的代码被实际执行过，致使在没运行过的
大量的代码中隐含有许多潜在的错误。
CodeTEST覆盖率提供了一个互动的、实时的工具，来即时、正确地反馈测试过程中的信息
。我们的客户通过使用CodeTEST来识别测试过程中没有被执行过的函数或者代码块，可以
有效地指导测试者添加测试用例，改进他们的代码的覆盖率。而且，用户还能不经意地定
位遗留在应用程序中的死代码。
在重要使命的应用程序开发中，对测试的监控是非常重要的。而且复杂的VME系统的设计者
需要知道哪些地方还未找过错。到目前为止，航天工业和军事工业中的嵌入式系统的开发
者和测试者被迫使用未能达到这些标准的工具，因此只能保持在对错误的无知状态。我们
相信CodeTEST提供的可视化能力将在这些领域继续证明它的无价。
6.3. 经历CodeTEST嵌入式软件验证工具
系统性能得到实质性的提高！
电信行业是一个由速度驱动的行业，CodeTEST已经帮助多个主要的生产例如ATM交换机和移
动电话基站的公司优化他们的软件性能。使用CodeTEST,，这些顾客在几个星期内实现了性
能提升15 到40 。一个客户使用CodeTEST来查明性能瓶颈，在短时间内将性能提升了一倍
。
CodeTEST对这些顾客的终端产品销售产生了巨大的影响。例如，一个性能提升了的电话交
换机，比竞争者每一秒交换更多的呼叫，自然获得了主要的竞争优势。
CodeTEST的另一个性能提升能力的用处是优化现有软件来消除昂贵的硬件重设计和升级。
这个是非常重要的，因为系统复杂性越高，系统硬件的重设计和升级的费用就会越高。
七. 结束语
随着后ＰＣ时代的到来，嵌入式应用将会迅速增长，应用的复杂性也急剧增加，传统的软
件分析和测试手段已不能满足嵌入式软件分析测试的基本要求，与此相比，AMC公司以其公
司的几项专利技术，为我们提供的针对嵌入式软件分析测试的解决方案，为广大的嵌入式
系统开发者提供了新的技术手段，使我们可以以全新的视角审视我们原有的开发过程，发
现一切可以变的如此快捷、简单。
--
※ 来源:．哈工大紫丁香 http://bbs.hit.edu.cn [FROM: 202.118.239.146]
Powered by KBS BBS 2.0 (http://dev.kcn.cn)
页面执行时间：215.843毫秒