Tempest 简介

Tempest是一个旨在为OpenStack 提供集成功能测试的开源项目，包含了OpenStack基本组件(nova，keystone，glance，neutron，cinder等)的测试用例，同时支持json,xml两种rest api格式类型的测试，以及cli测试。它是基于unittest2和nose测试框架实现的，灵活且易于扩展及维护，使得OpenStack相关测试效率得到大幅提升。

Rocky版本功能变更一览

Tempest目前最新版本号为v19.0.0，它支持对OpenStack的Rocky，Queens，Pike 和Ocata版本的测试，在刚发布的OpenStack Rocky版本中，它的功能变更如下：

• 新增v3-ext/os-endpoint-policy api，支持服务endpoint和访问权限关联的测试。
• V3 services_client中新增enable_service，disable_sevice，disable_log_reason,freeze_host 和thaw_host api endpoint。
• Tempest.lib.decorators.related_bug 和 tempest.lib.decorators. skip_because中新增参数bug_type，用来跟踪测试bug。
• 新增update flavor api。
• 新增keystone 的application credentials interface 测试。
• Identity v3 库里新增projects_tags_client api，可实现对项目tag功能的测试，如update_project_tag，list_project_tags，update_all_project_tag，check_project_tag_existence，delete_project_tag，delete_all_project_tags。
• Compute library 里新增update_service api，原/os-services/disable，/os-services/disable-log-reason，/os-services/enable， /os-services/force-down变更为disable_sevice，disable_log_reason，enable_service，update_force_down。
• Config中新增vnc_server_header配置项，vnc服务的名字可以显示在响应头部。
• V3 api 里新增volume v3 api，并且volume测试默认api从V2变更为V3。
• Cinder 命令行选项--endpoint-type 变更为--os-endpoint-type。
• Config文件配置项allow_tenant_isolation 变更为use_dynamic_credentials。

Tempest 代码结构

Tempest 项目会被来自不同公司的社区成员更新：修改bug，完善功能，增加对OpenStack 最新功能的测试用例等等。它的大致目录结构如下：

├──tempest
├──api #api的测试集。
├──compute #os nova 相关测试
├──identity #os keystone 相关测试
├──network #osnetwork相关测试
├──image. #os glance 相关测试
├──volume #os cinder 相关测试
├──object_storage #os swift 相关测试
├──cmd #openstack 命令行工具测试集。
├──common #一些公共的工具类和函数。
├──scenario #对openstack 的常用场景进行测试，包括基本的vm启动等。
├──services #tempest 自己实现的openstack api client。

它的代码结构如图所示：

Tempest 测试过程

在准备Tempest测试环境之前，需要先准备好被测试的OpenStack(OS)环境。

安装
git clone git://git.openstack.org/openstack/tempest
cd tempest
pip install -r requirements.txt -c test-requirements
python tempest/setup.py install

初始化
确定测试环境目录(/opt)，在/opt下执行
tempest init tempest-test
会生成tempest-test 测试文件夹，文件夹结构如下：
├── etc
│ ├── tempest.conf
│ └── tempest.conf.sample
├── logs
└── tempest_lock

修改配置文件tempest-test/etc/tempest.conf
Tempest.conf主要分为以下session,它们要和测试的OS环境匹配。
[auth]：os环境admin用户登录信息。
[identity]: 主要包括user/tenant 相关的权限认证测试。
[compute]: 主要包括os compute api/cli相关测试。

[image]：主要包括os镜像api/cli 相关测试。
[network]: 主要包括os网络api/cli 相关测试。
[volume]: 主要包括os cinder 存储。

执行测试
Tempest 会查找目录下所有以(T)test开头的python源文件，并且按此规则递归查找子目录，(T)test开头的python源文件中所有以(T)test开头的function(测试用例)都会被执行；它可以指定文件，模块，函数进行测试，也可以指定类型进行测试。

执行所有测试
tempest run
并发测试
tempest run --parallel
执行某一函数测试用例
tempest run tempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON.test_reboot_non_existent_server
执行某一文件测试用例
tempest run tempest.api.compute.servers.test_servers_negative

测试结果
Tempest的测试结果有四种，测试错误(error)，测试失败(failure)，跳过(skip)，成功(success)。
--测试错误：可以理解成测试代码或者配置环境有问题，在执行时报错。
--测试失败：可以理解测试代码执行正常，但没有得到预期的测试结果。
--跳过：也可以理解为测试忽略，比如某个测试只想在window下才运行，这样在linux就会跳过，也就是忽略。
--成功： 测试代码执行正常，也得到预期的测试结果。