Produtos de software apoiam as pessoas rotineiramente em diversas circunstâncias, como na produção e negociação de bens e serviços, no monitoramento de ambientes, e no processo de ensino-aprendizagem. A demanda crescente por produtos de software requer profissionais hábeis em desenvolvê-los primando pela qualidade. A ISO/IEC (2011) define qualidade de software como o grau em que o produto de software satisfaz necessidades estabelecidas e implícitas, quando usado sob condições especificadas.

Contudo, as pesquisas de Von Wangenheim e Silva (2009), Kitchenham, Budgen e Brereton (2005) e Lethbridge (1999) demonstraram que, apesar da garantia da qualidade estar entre os dez tópicos mais importantes para a formação profissional em Engenharia de Software, os profissionais confirmaram que aprenderam mais depois da graduação (VON WANGENHEIM; SILVA, 2009). Villavicencio e Abran (2011) também concluíram que engenheiros de software saem da universidade sem conhecimento adequado sobre medição, para atuar na indústria de software.

A formação de profissionais graduados na área de computação é desafiadora. Ao focar na disciplina de qualidade de software, observa-se uma disciplina abrangente em termos de teoria e prática. As ementas dessa disciplina, referentes a seis cursos de Sistemas de Informação de universidades brasileiras, abordam tópicos sobre: histórico da qualidade, fundamentos da qualidade, processos da qualidade, qualidade de processo e produto, normas ISO/IEC 15504 (ISO/IEC, 2004) e ISO/IEC 9126 (ISO/IEC, 2001), substituída pela ISO/IEC 25010 (ISO/IEC, 2011) e planejamento de sistemas de qualidade de software (ROCHA et al., 2019). Além desses, tópicos sobre testes de software são considerados, devido à contribuição dos testes para melhoria da qualidade de software. A ementa da disciplina de qualidade de software, do curso de Sistemas de Informação do Instituto Federal Fluminense, cobre tais tópicos.

Neste contexto, a maneira de abordar tantos tópicos teóricos pode tornar as aulas enfadonhas e desinteressantes, o que influencia no abandono dos cursos na área de computação. A pesquisa realizada pelo Instituto Lobo apontou que 22% dos alunos de instituições públicas e 31% de instituições privadas brasileiras abandonaram os cursos dessa área, nos anos de 2014 e 2015, sendo uma das maiores taxas de evasão (SILVA FILHO, 2017).

Para atenuar esse problema, as estratégias adotadas para apoiar o ensino-aprendizagem devem tornar as aulas interessantes, motivar os alunos, bem como promover a formação de profissionais com as habilidades e competências requeridas. A motivação dos estudantes é fundamental no processo de ensino-aprendizagem. Os jogos apresentam-se como uma das principais ferramentas utilizadas para motivar e auxiliar os estudantes em seu aprendizado, em especial, naquelas disciplinas majoritariamente teóricas, que exigem mais estímulos para manter os alunos interessados. Muitos jogos são utilizados no ensino de computação, nas mais diversas instituições de ensino (BATTISTELLA; VON WANGENHEIM, 2016).

As pesquisas evidenciam vantagens e limitações dos jogos para apoiar o ensino-aprendizagem. Mais especificamente, os jogos digitais são considerados uma estratégia instrucional eficaz e eficiente para o ensino da computação (PETRI et al., 2019). Para a pergunta: os jogos são ferramentas eficazes para apoiar o aprendizado? A resposta da pesquisa realizada por Freitas (2018) é extremamente positiva. Contudo, Freitas (2018) destacou que, embora pareça que os jogos aumentam a motivação dos alunos, sendo envolventes e estando associados a mudanças comportamentais, são necessários mais estudos para garantir que os interesses dos alunos sejam atendidos em diferentes contextos.

Huizinga (2019) enfatiza que “o Jogo é uma função do ser vivo, mas não é passível de definição exata em termos lógicos, biológicos ou estéticos. […] Teremos de limitar-nos a descrever suas principais características”. Resumindo as características formais do jogo, descritas por Huizinga (2019): (i) é uma atividade voluntária e livre, mas ao mesmo tempo capaz de absorver o jogador de maneira intensa e total; (ii) é uma atividade desligada de todo e qualquer interesse material, com a qual não se pode obter lucro; (iii) praticada dentro de limites espaciais e temporais próprios, (iv) segundo uma certa ordem e (v) certas regras; (vi) promove a formação de grupos sociais com tendência a rodearem-se de segredos e a sublinharem sua diferença em relação ao resto do mundo, por meio de disfarces ou outros meios semelhantes. Complementando, os principais elementos dos jogos são: objetivos, interação, regras e restrições, narrativa, recompensas, resultados, feedback, desafio, competição e conflito (VON WANGENHEIM; VON WANGENHEIM, 2012).

Neste contexto, o objetivo deste trabalho é apresentar o Qualif, um ambiente multiplataforma e multijogos para apoiar o ensino-aprendizagem sobre qualidade de software. Além disso, o Qualif é comparado a outros jogos digitais, identificados através do mapeamento sistemático da literatura. Pretende-se responder às seguintes questões de pesquisa:

QP1 – Quais jogos digitais apoiam o ensino-aprendizagem sobre qualidade de software, incluindo testes de software?

QP2 – Quais são as semelhanças entre os jogos digitais identificados, ao compará-los à luz de facetas adaptadas da taxonomia para serious games, proposta por De Lope e Medina-Medina (2017)?

Este artigo retrata a evolução do trabalho publicado por Rocha et al. (2019) no intuito de abordar questões diferentes. As contribuições originais são: (i) atualização do mapeamento sistemático da literatura dos jogos digitais, que apoiam o ensino-aprendizagem sobre qualidade de software, no intuito de abranger os tópicos de testes de software, trabalhos mais recentes, apresentando resposta para QP1; (ii) desenvolvimento do Qualif para apoiar o ensino-aprendizagem de diversos tópicos sobre qualidade de software e (iii) comparação dos jogos digitais selecionados com o Qualif, ou seja, apresentar resposta para QP2.

Este trabalho caracteriza-se como uma pesquisa aplicada, abordando um problema cotidiano na formação de profissionais da área de computação: motivar os alunos e tornar o aprendizado sobre qualidade de software mais efetivo. Neste contexto, o trabalho envolveu várias atividades, conforme o modelo de processo da pesquisa (Figura 1).

Figura 1. Figura 1. Modelo de processo da pesquisa Fonte: Os autores

Dado o objetivo geral de contribuir com um jogo digital para apoiar o ensino-aprendizagem sobre qualidade de software, fez-se necessário identificar jogos similares. Para isto foi realizada uma revisão ad hoc da literatura no intuito de identificar estudos terciários sobre os jogos no apoio ao ensino-aprendizagem na área de computação. Centenas de jogos foram reportados pelas revisões de literatura de Medeiros, Silva e Aranha (2013), Battistella e Von Wangenheim (2016) e Petri et al. (2019). Contudo, não foi identificado um mapeamento focado, exclusivamente, na disciplina de Qualidade de Software, o que motivou o mapeamento sistemático da literatura, seguindo protocolos predefinidos conforme recomendações de Petersen, Vakkalanka e Kuzniarz (2015) e Kitchenham e Charters (2007). O protocolo explicita as ferramentas de apoio, critérios de seleção e procedimentos para extração dos dados dos artigos, para responder às questões postuladas.

Neste trabalho foram realizadas 4 iterações do mapeamento sistemático da literatura (de E1 a E4), (Quadro 1) para obter artigos em português ou inglês. A principal ferramenta de apoio utilizada foi o Scopus, que compreende mais de 20.000 periódicos científicos, nacionais e internacionais, abrangendo também artigos indexados pelo IEEEXplore, ACM Digital Library, Elsevier e Springer. Também foi utilizado o Google Acadêmico, uma ferramenta popular para busca de publicações científicas, disponível na Internet (COSTAS, 2017, p. 28).

As expressões de busca foram aperfeiçoadas ao longo do tempo no intuito de obter mais jogos digitais, com melhor taxa de retorno (%), isto é, número de artigos selecionados (S) dividido pelo número total de artigos retornados (T). A busca no Google Acadêmico foi realizada em apenas uma iteração porque resultou na menor taxa de retorno, o que requer maior esforço na realização da pesquisa. Para aumentar a confiabilidade da busca, os termos da expressão de busca foram adicionados, com base na menção em artigos obtidos nas iterações anteriores realizadas no Scopus, cujos artigos selecionados foram considerados artigos de controle, ou seja, foram retornados nas buscas subsequentes.

Quadro 1. Quadro 1. Caracterização das buscas

IDE	DATA	BUSCADOR	EXPRESSÃO DE BUSCA	T	S	%
E1	15/08/18	Scopus	( TITLE-ABS-KEY ( “Game-Based Learning” OR gamification OR gamificação OR “serious game*” OR game ) AND TITLE-ABS-KEY ( learning OR training OR apprenticeship OR aprendizagem ) AND TITLE-ABS-KEY ( “qualidade de software” OR “software quality” OR “software product quality” ) )	25	1	4,0%
E2	12/09/18	Google Scholar	(“Game-Based Learning” OR gamification OR gamificação OR “serious game”) AND (learning OR training OR apprenticeship OR teaching OR aprendizagem) AND (“qualidade de software” OR “software quality” OR “software product quality” )	979	11	1,1%
E3	07/08/19	Scopus	( TITLE-ABS-KEY ( “Game-Based Learning” OR gamific* OR “serious game” ) AND TITLE-ABS-KEY (learning OR training OR apprenticeship OR teach* OR aprendiz* OR ensino OR educa* ) AND TITLE-ABS-KEY (“qualidade de software” OR “software quality” OR “software product quality” OR “quality of software” ) ) AND ( LIMIT-TO ( LANGUAGE , “English” ) OR LIMIT-TO ( LANGUAGE , “Portuguese” ) )	18	2	11,1%
E4	06/03/20	Scopus	( TITLE-ABS-KEY ( gamific* OR game* OR jogo OR mmorpg OR mmog OR mud OR rpg OR puzzle OR quiz OR simulation OR play* ) AND TITLE-ABS-KEY ( learning OR training OR apprenticeship OR teach* OR aprendiz* OR ensino OR educa* OR edutainment ) AND TITLE-ABS-KEY (“qualidade de software” OR “software quality” OR “software product quality” OR “quality of software” OR “software test” OR “test of software”)) AND ( LIMIT-TO ( LANGUAGE, “English”) OR LIMIT-TO (LANGUAGE , “Portuguese” ))	208	5	2,4%

Fonte: Os autores

Zhou et al. (2015) afirmam que as revisões de literatura são tão boas quanto as evidências nas quais se baseiam, o que requer também a definição de critérios de qualidade para selecionar os artigos. Neste trabalho foram aplicados os seguintes critérios de inclusão (CI), exclusão (CE) e qualidade (CQ):

CI1– Artigos revisados por pares, publicados em periódicos ou conferências.

CI2– Artigo disponível em texto completo em português ou inglês, com acesso através do serviço CAFe (Comunidade Acadêmica Federada), provido pela Rede Nacional de Ensino e Pesquisa, usando credenciais do IFFluminense.

CI3– Artigos relacionados ao tópico de interesse da pesquisa, ou seja, relata sobre jogo para apoiar o ensino-aprendizagem sobre qualidade de software.

CE1– Artigos duplicados.

CE2– Artigos que não descrevem jogos digitais para apoiar o ensino-aprendizagem sobre qualidade de software.

CE3 – Artigos com índice de qualidade insuficiente, ou seja, menor que 6, conforme escala para avaliação dos critérios de qualidade (0 – não contempla, 1 – contempla em parte e 2 – contempla).

CQ1– Artigo apresenta descrição clara do problema de pesquisa e seu contexto.

CQ2– Artigo apresenta descrição clara dos objetivos da pesquisa.

CQ3– Artigo apresenta descrição clara dos métodos adotados no desenvolvimento da pesquisa.

CQ4– Artigo apresenta evidências claras sobre o desenvolvimento ou avaliação do jogo digital.

CQ5– Artigo explicita limitações da pesquisa ou ameaças à validade.

Os procedimentos do mapeamento envolveram diversas etapas. Primeiro, realizou-se uma filtragem através da interpretação do título e do resumo de todos os artigos, desconsiderando livros, monografias, dissertações, teses e anais de eventos retornados pela expressão de busca. Nesse momento foram avaliados os critérios de inclusão. A segunda etapa consistiu na análise do texto completo para avaliação de sua qualidade e critérios de exclusão. Após seleção, os artigos foram lidos no intuito de extrair os dados para responder às questões postuladas (QP1 e QP2).

A partir das informações sobre os jogos digitais, identificados nas primeiras iterações do mapeamento da literatura (E1 e E2), foi definido o escopo do Qualif, de forma a cobrir tópicos da disciplina de qualidade de software não abordados pelos jogos identificados. Mais especificamente, histórico da qualidade, fundamentos da qualidade, ferramentas para garantia da qualidade e qualidade do produto, no que tange à ISO/IEC 25010: 2011 (ISO/IEC, 2011). Também foram especificados outros requisitos funcionais e não funcionais do Qualif.

O Qualif foi desenvolvido em versões para mobile (smartphone ou tablet com Android) e computador pessoal (Windows 10 ou Linux), usando a plataforma Unity e linguagem de programação C#. O ambiente de execução do jogo é baseado no modelo cliente servidor, cujo banco de dados com cadastros dos jogadores e respectivos desempenhos foram disponibilizados através da Web.

A organização dos dados sobre os jogos identificados, inicialmente, teve como base o mapeamento dos assuntos e tópicos abrangidos pelas ementas da disciplina qualidade de software das principais universidades brasileiras, conforme apresentado por Rocha et al. (2019). Após desenvolvimento do Qualif, foi realizada uma comparação dos jogos selecionados com o Qualif, analisando-os à luz de facetas adaptadas da taxonomia para serious games, proposta por De Lope e Medina-Medina (2017).

A taxonomia CSG (Comprehensive Serious Games) é um sistema de organização do conhecimento que incorpora uma série de conceitos de taxonomias existentes, enriquecidos com novos elementos de categorização, fornecendo uma estrutura adequada e organização semântica (DE LOPE; MEDINA-MEDINA, 2017). Essa taxonomia abrange 16 facetas agrupadas em 6 categorias: desenvolvimento do jogo (autoria e metodologia de desenvolvimento do jogo), plataforma do jogo (hardware e deployment), projeto do jogo (gênero, narrativa, interatividade, contexto de uso e área de aplicação), uso do jogo (avaliação, gameplay e adaptação), usuários do jogo (público-alvo, interação e dedicação) e modelo de negócio (licença). Este sistema de classificação é necessário porque jogos sérios são complexos e, como são multifacetados, devem ser vistos de diferentes perspectivas durante o desenvolvimento e uso (DE LOPE; MEDINA-MEDINA, 2017).

Dado que os artigos selecionados não dispõem de informação sobre todas as facetas, mas, por outro lado, apresentam dados relevantes sobre jogos sérios educativos, algumas facetas foram desconsideradas e outras foram adicionadas. Em consequência, os jogos digitais que apoiam o ensino-aprendizagem sobre qualidade de software foram comparados à luz das seguintes facetas:

Autoria abrange a identificação do artigo (IDA) cujos dados foram extraídos, relacionando-os aos respectivos autores (Quadro 1); a organização refere-se ao grupo de pesquisa, laboratório ou empresa envolvidos na autoria do artigo; a universidade indica a filiação dos autores, quando for o caso; e país indica a sede da organização ou universidade.

Os resultados da pesquisa, relacionados ao desenvolvimento do Qualif, são apresentados na seção 3. Os resultados sobre o mapeamento da literatura e comparação dos jogos digitais selecionados, considerando as facetas da taxonomia previamente definidas, são apresentados na seção 4.

O Qualif é um ambiente multijogos e multiplataforma para apoiar o ensino-aprendizagem sobre qualidade de software. O diagrama de casos de uso do Qualif é apresentado na Figura 2. Esse tipo de diagrama faz parte da UML (Unified Modeling Language) e visa representar as interações entre os atores (usuários) e funcionalidades de software.

Figura 2. Figura 2. Diagrama de casos de uso do Qualif Fonte: Os autores

A Figura 3 apresenta a tela principal do Qualif. A partir desta tela, os jogadores podem escolher o gênero de jogo. Na primeira versão estão disponíveis jogos dos gêneros: quiz, forca, memória e plataforma (missão) (Figuras 4; 5; 6 e 7). Os jogadores também podem acessar o próprio cadastro e pontuação, bem como material de referência (livros, artigos e links) que fundamentaram os conceitos sobre qualidade de software, abordados pelo Qualif.

Figura 3. Figura 3. Tela menu principal do Qualif Fonte: Os autores

O jogo quiz segue o estilo tradicional de questões de múltipla escolha com cinco opções de resposta, sendo uma correta, que conta ponto para o jogador. Inicialmente, para compor o quiz, foram criteriosamente escolhidas 10 questões, elaboradas por bancas de concursos públicos, como por exemplo: Fundação Carlos Chagas (FCC) e Fundação Getúlio Vargas (FGV). Contudo, outras questões poderão ser adicionadas pelo professor, em versões futuras do Qualif. Esse gênero de jogo pode cobrir diversos tópicos da disciplina qualidade de software, no intuito de revisar conceitos.

Figura 4. Figura 4. Exemplo do jogo Quiz Fonte: Os autores

No jogo da forca, o jogador tem que descobrir a palavra secreta, tendo como parâmetro o número de lacunas e técnicas de tentativa e erro. A cada letra errada, é desenhada uma parte do corpo do enforcado. Inicialmente, o jogo da forca refere-se às definições de características de qualidade da ISO/IEC 25010 (ISO/IEC, 2011). Um elemento importante do jogo da forca é a pontuação do jogador, que inicia a partida com 100 pontos, à medida que as letras são digitadas, a pontuação varia conforme o jogador acerta ou erra. Além de estimular a competitividade, a pontuação também funciona como “moeda de troca”, pois o jogador poderá utilizá-la para obter uma dica ou revelar letras ocultas.

Figura 5. Figura 5. Exemplo do jogo da forca Fonte: Os autores

O jogo de memória é formado por cartas que apresentam uma figura em um dos lados (alguma ferramenta da qualidade, tipo de teste ou principais autores da área de qualidade). Cada figura se repete em duas cartas diferentes. Para começar o jogo, as cartas são postas com as figuras voltadas para cima, o jogador poderá visualizá-las durante cinco segundos e, em seguida, deverá utilizar sua capacidade de memorização para encontrar os pares correspondentes. Ao encontrar um par correto de cartas, o jogador irá visualizar uma janela com informações sobre o assunto representado nas cartas. Também receberá indicações de referências bibliográficas para que possa estudar sobre o tema.

Figura 6. Figura 6. Exemplo do jogo da memória Fonte: Os autores

O jogo de missão é do gênero plataforma, com um roteiro original, em que o jogador controla um personagem (representado por um ninja) e recebe a missão de encontrar uma ferramenta de qualidade, que possa mapear as causas do problema de baixo desempenho de um produto de software hipotético e, posteriormente, entregá-la à equipe de desenvolvimento do software.

Figura 7. Figura 7. Exemplo do jogo de missão Fonte: Os autores

A Figura 8 apresenta a tela em que o jogador pode consultar seu desempenho, ou seja, a pontuação obtida ao jogar o quiz e a forca, bem como seu número de partidas, acertos e erros.

Figura 8. Figura 8. Tela sobre o desempenho do jogador Fonte: Os autores

Neste trabalho, considera-se que o objetivo dos jogos quiz e forca é revisar tópicos sobre qualidade de software. O Jogo da memória visa proporcionar ao aluno o aprendizado de tópicos que o jogador pode desconhecer. Contudo, no jogo de missão, o jogador precisa aplicar seu conhecimento prévio. Sendo assim, é importante esclarecer que, para uma melhor experiência, recomenda-se que ele jogue primeiramente o jogo da memória, momento em que poderá obter o conhecimento necessário para facilitar o cumprimento adequado da missão.

As quatro iterações do mapeamento sistemático da literatura (de E1 a E4) resultaram em milhares de artigos. Após aplicar os critérios de inclusão (CI) ao analisar títulos e resumos, restaram 25 artigos para aplicação dos critérios de qualidade e exclusão, ao analisar o texto completo. O Quadro 2 apresenta a lista de artigos identificados por IDA, oriundos das iterações (IDE). Os critérios de CI1 a CI3 e CE1 a CE2 foram avaliados usando o valor 1 que significa sim e 0 que significa não. O critério CE3 corresponde à soma dos valores atribuídos aos critérios de qualidade. Ao final, foram selecionados 17 artigos referentes a 14 jogos digitais que apoiam o ensino-aprendizagem sobre qualidade de software, publicados entre 2009 e 2019.

Quadro 2. Quadro 2. Artigos avaliados

IDA	IDE	CI1	CI2	CI3	CE1	CE2	CE3	CQ1	CQ2	CQ3	CQ4	CQ5	ARTIGOS
A1	E4	1	1	1	0	0	10	2	2	2	2	2	Jesus et al. (2019)
A2	E3, E4	1	1	1	1	0	5	2	2	0	1	0	Haendler e Neumann (2019)
A3	E4	1	1	1	0	0	7	2	2	2	1	0	Buffardi e Valdivia (2018)
A4	E4	1	1	1	0	1	7	1	2	2	2	0	MesquidaeMas (2018)
A5	E3, E4	1	1	1	1	1	10	2	2	2	2	2	Santos e Oliveira (2018)
A6	E3, E4	1	1	1	1	1	9	2	2	1	2	2	Beppe et al. (2018)
A7	E3, E4	1	1	1	1	0	8	2	2	2	2	0	Mi et al. (2018)
A8	E2	1	1	1	0	0	5	2	2	1	0	0	Furtado e Oliveira (2017)
A9	E4	1	1	1	0	0	7	2	2	1	1	1	Valle, Rocha e Maldonado (2017)
A10	E4	1	1	1	0	0	5	2	2	0	1	0	Clegg, Rojas e Fraser (2017)
A11	E2, E3, E4	1	1	1	1	0	5	2	2	0	1	0	Fraser (2017)
A12	E2, E3, E4	1	1	1	1	0	4	1	1	1	1	0	Maxim et al. (2016)
A13	E2	1	1	1	0	0	6	2	1	2	1	0	Silva et al. (2016)
A14	E2	1	1	1	0	0	8	2	2	2	2	0	Sales, Clímaco e Sales (2016)
A15	E2	1	1	1	0	0	6	1	1	2	2	0	Ribeiro e Paiva (2015)
A16	E2	1	1	1	0	0	8	2	2	2	2	0	Jorge et al. (2015)
A17	E2	1	1	1	0	0	8	2	2	2	2	0	Benitti e Sommariva (2015)
A18	E1, E3, E4	1	1	1	1	0	8	1	2	1	2	2	Pötter et al. (2014)
A19	E2	1	1	1	0	0	8	2	2	2	2	0	Ferreira et al. (2014a)
A20	E2	1	1	1	0	0	6	1	2	1	2	0	Ferreira et al. (2014b)
A21	E4	1	1	1	0	0	6	1	2	1	1	1	Andrews (2013)
A22	E2	1	1	1	0	0	6	2	2	1	1	0	Kupsch e Resende (2013)
A23	E2	1	1	1	0	0	6	2	2	1	1	0	Silveira, Thiry e Zoucas (2013)
A24	E2	1	1	1	0	0	6	1	1	1	1	2	Pötter, Schots e Werneck (2012)
A25	E2	1	1	1	0	0	7	2	2	2	1	0	Von Wangenheim et al. (2009)

Fonte: Os autores

O Quadro 3 apresenta a comparação do Qualif (G1) com os demais jogos selecionados (respostas para QP1 e QP2), considerando a autoria, modelo de negócio e plataforma. Observa-se que a maioria das pesquisas (73.3%) sobre jogos digitais é filiada a universidades brasileiras. Esse resultado está de acordo com o ranking das pesquisas realizadas no Scopus, que posicionou o Brasil entre os três principais países.

Quadro 3. Quadro 3. Comparação dos jogos digitais em relação à autoria, modelo de negócio e plataforma

IDG	NOME	AUTORIA LICENÇA PLATAFORMA
		IDA	Organização	Universidade	País		Hardware	Web
G1	Qualif		Campus Campos Centro	Instituto Federal Fluminense (IFF)	Brasil	Free-to-play	Computador pessoal (PC) Smartphone	Sim
G2	Bug Hunter	A1	DC	Universidade Federal de São Carlos (UFSCar)	Brasil		Computador pessoal (PC)
			Instituto de Ciências Matemáticas e de Computação (ICMC)	Universidade de São Paulo (USP)
G3	Bug Hide-and-Seek	A3	Departamento de Ciência da Computação	California State University	Estados Unidos		Computador pessoal (PC)
G4	GamiCRS	A7	Departamento de Ciência da Computação	City University of Hong Kong	Hong Kong (China)		Computador pessoal (PC)	Sim
G5	Testing Game	A9	ICMC	Universidade de São Paulo (USP)	Brasil	Software livre	Computador pessoal (PC)	Sim
G6	gTestLearning	A13		Unibratec	Brasil		Computador pessoal (PC)	Sim
				Faculdade Estácio Recife
				Universidade Federal Rural de Pernambuco (UFRPE)
G7	UsabiliCity	A14, A19 e A20	Instituto de Computação	Universidade Federal do Amazonas (UFAM)	Brasil		Computador pessoal (PC)	Sim
G8	iLearnTest	A15	INESC TEC e Dep. de Engenharia Informática	Universidade do Porto	Portugal
G9	iTestLearning	A16		Universidade Federal do Ceará (UFC)	Brasil		Computador pessoal (PC)
G10	UsabilityGame	A17		Universidade Federal de Santa Catarina (UFSC)	Brasil			Sim
				Universidade do Vale do Itajaí (UNIVALI)
G11	InspectorX	A18 e A24		Universidade Estadual do Rio de Janeiro (UERJ)	Brasil		Computador pessoal (PC)	Sim
				Universidade Federal do Rio de Janeiro (UFRJ)
G12	Killer App	A21	Departamento de Ciência da Computação	Universityof Western Ontario	Canadá	Creative Commons
G13	SPIAL	A22	Departamento de Ciência da Computação	Universidade Federal de Minas Gerais (UFMG)	Brasil		Computador pessoal (PC)
G14	SPI City	A23		Universidade do Vale do Itajaí (UNIVALI)	Brasil
G15	X-MED	A25	CTTMAR	Universidade do Vale do Itajaí (UNIVALI)	Brasil	Livre utilização	Computador pessoal (PC)
			Dep. de Informática e Estatística	Universidade Federal de Santa Catarina (UFSC)
			Whirlpool S.A

Fonte: Os autores

O Quadro 4 apresenta a comparação em relação ao projeto e usuário de cada jogo (resposta para QP2). A análise dos artigos evidenciou que 46,7% dos jogos são classificados no gênero simulação e um único jogador interage com o jogo (single player) em 66,7% dos casos. A interatividade observada sobre os jogos selecionados foi a padrão, baseada em apontadores, cliques e toques na tela, já que a maioria dos jogos foi desenvolvida para computador pessoal e Web. Além disso, nenhum artigo mencionou a necessidade de periféricos especiais como joystick e óculos 3D.

Quadro 4. Quadro 4. Comparação dos jogos digitais em relação ao projeto e usuário do jogo

IDG	GÊNERO	INTERAÇÃO	ÁREA DE APLICAÇÃO: EDUCAÇÃO
			Nível	Curso	Assunto	Tópicos
G1	Plataforma, forca, quiz e memória	Single player	Graduação	Sistemas de Informação	Fundamentos da qualidade, qualidade do produto e testes	Principais autores e ferramentas da qualidade, características de qualidade ISO/IEC 25010, tipos de testes
G2	Quiz, competição	Multi-player	Graduação	Computação	Testes de software	Conceitos básicos de teste e Teste Funcional e seus principais critérios
G3		Single player	Graduação e pós		Testes de software	Introdução e princípios de testes unitários
G4	Quiz	Single player			Qualidade do produto	Avaliação da legibilidade de software
G5		Single player			Testes de software	Técnicas de testes de software
G6	Plataforma, quiz, RPG	Single player			Testes de software	Certificação Foundation do ISTQB (International Software Testing Qualifications Board)
G7		Single player	Graduação	Computação	Qualidade do produto	Avaliação da usabilidade através das heurísticas propostas por Nielsen (1993).
G8	Plataforma, forca, quiz, drag-and-drop				Testes de software	Certificação Base do ISTQB baseado na estrutura de capítulos do programa de certificação da versão de 2011
G9	Simulação	Single player	Graduação	Computação/informática	Testes de software	Planejamento e projeto de testes
G10	Simulação	Single player	Graduação	Sistemas de Informação	Qualidade do produto	Usabilidade da ISO/IEC 9126
G11	Simulação	Multi-player	Graduação	Computação	Proc. de garantia de qualidade	Inspeção de software, detecção de defeitos
G12	Simulação	Multi-player	Graduação e pós		Proc. de garantia de qualidade	Técnicas de SQA (Software Quality Assurance)
G13	Simulação	Single player	Graduação		Qualidade do Processo	Melhoria de Processo de Software com base no CMMI (CMU e SEI, 2010)
G14	Simulação		Graduação e pós	Computação/informática	Qualidade do Processo	Melhoria de processo de software, com foco no nível G do MPS-BR
G15	Simulação, competição/ desafio	Single player	Pós-graduação	Computação	Processos da Qualidade	Medição de software para a gerência de projetos alinhada ao nível 2 de maturidade do CMMI-DEV(CMU e SEI, 2006) ou o respectivo nível F do modelo MSP.BR (SOFTEX, 2007)

Fonte: Os autores

Quanto à área de aplicação, os jogos são destinados à educação, em nível de graduação e pós-graduação, de cursos de computação/informática. Os principais assuntos e tópicos da disciplina de qualidade de software abordados pelos jogos referem-se a testes de software (46,7%) e qualidade do produto (33.3%). Ressalta-se que Qualif é o único jogo que aborda qualidade do produto com base na norma internacional mais recente, a ISO/IEC 25010:2011.

O Quadro 5 mostra a comparação sobre o uso do jogo, ou seja, forma de avaliação da característica.

Quadro 5. Quadro 5. Comparação dos jogos digitais em relação ao uso do jogo

IDG	GAMEPLAY AVALIAÇÃO
	Característica	Definição	Tipo	Método	Instrumentos e medidas	Sujeitos
G1	Usabilidade	Conforme ISO/IEC 25010	Pesquisa de opinião	Ergolist (2011)	Questionário online usando escala ordinal de 5 pontos.	Graduandos e professores (n=18)
	Satisfação				Pré-teste e pós-teste
	Eficácia	O grau em que o jogo facilita o aprendizado baseado na opinião e desempenho				Graduandos (n=7) (n=5)
G2	Motivação intrínseca	Compreende 4 categorias: interesse/prazer, competência percebida, escolha percebida e pressão e tensão sentidas	Experimento Estatística descritiva Testes de Shapiro-Wilk e Mann-Whitney	Intrinsic Motivation Inventory (IMI) de Deci e Ryan (2011)	Questionário com 22 itens usando escala de Likert de 7 pontos	Experimental (n=11) e controle (n=22)
	Desempenho	Desempenho do aluno		Pré-teste e pós-teste
	Eficácia	Comparação das diferenças entre os dois grupos independentes		Respostas corretas ao quiz do jogo
G3	Desempenho dos alunos	Correção da implementação dos alunos e categorização dos alunos com resultados semelhantes em três grupos	Experimento	Regressão Linear Múltipla eK-meansclustering	Percentual de testes de referência aprovados, baseado no TPR (% de soluções positivas aprovadas), TNR (% de soluções negativas aprovadas) e cobertura de condição / decisão	Graduandos (n = 40) e pós-graduandos (n = 8)
G4	Facilidade de Uso	O grau em que os alunos acreditam que usar o jogo é fácil (isto é, livre de esforço físico e mental)	Experimento	Technology Acceptance Model (DAVIS, 1989)	Questionário com questões demográficas e15 itens usando escala de Likert de 5 pontos	Graduandos (n = 161): tratamento (n=81) e controle (n=80)
	Utilidade	O grau em que os alunos acreditam que usar o jogo melhora seu desempenho e ajuda a alcançar seus objetivos
	Atitude	Atitudes dos alunos em relação aos efeitos dos elementos de design de jogos
	Satisfação	O grau em que os alunos consideram que o jogo atende às suas necessidades e expectativas
G5	Usabilidade		Estudo de viabilidade (Shull, Carver e Travassos, 2011)	Avaliação Heurística (Nielsen, 1993)	H01 Visibilidade do status do sistema H02 Correspondência entre o sistema e o mundo real H03 Controle e liberdade do usuário H04 Prevenção de erros H05 Ajude os usuários a reconhecer, diagnosticar e recuperar erros H06 Consistência e padrões H07 Reconhecimento em vez de recordação H08 Flexibilidade e eficiência de uso H09 Design estético e minimalista H10 Ajuda e Documentação	Pós-graduandos (n = 5)
	Motivação	Avaliada em termos de atenção, relevância, confiança e satisfação		Modelo proposto por Savi, Von Wangenheim e Borgatto (2011)	Questionário com 37 questões, sendo 24 itens usando escala Likert de 5 pontos	Pós-graduandos (n=15): mestrandos (n=8) e doutorandos (n=7)
	Experiência do usuário	Avaliada em termos de imersão, desafio, diversão e competência
	Aprendizagem
G7	Motivação	Atenção, relevância e confiança		Modelo proposto por Savi, Von Wangenheim e Borgatto (2011)	Questionário	Graduandos (n = 37)
	Experiência do usuário	Idem G5
	Aprendizagem	a) Lembrar o que é; b) compreender como funciona; e c) aplicar na prática
	Satisfação	Prazer/desprazer			Questionário usando escala SAM (Self Assessment Manikin) desenvolvido por Lang (1980)	Graduandos (n = 37), Professor (n=1) e Universitário (n=37 e n=24)
	Controle	Domínio da situação/ dominado pela situação
	Motivação	Calmo/excitado
G8	Eficácia		Experimento		Pós-teste com 21 perguntas de múltipla escolha, semelhantes aos exames de certificação do ISTQB.	Pós-graduandos, mestrandos (n=8) distribuídos em grupos de tratamento (B) e controle (A)
G9	Motivação	Idem G5	Surveyonline	Modelo proposto por Savi, Von Wangenheim e Borgatto (2011)	Questionário usando escala de Likert de 5 pontos	Graduandos (n = 11)
	Experiência do usuário	Idem G5 mais interação social
	Aprendizagem	Divide-se em aprendizagem de curto termo e de longo termo
G10	Motivação	Idem G5, exceto satisfação	Experimento	Modelo proposto por Savi, Von Wangenheim e Borgatto (2011) e teste de Wilcoxon, um teste não paramétrico útil para comparar duas populações (como no caso dos experimentos relacionados ao jogo de usabilidade)	Pré-teste e Pós-teste com 16 questões	Graduandos (n = 7), graduandos (n = 11), graduandos (n = 11) distribuídos em tratamento (n=6) e controle (n=5), graduandos (n = 18) distribuídos em tratamento (n=10) e controle (n=8)
	Experiência do usuário	Idem G5
	Aprendizagem	Idem G7
G11	Imersão	Opinião sobre a imersão no papel que estavam desempenhando	Experimento	Estatística descritiva e análise dos Quartis	Questionário com 14 itens, cuja maioria usando escala de Likert de 5 pontos, pré-teste e pós-teste	Graduandos (n = 39) e (n=12)
	Eficácia	Porcentagem de acertos em relação ao total de questões
	Eficiência	Relação entre pontuação por questão e tempo gasto
G12	Prazer		Playtestingsession		Questão aberta com 250 a 300 palavras de análise e sugestões.	Pós-graduandos, primeira sessão (n=3) segunda sessão (n=6) e terceira sessão (n=14)
G13	Aspectos educacionais ou Aprendizagem	Capacidade dos alunos em compreender, lembrar e aplicar conceitos de Engenharia de Software no contexto de uma iniciativa de MPS baseada no CMMI	Experimento		Questionário	Graduandos (n = 11)
	Utilidade
	Comunicação com usuário	Análise de como o projetista se comunica com usuários via interface	Inspeção	Método de Inspeção Semiótica (MIS) de Peixoto et al. (2010)
G15	Efetividade	Analisar se o jogo teve um efeito de aprendizagem positivo na capacidade dos alunos em definir e executar programas de medição	Experimento		Pré-teste e pós-teste	Pós-graduandos (n=15) distribuídos aleatoriamente em grupos de tratamento e controle
	Adequação	Avaliar se o jogo é apropriado em termos de conteúdo (relevância, corretude, suficiência, dificuldade e sequência)	Revisão por especialista			Pós-graduandos (n=15) distribuídos aleatoriamente em grupos de tratamento e controle e especialistas em engenharia de software (n=?)

Fonte: autores

Os resultados apresentados no Quadro 5 evidenciam que a maioria dos jogos (86,7%) foram submetidos a algum estudo de avaliação, principalmente via experimentos, em relação a alguma característica. Não foi possível extrair evidências da avaliação sobre dois jogos (G6 e G14). As principais características avaliadas são as definidas no modelo proposto por Savi, Von Wangenheim e Borgatto (2011), mais especificamente, motivação do usuário, experiência do usuário e aprendizagem do usuário.

Ressalta-se que a eficácia avaliada em G1 e desempenho avaliado em G2 também denotam aprendizagem, dados os instrumentos de medição usados (pré e pós-testes), conforme os demais jogos que avaliaram a aprendizagem. Neste caso, os sujeitos que participam do estudo respondem questões sobre determinado tópico de qualidade de software antes e depois de jogar. A aprendizagem é analisada em termos da quantidade de questões respondidas corretamente, ao comparar os resultados do pré e pós-teste. Geralmente, a motivação, experiência do usuário, usabilidade, satisfação e prazer são medidas através de questionários, usando a escala de Likert, seja de 5 ou 7 pontos.

Outra observação refere-se à dificuldade em definir diferenciando os termos eficácia, eficiência e efetividade. Os autores apresentam nenhuma ou diferentes definições e formas de medir tais características, o que dificulta a comparação dos jogos à luz dessas características. Uma sugestão é que os autores as definam e avaliem em conformidade com as normas internacionais ISO/IEC.

A quantidade de sujeitos que participou dos estudos de avaliação variou de 1 a 161. Destaca-se que o número reduzido de participantes implica resultados inconclusivos sobre as características avaliadas, mas pode fornecer feedback significante para apoiar decisões de melhoria no jogo, quanto à usabilidade e ao gameplay, por exemplo.

Este artigo contribuiu com o desenvolvimento e apresentação do Qualif, bem como na identificação (resposta a QP1) e comparação (resposta a QP2) de 15 jogos digitais, que apoiam o ensino-aprendizagem sobre qualidade de software. Foram analisados 8 jogos a mais que em Rocha et al. (2019), à luz de diversas outras facetas. Ressaltamos também que, possivelmente, o número de jogos que apoia o processo de ensino-aprendizagem dessa disciplina seja superior, pois muitos jogos desenvolvidos para outras disciplinas, em especial Engenharia de Software, possuem assuntos correlatos, podendo ser utilizados como ferramentas de motivação em ambas as disciplinas. Além disso, jogos descritos em monografias, dissertações e teses não foram considerados, devido às restrições dos critérios de seleção.

A análise comparativa dos jogos à luz das facetas adaptadas da taxonomia evidenciou algumas similaridades entre os jogos, que geralmente são restritos a alguns tópicos da disciplina qualidade de software, e não cobrem, por exemplo, o tópico sobre o planejamento de sistemas de qualidade. Essa constatação motiva o aprimoramento do Qualif, para incluir outros tópicos em seus jogos.

Como trabalho futuro, também se sugere aprimorar o Qualif, considerando as necessidades de melhorias identificadas ao realizar as avaliações preliminares. Além disso, realizar outros estudos de avaliação, à luz de outras características e usando o modelo proposto por Savi, Von Wangenheim e Borgatto (2011).

Assim como em Rocha et al. (2019), é importante salientar que esta pesquisa possui limitações. Dentre elas, destacam-se algumas ameaças à validade, pois não foi possível identificar a totalidade dos artigos disponibilizados na internet sobre jogos digitais que apoiam o processo de ensino-aprendizagem sobre qualidade de software. Essa limitação se deve a questões tecnológicas, econômicas e sociais, pois existem artigos publicados em idiomas dos quais os pesquisadores não dominam, ou cujo acesso ao texto completo têm custo inacessível. Em consequência, essa pesquisa limitou-se a selecionar artigos conforme critérios definidos no protocolo. Além disso, a expressão de busca pode não ter sido abrangente o suficiente, e o Google Acadêmico apresentou algumas limitações que dificultaram a pesquisa, tanto em relação à expressão de busca e quantidade de artigos retornada. Os resultados também são passíveis de viés dos pesquisadores, devido às suas percepções subjetivas. No intuito de minimizar esse viés, um protocolo para o mapeamento sistemático da literatura foi adotado e os dados extraídos foram revisados por um pesquisador mais experiente.