O objetivo da alfabetização científica na Educação Básica é contribuir para a formação de todos os cidadãos, não apenas aqueles que futuramente talvez se tornem cientistas (Deboer, 2000; Sasseron; Carvalho, 2011). Nesse sentido, cabe perguntar por que estudamos tantos conteúdos específicos nas aulas de ciências, como mitocôndrias e prótons, tão distantes do dia a dia da maioria das pessoas. Evidentemente, a cultura escolar não deve se restringir a um suposto cotidiano médio, devendo inclusive ampliar os horizontes da experiência individual e coletiva. Mas o limite entre o enriquecimento cultural do aluno e o chamado conteudismo é tênue.

No ensino de ciências talvez haja uma ênfase demasiada nos conteúdos específicos em detrimento de competências gerais (Niaz, 1994; Norris; Phillips, 2003). Por outro lado, a alfabetização científica requer mais conhecimentos específicos do que a alfabetização em leitura, por exemplo (OECD, 2019). Diversos estudos apontam a interdependência entre habilidades gerais de investigação científica e conhecimentos específicos de cada domínio da ciência (Chen; Klahr, 1999; Eberbach; Crowley, 2009; Klemm et al., 2020; Kohlhauf; Rutke; Neuhaus, 2011; Niaz, 1994; Zimmerman, 2007). Há todo um debate sobre a importância de conhecimentos científicos específicos e suas relações com habilidades e conhecimentos gerais. Carecem, contudo, estudos sobre este tema tratando da realidade brasileira.

Este trabalho busca contribuir nesse sentido, analisando as provas do Exame Nacional do Ensino Médio (ENEM) com técnicas de Processamento de Linguagem Natural (PLN). A revisão da literatura se inicia com o conceito de alfabetização científica, em seguida se aprofunda no debate sobre conhecimentos gerais e específicos, pouco difundido na língua portuguesa. Na Discussão, são identificadas algumas evidências de validade de conteúdo do ENEM, um dos cinco tipos de validade (The standards [...], 2014) pouco praticado no Brasil. De forma geral, buscamos responder a três perguntas.

O termo foi cunhado por Paul Hurd (Hurd, 1958), referindo-se ao ensino de ciências na escola. O termo original em inglês literacy tem sido traduzido para o português ora como alfabetização, ora como letramento, não havendo uma distinção de significado entre ambos (Teixeira, 2013). Nos dois casos, trata-se de uma perspectiva amplamente difundida sobre o ensino de ciências na educação básica. Nessa perspectiva, o ensino de ciências não deve ter como objetivo principal a formação de futuros cientistas, mas sim a formação de todos como pessoas capazes de utilizar habilidades e conhecimentos científicos no seu dia a dia, seja na profissão, na vida privada ou na vida pública (Feinstein, 2011; OECD, 2019).

Tal perspectiva delimita o terreno, mas nem por isso é consensual ou isenta de debates, muito pelo contrário. Há diferentes formas de se definir alfabetização científica, algumas mais detalhadas e outras mais genéricas. Para Deboer (2000), as políticas públicas de educação devem pautar-se em definições mais genéricas e flexíveis, que permitam aos professores adaptar os objetivos gerais ao seu contexto específico. A seguir listamos algumas definições de alfabetização científica sistematizadas por Norris e Phillips (2003).

Para Sasseron e Carvalho (2011), a alfabetização científica deve incluir três eixos principais:

Nota-se nessas definições a importância de conhecimentos específicos da ciência, reforçando a ideia de que ser alfabetizado nas ciências não é apenas uma questão de desenvolver competências gerais, como seria o caso da alfabetização na linguagem verbal. No exame internacional do Programme for International Student Assessment (PISA), por exemplo, a alfabetização em leitura é definida a partir de três habilidades gerais (não entrando aqui no mérito da diferenciação entre habilidade e competência). Já a alfabetização científica inclui não apenas habilidades, mas também conhecimentos específicos, sendo que a maior parte dos itens (54 a 66%) avalia conhecimentos de conteúdos, enquanto os outros itens avaliam conhecimentos procedimentais e epistêmicos (OECD, 2019). A seleção dos conteúdos de alfabetização científica a serem avaliados pelo PISA é feita segundo três critérios. Os conteúdos devem:

Essa diferenciação entre alfabetização em leitura e alfabetização científica também aparece, de certa forma, dentro do próprio campo do ensino de ciências. Norris e Phillips (2003) definem dois sentidos diferentes que comporiam este campo. Um sentido fundamental – que se refere à capacidade de ler e escrever textos científicos e de fazer relações entre elementos do texto –, e um sentido derivado – que se refere ao conhecimento de conceitos específicos das ciências. Os autores consideram que há demasiado foco no sentido derivado e pouco foco no sentido fundamental, sem o qual o derivado é de pouca utilidade aos cidadãos.

Ao destacar a importância de conteúdos específicos na alfabetização científica, não estamos defendendo a chamada educação conteudista ou bancária (Freire, 1970) nem desmerecendo a importância de habilidades gerais. Estamos apenas ressaltando uma particularidade da alfabetização científica em relação à alfabetização em leitura, a saber, uma maior necessidade de conhecimentos específicos, que não estão amplamente difundidos na cultura de uma sociedade.

Segundo a teoria das habilidades cognitivas Cattell-Horn-Carroll (CHC), o que chamamos de inteligência apresenta diferentes aspectos interconectados (Schneider; Mcgrew, 2018). De suma importância é a relação entre inteligência fluida – a grosso modo, a capacidade de resolver problemas novos, relacionada à indução e dedução – e a inteligência cristalizada – os conhecimentos que vão sendo adquiridos pelo indivíduo com o uso contínuo da inteligência fluida. A relação entre ambas pode ser compreendida na metáfora dos recifes de coral (Cattell; Butcher, 1968). O recife de coral é o resultado de muitas gerações de animais minúsculos, cada um deles com uma parte viva – que se alimenta e se reproduz – e um esqueleto externo, criado por essa parte viva para proteger-se. Quando o animal morre, seu esqueleto permanece e, sobre ele, cresce uma nova geração de animais. Assim, o coral vai crescendo em diversas direções, resultando nas imensas estruturas que vemos hoje. Em suma, a parte viva do coral cria a estrutura não viva, que por sua vez vai crescendo e possibilitando mais espaço para o desenvolvimento de novos organismos vivos. Da mesma forma ocorreria com a inteligência fluida (análoga à parte viva do coral) e a inteligência cristalizada (análoga à parte não viva).

A inteligência cristalizada – conhecimentos acumulados na memória de longo prazo – pode ser compartilhada pela maioria dos indivíduos de uma sociedade, sendo nesse caso considerada como um conjunto de conhecimentos gerais, normalmente úteis para o modo de vida dessa sociedade. Mas também há conhecimentos úteis apenas para determinados tipos de problemas, que são cristalizados apenas na mente das pessoas que lidam com tais problemas, como profissionais e especialistas. A teoria CHC, como outras, distingue esses dois tipos de conhecimento: conhecimentos gerais, ou domínio-geral – diretamente ligado à capacidade de compreensão dos discursos comuns na sociedade –, e conhecimentos domínio-específicos, que variam conforme a área, como biologia, física, história, etc. Para Tricot (2018), o conhecimento científico, bastante recente na história da humanidade, é considerado domínio-específico. Ele não é compartilhado pela maioria das pessoas de uma sociedade. Assim sendo, a alfabetização científica torna-se um grande desafio, pois tem o objetivo de ensinar saberes científicos a toda a população, não apenas aos futuros cientistas. Já a alfabetização em leitura requer apenas conhecimentos do tipo domínio-geral, sendo assim mais facilmente aplicada na educação básica – voltada para todos – embora também apresente seus desafios.

Tendo delimitado um panorama geral, podemos agora tratar do tema dentro campo científico. Sabemos que cada domínio da ciência possui seu próprio corpo de conteúdos, habilidades e procedimentos. Também sabemos que há saberes utilizados em mais do que um domínio científico. As leis de Newton são conhecimentos específicos da física, mas o controle experimental de variáveis é um procedimento utilizado em diferentes domínios da ciência. Contudo, ainda não está claro se existe um corpo coerente e minimamente consensual de saberes comuns a todos os domínios científicos. A despeito do chamado método científico (descrito a grosso modo como observação, formulação e teste de hipóteses), as evidências não são claras. Em termos de avaliação, por exemplo, estudos relatam grande dificuldade em gerar instrumentos psicometricamente válidos para avaliar o raciocínio ou atitude científica de forma geral, especialmente nos testes em larga escala (Blalock et al., 2008; Maia; Justi, 2008). De todo modo, mesmo que não haja um construto bem definido que englobe conhecimentos científicos gerais, podemos partir do pressuposto de que há conhecimentos científicos compartilhados em diversos domínios da ciência. Nesse sentido, cabe investigar o papel dos conhecimentos científicos gerais e dos conhecimentos científicos domínio-específicos.

Para Chinn e Duncan (2018), o raciocínio científico geral (mesmo que exista) por si só não proporciona às pessoas a capacidade de realizar com sucesso julgamentos sobre problemas reais. É necessário que haja também conhecimentos domínio-específico. De fato, diversos estudos evidenciam a complementariedade destes dois tipos de saber. Um estudo com alunos de diferentes idades mostrou que a capacidade de investigação científica depende fortemente de conhecimentos prévios, específicos do domínio, embora não necessariamente do interesse pelo domínio (Kohlhauf; Rutke; Neuhaus, 2011). Outro estudo sobre ensino de biologia comparou a importância do raciocínio científico e de conhecimentos específicos na capacidade de investigação científica dos alunos (observação, formulação e teste de hipóteses, interpretação dos resultados). Os resultados mostraram que ambos os tipos de saber – geral e específico – contribuem para o desenvolvimento desta capacidade nos alunos (Klemm et al., 2020). O mesmo pode ser dito a respeito do raciocínio crítico, para o qual conhecimentos específicos são necessários, embora não suficientes (Lai, 2011).

Em que sentido tais reflexões podem ser úteis para o ensino de ciências na escola? Como articular conhecimentos científicos gerais e específicos na educação básica? Schauble (2018) propõe que se adote uma estratégia 'de baixo para cima' (bottom-up), ao menos nos estágios iniciais da escola. Ou seja, que os alunos construam os conhecimentos científicos gerais a partir de conhecimentos científicos específicos de diversos domínios. Afinal, é necessário que haja um substrato a partir do qual se possa compreender os conceitos gerais que fundamentam o raciocínio científico. De pouco adianta saber que existe algo chamado controle experimental, se tal conhecimento não estiver ancorado em diferentes exemplos concretos de controle experimental e em diferentes contextos da ciência. Uma tese de doutorado analisou relações entre conhecimentos científicos gerais e específicos, focando no conhecimento (geral) sobre desenho experimental e controle de variáveis e na capacidade de mobilizar este conhecimento (Edelsbrunner, 2017). A tese mostra que o ensino não explícito deste saber em diversos contextos domínio-específicos contribui significativamente para o seu aprendizado. O mesmo parece ocorrer quando se trabalha explicitamente os conhecimentos científicos gerais em casos particulares. Um estudo mostra que a aprendizagem de princípios gerais, no caso, o controle de variáveis, é mais eficaz quando é trabalhada de maneira explícita e dentro de cada domínio, sugerindo que as atividades domínio-específicas proporcionam maior capacidade de entendimento e transferência desse princípio geral em diferentes situações (Chen; Klahr, 1999). Em suma, os princípios gerais do raciocínio científico são ensinados com maior eficácia quando atrelados a conhecimentos e situações específicas de cada domínio da ciência, seja de forma explícita ou implícita. Cabe ressaltar que, mesmo quando presentes de forma implícita para os alunos, os conhecimentos gerais precisam ser claros para o professor enquanto faz o seu planejamento.

A importância de conhecimentos específicos para a alfabetização científica não significa a defesa de uma educação conteudista ou bancária, em que o papel do professor se resume a depositar a maior quantidade possível de informações na mente dos alunos (Freire, 1970). Evidentemente existe certa necessidade de se aprender novas ideias e palavras, mas isso deve ser feito de forma planejada e gradual. A importância dos conhecimentos específicos talvez seja melhor compreendida à luz da Teoria da Mudança Conceitual (Posner et al., 1982). Segundo essa teoria, bastante difundida no ensino de ciências, há diversos conceitos presentes no senso comum que são compreendidos de forma inadequada, sendo, portanto, necessário que as aulas de ciências promovam uma mudança nesses conceitos, de forma similar ao que ocorre na própria história da ciência em uma perspectiva Kuhniana. Além disso, as evidências indicam que uma aprendizagem mais efetiva pode ser alcançada iniciando-se com atividades e problemas mais próximos do imaginário dos alunos e, só a partir do resultado das atividades, trazer o conceito como forma de organizar e sistematizar os saberes adquiridos naquela situação específica (Gellon et al., 2018). Ou seja, o conceito por si só não faz muito sentido, a não ser como solução a um problema que foi trabalhado anteriormente.

A figura 1 sintetiza parte das ideias aqui reunidas sobre conhecimentos gerais e específicos no ensino de ciências. Buscamos representar, da esquerda para a direita, o caminho mais eficaz para a aprendizagem, embora esse tipo de generalização na educação seja mais útil como guia para um planejamento intencional do que como receita a ser seguida.

Figura 1 Legenda: os conceitos científicos específicos são construídos a partir de conhecimentos gerais que o aluno já possui, conforme a Teoria da Mudança Conceitual (seta 1). Esses conhecimentos científicos específicos são trabalhados de forma articulada aos conhecimentos científicos gerais, explícitos ou implícitos, consolidando e aprimorando o raciocínio científico em diferentes contextos e situações (seta 2). Com o tempo, os conhecimentos científicos gerais vão contribuindo, cada vez mais, para a (re)construção de conhecimentos (setas pontilhadas). Fonte: elaborada pelo autor.

Foi realizada análise textual dos itens do ENEM com técnicas de Processamento de Linguagem Natural (PNL). Para tanto, foi utilizado o software livre R (R Core Team, 2022) e o pacote quanteda (Benoit et al., 2018). Para cada item foram calculadas as seguintes métricas:

A métrica (1) baseou-se em duas tabelas de frequência de cada palavra, relativas a dois corpora de texto: o corpus I proveniente do projeto ReGra (Nunes et al., 1996) e o corpus II proveniente do projeto NILCmetrix (Leal et al., 2024). Para cada tabela de frequência (uma de cada corpus), foram selecionadas, aproximadamente, as 10 mil palavras mais frequentes, originando duas listas de palavras frequentes, ou seja, palavras muito utilizadas no português do Brasil. Depois disso, para cada item foi calculado o percentual de palavras incomuns, isto é, palavras que não estão na lista das 10 mil palavras mais frequentes. Com isso, foram produzidas duas métricas para cada item, que correspondem aos corpora I e II.

Além dessas métricas, também foram analisadas as características dos itens, fornecidas na base de dados.

A base de dados descrita em Silveira e Mauá (2017) inclui todos os itens do ENEM de 2010 a 2015, excluindo apenas os itens de espanhol e inglês. São 175 itens por ano, totalizando 1050 itens. Além disso, a base também contém algumas características de cada item, segundo a sistematização feita pelos autores. A tabela 1 descreve a base utilizada, mostrando a proporção de itens com cada característica em cada edição do ENEM. Nota-se que há estabilidade no perfil ao longo dos anos, evidenciando o trabalho cuidadoso do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) na elaboração do exame. A maioria dos itens (48%) requer considerável grau de compreensão textual, enquanto 22% requer conhecimentos domínio-específicos. Além disso, 38% dos itens têm uma imagem.

A tabela 2 mostra algumas diferenças entre as provas de cada área do conhecimento. Nota-se que, praticamente, todos os itens que requerem conhecimentos domínio-específicos e inferências complexas estão nas provas de Ciências da Natureza (CN), correspondendo a 83% dos itens dessa área. Além disso, esta é a única área que apresenta itens com todas as características observadas, sugerindo considerável heterogeneidade no construto avaliado. Já a área de Linguagens e Códigos (LC) apresenta a maioria dos itens (83%) avaliando compreensão de texto e relativamente poucos itens (22%) que requerem conhecimento enciclopédico.

A figura 2 mostra que CN apresenta maior proporção de palavras incomuns, corroborando o que se observa na tabela 2 em relação à necessidade de conhecimentos específicos. Cabe notar que o mesmo não se aplica a Ciências Humanas (CH), sugerindo uma diferença entre essas duas áreas da ciência. O Teste Tukey Honestly Significant Difference (HSD) – que nesse caso compara as provas de duas em duas – revela que todas as diferenças apontadas na figura 2A são significativas (p<0,001), com exceção da diferença entre LC e CH. Em relação à figura 2B, todas as diferenças são significativas (p<0,05) com exceção da diferença entre Matemática (MT) e CH.

Figura 2 Legenda: MT=Matemática; LC=Linguagens e Códigos; CN=Ciências da Natureza; CH=Ciências Humanas. Para maior confiabilidade dos resultados, a métrica foi calculada a partir de dois corpora textuais diferentes em A e B, mais detalhes nos Métodos. Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

A quantidade de informação fornecida pelos itens foi mensurada com duas métricas: o número de caracteres e o grau de entropia. As duas são bastante correlacionadas, como mostra a figura 3. Com efeito, a comparação entre as áreas do conhecimento apresenta o mesmo padrão nas figuras 4A e 4B: os itens de MT fornecem menos informação textual ao candidato, enquanto os itens de LC fornecem mais informação. Nota-se também que em CN o ENEM fornece menos informação do que em CH, sugerindo novamente uma diferença nos construtos avaliados e, possivelmente, uma necessidade maior de conhecimentos prévios em CN.

Figura 3 Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

Figura 4 Legenda: MT=Matemática; LC=Linguagens e Códigos; CN=Ciências da Natureza; CH=Ciências Humanas. Todas as diferenças são significativas (p<0,01 em A e p<0,001 em B). Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

A Facilidade de Leitura nas quatro áreas pode ser vista na figura 5. Nota-se que as provas de Matemática são compostas de itens com palavras e frases menores, o que reduz a influência da capacidade de compreensão de textos na performance, minimizando a carga cognitiva desnecessária e tornando o construto mais focado no raciocínio matemático. As provas de CN e CH apresentam Facilidade de Leitura significativamente menor (p<0,01) do que as outras duas e semelhantes entre si. Isso pode estar relacionado a uma necessidade de palavras mais específicas (em geral maiores) e de raciocínios mais elaborados (frases maiores) nas áreas científicas, mas também pode indicar influência de fatores não associados aos construtos, hipóteses que requerem maior investigação.

Figura 5 Legenda: MT=Matemática; LC=Linguagens e Códigos; CN=Ciências da Natureza; CH=Ciências Humanas. Fonte: elaborada pelo autor a partir de dados consultados do ENEM.

Os resultados apontam diversas convergências entre o conteúdo dos itens do ENEM e os construtos almejados, especialmente em Matemática (MT) e Linguagens e Códigos (LC). Ou seja, essas duas provas apresentaram evidências de validade de conteúdo. Além disso, os resultados sugerem que há maior necessidade de conhecimentos específicos na prova de Ciência Naturais (CN), especialmente em relação a LC – remetendo à diferença entre alfabetização científica e alfabetização em leitura. Já a prova de Ciências Humanas (CH) em geral apresenta características intermediárias entre CN e LC. Para maior clareza na compreensão das diferentes áreas avaliadas pelo ENEM, vejamos os principais resultados de cada uma.

Linguagens e Códigos: em relação às outras três áreas, é a que apresenta maior quantidade de informação textual fornecida pelos itens (figura 4), embora apresente maior facilidade de leitura do que as duas ciências (figura 5), sugerindo textos grandes, mas com frases curtas e palavras pequenas. Observando-se as características dos itens (tabela 2), essa área parece ter um construto bastante homogêneo e coerente, altamente focado na compreensão de texto. Tal achado se alinha a estudo anterior que encontrou mais itens com comportamento psicométrico adequado nas provas de LC do que nas outras três áreas (Travitzki, 2017). Por outro lado, a confiabilidade (fidedignidade) de LC não parece ser maior do que das outras áreas (Gomes; Golino; Peres, 2018).

Matemática: apresenta diversas peculiaridades, como menos palavras incomuns (figura 2), menos informação textual (figura 4) e maior facilidade de leitura (figura 5). A tabela 2 também mostra peculiaridades de Matemática em relação às outras três áreas: quase todos itens (91%) requerem compreensão de equações matemáticas; é a prova com mais imagens (64% dos itens); requer menos compreensão textual do enunciado; requer menos conhecimento não fornecido no enunciado. Todas essas peculiaridades estão alinhadas com o que se esperaria de um construto focado em habilidades matemáticas, com menor carga cognitiva desnecessária (textual) e maior presença de imagens, dado que álgebra e geometria são intimamente conectadas.

Ciências da Natureza: a hipótese do conhecimento científico como domínio-específico (Tricot, 2018) foi ao menos parcialmente confirmada pois, em relação às outras áreas, CN: apresentou mais palavras incomuns (figura 2); apresentou menos informação textual (figura 4); foi responsável por praticamente todos os itens que requerem conhecimento específico ou inferência complexa (tabela 2). A tabela 2 também mostra a heterogeneidade do construto de CN avaliado pelo ENEM – que é uma referência importante no Brasil – pois é o único que apresentou todas as características observadas. Isso sugere que essa prova não avalia uma única competência (não é unidimensional em termos psicométricos), sendo assim um construto difícil de se definir. O que está relacionado ao debate sobre o que é alfabetização científica e como concretizá-la, tanto no ensino quanto na avaliação.

Ciências Humanas: nas métricas, apresentou em geral comportamento intermediário entre LC e CN. Nas características dos itens (tabela 2), requer predominantemente habilidade de leitura (com relativamente poucas imagens) e é a prova com mais itens que requerem conhecimento não fornecido no enunciado. O que não parece muito coerente com a irrelevância de conhecimentos específicos ou inferências complexas, mesmo levando em conta que esta é uma característica híbrida, pois não discrimina conhecimento de inferência.

Ciências (ambas): em relação a LC e MT, as duas ciências (CN e CH) apresentam menor facilidade de leitura (figura 5), o que poderia estar associado à necessidade de palavras mais específicas (em geral maiores) e raciocínios mais elaborados (frases em geral maiores). As duas ciências também têm mais itens que requerem informação não fornecida no enunciado (tabela 2), comparadas a LC e MT. Tais resultados confirmam a importância de se possuir conhecimentos específicos depois de uma alfabetização científica bem sucedida. Comparando as duas áreas científicas, CN apresenta: mais imagens (tabela 2); menor necessidade de conhecimentos específicos ou inferência complexa; menor necessidade de compreensão textual do enunciado; mais palavras incomuns (figura 2); menos informação textual (figura 4). Tais observações sugerem que, segundo os conceitos de Norris e Phillips (2003), a prova de CH estaria mais próxima do sentido fundamental da alfabetização científica, enquanto a CN estaria mais próxima do sentido derivado.

Para finalizar, voltemos às perguntas iniciais.