CADERNO DE PESQUISA 2 CADERNO DE PESQUISA 2 Cebraspe Brasília – DF, Brasil, 2019 EXPEDIENTE Adriana Rigon Weska Diretora-Geral Claudia Maffini Griboski Diretora Executiva Marcus Vinícius Araújo Soares Diretor de Educação e Avaliação Jorge Amorim Vaz Diretor de Operações em Eventos Claudia Maffini Griboski Cristiane Faiad de Moura Germana Henriques Pereira Isaac Roitman José Otávio Nogueira Guimarães Conselho Editorial Renata Manuelly de Lima Rego Mariana Carvalho Letícia Alves Santos Editoras Elianice Silva Castro Camila Alves Editoras assistentes Pedro Henrique Cardoso da Costa Lucas Azevedo Santos Esa Gomes Magalhães Luana Nascimento Projeto Gráfico Jacson Magalhães Borges Pedro Henrique Cardoso da Costa Rodrigo Araújo Diagramação Priscila Magalhães Barros Felinto Revisão Técnica Adriana de Melo Resende Letícia dos Santos Miranda Revisão C122 Caderno de Pesquisa 2. – Brasília: Cebraspe, 2019. 440 p. 21 cm. – (Série Caderno de Pesquisa) ISBN 978-85-5656-011-7 1. Educação. 2. Avaliação Educacional. 4. Aprendizagem. I. Título. II. Série. CDU 371.26 CADERNO DE PESQUISA 2 SUMÁRIO APRESENTAÇÃO 8 CAPÍTULO 1 13 TESTES ADAPTATIVOS COMPUTADORIZADOS: CALIBRAÇÃO ONLINE DE NOVOS ITENS Cibele Queiroz da Silva Júlio César Gomes Fonseca CAPÍTULO 2 80 CAPÍTULO 3 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Luís Gustavo do Amaral Vinha Josemberg Moura de Andrade Helen Cristina de Acypreste Rocha Gesiane do Socorro A. Leão Farias João Pedro de Oliveira Moraes Gabriel Ravi de Sousa dos Santos 137 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS CAPÍTULO 4 230 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Domingos Savio Coelho CAPÍTULO 5 270 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Ana Cléia Ferreira Lima Flávio Bambirra Gonçalves Kamila Pimentel Juliane Venturelli S. Lima Antônio Lucas CAPÍTULO 6 303 CAPÍTULO 7 361 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS – CONTRIBUIR PARA A MELHORIA DA QUALIFICAÇÃO DOS DOCENTES DA EDUCAÇÃO BÁSICA ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/ SUPERDOTAÇÃO Remi Castioni Tatiana de Cassia Nakano Primi Norivan Lustosa Lisboa Dutra Sidelmar Alves da Silva Kunz APRESENTAÇÃO APRESENTAÇÃO Uma das missões do Centro Brasileiro de Pesquisa em Avaliação e Seleção e de Promoção de Eventos (Cebraspe) é criar oportunidades de desenvolvimento e de aperfeiçoamento de sistemas educacionais, de organizações e de pessoas por meio de pesquisas. Nesse sentido, nada mais coerente do que fomentar a pesquisa. O Caderno de Pesquisa é um dos veículos de divulgação dos projetos fomentados por este Centro. Nos últimos três anos, o Cebraspe lançou editais para conceder bolsas a fim de apoiar projetos de pesquisas e de desenvolvimento científico e tecnológico na área de avaliação educacional, com o objetivo de contribuir para a promoção do ensino e da pesquisa. O auxílio é destinado a estudantes de pós-graduação stricto sensu e a professores doutores do magistério superior em exercício, ou aposentados, devidamente credenciados em programa de pós-graduação reconhecido pela Capes. Esta publicação reúne sete relatórios, advindos dos projetos de pesquisas fomentados por essa instituição, por meio do Edital Cebraspe n.º 02/2017, que apresentam estudos que abordam diversos temas da área de avaliação educacional. Os trabalhos são publicados e divulgados no formato eletrônico, visando à difusão de informações, experiências e projetos para a sociedade. O primeiro relatório de pesquisa apresentado neste número do caderno é intitulado “Testes Adaptativos Computadorizados: calibração online de novos itens”, de autoria da professora Cibele Queiroz e do bolsista Júlio César Gomes Fonseca. Entre os objetivos desse estudo está a organização de um protótipo de banco de dados apropriado para estudos do CAT online, utilizando bancos de dados e informações existentes do CAT para a prova de inglês instrumental. O segundo relatório “Evidências de validade de construto do Exame Nacional do Ensino Médio (Enem)”, de autoria do professor Josemberg Moura de Andrade e dos bolsistas Gesiane do Socorro Andrade Leão Farias e Gabriel Ravi de Sousa dos Santos, teve como objetivo geral obter evidências de validade de construto do Exame Nacional do Ensino Médio (Enem). 9 CADERNO DE PESQUISA 2 O terceiro relatório “Validação das escalas de percepção de violência e conflitos nas escolas”, de autoria do professor Luís Gustavo do Amaral Vinha e dos bolsistas Helen Cristina de Acypreste Rocha e João Pedro de Oliveira Moraes, traz como principal objetivo a avaliação da escala de percepção de violência e de conflitos nas escolas usada no Sistema de Avaliação da Educação Básica (SAEB). Essa escala é composta por 10 itens que abordam episódios de agressão, ameaças, roubos e furtos, consumo de álcool e de drogas e porte de armas. Diretores e professores das escolas envolvidas na avaliação do SAEB respondem a esses itens nos respectivos questionários contextuais. O quarto relatório intitulado “Testagem via computador de estudantes surdos do ensino fundamental e médio do DF” é de autoria do professor Domingos Savio Coelho e dos bolsistas Ana Cléia Ferreira Lima, Kamila Pimentel e Antônio Lucas. Entre os objetivos dessa pesquisa está a adaptação de itens de avaliações escolares do ensino fundamental e médio para língua brasileira de sinais (Libras) nos seguintes formatos: múltipla escolha, certo/errado, resposta numérica (000 a 999), discursiva e redação em Libras. O quinto relatório de pesquisa, cujo título é “Construção de escala latente para a obtenção de habilidades específicas e gerais no Enem” tem como autores o professor Flávio Bambirra Gonçalves e a voluntária Juliane Venturelli S. Lima. Nesse relatório, o objetivo principal foi desenvolver metodologia estatística baseada na Teoria de Resposta ao Item (TRI) para a estimação de habilidades gerais e específicas a partir da prova do Enem. O sexto relatório, de autoria da professora Tatiana de Cassia Nakano Primi, intitulado “Análise das diretrizes curriculares do Ministério da Educação (MEC) e das matrizes curriculares dos cursos de formação em pedagogia e psicologia para a formação na temática das altas habilidades/superdotação” se propõe a analisar as diretrizes curriculares estabelecidas pelo MEC para cada um dos cursos, procurando por aspectos relacionados à educação especial, mais especificamente pela existência de aspectos voltados à temática das altas habilidades e superdotação (AH/S). 10 APRESENTAÇÃO O último relatório deste número, intitulado “Acesso diferenciado aos cursos de pedagogia e licenciaturas – contribuir para a melhoria da qualificação dos docentes da educação básica”, de autoria do professor Remi Castioni e dos bolsistas Norivan Lustosa Lisboa Dutra e Sidelmar Alves da Silva Kunz teve como um de seus objetivos apresentar um protótipo de acesso diferenciado ao ensino superior, com foco nos cursos de licenciaturas. A seguir, esses relatórios poderão ser examinados detalhadamente. Desejamos que as pesquisas fomentadas pelo Cebraspe motivem cada leitor(a) a refletir sobre a qualidade da educação e que despertem o interesse para realização de novas investigações. Cebraspe CAPÍTULO 1 TESTES ADAPTATIVOS COMPUTADORIZADOS: CALIBRAÇÃO ONLINE DE NOVOS ITENS Cibele Queiroz da Silva Júlio César Gomes Fonseca 13 SUMÁRIO – CAPÍTULO 1 1. RELATÓRIO 15 1.1 Objetivos deste projeto 1.2 Objetivos atingidos 1.3 Desenvolvimento: O CAT e o CAT online 1.3.1 O CAT 1.3.2 O CAT online 1.4 Resultados: sumário das rotinas desenvolvidas 1.5 Resultados: métodos de estimação de proficiências e avaliação das incertezas 1.6 Resultados: métodos de seleção de itens de pré-teste 1.6.1 Método da máxima informação 1.6.2 Índice de prioridade do intervalo informativo ordenado (OIRPI) 1.6.3 O Critério D-Optimal 1.6.4 Algoritmo 2: OIRPI-S - OIRPI com padronização 1.7 Métodos de calibração de itens de pré-teste 1.7.1 Calibração via OEM e MEM considerando dois critérios de parada e método D-Optimal 1.7.2 Calibrações via OEM e MEM com o método OIRPI-S 1.7.3 Calibrações e comparações dos métodos D-Optimal e OIRPI-S 1.7.4 Os desvios-padrão das estimativas dos parâmetros calibrados CONSIDERAÇÕES FINAIS 47 REFERÊNCIAS 49 APÊNDICE A – IMPLEMENTAÇÕES COMPUTACIONAIS 50 TESTES ADAPTATIVOS COMPUTADORIZADOS 1. RELATÓRIO 1.1 OBJETIVOS DESTE PROJETO 1. Organizar um protótipo de banco de dados apropriado para estudos do CAT online utilizando bancos de dados e informações existentes do CAT para a prova de inglês instrumental. Estas informações estão sob a responsabilidade e guarda do Cebraspe. O protótipo deverá ser replicável para outras disciplinas. 2. Analisar qual a melhor forma adaptativa de seleção de itens de préteste para cada examinando. Com base em estudos de simulação, avaliar o desempenho de alguns métodos de seleção de itens de pré-teste descritos na literatura recente, com vistas a identificar as metodologias que propiciam maior acurácia nas estimativas dos parâmetros dos novos itens. 3. Avaliar qual a melhor metodologia para estimar os parâmetros dos novos itens no contexto da calibração online. Objetiva-se comparar métodos de calibração de itens de pré-teste em suas versões frequentistas e bayesianas. 4. Propor novas metodologias para a estimação dos escores de proficiência estimados via CAT e compará-las com as já implantadas no CAT para a prova de inglês instrumental. 5. Implantar um protótipo do CAT online para a prova de inglês instrumental que está sob a responsabilidade do Cebraspe. 1.2 OBJETIVOS ATINGIDOS • Desenvolvimento do projeto de dissertação de mestrado, no qual é apresentado uma revisão bibliográfica referente a calibração online e aos principais métodos de seleção e calibração dos itens de pré-teste existentes na literatura (dissertação de Bruna Queiroz). 15 CADERNO DE PESQUISA 2 • Organização do banco de dados fornecido pelo Cebraspe, referente à prova de proficiência em inglês instrumental 1 da Universidade de Brasília (UnB), que desde o primeiro semestre de 2010 é aplicada por meio do CAT. • Análise descritiva do banco de dados obtido, a fim de estudar o comportamento dos parâmetros dos itens de modo a auxiliar na seleção dos itens de pré-teste que serão utilizados no estudo de simulação. • Desenvolvimento dos códigos computacionais em linguagem R referentes aos cinco métodos de seleção de itens de pré-teste que serão avaliados, como também o código computacional relativo ao método OEM de calibração de itens de pré-teste, em sua versão frequentista e bayesiana. • Desenvolvimento de novas metodologias para a estimação dos escores de proficiência estimados (dissertação Júlio César Gomes Fonseca). 1.3 DESENVOLVIMENTO: O CAT E O CAT ONLINE 1.3.1 O CAT Os testes adaptativos computadorizados (CAT) (BOCK; MISLEVY, 1982; COSTA, 2009) são aqueles aplicados em meio eletrônico, nos quais os itens são selecionados de acordo com o nível de habilidade do examinando que está realizando o teste e assim a proficiência do examinando é estimada iterativamente. Dessa forma, o CAT é personalizado para cada examinando, de modo a possibilitar uma medição mais precisa na avaliação do seu conhecimento, pois ajusta ou adapta a dificuldade das perguntas ao longo do teste, com base nas respostas dadas pelo respondente. Mediante um conjunto de questões, um CAT tem a principal característica de “individualizar um teste”, ou seja, cada aluno participante recebe um elenco de diferentes questões, em diferentes quantidades. A figura 1 ilustra as potencialidades do CAT. 16 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 1 – TESTES COMPUTADORIZADOS: QUESTÕES ADAPTADAS AO PERFIL DO RESPONDENTE 1.3.2 O CAT online De forma geral, o processo de calibração online de novos itens para a reposição do banco de itens operacionais pode ser resumido em seis etapas (ZHENG, 2014; ZHU, 2006; BAN, 2001). As três primeiras etapas estão relacionadas à preparação do banco de itens de pré-teste, não tendo ainda um caráter online. • A etapa 1 constitui-se na identificação dos itens operacionais que precisam ser substituídos. • Na etapa 2, novos itens são formulados a fim de substituir os itens operacionais obsoletos ou que foram superexpostos. • Na etapa 3, os novos itens formulados são revisados e, caso sejam aprovados, são adicionados ao banco de itens de pré-teste. Com base em uma amostra piloto é possível que sejam obtidas estimativas iniciais dos parâmetros do modelo de TRI para os itens de pré-teste. Estas estimativas iniciais são utilizadas nas novas etapas do processo de calibração. Nesta pesquisa, a princípio, também utilizaremos este recurso de trabalhar com provas de tamanho fixo, de modo a adquirir conhecimentos que possibilitem o relaxamento de tal limitação. 17 CADERNO DE PESQUISA 2 As etapas seguintes referem-se aos procedimentos online propriamente ditos. • A etapa 4 envolve a seleção (processo amostral) dos itens que fazem parte do banco de itens operacionais, assim como dos itens de pré-teste mais adequados, segundo determinados critérios de seleção de itens, a dado examinando. Considera-se, nesse processo, os locais de semeadura e os critérios próprios delineados para propósitos avaliativos e inferenciais. As respostas dos examinandos aos itens do pré-teste são armazenadas em uma base de dados auxiliar (que é periodicamente analisada) e serão usadas apenas para calibrar os parâmetros destes itens, não sendo incluídas no procedimento de estimação de proficiências. • Na etapa 5, a base de dados auxiliar é avaliada segundo alguns critérios estatísticos de modo a verificar a qualidade das estimativas correntes, mas ainda provisórias, dos parâmetros da TRI associados aos novos itens. Avalia-se a abundância de respostas aos itens de pré-teste bem como a precisão das estimativas. O processo iterativo de reestimação dos parâmetros dos itens de pré-teste é de caráter individual, podendo ser mais longo para determinados itens. • Na etapa 6, cada item de pré-teste será adicionado à base de itens operacionais somente quando a regra de finalização estipulada for atingida para o item. Então, as etapas 4 e 5 continuam com os itens de pré-teste restantes, ou então o grupo de itens de pré-teste pode ser reabastecido com outros itens de pré-teste. • Considerando o banco de itens, é possível adicionar novos itens de modo a garantir maior abrangência e diversidade da prova. A reposição de itens é um processo de manutenção necessário, pois os itens do banco podem tornar-se obsoletos ou superexpostos com o passar do tempo. Os novos itens a serem adicionados ao banco de itens, denominados itens de pré-teste, precisam ser calibrados e serem expressos na mesma escala dos itens já existentes (itens operacionais) (BAN, 2001). Problemática: como os parâmetros destes novos itens ainda não foram calibrados, durante a execução do CAT é necessário estudar qual a melhor forma adaptativa de estimá-los. 18 TESTES ADAPTATIVOS COMPUTADORIZADOS Alguns métodos de calibração online de itens têm sido propostos e empregados para calibrar novos itens no CAT (ZHENG, 2014). A figura 2 ilustra um fluxograma de um processo CAT online unidimensional. FIGURA 2 – FLUXOGRAMA GERAL DE UM CAT ONLINE UNIDIMENSIONAL 1.4 RESULTADOS: SUMÁRIO DAS ROTINAS DESENVOLVIDAS As figuras 3 a 6 são autoexplicativas e descrevem, de maneira sucinta, as principais rotinas desenvolvidas neste projeto. 19 CADERNO DE PESQUISA 2 FIGURA 3 – ARQUITETURA UTILIZADA NA CALIBRAÇÃO DE NOVOS ITENS E SETUP NAS SIMULAÇÕES (a) (b) 20 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 4 – ROTINAS PARA A SIMULAÇÃO DOS DADOS, ESTIMAÇÃO DE PROFICIÊNCIAS E ESCOLHA INICIAL DE ITENS (a) (b) 21 CADERNO DE PESQUISA 2 FIGURA 5 – ROTINAS PARA ESCOLHA DE ITENS DE PRÉ-TESTE E CALIBRAÇÃO (a) (b) 22 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 6 – BANCO DE ITENS E DESCRIÇÃO DE FATOR CARACTERIZANDO O TIPO DE ITEM 1.5 RESULTADOS: MÉTODOS DE ESTIMAÇÃO DE PROFICIÊNCIAS E AVALIAÇÃO DAS INCERTEZAS Como não poderia deixar de ser, um dos objetivos subjacentes deste projeto é a estimação das proficiências dos indivíduos que participam da prova CAT. Como trata-se de CAT unidimensional, o modelo TRI (teoria da resposta ao item – BAKER E KIM, 2004) utilizado no desenvolvimento de todas as rotinas de estimação é o modelo de TRI de três parâmetros (ML3), na escala logística. Dessa forma, a probabilidade de um examinando com habilidade θ j responder corretamente ao item i é dada por: (1.1) em que ai, bi e ci são, respectivamente, os parâmetros de discriminação, dificuldade e a probabilidade de acerto casual do item i, em que i = 1, 2, ..., n e D é constante, com valor igual a 1,7. A proficiência do indivíduo j, representada pelo parâmetro θj, é estimada através do método bayesiano EAP (Bayes Expected a posteriori) (BAKES 23 CADERNO DE PESQUISA 2 E KIM, 2004, p. 193). Este método foi escolhido devido à sua reconhecida robustez na literatura da área de CAT. As figuras 7 a 10 ilustram o tipo de desenvolvimento obtido no quesito da estimação de proficiências. Com base em dados simulados para dois indivíduos hipotéticos, no lado esquerdo da figura 7 apresenta-se as trajetórias das estimativas das proficiências ao longo de uma sessão CAT cujo tamanho da prova é de 30 questões. A linha horizontal representa o valor verdadeiro da proficiência e observa-se consistente convergência a este valor. A evolução da incerteza das estimativas, para cada indivíduo, é representada pelos gráficos à direita, que descrevem a evolução dos desvios-padrão associados às estimativas das habilidades. Observa-se queda acentuada dos desvios-padrão por volta da 10a questão CAT respondida e um patamar de erro padrão mínimo em torno de 0,2, que está de acordo com a literatura internacional sobre o tema e de acordo com o que está atualmente descrito em Costa (2009). FIGURA 7 – TRAJETÓRIAS DE ESTIMATIVAS DE PROFICIÊNCIA E DESVIOS-PADRÃO ASSOCIADOS PARA DOIS INDIVÍDUOS. A LINHA HORIZONTAL REPRESENTA O VALOR VERDADEIRO DA PROFICIÊNCIA 24 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 8 – TRAJETÓRIAS DE ESTIMATIVAS DE PROFICIÊNCIA E DESVIOS-PADRÃO ASSOCIADOS PARA DOIS INDIVÍDUOS. A LINHA HORIZONTAL REPRESENTA O VALOR VERDADEIRO DA PROFICIÊNCIA (CONTINUAÇÃO) Para aprofundar o estudo da incerteza das estimativas de proficiência, a figura 8 descreve os intervalos de 95% de confiança associados às estimativas previamente descritas na figura 7 observa-se convergência em torno do valor verdadeiro, crescente precisão das estimativas (intervalos de confiança consistentemente mais estreitos) e inclusão do valor verdadeiro do parâmetro. Com o intuito de analisar o viés e variabilidade das estimativas de incerteza da habilidade de modo mais global, construímos as figuras 9 e 10 com base na simulação de trajetórias de estimativas CAT de proficiência para 200 indivíduos. Com base na figura 9 observa-se que os aspectos discutidos com base na figura 8 globalmente se mantêm (considerando provas de tamanho 30 fixo, para comparabilidade): (1) em todos os casos as trajetórias terão magnitude do máximo valor de desvio-padrão abaixo do valor 0.6, sendo raro que este valor esteja acima de 0.4; (2) a linha média (em vermelho) mostra trajetória com valor mínimo de s.d. chegando ao patamar ideal de 0.2; (3) em muitos casos o valor mínimo de s.d. pode ser ainda inferior 0.2, demonstrando as boas qualidades inferenciais do processo de estimação das proficiências. 25 CADERNO DE PESQUISA 2 FIGURA 9 – TRAJETÓRIA DE ESTIMATIVAS DE PROFICIÊNCIA CAT E INTERVALOS DE 95% DE CONFIANÇA ASSOCIADOS FIGURA 10 – BOXPLOTS DOS DESVIOS-PADRÃO DAS ESTIMATIVAS OBTIDAS EM CADA TEMPO (QUESTÃO) PARA 200 INDIVÍDUOS A figura 10 explicita a variabilidade dos desvios-padrão das estimativas das proficiências em termos de boxplots comparativos onde observa-se que, por volta da 14a questão respondida, o percentil 75 de s.d. está abaixo do patamar de 0.3, sendo a linha tracejada à altura 0.2, o que traz resultados bastante animadores quanto ao quesito em pauta. Na calibração de itens de pré-teste considerou-se as especificações descritas na figura 3 (b) para a simulação dos dados. Com base em 20 replicações do experimento de Monte Carlo, observou-se que, em média, 940 indivíduos foram necessários para que 7 de 12 itens de pré-teste (12 entre os 383 itens 26 TESTES ADAPTATIVOS COMPUTADORIZADOS do banco de itens) fossem calibrados. Na figura 11 apresenta-se um gráfico de dispersão comparativo entre o valor verdadeiro de proficiência e o valor estimado. Uma reta de regressão considerando o valor estimado como variável preditora e o valor real como valor predito mostra pequeno viés e alta precisão nos valores estimados de proficiência. FIGURA 11 – TRAJETÓRIAS DE ESTIMATIVAS DE PROFICIÊNCIA VIA CAT PARA 200 INDIVÍDUOS 1.6 RESULTADOS: MÉTODOS DE SELEÇÃO DE ITENS DE PRÉ-TESTE Foram implementados os seguintes métodos de seleção de itens: 1. Método de seleção utilizando o critério da máxima informação; 2. Método de seleção utilizando o critério D-Optimal para TRI dicotômica (CHANG, 2010; JONES, 1994; ZHU, 2006; ZHENG, 2014); 3. Método de seleção utilizando o critério OIRPI-O (Ordered Informative Range Priority Index with Order Statistics) proposto por Zheng (2014); 4. Método de seleção utilizando o critério OIRPI-S (Ordered Informative Range Priority Index with Standardization) proposto por Zheng (2014). 27 CADERNO DE PESQUISA 2 FIGURA 12 – COMPARAÇÃO DE VALORES VERDADEIROS E ESTIMADOS DE PROFICIÊNCIA NAS SIMULAÇÕES SUCESSIVAS 1.6.1 Método da máxima informação Seleciona-se o item que maximiza I(θ) para dado θ. Assim, a informação fornecida pelo item i para o nível de habilidade θ é expressa por: (1.2) em que Pi(θ) = P (Uij = 1|θj) e Qi(θ) = 1 − Pi(θ). Pode-se observar por meio da equação 1.2 que a informação do item é maior quando a sua dificuldade se aproxima da habilidade do examinando, ou quanto maior for a discriminação do item, ou ainda quanto mais a probabilidade de acerto casual se aproximar de zero. A informação do teste é dada pela soma das informações dos itens que compõem o teste: (1.3) 1.6.2 Índice de prioridade do intervalo informativo ordenado (OIRPI) O Índice de prioridade do intervalo informativo ordenado (OIRPI) é um novo método, proposto por Zheng (2014), para selecionar os itens de pré-teste na calibração online. O objetivo do método OIRPI é atribuir o item de pré-teste que “mais 28 TESTES ADAPTATIVOS COMPUTADORIZADOS necessite" de um perfil de respostas/nível de habilidade ou características como as do examinando corrente. Em outras palavras, esse método determina o quanto um item “necessita" de um examinando baseado em quão informativo este examinando é para o item, em comparação com os examinandos com outros níveis de habilidade. Dois algoritmos baseados no método OIRPI foram desenvolvidos. Os passos de cada algoritmo serão apresentados a seguir. 1.6.3 Algoritmo 1: OIRPI-O - OIRPI com estatísticas de ordem Passo 1: o primeiro passo do OIRPI consiste em dividir a escala das habilidades θ em R intervalos contíguos e determinar o valor representativo em cada um desses intervalos. Uma forma de dividir a escala de θ consiste em tomar intervalos de mesma amplitude com o valor representativo sendo definido pelo ponto médio do intervalo. Outra forma consiste em dividir-se a escala das habilidades θ com base em percentis. Pelo fato dos θ’s descreverem uma distribuição aproximadamente Normal, espera-se que a divisão da escala dos θ’s usando-se percentis torne o algoritmo OIRPI mais eficiente. Por exemplo, se R = 10 sub-intervalos forem criados, onde P t representa o t-ésimo percentil, então os 10 sub-intervalos são P0 ~ P 10, P 10 ~ P 20, . . . , P 90 ~ P 100, e os valores representativos são P 5, P 15, . . . , P 95. Então, quando um examinando atinge a região aonde estão localizados os itens de pré-teste (locais de semeadura), os seguintes passos são empreendidos, para cada item, de modo a obter os seus respectivos valores OIRPI: Passo 2.1: calcular a informação para a calibração do item em cada faixa (sub-intervalo) de θ utilizando seus correspondentes valores representativos. Passo 2.2: atribuir um posto ou ordem (crescente) a cada um dos R sub-intervalos utilizando os valores de informação obtidos no Passo 2.1. Passo 2.3: identificar a qual dos R sub-intervalos a habilidade estimada do examinando pertence. Então, atribuir a estatística de ordem referente àquela faixa de valores θ como sendo o índice de prioridade do item em análise. Dessa forma, se a atual habilidade do examinando pertence ao sub-intervalo que fornece a maior informação ao item, esse item receberá o valor do índice de prioridade mais alto. 29 CADERNO DE PESQUISA 2 Passo 3: após todos os itens receberem seus valores OIRPI, o item com o maior valor OIRPI será selecionado para o atual examinando. Se houver empates, um deles será escolhido aleatoriamente. A figura 13 exemplifica o uso do método OIRPI na escolha de um item de pré-teste: na matriz de informações, envolvendo 12 colunas (há 12 itens de pré-teste nos dados simulados) e 10 linhas (10 intervalos de divisão do espaço paramétrico das habilidades, variando de -4.438 a 4.064), localiza-se a linha (sub-intervalo) em que o valor corrente de proficiência (neste exemplo, theta.est=0.10629) está localizado. O valor máximo de informação observado foi o valor 0.429, referente ao 11o item de pré-teste (item 382 da matriz original do banco de itens). FIGURA 13 – EXEMPLO OIRPI 1.6.4 O Critério D-Optimal No contexto da calibração online, o critério D-Optimal (BERGER et al., 2000) é definido pelo valor do determinante da matriz de informação de Fisher do vetor de parâmetros de um dado item calculado condicionalmente aos valores das habilidades (θ’s) de todos os examinandos inclusos na amostra corrente. 30 TESTES ADAPTATIVOS COMPUTADORIZADOS O determinante da matriz de informação de Fisher fornece um resumo escalar da informação para estimar os parâmetros do item fornecidos pela amostra de examinandos. Quanto maior o valor do determinante, maior é a informação, implicando em menor variância generalizada do vetor de estimativas dos parâmetros do item. Quanto maior o valor do critério D-Optimal, menor será o erro das estimativas dos parâmetros do item, ou seja, mais precisas serão essas estimativas. O D-Optimal para a r-ésima θ–range do i-ésimo item de pré-teste, é dado por (1.4) em que θr representa um dado valor representativo, I(·) a medida de informação calculada no valor de theta em consideração e Ni o tamanho de amostra dos indivíduos que foram submetidos ao i-ésimo item de pré-teste. Isso implica na necessidade de haver uma amostra piloto de dados de pré-teste. Na calibração online, para o cálculo do critério D-optimal os valores estimados de θ, a partir dos itens operacionais são utilizados, assim como as estimativas provisórias dos parâmetros do item. Estas últimas são atualizadas sequencialmente à medida que se acumulam mais dados de respostas de novos examinandos. 1.6.5 Algoritmo 2: OIRPI-S - OIRPI com padronização No primeiro algoritmo, ocorrem empates quando a medida de informação é máxima para mais de um item de pré-teste, violando a propriedade da unicidade do OIRPI. Nesses casos, um desses itens é escolhido aleatoriamente. A fim de eliminar os empates, Zheng (2014) propôs um segundo algoritmo, baseado em padronização, que difere do primeiro algoritmo nos Passos 2.2 e 2.3: Passo 2.2: padronizar a informação para todos os R sub-intervalos de θ por meio de: (1.5) em que Dri é descrito conforme equação 1.4. 31 CADERNO DE PESQUISA 2 Passo 2.3: identificar a qual dos R sub-intervalos a habilidade estimada do examinando pertence. Então, atribuir o valor Sr referente àquela faixa de valores θ como sendo o índice de prioridade do item em análise. Este algoritmo (baseado em padronização) elimina os empates uma vez que Sr consiste em uma função contínua. Maiores detalhes sobre a implementação destas rotinas serão dados no Apêndice A. 1.7 MÉTODOS DE CALIBRAÇÃO DE ITENS DE PRÉ-TESTE Na calibração online de novos itens seguimos Zheng (2014) (seção 7.1.2, p. 55) e utilizamos os métodos bayesianos OEM e MEM com a especificação de prioris informativas. Para tanto, utilizou-se a informação disponível dos valores dos parâmetros dos itens operacionais e ajustaram-se distribuições de probabilidade adequadas a cada um dos três parâmetros do modelo TRI unidimensional. Desta feita, assumiu-se que o log do parâmetro a segue, a priori, distribuição gaussiana com hiperparâmetros µa e das; o parâmetro b segue, a priori, distribuição gaussiana com hiperparâmetros µb e sdb; e o parâmetro c segue, a priori, distribuição beta com hiperparâmetros α e β. A biblioteca R fitdistrplus foi utilizada nos ajustes. As figuras 14 a 16 ilustram ajustes para as mencionadas distribuições a priori. FIGURA 14 – PRIORI NORMAL PARA S = LOG(A) 32 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 14 – PRIORI NORMAL PARA S = LOG(A) (CONTINUAÇÃO) FIGURA 15 – PRIORI NORMAL PARA B 33 CADERNO DE PESQUISA 2 FIGURA 15 – PRIORI NORMAL PARA B (CONTINUAÇÃO) FIGURA 16 – PRIORI BETA PARA C 34 TESTES ADAPTATIVOS COMPUTADORIZADOS 1.7.1 Calibração via OEM e MEM considerando dois critérios de parada e método D-Optimal Como mencionado anteriormente foram consideradas 20 replicações de Monte Carlo, utilizando-se o algoritmo D-Optimal de escolha de itens de pré-teste, para que fosse possível avaliar a performance dos processos de calibração e permitir a comparação entre os métodos MEM e OEM. Como critério de parada ou de coleta de observações (trajetórias de respostas de respondentes) para um dado item de pré-teste, estabeleceu-se que um mínimo de 500 respondentes deveria responder ao item de pré-teste para que fosse submetido ao processo de calibração. No entanto, para avaliarmos a estabilidade das estimativas quanto à convergência, consideramos argumentos assintóticos e também procedemos a simulações, utilizando um critério de parada em que um mínimo de 1000 respondentes. As figuras 17 e 18 comparam os valores verdadeiros dos parâmetros (a, b e c) dos itens de pré-teste com os respectivos valores calibrados via método OEM, conjugado com o D-Optimal, considerando os critérios de parada de tamanhos amostrais 500 e de 1000 observações realizadas para cada item de pré-teste amostrado. Similarmente, as figuras 19 e 20 comparam os valores verdadeiros dos parâmetros (a, b e c) dos itens de pré-teste com os respectivos valores calibrados via método MEM, conjugado com o D-Optimal, considerando amostras de tamanho 500 e 1000. Quanto aos resultados obtidos considerando-se os valores amostrais 500 e 1000, nota-se considerável diminuição da dispersão dos valores calibrados de cada parâmetro em torno do valor verdadeiro (e diminuição do viés, principalmente no parâmetro de discriminação) quando se utiliza a amostra de tamanho 1000. Desta forma, é recomendável que os métodos de calibração de novos itens implementados neste projeto sejam utilizados de acordo com esta premissa, ou seja, calibrar somente quando houver amostras de tamanho 1000 ou maior. 35 CADERNO DE PESQUISA 2 FIGURA 17 – MÉTODO D-OPTIMAL: CALIBRAÇÃO VIA OEM BASEADA EM AMOSTRAS DE TAMANHO 500 PARA CADA ITEM DE PRÉ-TESTE 36 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 18 – MÉTODO D-OPTIMAL: CALIBRAÇÃO VIA OEM BASEADA EM AMOSTRAS DE TAMANHO 1000 PARA CADA ITEM DE PRÉ-TESTE Observa-se boa concordância nos valores estimados entre as duas técnicas, OEM e MEM, isto é, para um dado item de pré-teste, as dispersões dos valores estimados em torno do valor verdadeiro do parâmetro são bastante parecidas, implicando que o método MEM (que demanda um grande esforço computacional quando comparado ao método OEM) não proporciona ganhos em precisão que justifiquem o seu uso. Portanto, aparentemente, o método OEM é preferível ao método MEM. No entanto, outras análises serão apresentadas na seção 1.7.3. 37 CADERNO DE PESQUISA 2 FIGURA 19 – MÉTODO D-OPTIMAL: CALIBRAÇÃO VIA MEM BASEADA EM AMOSTRAS DE TAMANHO 500 PARA CADA ITEM DE PRÉ-TESTE 38 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 20 – MÉTODO D-OPTIMAL: CALIBRAÇÃO VIA MEM BASEADA EM AMOSTRAS DE TAMANHO 1000 PARA CADA ITEM DE PRÉ-TESTE 39 CADERNO DE PESQUISA 2 1.7.2 Calibrações via OEM e MEM com o método OIRPI-S Neste estudo foram consideradas apenas 10 replicações de Monte Carlo, uma vez que o processo demanda um tempo computacional muito elevado. Utilizou-se o algoritmo OIRPI-S de escolha de itens de pré-teste, os métodos OEM e MEM e critério de parada de tamanho amostral de 1000 observações realizadas para cada item de pré-teste amostrado. As figuras 21 e 22 comparam os valores verdadeiros dos parâmetros (a, b e c) dos itens de pré-teste com os respectivos valores calibrados via métodos OEM e MEM. FIGURA 21 – MÉTODO OIRPI-S: CALIBRAÇÃO VIA OEM BASEADA EM AMOSTRAS DE TAMANHO 1000 PARA CADA ITEM DE PRÉ-TESTE 40 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 22 – MÉTODO OIRPI-S: CALIBRAÇÃO VIA MEM BASEADA EM AMOSTRAS DE TAMANHO 1000 PARA CADA ITEM DE PRÉ-TESTE Comparando-se os gráficos desta seção com os respectivos gráficos das figuras 18 e 20 da seção 1.7.1, aparentemente o método D-Optimal proporciona menor variabilidade entre os valores calibrados. 41 CADERNO DE PESQUISA 2 1.7.3 Calibrações e comparações dos métodos D-Optimal e OIRPI-S De modo a aprofundar as análises comparativas entre os métodos de calibração OEM e MEM e, também, entre os métodos D-Optimal e OIRPI-S, utilizou-se dois critérios: (a) o RMSE (Root of the Mean Squared Error) e (b) o AWAD (Average Weighted Area Difference) (ZHENG, 2014). O RMSE é definido pela seguinte fórmula: (1.6) em que p denota um elemento específico do vetor de parâmetros TRI de um item e J representa o número de replicatas (ensaios de Monte Carlo) utilizados em análise. O AWAD é descrito pela média ponderada das diferenças entre a verdadeira curva característica do item (ICC) e a ICC estimada. O AWAD é definido pela seguinte fórmula: (1.7) em que os θk’s são pontos de quadratura e a função de ponderação g(θk) é a densidade da distribuição normal padrão. As figuras 23 e 24 descrevem comparações dos valores de RMSE e AWAD entre os métodos OEM e MEM, utilizando-se o algoritmo D-Optimal. Observa-se ótima concordância entre os dois métodos, com leve superioridade do método OEM. De maneira análoga, mas considerando-se apenas 10 replicações de Monte Carlo, devido ao tempo computacional elevado, as figuras 25 e 26 descrevem as mesmas comparações anteriores, mas agora utilizando-se o algoritmo OIRPI-S. Observa-se um viés positivo no caso do MEM. No entanto, mais estudos e simulações precisam ser realizados para dar robustez aos nossos achados. 42 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 23 – MÉTODO D-OPTIMAL: COMPARAÇÃO DO RMSE ENTRE OEM E MEM 43 CADERNO DE PESQUISA 2 FIGURA 24 – MÉTODO D-OPTIMAL: COMPARAÇÃO DO AD ENTRE OEM E MEM FIGURA 25 – MÉTODO OIRPI-S: COMPARAÇÃO DO RMSE ENTRE OEM E MEM - 10 REPLICAÇÕES DE MONTE CARLO 44 TESTES ADAPTATIVOS COMPUTADORIZADOS 1.7.4 Os desvios-padrão das estimativas dos parâmetros calibrados Em termos do desvio-padrão das estimativas dos parâmetros, as figuras 27 e 28 também revelam que os métodos OEM e MEM têm performance bem parecida em termos de precisão na calibração. Portanto, de fato, o método OEM apresenta, no geral, ótima recuperação dos parâmetros verdadeiros dos itens, implicando em uma escolha mais econômica em termos computacionais do que o MEM. FIGURA 26 – MÉTODO OIRPI-S: COMPARAÇÃO DO AD ENTRE OEM E MEM - 10 REPLICAÇÕES DE MONTE CARLO FIGURA 27 – MÉTODO D-OPTIMAL: COMPARAÇÃO DO DESVIO-PADRÃO DAS ESTIMATIVAS DOS PARÂMETROS VIA OEM E MEM 45 CADERNO DE PESQUISA 2 FIGURA 27 – MÉTODO D-OPTIMAL: COMPARAÇÃO DO DESVIO-PADRÃO DAS ESTIMATIVAS DOS PARÂMETROS VIA OEM E MEM (CONTINUAÇÃO) FIGURA 28 – MÉTODO OIRPI-S: COMPARAÇÃO DO DESVIO-PADRÃO DAS ESTIMATIVAS DOS PARÂMETROS VIA OEM E MEM 46 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 28 – MÉTODO OIRPI-S: COMPARAÇÃO DO DESVIO-PADRÃO DAS ESTIMATIVAS DOS PARÂMETROS VIA OEM E MEM (CONTINUAÇÃO) Maiores detalhes sobre a implementação destas rotinas e de todos os procedimentos computacionais empreendidos até o momento serão dados na página 51. CONSIDERAÇÕES FINAIS Conclusões e produtos deste projeto • Um código CAT com rotinas para calibração online de itens de pré-teste foi desenvolvido e escrito na linguagem R. • O código possui mais de 3.000 linhas e 45 sub-rotinas, além do programa principal e dispositivos para a impressão de saídas para os resultados e análises gráficas. • Utilizou-se replicações de Monte Carlo considerando 20 replicatas (processo computacionalmente muito intensivo) para testes com o algoritmo D-Optimal e 10 replicatas para testes com o algoritmo OIRPI-S, do processo de construção de planilhas de dados e tamanhos amostrais considerando 500 e 1000 observações para testes 47 CADERNO DE PESQUISA 2 utilizando D-Optimal e 1000 observações utilizando OIRPI-S, como critério de parada para acionar as rotinas de calibração. Observou-se que o tamanho n=1000 é necessário para garantir fidedignidade da calibração. Estes resultados são compatíveis com os obtidos por Ban (2001). Estes últimos autores também fizeram testes envolvendo amostras de tamanho 3000 e verificaram que o tamanho 1000 é suficiente para a maioria dos casos. • Observou-se que processo de estimação de proficiências é bastante robusto e preciso, com desvios-padrão compatíveis com a literatura. • Produtos adicionais: dissertações de mestrado dos alunos Bruna Queiroz e Júlio César da Fonseca. Limitações das implementações realizadas • Ausência de rotinas para o controle de exposição do item (SYMPSON; HETTER, 1985; VAN DER LINDEN, 2003); • Provas de tamanhos fixos; • Uso de apenas um tipo de priori no processo de calibração; • Uso do método de Newton-Raphson – seria interessante utilizar métodos fully bayesian, como o método MCMC. 48 TESTES ADAPTATIVOS COMPUTADORIZADOS REFERÊNCIAS BAKER, F. B.; KIM, Seock-Ho. Item response theory: Parameter Estimation Techniques. CRC Press. 2004. BAN, J.C; HANSON, B. A; HARRIS, D. J et al. A comparative study of on-line pretest item-calibration/scaling methods in computerized adaptive testing. In: Journal of Educational Measurement, 2001, 38(3). p. 191-212. BOCK, Darell; MISLEVY, Robert J. Adaptive eap estimation of ability in a microcomputer environment. In: Applied psychological measurement, 1982, 6(4). p. 431- 444. CHANG, Y.C.I; LU, H.Y. Online calibration via variable length computerized adaptive testing. In: PsychometriKa, 2010. 75. p.140-157. COSTA, Denise Reis. Métodos estatísticos em testes adaptativos informatizados. In: Master’s thesis. UFRJ - Universidade Federal do Rio de Janeiro, 9. 2009. GRAY, Robert. Advanced statistical computing. In: Department of Biostatistics and Computational Biology, Harvard, 2002. HAMBLETON, R. K; SWAMINATHAN, H. J. Rogers; JAEGER, R. M. Fundamentals of item response theory sage publications. In: Newbury ParK, CA, 1991. JONES, D. H.; JIN, Z. Optimal sequential designs for on-line item estimation. PsychometriKa, 59, 1994. p. 59-75. SYMPSON, JB; HETTER, R. D. Controlling item-exposure rates in computerized adaptive testing, 1985. p. 973-977. VAN DER LINDEN, Win. J. Some alternatives to sympson-hetter item- exposure control in computerized adaptive testing. In: Journal of Educational and Behavioral Statistics, 2003, 28(3). p. 249-265. ZHENG, Yi. New methods of Online Calibration for Item Bank Replenishment. Illinois, 2014. Dissertação – Universidade de Illinois. ZHU, R. Implementation of Optimal Design for Item Calibration in Computerized Adaptive Testing (CAT). Illinois, 2006. Dissertação – Universidade de Illinois. 49 CADERNO DE PESQUISA 2 APÊNDICE A – IMPLEMENTAÇÕES COMPUTACIONAIS Desde abril de 2018, têm sido incorporadas novas rotinas ao projeto e melhorias nas já existentes. Para cada uma delas, um processo paralelo de otimização foi testado para que fosse possível a execução do projeto de forma customizada pelo usuário final, tenha ele o intuito de executar simulações com diferentes bancos de itens ou calibração de novos itens. Para facilitar o gerenciamento do desenvolvimento compartilhado, o repositório GitHub foi configurado de modo que permitisse duas linhas de desenvolvimento em paralelo, a saber: 1. Rotinas desenvolvidas pela Profa. Cibele Queiroz; 2. Otimização das rotinas desenvolvidas pela Profa. Cibele Queiroz. A divisão é marcada pela existência de um branch principal (master)1 e um secundário (jcgf_v2), este último particionado em uma linha de desenvolvimento na qual se optou pela substituição de algumas estruturas de controle, a exemplo da instrução “IF”, por chamadas a dicionários, simplificando assim o uso de funções condicionais a um ou mais tipos distintos de parâmetros. Além desta forma otimizada, a ramificação do branch secundário também levou em consideração mudanças de pacotes para estimação de parâmetros, tais como o uso do pacote cubature, em detrimento do pacote catR. E assim as rotinas foram desenvolvidas, testadas e atualizadas – primeiro no repositório principal e, na sequência, avaliadas e otimizadas no repositório secundário – de forma que o trabalho de desenvolvimento tenha sido baseado em algumas ações sistemáticas, a saber: • Manter todas as rotinas alinhadas com a literatura da área; • Manter todo o código bem documentado, indicando, sempre que possível, a referência bibliográfica para as principais rotinas desenvolvidas; 1 Linha de raciocínio principal que é seguida pelo código em desenvolvimento. 50 TESTES ADAPTATIVOS COMPUTADORIZADOS • Garantir a perfeita utilização de cada rotina desenvolvida; • Melhorar a acurácia das estimativas das proficiências ao longo do teste; • Reduzir o erro de estimativa, controlando os desvios-padrão de acordo com a tendência conhecida na literatura; • Minimizar o tempo de execução das rotinas mais críticas, em especial as que selecionam itens para o usuário, bem como as que geram estimativas de proficiência; FIGURA 29 – REPOSITÓRIO PRINCIPAL DAS ROTINAS DO PROJETO FIGURA 30 – REPOSITÓRIO SECUNDÁRIO DAS ROTINAS DO PROJETO As figuras 29 e 30 aprtesentam, respectivamente, o repositório principal e o secundário, com seus arquivos e históricos de “commits” (atualizações) realizados ao do longo projeto, tendo sido totalizadas, até o momento, 34 51 CADERNO DE PESQUISA 2 atualizações no branch master e 70 atualizações no branch jcgf_v2. Vale lembrar que para cada commit realizado no branch master, há pelo menos um commit no branch jcgf_v2. Mesclando R e C++ Como mencionado anteriormente, o método de desenvolvimento utilizado durante o projeto é de natureza compartilhada, tendo como ferramenta suporte o repositório GitHub, associado ao ambiente de desenvolvimento RStudio. Além da inclusão do repositório de desenvolvimento, foram inseridas novas perspectivas para o projeto, com a conversão das rotinas já desenvolvidas até o presente momento, em linguagem “R” para a linguagem “C++”, assim como a utilização da ferramenta Shiny na criação de uma interface web para a apresentação e realização dos testes das rotinas de simulação e aplicação do CAT online, desenvolvidas pela Profª. Cibele Queiroz. Diante da dinâmica imposta pela sequência de desenvolvimento do projeto, do tempo de finalização do mesmo e da necessidade de se ter uma versão funcional para entrega, vários acertos e melhorias realizados nas rotinas desenvolvidas em “R” foram priorizados em testes de acurácia e funcionalidade, antes de ser finalizada sua conversão para linguagem “C++”. Apesar de realizado em paralelo com as atividades de melhoria de cada uma das rotinas, o processo de conversão para C++ passou por várias modificações, de maneira que até o momento foram finalizadas cerca de 70% das rotinas. Além dos esforços na direção da customização das rotinas para que ficassem parametrizadas o mais eficientemente possível para sua adaptação, em momento posterior, ao Shiny, o que se percebeu durante os trabalhos foi que a utilização de pacotes como o catR, já conhecidos no meio acadêmico no uso do CAT, não conseguiam uma melhoria significativa na redução da variância das estimativas das habilidades. Este fato além de indicar o desmembramento do branch secundário de desenvolvimento em uma nova linha de raciocínio, foi uma das principais motivações para se testar outros pacotes, tais como o cubature, pacote este utilizado para integração numérica de funções definidas pelo usuário na estimação das proficiências. 52 TESTES ADAPTATIVOS COMPUTADORIZADOS Assim, no primeiro trimestre posterior à entrada do novo bolsista, um dos enfoques do desenvolvimento compartilhado foi a utilização dos pacotes Rcpp e RcppArmadillo, utilizados na conversão, para linguagem “C++”, das principais rotinas desenvolvidas até aquele instante, utilizadas no processo de aplicação dos itens de pré-teste, assim como no processo de calibração dos mesmos. Vale ressaltar que, quando do início do processo de conversão das rotinas, o pacote Rcpp encontrava-se na versão 0.12.16, sendo gentilmente fornecida uma prévia da atual versão 0.12.17 2 pelo seu principal mantenedor, Dirk Eddelbuettel, através de seu repositório pessoal de pacotes não publicados DRAT para usuários do Gi tHub. Ponto de destaque na utilização do repositório GitHub foi que, além de disponibilizar o desenvolvimento com o uso de versionamento, facilitou a visualização das melhorias sendo aplicadas, possibilitando identificar pontos onde modificações no código possivelmente tivessem sido removidas de forma indevida. Atualmente, os dados do projeto estão inteiramente disponíveis no repositório GitHub em status privado da conta do bolsista de mestrado, com o compromisso de serem repassados na íntegra ao Cebraspe no momento do encerramento do projeto. Além da extensa documentação utilizada em todas as rotinas do projeto, outra ferramenta de código aberto utilizada foi o FreeMind. De extrema facilidade em seu manuseio, a ferramenta foi essencial na documentação das rotinas escritas, facilitando a compreensão e visualização da “big picture” do projeto. Foi gerado no início de maio de 2018 um mapa mental detalhado de cada rotina até aquele momento desenvolvida, bem como as respectivas instruções da linguagem “R” utilizadas dentro de cada uma. Ao longo do projeto, foram apresentados mapas mentais simplificados (contendo apenas as rotinas principais) do código à época. Anexo a este relatório, são disponibilizados os códigos em “C++” e “R”, em arquivos texto, bem como o acesso ao repositório contendo todo o desenvolvimento e histórico do mesmo. No relatório são disponibilizados alguns dos principais resultados computacionais encontrados, comparando as 2 A versão atual, 0.12.17, foi publicada no repositório oficial do R em 18-05-18. 53 CADERNO DE PESQUISA 2 performances entre as linguagens utilizadas 3, constatando as melhorias advindas da implementação das rotinas em linguagem “C++”. Os resultados encontrados durante todo o projeto foram muito promissores, apesar de ainda haver muito trabalho a ser feito. Para além de toda implementação realizada, juntamente com a respectiva documentação, destacamos o desejo de que o projeto seja continuado. Por isso, listamos a seguir, os principais pontos a serem explorados em uma extensão do mesmo: • Aprimoramento das rotinas em R, tais como aplicação de métodos como MCMC para acurácia na calibração dos parâmetros dos itens. • Implementação de rotinas para controle de exposição de itens, tais como Sympson e Hetter (1985) ou alguma melhoria do mesmo. • Pesquisa e desenvolvimento de novos métodos de estimação de habilidades, a exemplo da dissertação “Uma Aplicação do Teste Adaptativo Computadorizado via Filtro de Kalman Não-Linear”, bem como novos métodos calibração de parâmetros utilizados em CAT online. • Simulações completas utilizando das rotinas implementadas em “C++” 4. • Melhorias no webdesign das aplicações em Shiny, explorando a integração do mesmo com JavaScript ou NodeJS. • Criação e disponibilização de repositório para as aplicações em Shiny. • Ampliação do escopo R/C++ para R/C++/Python, propiciando benchmarks que indiquem a melhor performance. As comparações são feitas entre as principais rotinas, de maneira isolada. Em função da entrega de uma versão totalmente funcional em R, não foram finalizadas todas as conversões necessárias para a execução de uma simulação completa em “C++”. 4 Vale destacar que é essencial a geração de benchmarKs completos para avaliação do efeito linear do ganho em relação ao uso das rotinas em R. 3 54 TESTES ADAPTATIVOS COMPUTADORIZADOS Implementação Em sua última atualização, o branch master apresentava 2.363 linhas de código, como pode ser visto na figura 31, enquanto o branch jcgf_v2, apresentava 2.808 linhas, como pode ser visto na figura 32. As diferenças são fruto das modificações realizadas pela Profª. Cibele Queiroz para se testar a versão funcional do código final, já contemplando as simulações Monte Carlo que geraram os gráficos apresentados na seção 1.7. Este fato demonstra que o paralelismo/equivalência das rotinas no desenvolvimento compartilhado, representado pelos branchs utilizados, nem sempre tinham o mesmo ponto focal. Evidentemente os branchs não teriam o mesmo número de linhas, uma vez que no branch jcgf_v2, além dos testes compartilhados das rotinas em C++, estavam também sendo trabalhadas outras otimizações que em alguns casos fizeram com que duas funções implementadas no branch master se tornassem uma única função no branch jcgf_v2, diferenciando-se pelos parâmetros recebidos. Uma das principais diferenças entre os branchs mencionados está na originalidade do código desenvolvido pela Profa. Cibele Queiroz, que pode ser estudado evolutivamente através dos seus 34 commits registrados no repositório. Quanto ao código no branch secundário, o número de atualizações é praticamente o dobro, totalizando 70 commits. FIGURA 31 – ÚLTIMO COMMIT REALIZADO NO BRANCH MASTER 55 CADERNO DE PESQUISA 2 FIGURA 32 – ÚLTIMO COMMIT REALIZADO NO BRANCH JCGF_V2 Isso justifica os testes realizados entre uma versão e outra atualizada no branch principal, pois mudanças na estrutura de quaisquer rotinas ou mesmo em seus parâmetros implicavam em uma total reavaliação do impacto no fluxo geral do processo, bem como nas funções que foram agrupadas no branch secundário, assim como em chamadas sucessivas feitas pelas respectivas rotinas alteradas. Neste sentido, dois aspectos foram essenciais para o rápido acompanhamento e alinhamento dos branchs do repositório, a saber: 1. Identificação das chamadas sucessivas, realizada com o apoio dos mapas mentais gerados pela ferramenta FreeMind, a exemplo do apresentado na figura 33. 2. Identificação dos pontos alterados, realizado pela funcionalidade Diff tanto no ambiente RStudio, como no resultado posterior ao commit no repositório, apresentado na figura 34, onde as linhas vermelhas representam trechos retirados da versão atualizada, em relação à versão anterior e as linhas verdes representam trechos inseridos na versão atualizada, não encontrados na versão anterior. 56 TESTES ADAPTATIVOS COMPUTADORIZADOS Entre os branchs foi preciso adotar uma regra de nomenclatura para as rotinas em função de o caractere “.” funcionar como um operador na linguagem C++ conhecido como “membro de identificador”, com funcionalidade bem específica dentro da linguagem. Assim, as funções que não foram agregadas no branch secundário, mantiveram seus nomes originais criados pela Profª. Cibele, exceto o caractere “.” que foi substituído pelo caractere “_”. Ainda em termos da nomenclatura, as rotinas que foram convertidas em linguagem C++, ganharam o prefixo “C_”, de forma que, de maneira geral, se manteve no branch secundário a nomenclatura original definida pela Profa. Cibele. A seguir é apresentado um resumo das principais rotinas encontradas no branch secundário, juntamente com um pequeno relato sobre os agrupamentos realizados em relação às rotinas originalmente escritas pela Profa. Cibele, a saber: gauher: rotina utilizada para gerar pontos de quadratura, conforme citado em Gray (2002). planilha_CAT1: rotina utilizada para simular respostas de entrevistandos. sample_size: rotina utilizada para gerar amostras de questões respondidas. PL3_s: rotina utilizada para calcular a probabilidade sobre o modelo de TRI de 3 parâmetros. Utiliza uma transformação no parâmetro a, que resulta em uma priori normal proporcional a uma quantidade relativa dos hiperparâmetros, expressa por exp[−0.5(sj − mu.s)² / sig2.s]. PL3: rotina utilizada para calcular a probabilidade sobre o modelo de TRI de 3 parâmetros. vero_indiv_s: rotina utilizada para calcular a verossimilhança individual de um determinado indivíduo sobre o modelo de 3 parâmetros, considerando uma transformação no parâmetro a da distribuição, conforme expressão 6.20 de Zheng (2014). 57 CADERNO DE PESQUISA 2 vero_indiv: rotina utilizada para calcular a verossimilhança individual de um determinado indivíduo sobre o modelo de 3 parâmetros, conforme expressão 6.20 de Zheng (2014). vero_indiv_MEM: rotina utilizada para calcular a verossimilhança individual de um determinado indivíduo sobre o modelo de 3 parâmetros. Considera a transformação no parâmetro a da distribuição no intuito de implementar o MEM bayesiano, conforme expressão 6.33 de Zheng (2014). FIGURA 33 – MAPA MENTAL DO CÓDIGO EM 01/07/18 FIGURA 34 – DIFERENÇAS APONTADAS PELO REPOSITÓRIO 58 TESTES ADAPTATIVOS COMPUTADORIZADOS deno_Fjk_Rjk_s: rotina utilizada para calcular o denominador das expressões 6.18, 6.19, 6.31 e 6.32, apresentado em Zheng (2014). Esta rotina foi otimizada de modo a substituir as rotinas deno6.18.s e deno6.31.s, originalmente escritas pela Profª. Cibele. Fjk_Rjk_s: rotina utilizada para calcular as expressões 6.18, 6.19, 6.31 e 6.32, apresentadas em Zheng (2014). Esta rotina foi otimizada de modo a substituir as rotinas expr6.1819.s e expr6.3132.s, originalmente escritas pela Profª. Cibele. derivadas_info_Fisher: rotina utilizada para calcular as derivadas parciais (expressões 7.21 a 7.24) e a matriz de informação de Fisher (expressões 7.26 a 7.33), conforme apresentado em Baker e Kim (2004), para estimação de habilidades nos modos bayesianos e frequentistas. Esta rotina foi otimizada de modo a substituir as rotinas parderivs.info e derives.info, originalmente escritas pela Profª. Cibele. habiln_EAP: rotina utilizada para estimar habilidades, utilizando integração numérica na faixa do espaço paramétrico das habilidades. A rotina utiliza o pacote cubature do R para realizar as integrações numéricas. E_Step: rotina utilizada para definir a matriz contendo os valores de um determinado item de pré-teste, para os métodos OEM ou MEM, segundo as expressões 6.18 e 6.19 ou 6.31 e 6.32 encontradas em Zheng (2014). Esta rotina foi otimizada de modo a substituir as rotinas E.step.OEM e E.step.MEM, originalmente escritas pela Profª. Cibele. calibracao_JJ: rotina utilizada para realizar a calibração dos itens. Utiliza métodos bayesianos OEM e MEM, assim como o método frequentista. Baseia-se nas equações de score de Fisher, apresentadas na expressão 7.34 de Baker e Kim (2004). Esta rotina foi otimizada de modo a substituir as rotinas OEM.calibBAYES.jj, MEM.calibBAYES.jj e calibFREQ.jj, originalmente escritas pela Profa. Cibele. info_indiv: rotina utilizada para calcular função de informação do i-ésimo item, expressa por Ii(θ), dado um modelo TRI de 3 parâmetros. A expressão implementada pode ser vista na equação 3.24 de Baker e Kim (2004). Faz parte das funções utilizadas com o objetivo na aplicação de métodos de seleção de itens. 59 CADERNO DE PESQUISA 2 info_max: rotina utilizada para encontrar qual o item maximiza a função de informação do item para um dado theta. Principal função utilizada no método de Máxima Informação para escolha do item a ser aplicado ao respondente. info_HSR: rotina utilizada para calcular a matriz de informação de Fisher de um item genérico, para um indivíduo com uma dada proficiência θ. Expressões de acordo com Hambleton et al. (1991), pág. 134, Baker e Kim (2004), págs. 51 e 52 e Zheng (2014), pág. 37. OIRPIS: rotina utilizada para implementar os métodos de critério de seleção de itens D-Optimal, OIRPI-S e OIRPI-O. Implementação realizada sobre as discussões teóricas apresentadas em Zheng (2014), págs. 34 a 39. pret_test_info: rotina utilizada para implementar a escolha dos itens de pré-teste pelo critério da máxima informação. Rotina implementa a matriz de informação individual que será utilizada para cálculo das expressões 5.8 e 5.10 de Zheng (2014). pret_test_methods: rotina utilizada na escolha dos métodos de critério de seleção de itens de pré-teste. Esta rotina chama a rotina OIRPIS, recebendo os índices dos itens de pré-teste escolhidos segundos os critérios de seleção D-Optimal, OIRPI-S e OIRPI-O. Drjs_func: rotina utilizada para calcular a expressão 5.10 de Zheng (2014). calc_size: rotina utilizada para monitor os tamanhos amostrais dos itens de pré-teste respondidos. prioris_in_use: rotina utilizada para avaliar as prioris informativas dos parâmetros dos itens. Comentários teóricos podem ser encontrados em Baker e Kim (2004), p. 186-188. Recomendações utilizadas nesta rotina seguem os comentários de Zheng (2014), seção 7.1.2. A rotina utiliza o pacote fitdistrplus do “R” para estimar os parâmetros. criterio_parada: rotina utilizada para testar o tamanho da amostra necessário para iniciar o processo de calibração de itens, segundo as indicações encontradas na literatura da área. 60 TESTES ADAPTATIVOS COMPUTADORIZADOS normalis: rotina utilizada para se ter uma forma alternativa de gerar pontos de quadratura. AWAD: rotina utiliza para avaliar os resultados das simulações. CAT_ONLINE: rotina utilizada para controlar o fluxo principal da aplicação do CAT online Esta rotina chama todas as demais na ordem determinada pelo fluxo da execução do CAT. As rotinas implementadas na linguagem “C++” utilizam-se basicamente dos pacotes Rcpp, utilizado para interfacear classes e dados entre implementações em “R” e em “C++” e RcppArmadillo, utilizado como um template de bibliotecas utilizadas em álgebra linear para otimizar complexas operações matriciais. A figura 35 apresenta uma relação das rotinas implementadas, de forma que se observa que a nomenclatura utilizada é a mesma das rotinas implementadas em “R”. FIGURA 35 – RELAÇÃO DE ROTINAS IMPLEMENTADAS EM LINGUAGEM “C” Análise de performance Apresentadas as rotinas implementadas no “R”, na sequência apresentam-se alguns dos resultados obtidos com testes comparativos utilizando-se o pacote microbenchmarK do “R” para avaliar o desempenho das funções convertidas para linguagem “C++”. 61 CADERNO DE PESQUISA 2 Benchmark para rotina deno_Fjk_Rjk (MEM) Benchmark para rotina deno_Fjk_Rjk (OEM) 62 TESTES ADAPTATIVOS COMPUTADORIZADOS Benchmark para rotina Fjk_Rjk_s Benchmark para rotina info_max 63 CADERNO DE PESQUISA 2 Benchmark para rotina info_HSR Benchmark para rotina info_indiv 64 TESTES ADAPTATIVOS COMPUTADORIZADOS Benchmark para rotina derivadas_info_fisher 65 CADERNO DE PESQUISA 2 Benchmark para rotina PL3 66 TESTES ADAPTATIVOS COMPUTADORIZADOS Benchmark para rotina PL3_s Benchmark para rotina vero_indiv 67 CADERNO DE PESQUISA 2 Benchmark para rotina vero_indiv_s Benchmark para rotina vero_indiv_MEM 68 TESTES ADAPTATIVOS COMPUTADORIZADOS Benchmark para rotina sample_size 69 CADERNO DE PESQUISA 2 Analisando as figuras acima, observa-se que em média apenas as rotinas sample_size, PL3, PL3_s, info_indiv e info_HSR apresentam desempenho superior em “R”. Todas as demais apresentam desempenho médio muito superior quando escritas em “C++”. Embora não tenha sido executada uma rodada de testes completa utilizando-se todas as rotinas implementadas em “C++”, devido ao excelente resultado apresentado pela maioria das rotinas convertidas, acredita-se serem promissores os desempenhos esperados, em quaisquer dos métodos abordados. Análise das simulações Após a implementação dos métodos para a execução do CAT, deu-se início às simulações dos mesmos via plataforma GCP (Google Cloud Platform), proporcionando a garantia de que as simulações só seriam interrompidas por intervenção manual e a comando dos pesquisadores. Inicialmente, o servidor foi configurado com apenas um núcleo de processamento e 4 Gb de memória. Logo nas primeiras execuções a própria plataforma sugeriu, em função do esforço computacional empregado, que fosse alterada a configuração para melhoria da performance. Acatando a sugestão dada, foi acrescentado mais um núcleo de processamento, conforme observado na figura 36. FIGURA 36 – CONFIGURAÇÃO DA INSTÂNCIA GCP 70 TESTES ADAPTATIVOS COMPUTADORIZADOS Com o intuito de avaliar a performance dos principais pontos de gargalo das rotinas desenvolvidas, antes de iniciar a execução das simulações, foram inseridos pontos de controle no código desenvolvido pela Profª. Cibele, para que fosse possível o acompanhamento das execuções sem qualquer interrupção das mesmas. Assim, em 13/09/2018 deu-se início à primeira rodada de 20 simulações, utilizando-se o algoritmo D-Optimal para os cálculos nas rotinas de calibração de itens. Enquanto as simulações eram processadas, os objetos de análise foram acompanhados a cada simulação e era gerado um arquivo com resultados. Este acompanhamento permitiu que fosse encontrada uma pequena falha de armazenamento em uma das matrizes, o que invalidaria todas as análises posteriores. Então interrompeu-se o processo e, após a correção realizada pela Profª. Cibele, uma nova rodada de simulações utilizando o algoritmo D-Optimal foi iniciada em 25/09/2018 e finalizada em 01/10/2018. A interrupção permitiu a avaliação prévia do custo e benefício de execuções na GCP. Para os recursos configurados, o custo e benefício em questão pareceu bastante plausível, considerando a utilização ininterrupta de recursos de alta tecnologia. Encerradas as simulações com base no algoritmo D-Optimal, iniciaram-se os trabalhos de avaliação dos resultados para composição do relatório final. Em 06/10/2018, iniciaram-se as simulações utilizando o algoritmo OIRPI-S. Em função de uma pequena correção que se fez necessária, nova interrupção foi realizada, sendo reiniciadas as simulações em 09/10/2018. Em função do tempo para entrega dos resultados, foi reduzido o número de simulações para 10, no intuito de se ter resultados comparativos entre os algoritmos. Quando as simulações passaram de 50%, uma prévia dos resultados foi utilizada para construção do relatório e das análises dos tempos de simulação, que indicavam o encerramento de todas as 10 simulações em 14/10/2018. Finalizadas todas as simulações, o relatório foi atualizado, permitindo assim comparações entre os algoritmos simulados. 71 CADERNO DE PESQUISA 2 FIGURA 37 – INÍCIO DAS 20 PRIMEIRAS SIMULAÇÕES FIGURA 38 – CUSTO-BENEFÍCIO DAS SIMULAÇÕES Até o presente momento, na plataforma GCP, foram executadas três rodadas de simulações, sendo apenas as duas últimas consideradas para as análises apresentadas, a saber: • Testes com o método D-Optimal fixada a amostra de tamanho 500. • Testes com o método OIRPI-S fixada a amostra de tamanho 1.0005. A segunda rodada das simulações durou exatos 7 dias, evidenciando resultados que ainda merecem aprimoramentos, embora muitas das observações provenientes dos modelos teóricos adotados possam ser confirmadas. 5 Até a data de 12-10-2018 apenas 6 das 10 simulações agendadas haviam finalizado completamente. 72 TESTES ADAPTATIVOS COMPUTADORIZADOS A tabela 1 apresenta os resultados obtidos pelas simulações sobre os tempos de execução para cada item de pré-teste avaliado durante o período de calibração online. Vale lembrar que apesar de tempos maiores, os resultados do método OIRPI-S foram avaliados com o dobro do tamanho de amostra, de forma que se acredita apresentarem desempenho melhor. TABELA 1 – TEMPO MÉDIO DE PROCESSAMENTO (EM MIN) DE ITENS DE PRÉ- TESTE D-OPTIMAL OIRPI-S Tempo médio calibração (OEM) 3 5 Tempo mídio calibração (MEM) 30 43 Tempo médio de crítica amostra 25 49 Quanto ao tempo de crítica da amostra para avaliar qual dos itens de pré-teste disponíveis a cada passo seria submetido ao processo de calibração online, houve uma grande variação entre os mesmos. Levando-se em consideração que todos sofreram com a distorção aplicada aos seus parâmetros no início do processo e que todos pertenciam ao mesmo ponto de semeadura no banco de itens6, a tabela 2 apresenta os tempos médios gastos com 7 dos 12 itens de pré-teste que passaram pelo processo de calibração online. Observa-se que o método OIRPI-S é mais sensível ao processo de calibração, apresentando maior variação entre os tempos gastos. O ponto de semeadura foi fixado no final do banco de itens, de forma que os parâmetros dos 12 últimos itens do banco de itens sofreram distorções no início do processo. 6 73 CADERNO DE PESQUISA 2 FIGURA 39 – TEMPO MÉDIO DE EXECUÇÃO: D-OPTIMAL VS OIRPIS FIGURA 40 – TEMPO MÉDIO DE EXECUÇÃO: D-OPTIMAL VS OIRPIS 74 TESTES ADAPTATIVOS COMPUTADORIZADOS Os demais resultados, já apresentados na seção 1.6.2, se confirmam quando analisados os resultados apresentados pela figura 39, onde percebe-se que o tempo médio das calibrações dos itens de pré-teste utilizando o algoritmo OIRPI-S é de fato superior ao algoritmo D-Optimal. Observando o fato de que embora o patamar de 3.000 segundos (≈50 minutos) gastos pelas rotinas de MEM, com conhecido esforço computacional superior às rotinas OEM (figura 40), seja superior ao patamar de pouco menos de 2.000 segundos (≈33 minutos) apresentado pelo algoritmo OIRPI-S, o tamanho de amostra foi dobrado de 500 para 1.000, destacando o fato do tempo médio das rotinas de calibração ser menor em praticamente todas as simulações executadas, se comparado com o tempo médio da rotina criada para avaliar se o item de pré-teste já possuía tamanho de amostra suficiente para iniciar o processo de calibração online. TABELA 2 – TEMPO MÉDIO DE CRÍTICA DTA AMOSTRA (EM MIN) PARA ESCOLHER ITENS DE PRÉ-TESTE PARA CALIBRAÇÃO ONLINE D-OPTIMAL OIRPI-S item 372 4 (em média o 5º item a ser escolhido) - item 373 25 (em média o 2º item a ser escolhido) - item 374 7 (em média o 7º item a ser escolhido) 24 (em média o 4º item a ser escolhido) item 377 53 (em média o 1º item a ser escolhido) 6 (em média o 6º item a ser escolhido) item 378 23 (em média o 7º item a ser escolhido) - item 379 - 17 (em média o 5º item a ser escolhido) item 380 71 (em média o 6º item a ser escolhido) 37 (em média o 2º item a ser escolhido) item 381 5 (em média o 3º item a ser escolhido) 25 (em média o 3º item a ser escolhido) item 382 2 (em média o 4º item a ser escolhido) 196 (em média o 1º item a ser escolhido) item 383 - 35 (em média o 7º item a ser escolhido) 75 CADERNO DE PESQUISA 2 Interface de aplicações Com a implementação bem definida, uma das metas do projeto foi o desenvolvimento de uma aplicação que pudesse ser utilizada para apresentar as técnicas empregadas utilizando uma interface amigável. Como o principal desenvolvimento foi realizado na linguagem R, em um primeiro momento utilizando a plataforma do RStudio, a escolha natural de uma interface amigável ficou focada na ferramenta Shiny, aproveitando assim a completa integração com o R, além da extensão de sua utilização com JavaScript e mais uma extensa lista de elementos de extrema importância no desenvolvimento de aplicações web. Em meados de maio de 2018, um pequeno protótipo teve suas linhas principais desenhadas pensando na integração do mesmo com a calibração de itens de pré-teste em desenvolvimento. Como o foco principal do projeto estava na implementação dos algoritmos de seleção de itens de pré-teste sugeridos por Zheng (2014), durante o desenvolvimento tratou-se apenas da parametrização das rotinas em R e em C++ para que permitissem uma rápida integração com a interface planejada, em momento oportuno. Duas interfaces foram idealizadas, a saber: • Simulador CAT online (versão do pesquisador). • Simulador de aplicação de provas online (versão usuário final). Encerrada a parte inicial de testes com os algoritmos de seleção e calibração de itens de pré-teste, e não levando em consideração detalhes mais técnicos sobre questões de segurança das informações, deu-se início a integração entre os resultados das simulações apresentadas neste relatório e o simulador de CAT online. Na figura 41 é possível visualizar o que anteriormente foi apresentado na figura 7 interagindo online com a interface apresentada. 76 TESTES ADAPTATIVOS COMPUTADORIZADOS FIGURA 41 – RESPOSTA À INTERAÇÃO DOS RESULTADOS DA SIMULAÇÃO DO MÉTODO D-OPTIMAL Da mesma maneira, a figura 42 apresenta a integração do Shiny com o objeto R disponibilizado durante o processo de calibração, de acordo com as escolhas do pesquisador, e que foram apresentadas anteriormente pela figura 9. Quanto ao simulador de aplicação de provas online, foi criado um banco de questões com dados de uma aplicação obtida na internet cuja finalidade é simular um treinamento para usuários que estão se preparando para o exame do TOEFL, a exemplo do que é apresentado nas figuras 43 e 44. Tabuladas as questões e as respectivas respostas, desenhou-se com Shiny um protótipo capaz de realizar a leitura de um banco de dados e ir aplicando as questões que poderiam ser facilmente calibradas com o simulador da versão do pesquisador, antes de serem submetidas aos usuários. Para esta aplicação não foram dedicados maiores esforços podendo, portanto, ser parte de uma extensão das atividades do presente projeto. A chave para a interconexão entre as aplicações está nos 20 parâmetros utilizados pela rotina CAT_ONLINE e sua estrutura de chamadas de função, parte integrante das rotinas a serem entregues ao Cebraspe como resultado do encerramento do presente projeto. 77 CADERNO DE PESQUISA 2 FIGURA 42 – INTERVALOS DE CONFIANÇA DAS ESTIMATIVAS DE PROFICIÊNCIA, SEGUNDO O MÉTODO D- OPTIMAL FIGURA 43 – EXEMPLO DO PROTÓTIPO PARA APLICAÇÃO DE PROVAS ONLINE FIGURA 44 – EXEMPLO DO PROTÓTIPO PARA APLICAÇÃO DE PROVAS ONLINE 78 CAPÍTULO 2 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Josemberg Moura de Andrade Gesiane do Socorro Andrade Leão Farias Gabriel Ravi de Sousa dos Santos 80 SUMÁRIO – CAPÍTULO 2 INTRODUÇÃO 85 1. DIMENSIONALIDADE DAS PROVAS DO ENEM 89 1.1 Quantos fatores existem na prova do Enem? Pesquisas anteriores sobre a dimensionalidade do Enem 1.1.1 Análise fatorial 1.2 Métodos de Estimação e Retenção/Extração de Fatores 1.3 Métodos de Decisão de Fatores 1.4 Objetivos propostos conforme cronograma 1.5 Objetivos Específicos 1.6 Metas a serem alcançadas 1.7 Método 1.8 Resultados finais 1.9 Resultados por área de proficiência 1.10 Ausências e eliminações 1.11 Resultados dos objetivos específicos do projeto 1.12 Perfil dos estudantes 1.13 Desempenho por área de conhecimento CONSIDERAÇÕES FINAIS 125 REFERÊNCIAS (PRINCIPAIS REFERÊNCIAS) 126 ANEXO A 131 ANEXO B 132 ANEXO C 133 ANEXO D 134 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) RESUMO: A obtenção de evidências de validade dos testes é um dos parâmetros mais importantes e fundamentais no desenvolvimento e avaliação dos testes psicológicos e educacionais. Considerando a necessidade de estudos abrangentes sobre a qualidade dos testes utilizados em avaliações educacionais de larga escala, teve-se como objetivo geral obter evidências de validade de construto do Exame Nacional do Ensino Médio (Enem). Para o alcance de tal objetivo geral, foram considerados os seguintes objetivos específicos: (I) Obter evidências de validade de conteúdo dos itens do Enem; (II) Verificar a dimensionalidade da prova do Enem; (III) Obter evidências de validade convergente e discriminante da prova do Enem; (IV) Obter evidências de validade preditiva de critério da prova do Enem; (V) Verificar as consequências da testagem do Enem; e, (VI) Propor um novo índice de validade que reúna vários tipos de evidências de validade. Especificamente, para obtenção do objetivo específico III, foram aplicadas a Bateria de Provas de Raciocínio (BPR-5) e a Bateria Fatorial de Personalidade (BFP) em uma amostra de conveniência de estudantes universitários. Os escores brutos desses testes foram correlacionados com os escores obtidos pelos estudantes no Enem, a fim de obter evidências de validade convergente e discriminante, respectivamente. Os participantes da pesquisa forneceram os números de CPF (Cadastro de Pessoa Física) para que o coordenador da pesquisa obtivesse os escores do Enem junto ao INEP/MEC. As aplicações dessa etapa ocorreram no LIPSI (Laboratório Integrado de Pós-Graduação e Pesquisa Experimental em Psicologia com Humanos). Um procedimento padrão de aplicação foi adotado a fim de controlar possíveis variáveis interferentes. Os resultados indicaram que a prova do Enem é predominantemente unidimensional. Além disso, foram encontradas correlações positivas entre os escores do Enem e os escores da BPR-5. Por exemplo, os escores dos alunos em ciências da natureza e suas tecnologias correlacionaram-se positiva e significativamente com os escores de raciocínio abstrato (r = 0,56, p < 0,05), raciocínio espacial (r = 0,62, p < 0,01), raciocínio numérico (r = 0,47, p < 0,05) e raciocínio mecânico (r = 0,71, p < 0,05). Os escores dos alunos em matemática e suas tecnologias correlacionaram-se positiva e significativamente com os escores de raciocínio abstrato (r = 0,53, p < 0,05), raciocínio espacial (r = 0,70, p < 0,01) e raciocínio mecânico (r = 0,79, p < 0,05). Estes resultados são indicativos de evidências de validade convergente. Por fim, ressalta-se que o Enem tem sido utilizado para múltiplos objetivos na nossa sociedade e, assim, espera-se que o projeto em questão fomente a discussão sobre a validade de construto do referido exame. 83 CADERNO DE PESQUISA 2 Palavras-chave: Avaliação Educacional; Psicometria; Validade; Fidedignidade; Análise Fatorial. A) TÍTULO DO PROJETO: Evidências de Validade de Construto do Exame Nacional do Ensino Médio (Enem) Período de Execução do projeto - Início: 10/2017 Término: 09/2018 B) ÁREA DO PROJETO: Avaliação educacional em larga escala. C) EIXO TEMÁTICO: Validade. D) IDENTIFICAÇÃO DOS BOLSISTAS • Josemberg Moura de Andrade - Bolsista professor orientador, Professor Adjunto IV do Departamento de Psicologia da Universidade de Brasília – SIAPE 1668625; • Gesiane do Socorro Andrade Leão Farias (Bolsista discente de mestrado do Programa de Pós-Graduação do Departamento de Estatística/UnB); • Gabriel Ravi de Sousa dos Santos (Bolsista discente de graduação do Departamento de Estatística/UnB). D.1 – VOLUNTÁRIOS DO PROJETO: Ana Luiza Azevedo (Graduanda em Psicologia na Universidade de Brasília), Antônio Juvenal da Silva Júnior (Graduando em Psicologia na Universidade de Brasília), Carine Souza Santos (Graduanda em Psicologia na Universidade de Brasília), Letícia Lima Cardoso (Graduanda em Psicologia na Universidade de Brasília), Marisa Gomes Alves (Graduanda em Psicologia na Universidade de Brasília), Matheus Freitas (Graduando em Psicologia na Universidade de Brasília), Sander Wilhelmus (Graduando em Psicologia na UNIPLAC-DF); Tiago Araújo (Mestrando em Psicologia Social, do Trabalho e das Organizações/UnB). 84 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) INTRODUÇÃO A avaliação educacional e a avaliação psicológica estão entre as contribuições mais importantes das ciências cognitivas para nossa sociedade. Tais avaliações fornecem informações fundamentais para a tomada de decisão e impactam na vida dos indivíduos, grupos e na sociedade como um todo. Entre os atores afetados pelas avaliações pode-se citar os estudantes, pais, familiares, professores, administradores educacionais, candidatos a vagas de emprego, clientes, pacientes, empresários, entre outros. As instituições impactadas pelas avaliações, por sua vez, incluem escolas, universidades, empresas, agências governamentais etc. As instituições e os indivíduos são beneficiados quando a testagem os leva a atingir seus objetivos. A sociedade, por sua vez, beneficia-se quando a testagem contribui para a realização individual e para os objetivos das instituições (AERA, APA e NCME, 2014). A partir das informações obtidas com as avaliações, planos de intervenção individuais podem ser operacionalizados e políticas públicas podem ser delineadas no contexto macro social. Especificamente no sistema educacional, as reformas educativas implementadas nas últimas décadas caracterizam-se, principalmente, pela utilização de avaliações em larga escala como instrumento de gestão de redes de ensino e de responsabilização dos atores educacionais (BAUER; ALAVARSE; OLIVEIRA, 2015). O processo de avaliação educacional pode ser compreendido como um sistema de informações que fornece diagnóstico e subsídios para a implementação ou manutenção de políticas educacionais pertinentes. Deve proporcionar um contínuo monitoramento do sistema educacional, visando identificar os aspectos positivos e/ou negativos das políticas adotadas (SOARES; CESAR; MAMBRINI, 2001). Bauer, Alavarse e Oliveira (2015) destacam alguns dos aspectos positivos da utilização dos resultados das avaliações de larga escala para os atores educacionais, entre eles: (1) definem padrões e expectativas para o aprendizado dos alunos e podem orientar o planejamento das escolas; (2) geram dados, por meio de testes e de seus consequentes resultados, que ficam disponíveis para os professores e para as escolas e que podem apoiar a tomada de decisões; (3) informam sobre a qualidade do ensino nas escolas, em relação aos componentes curriculares avaliados, o que auxilia os pais a decidirem onde desejam que seus filhos estudem; e, (4) fazem com que professores e alunos busquem 85 CADERNO DE PESQUISA 2 melhorar seu desempenho, como motivação extrínseca vinculada a políticas de premiação a elas associadas. Especificamente, a análise dos resultados do Sistema de Avaliação da Educação Básica (SAEB) permite, por exemplo, acompanhar a evolução do desempenho dos alunos e dos diversos fatores que interferem na qualidade do ensino ministrado nas escolas. Esse acompanhamento possibilita a definição de ações voltadas à correção dos erros identificados e o aperfeiçoamento das práticas e dos resultados apresentados pelas escolas e pelos sistemas de ensino no Brasil (CHIRINÉA; BRANDÃO, 2015). O Enem, por sua vez, é de suma importância tanto para a avaliação da qualidade geral do ensino médio quanto para o ingresso nas instituições de ensino superior públicas ou definição de bolsas em instituições de ensino privadas, entre outras possibilidades (OLIVEIRA, 2010). A testagem é um dos recursos utilizados nas avaliações e há evidências que documentam a utilidade de testes quando bem construídos e bem interpretados. Testes bem desenvolvidos têm potencial de oferecer benefícios efetivos para avaliadores e avaliados e seu uso pode resultar em melhores decisões para os indivíduos e sistemas educacionais. Ressalta-se, no entanto, que nem todos os testes são bem construídos, nem todas as práticas de testagem são adequadas ou benéficas. O uso inapropriado de testes pode causar danos irreparáveis para os avaliados e outros atores afetados (AERA; APA; NCME, 2014). Um teste pode ser considerado um dispositivo ou procedimento no qual uma amostra do comportamento de um examinado em um domínio especificado é obtida e posteriormente avaliada usando um processo padronizado (AERA; APA; NCME, 2014). A obtenção de evidências de validade dos testes é um dos parâmetros fundamentais no seu desenvolvimento e avaliação (AERA; APA; NCME, 2014; COHEN; SWERDLIMNK; STURMAN, 2014; HOGAN, 2006). A validade refere-se ao grau com que as evidências empíricas apoiam as interpretações dos escores de um teste. Quando os escores são interpretados em mais de um contexto, cada interpretação pretendida deve ser validada. É importante destacar que o usuário ou avaliador educacional é responsável por estimar as evidências de validade no contexto específico em que o teste foi usado. Quando um usuário ou avaliador propõe uma interpretação dos escores diferente daquela proposta pelo 86 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) desenvolvedor do teste, é sua a responsabilidade por apresentar novas evidências de validade (AERA; APA; NCME, 2014). O entendimento de validade tem passado por modificações desde a segunda versão do Standards for Educational and Psychological Testing em 1999 (a primeira versão é de 1985), produzido por três importantes organizações da área: American Educational Research Association (AERA), American Psychological Association (APA) e National Concil on Measurement in Education (NCME). Nos últimos anos, a importância da obtenção de evidências de validade tem sido cada vez mais reconhecida. No entanto, tal processo não tem sido consensual. Por exemplo, Newton (2016) assinala que o modelo atual de cinco tipos de fontes de evidências é incapaz de acomodar todos os tipos de evidências de validade. O autor propõe a distinção entre dois tipos de evidências de validade – a macrovalidação e a microvalidação. Apesar das controvérsias, pode-se afirmar que, atualmente, a perspectiva mais aceita na comunidade científica é a apresentada na última versão dos Standards, de 2014, que identifica cinco fontes de evidências: (1) evidências baseadas no conteúdo do teste, (2) evidências baseadas no processo de resposta, (3) evidências baseadas na estrutura interna, (4) evidências baseadas na relação com outras variáveis e (5) evidências baseadas nas consequências da testagem (AERA, APA e NCME, 2014). O primeiro tipo de validade – evidências baseadas no conteúdo do teste – refere-se à análise do relacionamento entre o conteúdo abordado pelos itens do teste e o construto que se pretende medir, questiona se os itens constituem amostras do domínio que se pretende avaliar. O segundo tipo – evidências baseadas no processo de resposta – refere-se ao estudo de como os examinandos respondem a um item de um teste, ou seja, quais os processos cognitivos necessários e envolvidos para que respondam a esse item. Esse tipo de análise pode proporcionar evidências em relação à adequação entre o construto e a natureza detalhada do desempenho ou resposta realmente utilizada pelo avaliando. Em relação ao terceiro tipo, a análise da estrutura interna de um teste pode indicar o grau de adequação da relação entre itens de teste e o seu fator (variável-latente). A teoria que embasou a construção de um teste pode sugerir uma única dimensão ou várias dimensões. A técnica da análise fatorial, 87 CADERNO DE PESQUISA 2 tanto exploratória quanto confirmatória, tem sido comumente empregada para obtenção de evidências empíricas desse tipo de validade. O quarto tipo refere-se a evidências baseadas nas relações com outras variáveis. Busca-se os padrões de correlação entre os escores do teste e outras variáveis que meçam supostamente o mesmo construto ou construtos relacionados (validade convergente) e com variáveis que medem construtos diferentes (validade discriminante). Nesta categoria, temos ainda “relacionamento com o critério”. Por critério entende-se alguma observação comportamental teoricamente relacionada com o construto alvo avaliado pelo teste. Nas evidências de validade de critério concorrente, os escores no teste e no critério são obtidos ao mesmo tempo. Por outro lado, nas evidências de validade de critério preditiva, o escore no critério é obtido tempo depois da obtenção do escore do teste. Importante destacar, ainda, a “generalização da validade” que se refere ao grau em que uma evidência de validade, baseada no relacionamento de teste e critério, pode ser generalizada para uma nova situação sem um estudo mais aprofundado de validade para o novo contexto. Por fim, o quinto tipo – evidências baseadas nas consequências da testagem – relaciona o teste às consequências de sua utilização, que podem ser tanto desejáveis quanto indesejáveis (AERA; APA; NCME, 2014). Esse último tipo de evidência de validade ainda é pouco explorado. Considerando a necessidade de estudos abrangentes sobre a qualidade dos testes utilizados em avaliações educacionais de larga escala, a presente pesquisa teve como objetivo obter evidências de validade do Enem. Optou-se por utilizar o Enem pelo seu grande impacto na sociedade e suas múltiplas funções. Como exemplo de suas funções, Blanco (2013) assinala que os escores do Enem são utilizados para entrada em instituições federais de ensino superior, são uma forma de seleção de bolsistas para instituições particulares, além de continuar sendo um exame de rendimento individual. O Enem foi criado em 1998 e apresenta, desde sua origem, a finalidade de avaliar o desempenho individual dos concluintes do ensino médio brasileiro. Trata-se de um exame individual, de caráter voluntário, que possibilita a todos os estudantes uma referência de autoavaliação em comparação aos demais estudantes que realizam a prova. Sem ter abandonado seu caráter original, o Enem tem se modificado, ao longo dos últi88 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) mos anos, e pode ser considerado o maior teste educacional aplicado pelo Governo Federal (Brasil/INEP, 2015). 1. DIMENSIONALIDADE DAS PROVAS DO ENEM 1.1 QUANTOS FATORES EXISTEM NA PROVA DO ENEM? PESQUISAS ANTERIORES SOBRE A DIMENSIONALIDADE DO ENEM Pesquisa realizada por Vieira (2016), utilizando teoria da resposta ao item uni e multidimensional (TRI e TRIM, respectivamente), buscou identificar o número de dimensões (fatores) do Enem de 2012, considerando uma prova única com 180 itens. Apesar dos modelos propostos sugerirem, inicialmente, cinco ou mais fatores para as questões, ao se fixarem quatro fatores, foram encontradas cargas fatoriais de moderadas a altas. Em pesquisa de Costa (2015), foi realizada uma análise de dimensionalidade da prova do Enem e a escolha do modelo que melhor se ajustava aos dados. Foi verificada uma relação expressiva de cinco competências, sugerindo a existência de cinco dimensões. Ressalta-se que os resultados encontrados sobre a dimensionalidade da prova do Enem não são conclusivos. A realização de novas pesquisas é necessária para o esclarecimento do número de fatores avaliados pelo Enem. 1.1.1 Análise fatorial Análises multivariadas são ferramentas que permitem examinar as relações existentes entre um número de variáveis e relatar, da maneira mais intuitiva possível, sistemas complexos que essas associações podem formar e hierarquias que os organizam. A análise fatorial consegue identificar quais variáveis e modalidades de variáveis estão associadas entre si, evidenciando as características que os indivíduos apresentam juntos. A análise fatorial é um conjunto de técnicas e ferramentas para mensurar fenômenos que não podem ser diretamente observados (DAMÁSIO, 2012; FILHO; SILVA Jr., 2010). 89 CADERNO DE PESQUISA 2 As técnicas exploratórias de análise fatorial são muito úteis quando há intenção de se trabalhar com variáveis que apresentam, entre si, coeficientes de correlação elevados e se deseja estabelecer novas variáveis que captem o comportamento conjunto das variáveis originais. Cada uma dessas novas variáveis é chamada de fator. Este pode ser entendido como o agrupamento de variáveis a partir de critérios estabelecidos (FAVERO, 2015). A análise fatorial exploratória trata de investigar se as correlações entre um conjunto de n variáveis observadas podem ser explicadas com um número menor de fatores comuns, em que estes explicam as inter-relações entre as variáveis. Esta análise tem como objetivo principal resumir dados (VIEIRA; RIBAS, 2011). Para esta técnica são realizados os seguintes testes: teste KMO; comunalidade; critério de raízes latentes. No caso de existir mais de um fator, pode-se utilizar rotação para melhor visualizar as cargas fatoriais. Antes da análise fatorial, alguns testes devem ser realizados, entre os quais o Kaiser Meyer Olkin (KMO). Este é um teste de adequação da amostra – seu valor varia entre 0,0 e 1,0 – para justificar se a realização da análise fatorial é válida. Ele identifica se há um número suficiente de correlações significativas entre as variáveis e um resultado menor que 0,6 é considerado inadequado (VIEIRA; RIBAS, 2011). Já o índice de comunalidade estabelece o quanto da proporção da variância é explicada. As estimativas variam entre 0,0 e 1,0. Quando o resultado é menor que 0,5, significa que a variável tem explicação insuficiente pois menos da metade da variância é explicada (HAIR et al., 2005). Quanto ao critério de raízes latentes, considera-se que os fatores que possuem autovalores (quantia de variância explicada por um fator) maiores que 1,0 são considerados significativos. Caso contrário, se forem menores que 1,0, se caracterizam como insignificantes. Estudos indicam que usar esse critério é confiável para números de variáveis entre 20 e 50. Se o número de variáveis for menor que 20, pode ocorrer uma tendência para extrair um número pequeno de fatores. Por outro lado, se houver mais de 50 variáveis, pode acontecer uma superestimação do número de fatores extraídos (HAIR et al., 2005). 90 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) E, por fim, com intuito de verificar se existe uma alta correlação entre as variáveis do teste em estudo, utiliza-se o coeficiente alfa de Cronbach. Este coeficiente foi elaborado por Lee J. Cronbach com o intuito de verificar a consistência interna dos itens de um fator. A fórmula a seguir define como calculá-lo (CRONBACH, 1951): em que k é o número de itens, si² é a variância de cada questão do critério de mediação e st² é a variância da soma das observações do critério de mediação. 1.2 MÉTODOS DE ESTIMAÇÃO E RETENÇÃO/EXTRAÇÃO DE FATORES Nesta seção apresentaremos os métodos – e seus conceitos – para retenção de fatores utilizados. O primeiro método explorado nesta pesquisa é o método da máxima verossimilhança (Método Maximum Likelihood). Esse método parte do pressuposto de que o vetor aleatório X = [X¹, ..., X p]T é normal multivariado. Outros métodos de extração podem ser vistos em Fidell et al. (2014). Entre eles podemos citar os componentes principais (PCA), cuja característica é determinar matematicamente a solução empírica com componente comum único e variância do erro misto. Outro método é o de fatores principais, que possui como característica a estimativa de comunalidades para tentar eliminar a variação única e o erro das variáveis. Já o método de fatoração de imagem se caracteriza por utilizar as variações com base em várias regressões de uma variável, com todas as outras covariáveis como comunalidades. Isso gera uma solução matematicamente determinada com variação de erro exclusivo, eliminando a variância. Ainda temos o método de fatoração alfa, que maximiza a generalização de fatores ortogonais, bem como o método fatoração não ponderada de mínimos quadrados generalizados, que minimiza o quadrado das correlações residual. Destes métodos, os mais comumente usados são PCA e fatores principais. O primeiro é frequentemente contraindicado pois alguns autores argumentam que não se trata exatamente de um tipo de análise fatorial, mas de uma técnica de redução de variáveis. Em geral, as técnicas de extração 91 CADERNO DE PESQUISA 2 calculam um conjunto de componentes ou fatores ortogonais. O critério usado para estabelecer a solução é aquele que maximiza a variância. 1.3 MÉTODOS DE DECISÃO DE FATORES Um dos métodos de extração do número de fatores utilizado na presente pesquisa foi apresentado em um estudo de simulação por Lorenzo-Seva et al. (2011). Tais autores testaram a adequação do método Hull para uma Análise Fatorial Exploratória (AFE) em 114 mil matrizes de dados simuladas. Os autores manipularam cinco condições, a saber: 1) proporção de itens por fator; 2) número de fatores; 3) tamanho da amostra; 4) variância do fator; 5) grau de correlação entre os fatores. Na maioria das condições, o método Hull apresentou melhor performance quando comparado com todos os métodos anteriormente descritos (Eigenvalue > 1; Screeplot; análise paralela; MAP). A adequação do método Hull foi ainda melhor quando utilizando os índices de ajuste CFI e CAF (Common part Accounted For). A denominação Screetest (st) dada ao cálculo executado no método Hull advém do fato de que este método é considerado como uma implementação matemática ao Screeplot (ver os trabalhos de Ceulemans & Kiers, 2006; Lorenzo-Seva et al., 2011). Nesta presente pesquisa, o método Hull de retenção fatorial foi conduzido por meio de algoritmo de elaboração própria dos autores, usando o software R. Outro critério que vem sendo cada vez mais consolidado na literatura internacional, porém ainda é pouco utilizado no Brasil, são os métodos das análises paralelas (AP) apresentados em Horn (1965). Tal critério também é denominado, na sua forma otimizada, de análise paralela optimal implementation e, na sua forma clássica, de análise paralela Classical Implementation. Inicialmente, os métodos das análises paralelas foram desenvolvidos para serem utilizados como critério de retenção de componentes. Entretanto, têm sido adaptados para o uso no contexto das análises fatoriais exploratórias (AFEs) e podem ser vistos em Crawford et al. (2010) e Velicer et al. (2000). Mais detalhes podem ser vistos em Glorfeld (1995) e Patil et al. (2008). 92 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Por fim, o método da análise fatorial de informação completa (AFIC) é usado para a verificação do número de fatores (dimensões). Pode-se utilizar o critério de informação bayesiano de Schwarz (SCHWARZ, 1978). O uso destes métodos para determinação da quantidade de dimensões é abordado por Bartolucci et al. (2012), Nylund et al. (2007) e Rost (1997). 1.4 OBJETIVOS PROPOSTOS CONFORME CRONOGRAMA Para o alcance do objetivo geral, que é obter evidências de validade do Exame Nacional do Ensino Médio, foram considerados os objetivos específicos e metas listados a seguir. Os resultados são apresentados na seção H. 1.5 OBJETIVOS ESPECÍFICOS I. Obter evidências de validade de conteúdo dos itens do Enem; II. Verificar a dimensionalidade da prova do Enem; III. Obter evidências de validade convergente e discriminante da prova do Enem; IV. Obter evidências de validade de critério da prova do Enem; V. Verificar as consequências da testagem do Enem; VI. Propor um novo índice de validade que reúna vários tipos de evidências de validade. 1.6 METAS A SEREM ALCANÇADAS Considerando os objetivos anteriormente apresentados, são listadas as metas consideradas. Meta 1 – Apresentar evidências de validade do Enem. Meta 2 – Apresentar um novo índice de validade que reúna vários tipos de evidências de validade. Meta 3 – Elaboração de relatórios trimestrais com os resultados parciais da pesquisa. Meta 4 – Divulgação dos resultados: artigos científicos com os resultados da pesquisa serão submetidos a periódicos da área de avaliação educacional qualificados pela CAPES. Em todas as publicações o Cebraspe/UnB será referenciado como instituição financiadora. Meta 5 – Elaboração de relatório final com os resultados da pesquisa. 93 CADERNO DE PESQUISA 2 1.7 MÉTODO Desde 2009, no Enem são aplicadas quatro provas objetivas e uma redação. A redação não foi considerada na presente pesquisa. Cada prova objetiva contém 45 questões cada, totalizando 180 itens aplicados em dois dias. O Enem abrange quatro áreas de conhecimento, relacionando-se aos componentes curriculares da educação básica. As áreas são: (1) ciências humanas e suas tecnologias, (2) ciências da natureza e suas tecnologias, (3) linguagens, códigos e suas tecnologias, e (4) matemática e suas tecnologias (Brasil/INEP, 2015). Para o presente projeto foi considerada a base de dados do Enem do ano de 2016. A partir do sítio eletrônico do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP/MEC, tivemos acesso à base de dados do referido ano. Para apresentação do método do presente projeto de pesquisa foram listados os objetivos específicos, detalhando-se cada um deles. I. Obter evidências de validade de conteúdo dos itens do Enem. As matrizes de referência de cada área avaliada são os instrumentos norteadores da construção dos itens (questões) das provas. Para obtenção de validade de conteúdo da prova do Enem, alguns itens disponibilizados pelo INEP, de níveis de dificuldade e discriminação diferentes, foram enviados para especialistas avaliarem sua adequação em relação à matriz de referência. Para isso, foi elaborada uma tabela de dupla entrada na qual os professores – especialistas das quatro áreas de conhecimento – avaliaram a adequação com que o conteúdo do item representa o domínio e sua relevância para a interpretação proposta dos escores. Foram contatados dois especialistas de cada área do conhecimento: ciências humanas e suas tecnologias, ciências da natureza e suas tecnologias, linguagens, códigos e suas tecnologias e matemática e suas tecnologias. II. Verificar a dimensionalidade da prova do Enem. Uma grande mudança no formato do Enem ocorreu no ano de 2009, a partir da implementação da teoria de resposta ao item (TÔRRES, 2015). Nas avaliações educacionais comumente tem-se utilizado os modelos unidimensionais da TRI, em detrimento dos modelos multidimensionais. A unidimensionalidade é o pressuposto da TRI segundo o qual há apenas uma aptidão responsável pela realização de um conjunto de itens. Para satis94 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) fazer tal postulado, é necessário que haja uma aptidão ou fator dominante responsável pela resposta dos sujeitos a um conjunto de itens (HAMBLETON, SWAMINATHAN, ROGERS, 1999; PASQUALI, 2010, 2013). A análise fatorial é uma técnica baseada no pressuposto de que uma série de variáveis observadas, chamadas de variáveis empíricas, pode ser explicada por um número menor de variáveis hipotéticas, não-observáveis, chamadas de fatores (PASQUALI, 2010). Para alcançar o objetivo de investigar a dimensionalidade da prova do Enem, foi realizada uma série de dez análises fatoriais de diferentes métodos. Para geração das análises foi utilizado o software estatístico R (programa R 3.3.3), e os pacotes psyche nFactors. Como critérios para definição do número de fatores foram considerados Eigenvalues maiores do que 1,0, análise de Screeplot, análise paralela de Horn e Método Hull. III. Obter evidências de validade convergente e discriminante da prova do Enem. Em pesquisa realizada por Gomes e Borges (2009), foram aplicados 45 testes de inteligência e a prova objetiva do Enem de 2001 a 146 estudantes do terceiro ano de uma escola de ensino médio da rede federal. O desempenho no Enem foi explicado pelas habilidades cognitivas (60%). Procedimento similar foi realizado no presente projeto. Uma amostra de conveniência, formada por estudantes universitários, foi convidada a responder uma bateria de testes de habilidades cognitivas, inventário de personalidade, questões sobre experiência com o Enem e dados sociodemográficos. Os resultados dos escores do Enem foram correlacionados com os escores dos testes cognitivos e com a bateria fatorial de personalidade, a fim de se obter evidências de validade convergente e discriminante, respectivamente. Os instrumentos aplicados para alcançar este objetivo específico são detalhados a seguir: a) Termo de consentimento livre e esclarecido (Anexo 1): apresentou os objetivos da pesquisa e esclareceu questões éticas referentes ao projeto de pesquisa. Os participantes assinalaram seu consentimento em participar do estudo. 95 CADERNO DE PESQUISA 2 b) Termo de autorização (Anexo 2): os participantes autorizaram que o pesquisador responsável obtivesse seus escores do Enem, junto ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Ministério da Educação (INEP/MEC). Além disso, os participantes também permitiram que o pesquisador tivesse acesso ao seu índice de rendimento acadêmico (IRA), junto à Reitoria da Universidade de Brasília (UnB). c) Bateria de provas de raciocínio (BPR-5): instrumento de uso restrito para psicólogos, por isso não pode ser aqui apresentado. Oferece estimativas do funcionamento cognitivo geral e das habilidades do indivíduo em cinco áreas específicas: raciocínio abstrato, verbal, espacial, numérico e mecânico. A bateria é composta por cinco subtestes, a saber: prova de raciocínio abstrato, prova de raciocínio verbal, prova de raciocínio espacial, prova de raciocínio numérico e prova de raciocínio mecânico (ALMEIDA; PRIMI, 2000). A aplicação dos cinco subtestes tem a duração de 73 minutos. A seguir são apresentados os conteúdos avaliados por cada um deles. RV - Raciocínio Verbal • Extensão do vocabulário. • Capacidade de estabelecer relações abstratas entre conceitos verbais. RA - Raciocínio Abstrato • Capacidade de estabelecer relações abstratas em situações novas para as quais se possui pouco conhecimento previamente aprendido. RE - Raciocínio Espacial • Capacidade de visualização, isto é, de formar representações mentais visuais e manipulá-las transformando-as em novas representações. RM - Raciocínio Mecânico • Conhecimento prático de mecânica e física, adquirido principalmente em experiências cotidianas e práticas. • Capacidade de integrar as informações em textos com a figura descritiva da situação problema. 96 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) RN - Raciocínio Numérico • Capacidade de raciocinar indutiva e dedutivamente com símbolos numéricos em problemas quantitativos. • Conhecimento de operações aritméticas básicas. d) Bateria fatorial de personalidade (BFP): instrumento de uso restrito para psicólogos, por isso não pode ser aqui apresentado. A BFP foi construída para avaliação da personalidade a partir do modelo dos cinco grandes fatores, que inclui as dimensões extroversão, socialização, realização, neuroticismo e abertura à mudança (NUNES; HUTZ; NUNES, 2010). Tal inventário contém 126 afirmações e o sujeito deve avaliar o quanto ele se identifica com cada uma utilizando uma escala tipo Likert de 7 pontos. O inventário apresenta alfas de Cronbach entre 0,74 e 0,89 (NUNES; HUTZ; NUNES, 2010). A aplicação da BFP não tem limite de tempo. e) Questionário com dados sociodemográficos (Anexo 3): foram elaboradas perguntas com o objetivo de caracterizar os respondentes da pesquisa. As perguntas foram sobre o sexo do respondente, idade, estado civil, escolaridade etc. Os escores brutos de tais questionários e instrumentos psicológicos (BPR5 e BFP) foram correlacionados com os escores obtidos pelos estudantes no Enem, a fim de obter evidências de validade convergente e discriminante, respectivamente. Os participantes da pesquisa forneceram os números de CPF (Cadastro de Pessoa Física) para que o coordenador da pesquisa obtivesse os escores do Enem junto ao INEP/MEC. As aplicações aconteceram no LIPSI (Laboratório Integrado de Pós-Graduação e Pesquisa Experimental em Psicologia com Humanos) do Instituto de Psicologia da Universidade de Brasília. O LIPSI possui salas adequadas para aplicações coletivas, com iluminação e isolamento acústico adequado. Na figura 1 é possível ver uma aplicação em andamento. Um procedimento padrão de aplicação foi adotado a fim de controlar possíveis variáveis interferentes. Um manual de aplicação foi elaborado pelo professor pesquisador e toda a equipe – graduandos de psicologia e psicólogos – foi treinada por ele. 97 CADERNO DE PESQUISA 2 FIGURA 1 – APLICAÇÃO COLETIVA DOS INSTRUMENTOS DE PESQUISA NO LIPSI IV. Obter evidências de validade preditiva de critério da prova do Enem. A mesma amostra de conveniência anterior (estudantes da UnB) autorizou que seus respectivos Índices de Rendimento Acadêmico (IRA) fossem obtidos junto à Reitoria da Universidade. O índice de correlação resultante a partir dos escores do Enem e o IRA pode ser considerado uma evidência de validade de critério. V. Verificar as consequências da testagem do Enem. As evidências baseadas nas consequências da testagem referem-se às consequências sociais intencionais e não intencionais do uso do teste, para verificar se sua utilização está tendo os efeitos desejados, de acordo com os objetivos para os quais foi criado (AERA; APA; NCME, 2004). Assim, uma pesquisa nacional com aplicação via internet foi realizada. Estudantes que realizaram o Enem nos últimos cinco anos foram contatados via redes sociais e convidados a responderem um questionário online sobre as implicações do Enem para suas vidas. O questionário, composto por questões objetivas e discursivas, foi inserido na plataforma de pesquisa online SurveyMonkey (https://pt.surveymonkey.com/dashboard/) e pode ser visualizado no Anexo D. Alguns exemplos de questões são: (1) Quantas vezes você realizou as provas do Enem?; (2) Você considera que o Enem trouxe alguma consequência para a sua vida?; (3) Se sua resposta foi “sim” para alguma das perguntas de nº 9, 10 e/ou 11, explique qual foi a consequência da prova do Enem para a sua vida; (4) Para qual objetivo você 98 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) utilizou a nota do Enem? ( ) Avaliação pessoal, ( ) Entrada no ensino superior por meio de universidades públicas, ( ) Entrada no ensino superior por meio de universidades particulares/privadas, ( ) Financiamento estudantil ou bolsa de estudos (FIES ou ProUni), ( ) Outros projetos acadêmicos (ciência sem fronteiras etc), ( ) Desenvolvimento profissional, ( ) Nenhuma alternativa anterior. Os participantes também responderam ao Termo de Consentimento Livre e Esclarecido (TCLE) termos de autorização e questionário sociodemográfico. Foram utilizadas análises descritivas com medidas de tendência central e variabilidade para as questões objetivas. Para as questões discursivas foi utilizado o software IRAMUTEQ. Link da pesquisa: https://pt.surveymonkey.com/r/S2RRPYT. VI. Propor um novo índice de validade que reúna vários tipos de evidências de validade. Um índice único de validade que reúna vários tipos de evidências de validade foi proposto a partir dos índices anteriores identificados. A ideia inicial era fazer estudos de simulação utilizando programação em R para identificar a forma de representação mais apropriada. 1.8 RESULTADOS FINAIS Antes da apresentação dos resultados dos objetivos específicos do presente projeto, são apresentados os resultados gerais do Enem 2016. Os dados apresentados foram fornecidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP, 2017). A base de dados do Enem 2016 foi composta pelas respostas dos candidatos ao questionário contextual dos microdados dos participantes, com o total de 8.627.368 observações e 166 variáveis. O quadro 1 apresenta as áreas de proficiência avaliadas no Enem 2016. 99 CADERNO DE PESQUISA 2 QUADRO 1 – ÁREAS DE CONHECIMENTO COMPONENTES CURRICULARES CORRESPONDENTES NO ENEM 2016 Áreas de Conhecimento Componentes Curriculares Linguagens, códigos e suas tecnologias e redação Língua portuguesa, literatura, língua estrangeira (inglês ou espanhol), artes, educação física, tecnologias da informação e comunicação Ciências humanas e suas tecnologias Ciências da natureza e suas tecnologias Matemática e suas tecnologias História, geografia, filosofia e sociologia Química, física e biologia Matemática 1.9 RESULTADOS POR ÁREA DE PROFICIÊNCIA Os dados apresentados a seguir foram fornecidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP, 2017). Ciências humanas e suas tecnologias - A maioria dos que realizaram as provas, 2.867.265 alcançaram notas entre 500 e 600 pontos. Apenas 600 participantes alcançaram notas entre 800 e 900 e 1.804 deles tiveram nota zero. A média nacional foi 536 pontos. Ciências da natureza e suas tecnologias - A maioria dos participantes, 3.234.551, alcançaram notas entre 400 e 500 pontos. Apenas 632 alcançaram notas entre 800 e 900 e 3.109 tiveram nota zero. A média nacional foi 482,3 pontos. Linguagens e códigos e suas tecnologias - A maioria dos participantes, 2.898.637, alcançaram notas entre 500 e 600 pontos. Do total, 3.862 participantes tiveram nota zero. A média nacional foi 523,1 pontos. Matemática e suas tecnologias - A maioria dos participantes, 2.430.115, alcançaram notas entre 400 e 500 pontos. Apenas 3.747 participantes alcançaram nota entre 800 e 900 e 5.734 tiveram nota zero. A média nacional foi 493,9. 100 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Média total - Considerando a média total, os participantes obtiveram as maiores médias em ciências humanas e suas tecnologias (533,5), seguido de linguagens e códigos e suas tecnologias (520,5), matemática e suas tecnologias (489,5) e, por último, ciências da natureza e suas tecnologias (477,1). Média dos concluintes - A média dos participantes que terminaram o ensino médio em 2016 foi ligeiramente superior, mas manteve a ordem de dificuldade. A maior média também foi em ciências humanas e suas tecnologias (536), seguida de linguagens e códigos e suas tecnologias (523,1), matemática e suas tecnologias (493,9) e ciências da natureza e suas tecnologias (482,3). Desempenho máximo e desempenho mínimo - A maior nota do Enem 2016 foi em matemática e suas tecnologias (991,5) e a mais baixa em linguagens e códigos e suas tecnologias (287,5). 1.10 AUSÊNCIAS E ELIMINAÇÕES Dos 8.630.306 inscritos no Enem 2016, o total de 2.518.976 (29,19%) ausentaram-se no primeiro dia de provas e 2.667.899 (30,91%) faltaram ao segundo dia. Quando consideramos os dois dias juntos, foram 2.494.294 (28,90%) faltantes. Em função dos movimentos de ocupações ocorridos naquele ano em escolas e universidades, 265.412 (3,08%) inscritos tiveram a aplicação adiada. Além disso, 3.942 (0,05%) foram eliminados no primeiro dia e 4.780 (0,06%), no segundo dia. As eliminações tiveram razões variadas: 44,35% dos eliminados não marcaram o tipo de prova ou marcaram mais de um tipo de prova ou não escreveram a frase solicitada; 19,77% deles portavam lápis, caneta de material não transparente, lapiseira, borrachas, livros, manuais, impressos e anotações; 9,10% ausentaram-se da sala de provas sem o acompanhamento de um aplicador ou ausentaram-se em definitivo antes de decorridas duas horas, e 7,41% portavam, após ingressar na sala de provas, qualquer tipo de equipamento eletrônico ou de comunicação (INEP, 2017). 101 CADERNO DE PESQUISA 2 1.11 RESULTADOS DOS OBJETIVOS ESPECÍFICOS DO PROJETO A seguir são apresentados os resultados finais de cada um dos objetivos específicos do presente projeto. I. Obter evidências de validade de conteúdo dos itens do Enem. Este objetivo não foi alcançado. Professores do ensino médio das quatro áreas do conhecimento avaliadas pelo Enem foram contatados pelos pesquisadores para avaliar a adequação dos itens da prova à sua matriz de referência. Apesar dos inúmeros contatos e da concordância inicial em realizar o trabalho voluntário, os prazos não foram cumpridos e, por isso, o objetivo não foi cumprido. Mas a equipe do presente projeto sabe que a análise de conteúdo realizada pela INEP/MEC conta com especialistas e, assim, as provas apresentam sólidas evidências de validade de conteúdo. II. Verificar a dimensionalidade da prova do Enem. Para o presente projeto de pesquisa foi considerado um conjunto de 10 análises fatoriais, sendo elas descritas no quadro 2. QUADRO 2 – COMBINAÇÕES DE BASES DE DADOS PARA ANÁLISES FATORIAIS Tipo de prova/combinação de provas (1) Ciências humanas (CH) e suas tecnologias (2) Ciências da natureza (CN) e suas tecnologias (3) Linguagens, códigos e suas tecnologias (LC) - inglês (4) Linguagens, códigos e suas tecnologias (LC) - espanhol (5) Matemática e suas tecnologias (MT) (6) CH + CN (7) LC - inglês + MT (8) LC - espanhol + MT (9) CH + CN + LC inglês + MT (10) CH + CN + LC espanhol + MT 102 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Para geração das análises foi utilizado o software estatístico R (programa R 3.3.3), a partir dos pacotes psyche nFactors. Como critérios para definição do número de fatores foram utilizados Eigenvalues, Screeplot e análise paralela de Horn. Considerando a dificuldade de se utilizar toda a base de dados (8.630.306 inscritos), decidiu-se selecionar uma amostra para a realização das análises fatoriais. Em 2016, aconteceram ocupações em algumas escolas e universidades públicas. Por isso, uma segunda aplicação foi realizada em alguns lugares. Os critérios de seleção dos dados foram os seguintes filtros: alunos presentes nos dois dias de prova (5.818.446 estudantes) e que participaram da primeira aplicação (5.663.152 estudantes). Foram excluídas as observações da segunda aplicação visto que não continham no caderno de questões, nem no gabarito, o código de prova por área e por cor. A figura 2 apresenta as etapas de construção dos filtros para a obtenção da amostra do estudo. Verifica-se o tamanho da base de dados do Enem 2016, composta por uma população de 8.627.368 inscritos (cor verde do gráfico). Destes, houve 2.494.294 faltantes. Foram selecionados os alunos presentes nos dois dias (5.818.446 estudantes) – representados pela cor branca do gráfico – e em seguida filtraram-se os respondentes das provas cor azul (333.741 candidatos) – representados pela cor azul do gráfico. Foram desprezados os “treineiros”, aqueles candidatos que fizeram a prova apenas para ter experiência. Por fim, considerou-se um grupo de 82.289 estudantes que haviam concluído o ensino médio, que não eram “treineiros” (cor rosa do gráfico), em que se realizou as amostragens e análises fatoriais. Optou-se por aplicar um método de amostragem por proporção. Observou-se, por exemplo, que aproximadamente 20% da população teve desempenho inferior a 50%, que apenas 10% da população teve desempenho superior 90% e, dessa forma, foi possível estudar o comportamento dos alunos por meio de suas notas. A população foi separada em quatro clusters principais. O cluster 1, que representa 20% da amostra, é composto por alunos que tiveram desempenho abaixo de 60% na prova. O cluster 2, com 30% da população, é formado por alunos que acertaram entre 61% e 70% da prova. O cluster 3, 40% da amostra, é constituído por alunos que acertaram entre 71% e 89% da 103 CADERNO DE PESQUISA 2 prova. Por fim, o cluster 4 são os alunos que atingiram acima de 90% de acertos na prova. FIGURA 2 – POPULAÇÃO DA BASE DE DADOS DO ENEM 2016 (COR VERDE), FILTRO DE ALUNOS PRESENTES NOS DOIS DIAS (COR BRANCA), AMOSTRA DA PROVA COR AZUL (COR AZUL) E FILTRO DOS QUE CONCLUÍRAM O ENSINO MÉDIO E NÃO SÃO “TREINEIROS” (COR ROSA) 1.12 PERFIL DOS ESTUDANTES A figura 3 apresenta o perfil dos estudantes que compuseram a amostra para estudo da dimensionalidade das provas do Enem 2016. Observa-se no gráfico que (a) 58% dos estudantes eram do sexo feminino, (b) 51% de raça parda, (c) 23% de escola pública e (d) 90% cursaram o ensino médio regular. 104 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) FIGURA 3 – PERCENTUAL DE GÊNERO (A), RAÇA (B), TIPO DE ESCOLA (C) E TIPO DE ENSINO (D) DOS ESTUDANTES QUE COMPÕEM A AMOSTRA DO ENEM 2016 (A) (b) (c) (d) A figura 4 apresenta a Unidade da Federação (UF) de realização de prova dos estudantes que compõem a amostra de estudo da dimensionalidade do Enem 2016. Verifica-se que os três Estados com maiores percentuais foram o Rio Grande do Norte, Bahia e Paraná, que apresentaram percentuais em torno de 10%. FIGURA 4 – PERCENTUAL DA UNIDADE DA FEDERAÇÃO DE REALIZAÇÃO DE PROVA DOS ESTUDANTES QUE COMPÕEM A AMOSTRA DE ESTUDO DO ENEM 2016 105 CADERNO DE PESQUISA 2 1.13 DESEMPENHO POR ÁREA DE CONHECIMENTO A figura 5 apresenta o boxplot com a variabilidade das notas obtidas pelos estudantes que compõem a amostra do estudo nas quatro áreas do conhecimento avaliadas. É possível verificar que, no geral, a variabilidade das notas obtidas foi semelhante entre as quatro áreas. As medianas das notas de ciências humanas (CH) e letras e códigos (LC) foram superiores às medianas das notas de matemática (MT) e ciências naturais (CN), respectivamente. FIGURA 5 – BOXPLOT DAS NOTAS OBTIDAS PELOS ESTUDANTES NAS QUATRO ÁREAS DE CONHECIMENTO DE AVALIAÇÃO DA PROVA ENEM 2016 Para a determinação do número de fatores, utilizou-se o critério de Kaiser com autovalor ("Eigenvalue") maior do que 1,0 – o que resultou no número de fatores apresentados na tabela 2. Também foi usado o critério do Screeplot, que considera fatores a serem extraídos os que ficam à esquerda do ponto de inflexão. Como não houve aparente consenso entre os dois indicadores, optou-se pelo critério de Kaiser com autovalor maior do que 1,0 pois, com esse critério o percentual de variância total explicada aumenta. A tabela 1 apresenta a medida global do Kaiser-Meyer-Olkin (KMO) de adequação amostral e teste de esfericidade de Bartlett, com todas as variáveis dos estudantes que compõem a amostra do estudo de dimensionalidade do Enem 2016, por área dos itens. Kaiser-Meyer-Olkin (KMO) é uma medida de diagnóstico da homogeneidade das variáveis. Para valores superiores a 0,90 nesta medida, a análise fatorial é muito boa. Para valores entre 0,80 e 0,90, a análise fatorial é boa. Isto porque o KMO perto de 1,0 indica coeficientes de correlação parciais pequenos. Neste caso, as quatros áreas e 106 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) suas combinações apresentaram medidas de KMO superiores a 0,90, valor que considera a análise fatorial boa, permitindo a continuação do estudo. TABELA 1 – MEDIDA GLOBAL DO KAISER-MEYER-OLKIN DE ADEQUAÇÃO AMOSTRAL E TESTE DE ESFERICIDADE BARTLETT COM TODAS AS VARIÁVEIS (QUESTÕES) DO CADERNO DE QUESTÕES DO ENEM 2016, POR ÁREA DOS ITENS E SUAS COMBINAÇÕES Área dos itens Medida de KMO Teste de esfericidade de Bartlett Qui-quadrado aprox. G.L. Significância Ciências humanas - CH 0,918 357786,86 990 0,000 Ciências naturais - CN 0,918 357786,86 990 0,000 Linguagens, códigos e suas tecnologias - LC espanhol 0,899 125941,16 595 0,000 Linguagens, códigos e suas tecnologias - LC inglês 0,899 125941,16 595 0,000 Matemática - MT 0,921 758214,37 990 0,000 CH + CN 0,919 2727613,2 4005 0,000 LC inglês + MT 0,919 3089100,2 4005 0,000 LC espanhol + MT 0,919 3089100,2 4005 0,000 CH + CN + LC inglês + MT 0,918 5821648,5 16110 0,000 CH + CN + LC espanhol + MT 0,918 5821648,5 16110 0,000 A figura 6 apresenta os Screeplots dos autovalores, considerando as áreas e suas combinações. O Screeplot (figura 6) permite, de forma visual, evidenciar o fato de que cada fator adicional não contribui muito mais para explicar a variância total dos dados, porque, a partir do fator no nível um, a reta é basicamente linear. O item (a) sugere que a área de ciências humanas possui 7 fatores; no item (b), a área de ciências naturais apresenta 7 fatores; os itens (c) e (d) indicam que a área de linguagens, códigos, suas tecnologias, espanhol e inglês tem 6 fatores; e, pelo item (e) a área de matemática apresenta 8 fatores. O item (f), a junção de CH e CN, tem 44 fatores. Já a junção de MT e LC – espanhol (g) e inglês (h) – indica 33 fatores. Por fim, os itens (i) e (j) são a junção das quatros áreas: CH, CN, MT e LC – espanhol e inglês, respectivamente – e sugerem 46 fatores. 107 CADERNO DE PESQUISA 2 FIGURA 6 – SCREEPLOT DOS AUTOVALORES DAS COMPONENTES PRINCIPAIS OBTIDAS NAS VARIÁVEIS (QUESTÕES) DOS ESTUDANTES QUE COMPÕEM A AMOSTRA DO ESTUDO DO ENEM 2016, POR ÁREA DOS ITENS (A) ÁREA DE CH, SUGERE 7 FATORES. (B) ÁREA DE CN, SUGERE 7 FATORES (C) ÁREA DE LC ESPANHOL, SUGERE 6 FATORES. (D) ÁREA DE LC INGLÊS, SUGERE 6 FATORES. (E) ÁREA DE MT, SUGERE 8 FATORES. (F) ÁREAS DE CH + CN, SUGERE 44 FATORES. 108 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) FIGURA 6 – SCREEPLOT DOS AUTOVALORES DAS COMPONENTES PRINCIPAIS OBTIDAS NAS VARIÁVEIS (QUESTÕES) DOS ESTUDANTES QUE COMPÕEM A AMOSTRA DO ESTUDO DO ENEM 2016, POR ÁREA DOS ITENS (CONTINUAÇÃO) (G) ÁREAS DE MT + LC ESPANHOL, SUGERE 33 FATORES. (H) ÁREA DE MT + LC INGLÊS, SUGERE 33 FATORES. (I) ÁREAS DE CH + CN + MT + LC ESPANHOL, SUGERE 46 FATORES. (J) ÁREAS DE CH + CN + MT + LC IMGLÊS, SUGERE 46 FATORES. Considerando que tais critérios utilizados comumente superestimam o número de fatores, realizamos um estudo aprofundado deste número a partir de outros métodos de extração. A tabela 2 apresenta o número de fatores sugeridos e o percentual de variância explicada, utilizando diferentes métodos nas repostas de prova dos estudantes que compõem a amostra do estudo, por área de conhecimento, dos itens de aplicação da análise fatorial. 109 CADERNO DE PESQUISA 2 TABELA 2 – NÚMERO DE FATORES SUGERIDOS E % DE VARIÂNCIA EXPLICADA POR ÁREA DOS ITENS DE APLICAÇÃO DA ANÁLISE FATORIAL POR DIFERENTES MÉTODOS Método Máx. Likelihood Área dos itens Image Factoring Alpha Factoring Unweighted leastsquares Nº Fatores %Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada CH 1 31,22% 1 11,22% 1 21,76% 1 9,63% CN 1 33,33% 1 10,34% 1 33,12% 1 6,54% LC - espanhol 1 29,34% 1 9,91% 2 38,42% 1 5,42% LC inglês 1 38,19% 1 14,11% 2 21,42% 1 4,81% MT 1 39,01% 1 9,14% 1 22,13% 1 9,85% CH + CN 2 34,12,% 2 21,87% 1 28,54% 2 7,54% LC - inglês + MT 2 41,11% 2 16,77% 3 17,91% 2 11,07% 1 53,44% 2 21,22% 2 31,,23% 2 14,76% 3 51,83% 2 23,89% 3 36,23% 2 15,94% 3 50,01% 2 24,76% 3 33,,12% 2 15,65% LC espanhol + MT CH + CN + LC inglês + MT CH + CN + LC espanhol + MT Os diferentes métodos de extração indicaram a existência de 1 a 3 fatores. A tabela 3 apresenta, por sua vez, o número de fatores fixados em 1, bem como o percentual de variância explicado por cada um dos fatores. TABELA 3 – NÚMERO DE FATORES FIXADOS E % DE VARIÂNCIA EXPLICADA POR ÁREA DOS ITENS DE APLICAÇÃO DA ANÁLISE FATORIAL POR DIFERENTES MÉTODOS Área dos itens Método Máx. Likelihood Método Hull Análise Paralela Optimal Implementation Análise Paralela Classical Implementation Schwarz´sBayesian Information Criterion Dimensionality Test Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada CH 1 50,60% 1 31,12% 1 22,53% 1 27,53% 1 0 CN 1 50,60% 1 39,34% 1 23,12% 1 24,12% 1 0 LC - espanhol 1 48,81% 1 38,76% 1 41,12% 1 36,12% 1 0 LC inglês 1 48,81% 1 22,42% 1 15,32% 1 12,32% 1 0 MT 1 51,41% 1 34,63% 1 19,64% 1 15,64% 1 0 CH + CN 1 53,90% 1 62,87% 1 62,89% 1 54,89% 1 0 LC - inglês + MT 1 49,90% 1 76,96% 1 22,99% 1 44,99% 1 0 110 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Método Máx. Likelihood Área dos itens Método Hull Análise Paralela Optimal Implementation Análise Paralela Classical Implementation Schwarz´sBayesian Information Criterion Dimensionality Test Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada Nº Fatores Var. Explicada 1 49,90% 1 53,23% 1 25,66% 1 21,66% 1 0 1 61,90% 1 52,46% 1 43,43% 1 39,43% 1 0 1 61,90% 1 52,62% 1 42,72% 1 41,72% 1 0 LC - espanhol + MT CH + CN + LC inglês + MT CH + CN + LC espanhol + MT A tabela 4 apresenta o número 1 como único fator fixado, os autovalores e o percentual de variância explicada dos estudantes que compõem a amostra do estudo, por área de conhecimento, dos itens de aplicação da análise fatorial. Nela, verifica-se que quando se reduz o número de fatores em cada área ou combinação de área, aumentam, proporcionalmente, os valores do percentual de variância explicada. Isso indica que os itens do caderno de questões do Enem 2016 reduzem-se também em um único fator, como mostrado na junção das quatros áreas (CH + CN + LC + MT), que apresenta 41,90% de variância explicada. TABELA 4 – NÚMERO DE FATORES SUGERIDOS E FIXADOS, AUTOVALOR E % DE VARIÂNCIA EXPLICADA POR ÁREA DOS ITENS DE APLICAÇÃO DA ANÁLISE FATORIAL Área dos itens Scores obtidos Nº de Fatores Fixados Autovalor Var. Explicada Ciências humanas - CH 1 1,01 30,60% Ciências naturais - CN 1 1,01 30,60% Linguagens, códigos e suas tecnologias - LC espanhol 1 1 28,81% Linguagens, códigos e suas tecnologias - LC inglês 1 1 28,81% Matemática - MT 1 1 31,41% CH + CN 1 1 53,90% LC inglês + MT 1 1,07 58,90% LC espanhol + MT 1 1,07 58,90% CH + CN + LC inglês + MT 1 1 41,90% CH + CN + LC espanhol + MT 1 1 41,90% 111 CADERNO DE PESQUISA 2 Na tabela 5 estão apresentadas as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral da prova de ciências humanas (CH). Pode-se observar que foram identificados 18 itens que compõem um único fator das questões desta área de conhecimento no Enem 2016. TABELA 5 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES AO CADERNO DE QUESTÕES DO ENEM 2016, DA ÁREA DE CIÊNCIAS HUMANAS Itens Carga Fatorial Comunalidade (h²) CH2 0,71 0,508 CH5 0,67 0,447 CH3 0,65 0,420 CH1 0,61 0,372 CH4 0,61 0,371 CH23 0,44 0,192 CH43 0,42 0,174 CH29 0,39 0,151 CH42 0,37 0,137 CH37 0,36 0,127 CH39 0,35 0,124 CH36 0,33 0,111 CH19 0,33 0,110 CH11 0,33 0,109 CH45 0,32 0,101 CH33 0,32 0,100 CH22 0,30 0,085 CH30 0,30 0,083 Na tabela 6 apresentamos as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral da prova de ciências naturais (CN). Foram identificados 19 itens que compõem um único fator das questões da área de conhecimento desta prova do Enem 2016. 112 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) TABELA 6 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES AO CADERNO DE QUESTÕES DO ENEM 2016, DA ÁREA DE CIÊNCIAS NATURAIS Itens Carga Fatorial Comunalidade (h²) CN46 0,61 0,372 CN47 0,71 0,508 CN48 0,65 0,420 CN49 0,61 0,371 CN50 0,67 0,447 CN56 0,33 0,109 CN64 0,33 0,110 CN67 0,29 0,085 CN68 0,44 0,192 CN74 0,39 0,151 CN75 0,29 0,083 CN78 0,32 0,100 CN81 0,33 0,111 CN82 0,36 0,127 CN84 0,35 0,124 CN87 0,37 0,137 CN88 0,42 0,174 CN90 0,32 0,101 Na tabela 7 apresentamos as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral da prova de matemática (MT). Pode-se observar que foram identificados 16 itens que compõem um único fator das questões desta área de conhecimento no Enem 2016. 113 CADERNO DE PESQUISA 2 TABELA 7 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES AO CADERNO DE QUESTÕES DO ENEM 2016, DA ÁREA DE MATEMÁTICA Itens Carga Fatorial Comunalidade (h²) MT136 0,77 0,598 MT137 0,76 0,572 MT138 0,65 0,420 MT139 0,63 0,391 MT140 0,77 0,598 MT146 0,31 0,093 MT154 0,30 0,093 MT158 0,40 0,163 MT164 0,36 0,127 MT168 0,29 0,086 MT171 0,31 0,095 MT172 0,33 0,107 MT174 0,33 0,106 MT177 0,34 0,113 MT178 0,38 0,147 MT180 0,29 0,085 Na tabela 8 apresentamos as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral da prova letras e códigos - inglês. Pode-se observar que foram identificados 20 itens que compõem um único fator das questões desta área de conhecimento no Enem 2016. 114 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) TABELA 8 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES AO CADERNO DE QUESTÕES DO ENEM 2016, DA ÁREA DE LETRAS E CÓDIGOS – INGLÊS Itens Carga Fatorial Comunalidade (h²) LC102 0,31 0,096 LC103 0,33 0,110 LC104 0,41 0,167 LC105 0,34 0,116 LC107 0,36 0,132 LC108 0,50 0,251 LC109 0,32 0,102 LC114 0,46 0,208 LC115 0,38 0,145 LC118 0,36 0,128 LC121 0,43 0,184 LC122 0,46 0,216 LC124 0,40 0,162 LC126 0,35 0,123 LC127 0,46 0,210 LC128 0,52 0,268 LC130 0,37 0,138 LC131 0,38 0,142 LC133 0,28 0,081 LC134 0,30 0,091 Na tabela 9 apresentamos as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral da prova letras e códigos - espanhol. Pode-se observar que foram identificados 20 itens que compõem um único fator das questões desta área de conhecimento do Enem 2016. 115 CADERNO DE PESQUISA 2 TABELA 9 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES AO CADERNO DE QUESTÕES DO ENEM 2016, DA ÁREA DE LETRAS E CÓDIGOS – ESPANHOL Itens Carga Fatorial Comunalidade (h²) LC102 0,31 0,096 LC103 0,33 0,110 LC104 0,41 0,167 LC105 0,34 0,116 LC107 0,36 0,132 LC108 0,50 0,251 LC109 0,32 0,102 LC114 0,46 0,208 LC115 0,38 0,145 LC118 0,36 0,128 LC121 0,43 0,184 LC122 0,46 0,216 LC124 0,40 0,162 LC126 0,35 0,123 LC127 0,46 0,210 LC128 0,52 0,268 LC130 0,37 0,138 LC131 0,38 0,142 LC133 0,30 0,081 LC134 0,30 0,091 Na tabela 10 apresentamos as cargas fatoriais (> |0,30|) e comunalidades dos itens que compuseram o fator geral das provas de linguagens e matemática. Pode-se observar que foram identificados 14 itens que compõem um único fator das questões destas áreas de conhecimento de no Enem 2016. 116 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) TABELA 10 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES ÀS ÁREAS DE CONHECIMENTO DE MATEMÁTICA E LETRAS E CÓDIGOS DO ENEM 2016 Itens Carga Fatorial Comunalidade (h²) LC121 0,37 0,166 MT139 0,34 0,126 MT149 0,33 0,129 LC96 0,33 0,125 MT140 0,32 0,128 LC115 0,32 0,126 MT151 0,31 0,106 LC130 0,31 0,102 MT159 0,30 0,108 MT161 0,30 0,094 LC108 0,30 0,091 LC102 0,30 0,090 LC111 0,30 0,095 LC131 0,30 0,094 Na tabela 11 apresentamos as cargas fatoriais superiores ou iguais a |0,30| obtidas na análise fatorial dos itens das provas de ciências humanas (CH) e ciências da natureza (CN) do Enem 2016. Pode-se observar que foram identificados 14 itens que compõem um único fator das questões. TABELA 11 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES ÀS ÁREAS DE CONHECIMENTO DE CIÊNCIAS HUMANAS E CIÊNCIAS DA NATUREZA DO ENEM 2016 Itens Carga Fatorial CH32 0,45 Comunalidade (h²) 0,204 CH35 0,44 0,200 CH30 0,43 0,189 CH24 0,41 0,167 CH4 0,40 0,171 CH13 0,39 0,165 CH39 0,34 0,129 CH2 0,32 0,105 CH16 0,32 0,144 CN64 0,32 0,107 CH18 0,30 0,140 CH11 0,30 0,083 CN49 0,30 0,095 CN87 0,30 0,098 117 CADERNO DE PESQUISA 2 Na tabela 12 podemos observar que foram identificados 28 itens que compõem um único fator das questões das quatro áreas de conhecimento do Enem 2016: ciências humanas (CH), ciências da natureza (CN), matemática (MT) e letras e códigos (LC). TABELA 12 – CARGAS FATORIAIS E COMUNALIDADES DAS VARIÁVEIS PERTENCENTES ÀS QUATRO ÁREAS DE CONHECIMENTO DO ENEM 2016 118 Itens Carga Fatorial Comunalidade (h²) CH16 0,37 0,1403 CH18 0,37 0,1386 CH30 0,36 0,1277 CH7 0,36 0,1283 CH33 0,32 0,1045 CH39 0,32 0,1056 CH24 0,31 0,0986 CH32 0,30 0,0900 CH22 0,30 0,0846 CH45 0,30 0,0848 CN60 0,31 0,0974 CN87 0,30 0,0819 CN74 0,30 0,0842 MT168 0,34 0,1188 MT139 0,31 0,0975 MT159 0,31 0,0965 MT169 0,30 0,0914 MT151 0,30 0,0846 LC92 0,42 0,1769 LC93 0,41 0,1657 LC95 0,37 0,1339 LC91 0,35 0,1245 LC94 0,35 0,1202 LC96 0,33 0,1118 LC113 0,33 0,1088 LC109 0,30 0,0872 LC124 0,30 0,0918 LC131 0,30 0,0814 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) III. Obter evidências de validade convergente e discriminante da prova do Enem. Foi considerada uma amostra de conveniência de 44 discentes do curso de Psicologia da UnB. Eles responderam aos instrumentos anteriormente citados (BPR-5 e BFP) para obtenção de evidências de validade convergente e discriminante. A maioria dos sujeitos foi do sexo feminino (71,4%), com média de idade igual a 20,5 anos (DP = 1,12). Na tabela 13 são apresentados os percentuais e quantitativos referentes à questão: “quantas vezes você realizou as provas do Enem?”. Nela, pode-se observar que maior parte dos respondentes (34,1%) afirmou que fez o exame duas vezes. Em seguida, vêm os que fizeram uma e três vezes, ambos com 25%. 11,4% deles disseram que fizeram o exame quatro vezes, 2,3% fizeram a prova cinco vezes e outros 2,3%, mais de cinco vezes. TABELA 13 – QUANTIDADE E PERCENTUAIS DAS REPOSTAS DOS PARTICIPANTES DO SURVEY DA PESQUISA, APLICADO DE FORMA PRESENCIAL NO 2º SEMESTRE DE 2018, SOBRE QUANTAS VEZES FIZERAM O ENEM Nº de Vezes de Realização Qtd. % Uma 11 25,0% Duas 15 34,1% Três 11 25,0% Quatro 5 11,4% Cinco 1 2,3% Mais de Cinco 1 2,3% Total 44 100,0% Na tabela 14 são apresentados os resultados das correlações r de Pearson entre os escores do Enem e os escores dos cinco cinco subtestes da BPR-5. 119 CADERNO DE PESQUISA 2 TABELA 14 – OBTENÇÃO DE EVIDÊNCIAS DE VALIDADE CONVERGENTE DAS PROVAS DO ENEM 2016 Raciocínio Verbal Raciocínio Abstrato Raciocínio Espacial Raciocínio Numérico Raciocínio Mecânico CH -0,11 0,01 0,44 0,39 0,53* CN 0,41 0,56* 0,62** 0,47* 0,71** LC 0,30 0,35 0,24 0,27 0,14 MT 0,33 0,53* 0,70** 0,35 0,79** Nota: (CH) ciências humanas e suas tecnologias, (CN) ciências da natureza e suas tecnologias, (LC) linguagens, códigos e suas tecnologias, e (MT) matemática e suas tecnologias. * significativo, p< 0,05. ** significativo, p< 0,01. Como pode ser observado, foram encontradas correlações positivas entre os escores do Enem e os escores da BPR-5. Os escores dos alunos em ciências humanas e suas tecnologias correlacionaram-se positiva e significativamente com os escores de raciocínio mecânico (r = 0,53, p < 0,05). Os escores em ciências da natureza e suas tecnologias correlacionaram-se positiva e significativamente com os escores de raciocínio abstrato (r = 0,56, p < 0,05), raciocínio espacial (r = 0,62, p < 0,01), raciocínio numérico (r = 0,47, p < 0,05) e raciocínio mecânico (r = 0,71, p < 0,05). Os escores em matemática e suas tecnologias correlacionaram-se positiva e significativamente com os escores de raciocínio abstrato (r = 0,53, p < 0,05), raciocínio espacial (r = 0,70, p < 0,01) e raciocínio mecânico (r = 0,79, p < 0,05). Os escores da prova de linguagens, códigos e suas tecnologias não se correlacionaram significativamente com os subtestes da BPR-5. Apesar de algumas inconsistências, os resultados encontrados indicam evidências de validade convergente da prova do Enem com os escores dos subtestes da BPR-5. Na tabela 15 são apresentados os resultados das correlações r de Pearson entre os escores do Enem e os escores da BFP. TABELA 15 – OBTENÇÃO DE EVIDÊNCIAS DE VALIDADE DISCRIMINANTE DAS PROVAS DO ENEM 2016 CH CN LT MT Neuroticismo Extroversão Socialização Realização -0,10 0,10 0,03 0,07 0,24 0,16 0,13 0,13 0,02 -0,35 -0,05 -0,31 -0,27 0,15 0,03 0,03 Abertura à mudança -0,27 0,06 -0,24 -0,04 Nota: (CH) ciências humanas e suas tecnologias, (CN) ciências da natureza e suas tecnologias, (LC) linguagens, códigos e suas tecnologias, e (MT) matemática e suas tecnologias. * significativo, p< 0,05. ** significativo, p< 0,01. 120 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) Esse tipo de evidência de validade é identificado a partir do estudo da relação entre testes que avaliam construtos diferentes e que teórica e/ou empiricamente sejam considerados não relacionados (Conselho Federal de Psicologia, 2018). Aqui consideramos a relação entre personalidade e áreas avaliadas pelo Enem. A evidência de associações de baixa magnitude entre os testes serve como um indicador de que ambos não medem o mesmo construto. As correlações entre os construtos divergentes devem ser menores do que as apresentadas nos estudos de convergência (diferença maior do que 0,10). Como pode ser observado na tabela 14, não foram encontradas correlações significativas estatisticamente. Os resultados encontrados indicam evidências de validade discriminante da prova do Enem com os escores da BFP. IV. Obter evidências de validade preditiva de critério da prova do Enem. Contamos com a participação dos mesmos 44 discentes para obtenção de evidências de validade preditiva de critério. Os escores do Enem serão correlacionados com o IRA (índice de rendimento acadêmico) dos estudantes da UnB. A variável CPF foi utilizada como variável chave para linkagem das bases de dados. Para essa etapa foi considerado estudo de simulação Monte Carlo – amostragens massivas para obter resultados numéricos, ou seja, repetições de sucessivas simulações um elevado número de vezes para calcular probabilidades. Foi utilizado o padrão de respostas da aplicação presencial (44 casos). Os resultados das correlações são apresentados na tabela 16. TABELA 16 – OBTENÇÃO DE EVIDÊNCIAS DE VALIDADE PREDITIVA DAS PROVAS DO ENEM 2016 Área IRA CH 0,45* CN 0,39* LC 0,35* MT 0,40* Nota: (IRA) índice de rendimento acadêmico; (CH) ciências humanas e suas tecnologias, (CN) ciências da natureza e suas tecnologias, (LC) linguagens, códigos e suas tecnologias e (MT) matemática e suas tecnologias. * significativo, p< 0,05. ** significativo, p< 0,01. 121 CADERNO DE PESQUISA 2 Os índices de correlações encontrados podem ser considerados evidências de validade preditiva. A partir da simulação Monte Carlo, utilizando o padrão das respostas presenciais, observou-se que todos os escores das provas das quatro áreas do conhecimento correlacionaram-se positivamente com o IRA dos alunos. V. Verificar as consequências da testagem do Enem. Contamos com a participação de 143 sujeitos que responderam aos instrumentos online para verificar as consequências da testagem do Enem. Um total de 58% dos participantes era do sexo feminino. A tabela 17 apresenta os percentuais e quantitativos sobre a questão “Quantas vezes você realizou as provas do Enem?”. TABELA 17 – QUANTIDADE E PERCENTUAIS DAS RESPOSTAS DOS PARTICIPANTES DO SURVEY DA PESQUISA, APLICADO ONLINE NO 2º SEMESTRE DE 2018 SEGUNDO SUA PERCEPÇÃO DO ENEM ACERCA DA QUESTÃO 1 Nº de Vezes de Realização do ENEM Qtd. % Uma 32 22,4% Duas 25 17,5% Três 37 25,9% Quatro 16 11,2% Cinco 7 4,9% Mais de Cinco 5 3,5% Sem Informação 21 14,7% Total 143 100,0% Na tabela 17 podemos observar que a maior parte dos respondentes afirma que fez o exame três vezes com 25,9%, seguidos dos que fizeram uma vez com 22,4%. 17,5% deles assinalaram que fizeram o exame por duas vezes. Na tabela 18 são apresentados os resultados referentes à pergunta: “com que objetivo você realizou a prova do Enem?”. 122 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) TABELA 18 – RESPOSTAS DA PERGUNTA: “COM QUE OBJETIVO VOCÊ REALIZOU A PROVA DO ENEM?” Opções de resposta Qde. de respostas % de respostas Avaliação pessoal 21 37,50% Entrada no ensino superior por meio de universidades públicas 35 62,50% Entrada no ensino superior por meio de universidades particulares/privadas 6 10,71% Financiamento estudantil ou bolsa de estudos (FIES ou ProUni) 6 10,71% Outros projetos acadêmicos (Ciência sem fronteiras etc.) 1 1,79% Desenvolvimento profissional 2 3,57% Nenhuma alternativa anterior 2 3,57% Os mesmos participantes avaliaram seus desempenhos durante o ensino médio. Em relação à pergunta: “para você, o Enem consegue descrever de que forma seu desempenho escolar durante o ensino médio?”, os resultados são apresentados na tabela 19. TABELA 19 – RESPOSTAS DA PERGUNTA: “PARA VOCÊ, O ENEM CONSEGUE DESCREVER DE QUE FORMA SEU DESEMPENHO ESCOLAR DURANTE O ENSINO MÉDIO?” Opções de resposta Qde. de respostas % de respostas Péssimo 04 7,14% Ruim 09 16,07% Mais ou menos adequado 20 35,72% Bom 19 33,93% Excelente 04 7,14% A partir dos resultados obtidos por meio do software IRAMUTEQ foi possível fazer a análise das respostas da questão 12: “explique qual foi a consequência da prova do Enem para a sua vida”. O objetivo dessa análise foi obter evidências de validade consequencial da prova. A aprovação em universidades públicas e particulares se torna o motivo da maioria das respostas relacionadas às consequências positivas da realização do Enem. Assim, é possível concluir que, apesar dos malefícios ocasionados pelo Enem indicados pelos participantes, o ingresso na universidade é a consequência positiva predominante da realização dessa 123 CADERNO DE PESQUISA 2 prova. Isto fica claro tendo como pressuposto a cadeia de palavras em cujo centro está a palavra “universidade”. A amostra utilizada com estudantes de universidades e o Enem foi essencial para que ingressassem no contexto universitário. Um dos participantes declarou que “há muitas limitações no campo do conhecimento verificado e isso reflete no seu empenho, dedicação e na nota do estudante”. Diante dessa limitação no campo de conhecimento verificado o participante relatou “uma pressão grande pelo resultado, o culto pelo desempenho que gera consequências positivas e negativas”. Entre aspectos negativos, pode-se considerar outra palavra que está entre as mais utilizadas: “ansiedade”. Ademais, questões como autoestima e autoconceito foram levantadas por estudantes que realizaram a prova do Enem. Um dos participantes relata: “me trouxe insegurança quanto ao tempo de prova, tanto quanto ao que aquilo representava sobre a minha inteligência”. Um dos participantes citou que “a preparação para a forma de avaliação diferenciada da prova do Enem me proporcionou vivências e aprendizados singulares”. Entretanto, nessa mesma fala, o sujeito em questão se enxergou como exceção e classificou o ensino hegemônico como “restrito ao ensino tradicional conteudista e de certa forma incompatível com o método do exame”. A precariedade do ensino médio foi citada por outros estudantes. Um deles disse que “a prova do Enem evidencia a desigualdade de educação no país; muitas das matérias abordadas na avaliação não foram passadas durante o ensino médio público”. Mesmo com diversos aspectos negativos, é indubitável que a partir da prova do Enem, o ser humano pode se desenvolver ainda mais, adquirindo capacidades cognitivas, afetivas, emocionais, entre outras. Além disso, a própria experiência de realização de provas pode preparar o indivíduo para outras provas futuras, como as de concurso público. A conquista de bolsas através do Enem também foi considerada como consequência predominante pelos estudantes que participaram da pesquisa. Por fim, dor física causada pela realização do Enem foi citada por vários estudantes. Alguns desenvolveram fibromialgia e outros relataram dores nas costas que se intensificaram na realização da prova; durante o exame a tensão toma conta do indivíduo. Portanto, de acordo com os aspectos 124 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) supracitados, faz-se extremamente necessária a discussão com relação ao construto avaliado no Exame Nacional do Ensino Médio. Essa pesquisa servirá como referencial teórico para a desmistificação dos reais conhecimentos medidos pelo Enem para que assim seja possível uma intervenção nos moldes vigentes. VI. Propor um novo índice de validade que reúna vários tipos de evidências de validade. O referido objetivo não foi alcançado. A complexidade das análises impossibilitou a realização do objetivo. CONSIDERAÇÕES FINAIS Aqui é discutido o potencial de impacto dos resultados do presente projeto nos pontos de vista técnico-científico, de inovação e difusão do projeto em questão. Em avaliações educacionais de larga escala, nas quais decisões de grandes proporções são tomadas e políticas públicas são operacionalizadas, resultados inválidos e imprecisos podem ser muito onerosos e sugerir caminhos desastrosos, seja para uma rede educacional específica, seja para o país como um todo (ANDRADE; LAROS; GOUVEIA, 2010). A principal contribuição do presente projeto de pesquisa é investigar de forma aprofundada as evidências de validade do Enem. Isto é de extrema relevância, uma vez que este exame tem importância fundamental na sociedade como porta de entrada em instituições de ensino superior. A pesquisa sobre as evidências de validade consequencial é algo inovador e pouco discutido na literatura. Outra contribuição relevante é a proposição e a discussão de um índice único de evidência de validade. Espera-se que esta pesquisa, a longo prazo, subsidie a promoção de avaliações educacionais mais confiáveis e válidas. Com exceção dos objetivos específicos 1 e 6, as demais metas foram alcançadas. A complexidade da pesquisa dificultou o cumprimento de todos os objetivos, mas isso não diminui a qualidade do trabalho, já que informações valiosas foram encontradas. O estudo terá continuidade, pois é um tema de interesse do grupo de pesquisa. 125 CADERNO DE PESQUISA 2 REFERÊNCIAS (PRINCIPAIS REFERÊNCIAS) AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCILON MEASUREMENT IN EDUCATION. Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association, 2014. ANDRADE, J. M. de; LAROS, J. A.; GOUVEIA, V. V. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. In: Avaliação Psicológica, n. 9. v. 3, 2010. p. 421-435. BAUER, A.; ALAVARSE, O.; OLIVEIRA, R. Avaliações em larga escala: uma sistematização do debate. In: Educação e Pesquisa, n. 41, 2015. p. 1367-1384. Disponível em: <http://dx.doi.org/10.1590/S1517-9702201508144607>. Acesso em: 12 jun. 2018. BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Ministério da Educação e Cultura. Relatório pedagógico ENEM 20112012. Brasília: Editoria Inep/MEC. 2015. CALDERÓN, A. I.; RAQUEL, B. M. G.; CABRAL, E. S. O Prêmio Escola nota 10: meritocracia e cooperação para a melhoria do desempenho escolar. In: Ensaio: Avaliação e Políticas Públicas em Educação, n. 23, v. 87, 2015. p. 517-540. Disponível em: <https://dx.doi.org/10.1590/S0104-40362015000100021> Acesso em: 18 jun. 2017. CEULEMANS, E.; KIERS, H. A. L. Selecting among three-mode principal component models of differentty pes and complexities: A numerical convex hull based method. In: British Journal of Mathematical and Statistical Psychology, n. 59, v. 1, 2006. p. 133–150. CHIRINÉA, A. M.; BRANDÃO, C. F. O IDEB como política de regulação do Estado e legitimação da qualidade: em busca de significados. In: Ensaio: Avaliação e Políticas Públicas em Educação, n. 23, v. 87, 2015. p. 461-484. Disponível em: <https://dx.doi.org/10.1590/S0104-40362015000100019> Acesso em: 9 set. 2016. 126 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) CRAWFORD, A. V.; GREEN, S. B.; LEVY, R. et al. Evaluation of parallel analysis methods for determining the number of factors. In: Educational and Psychological Measurement, n. 70, v. 6, 2010. p. 885-901. COSTA, C.E.S. (2015). Análise da dimensionalidade e modelagem multidimensional pela TRI no ENEM (1998-2008). Dissertação (mestrado profissional em Métodos e Gestão em Avaliação). Centro Tecnológico, Universidade Federal de Santa Catarina, 2015. DAMÁSIO, B.F. Uso da análise fatorial exploratória em psicologia. In: Avaliação Psicológica, n. 11, v. 2, 2012. p. 213-228. FÀVERO, L. P.; BELFIORE, P. Análise de dados: técnicas multivariadas exploratórias com SPSS® e Stata®. Rio de Janeiro: Campus Elsevier, 2015. GLORFELD, L. W. An improvement on Horn’s parallel analysis methodology for selecting the correct number of factors to retain. In: Educational and Psychological Measurement, n. 55, v. 3, 1995. p. 377-393. GOMES, C. M. A.; BORGES, O. O Enem é uma avaliação educacional construtivista? Um estudo de validade de construto. In: Estudos em Avaliação Educacional, n. 20, v. 42, 2009. p. 73-88. Disponível em: <http://dx.doi. org/10.18222/eae204220092060>. Data do acesso: 15 out. 2017. HORN, J. L. A rationale and technique for estimating the number of factors in factor analysis. In: Psychometrika, n. 30, v. 1, 1965. p. 179-185. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - Resultados do Enem 2016 estão liberados para consulta. Disponível em: <http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/resultados-do-enem-2016-estao-liberados-para-consulta/21206>. 2017. Data do acesso: 18 set. 2017. LORENZO-SEVA, U.; TIMMERMAN, M. E.; KIERS, H. A. The hull method for selecting the number of common factors. In: Multivariate Behavioral Research, n. 46, v. 2, 2011. p. 340-364. MINGOTI, S. A. Análise de dados através de métodos de estatística multivariada: uma abordagem aplicada. Belo Horizonte: Editora UFMG, 2005. 127 CADERNO DE PESQUISA 2 NEWTON, P. E. Macro and micro validation: beyond the ‘five sources’ framework for classifying validation evidence and analysis. In: Practical Assessment, Research&Evaluation, n. 21, v. 12. 2016. Disponível em: <http://pareonline.net/getvn.asp?v=21&n=12>. Data do acesso: 18 set. 2017. PASQUALI, L. Validade dos testes psicológicos: será possível reencontrar o caminho? In: Psicologia: Teoria e Pesquisa, n.23, 2007. p. 99-107. . Instrumentação psicológica: Fundamentos e práticas. Porto Alegre: Artmed. 2010. . Psicometria. Teoria dos testes na psicologia e na educação. 5 ed. Petrópolis: Vozes, 2013. PATTO, M. H. S. A produção do fracasso escolar: histórias de submissão e rebeldia. 2 ed. São Paulo: Casa do Psicólogo, 2000. PEREIRA, M. E. Identidade, avaliação e desempenho escolar. In: LORDÊLO, J.; DAZZANI, M. V. Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, 2009, p. 201-224. Disponível em: <http://books.scielo.org>. Acesso em 18 jun. 2017. PERES-DOS-SANTOS, L. F. B.; LAROS, J. A. Avaliação da prática pedagógica do professor de ensino superior. In: Estudos em Avaliação Educacional, n. 18, v. 36, 2007. p. 75-95. PESTANA, M. I. O sistema de avaliação brasileiro. In: Revista Brasileira de Estudos Pedagógicos, n. 79, v. 191, 1998. p. 65-73. RAUTER, R. Estrutura fatorial das questões do SAEB 2001 relacionadas a características da escola. Dissertação de mestrado não-publicada. Programa de Pós-Graduação em Psicologia Social e do Trabalho. Universidade de Brasília, 2003. RAUTER, R., LAROS, J. A.; JESUS, G. R. Questionários contextuais do SAEB: análise qualitativa baseada nos resultados da análise fatorial. In: Revista eletrônica ibero-americana sobre qualidade, eficácia e mudança em educação, n. 5, v. 2, 2007. p. 56-68. 2007. 128 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) RIBEIRO, J. L. L de S. A avaliação como uma política pública: aspectos da implementação do SINAES. In: LORDÊLO, J.; DAZZANI, M. V. Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, 2009, p. 57-84. Disponível em: <http://books.scielo.org>. Acesso em 18 jun. 2017. RODRIGUES, M. M. M. Instrumentos de avaliação educacional: uma visão pedagógica e psicométrica integradas, estudo das provas do SAEB de Matemática 8a série – 1997 e 1999. Dissertação de mestrado não-publicada. Programa de Pós-Graduação em Psicologia Social e do Trabalho. Universidade de Brasília, Brasília, 2002. SILVA, I. F. O sistema nacional de avaliação: características, dispositivos legais e resultados. In: Estudos em Avaliação Educacional, n. 21, v. 47, 2010. p. 427-448. SOARES, J. F.; ALVES, M. T. G. Desigualdades raciais no sistema brasileiro de educação básica. In: Educação e Pesquisa, n. 29, v. 1, 2003. p. 147-165. SOARES, J. F., César, C. C.; MAMBRINI, J. Determinantes de desempenho dos alunos do ensino básico brasileiro: evidências do SAEB de 1997. In: FRANCO, C. Avaliação, ciclos e promoção na educação. Porto Alegre: Artmed, 2001, p. 121-153. SOARES, J. F. Melhoria do desempenho cognitivo dos alunos do ensino fundamental. In: Cadernos de Pesquisa, n. 37, v. 130, 2007. p. 130-160. . O efeito da escola no desempenho cognitivo de seus alunos. In: SOUZA, Alberto M. (Ed.). Dimensões da avaliação educacional. Petrópolis: Vozes, 2005, p. 174-204. . Qualidade e equidade na educação brasileira: A evidência do SAEB2001. Arquivos Analíticos de Políticas Educativas, n. 12, v. 38, 2004. p. 1-28. SOUZA, L. G. de F. Avaliação de políticas educacionais: contexto e conceitos em busca da avaliação pública. In: LORDÊLO, J.; DAZZANI, M. V. Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, 2009, p. 17-29. Disponível em: <http://books.scielo.org>. Acesso em 18 jun. 2017. TENÓRIO, R. M.; ANDRADE, M. A. B. A avaliação da educação superior no Brasil: desafios e perspectivas. In: LORDÊLO, J.; DAZZANI, M. V. Avaliação 129 CADERNO DE PESQUISA 2 educacional: desatando e reatando nós. Salvador: EDUFBA, 2009, p. 31-55. Disponível em: <http://books.scielo.org>. Acesso em 18 jun. 2017. URBINA, S. Fundamentos da testagem psicológica. Porto Alegre: Artmed, 2007. VERHINE, R. E.; DANTAS, L. M. V. A avaliação do desempenho de alunos de educação superior: uma análise a partir da experiência do ENADE. In: LORDÊLO, J.; DAZZANI, M. V. Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, 2009, p. 173-199. Disponível em: <http://books.scielo. org>. Acesso em 18 jun. 2017. VIEIRA, N.N. As Provas das Quatro Áreas do Enem Vistas como Prova Única na Ótica de Modelos da Teoria da Resposta ao Item Uni e Multidimensional. Dissertação. Programa de Pós-Graduação em Métodos e Gestão em Avaliação, Centro Tecnológico, Universidade Federal de Santa Catarina Florianópolis, 2016. VIEIRA, P. R. C.; RIBAS, J. R. Análise Multivariada com uso do SPSS. Rio de Janeiro: Ciência Moderna, 2011. VINHA, L. G. do A. Estudos longitudinais e tratamento de dados ausentes em avaliações educacionais. Tese de doutorado não-publicada. Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, Universidade de Brasília, 2016. 130 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) ANEXO A UNIVERSIDADE DE BRASÍLIA INSTITUTO DE PSICOLOGIA DEPARTAMENTO DE PSICOLOGIA SOCIAL E DO TRABALHO – PST TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO Prezado(a) participante, Você está sendo convidado(a) para participar do projeto de pesquisa intitulado de “Evidências de Validade de Construto do Exame Nacional do Ensino Médio (ENEM)” de responsabilidade do pesquisador Josemberg Moura de Andrade (SIAPE 1668625; CRP: 13/5949), professor do Departamento de Psicologia Social e do Trabalho da Universidade de Brasília. O objetivo da referida pesquisa é obter evidências de validade de construto do Exame Nacional do Ensino Médio (Enem). Se aceitar participar, você responderá: (i) testes de raciocínio, (ii) inventário de personalidade, (iii) questões sobre sua experiência com o Enem e, por fim, (iv) dados sociodemográficos. Os escores destes testes serão correlacionados com seus escores obtidos no Enem e com o seu IRA (Índice de Rendimento Acadêmico). Assim, você também autoriza que o pesquisador tenha acesso aos seus escores do Enem junto ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Ministério da Educação (INEP/MEC), bem como ao seu IRA na UnB. Ressaltamos que todas as informações obtidas serão tratadas de forma sigilosa e os nomes dos participantes não serão divulgados em nenhum momento, sob hipótese alguma. A participação é voluntária, o que significa que você poderá desistir a qualquer momento, sem que isso lhe traga nenhum prejuízo ou penalidade. Nesta direção, antes de prosseguir, de acordo com o disposto na Resolução nº 510/16 do Conselho Nacional de Saúde, é necessário que você aceite participar deste estudo. Informações adicionais poderão ser obtidas a qualquer momento com o pesquisador responsável pela pesquisa, Dr. Josemberg Moura de Andrade, no endereço: Campus Universitário Darcy Ribeiro, ICC, sala A1 070/4, Brasília, DF; ou telefones: (61) 3107-6828, (61) 99116 0751; ou pelo e-mail Josemberg.andrade@gmail. com. Dúvidas a respeito dos procedimentos éticos dessa pesquisa poderão ser encaminhadas ao CEP do Instituto de Ciências Humanas da UnB, localizado no Campus Universitário Darcy Ribeiro, ICC, sala B1 683. Eu, , compreendi os objetivos da pesquisa “Evidências de Validade de Construto do Exame Nacional do Ensino Médio (ENEM)” e como ela será realizada. Concordo em participar voluntariamente desta pesquisa. Prof. Dr. Josemberg Moura de Andrade E-mail: josemberg.andrade@gmail.com Brasília, de de 2018. Assinatura do(a) participante 131 CADERNO DE PESQUISA 2 ANEXO B UNIVERSIDADE DE BRASÍLIA INSTITUTO DE PSICOLOGIA DEPARTAMENTO DE PSICOLOGIA SOCIAL E DO TRABALHO – PST TERMO DE AUTORIZAÇÃO Eu, , CPF , R.G.: , data de nascimento: / / , Matrícula da UnB: , compreendi os objetivos da pesquisa “Evidências de Validade de Construto do Exame Nacional do Ensino Médio (ENEM)” e como ela será realizada. Dessa forma, eu autorizo que o pesquisador Dr. Josemberg Moura de Andrade, obtenha meus escores do ENEM, junto ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Ministério da Educação (INEP/MEC). Também autorizo que o pesquisador tenha acesso ao meu IRA (Índice de Rendimento Acadêmico), junto à Reitoria da Universidade de Brasília. Foi-me informado que todas as informações obtidas serão tratadas de forma sigilosa e para fins acadêmicos. Os nomes dos participantes não serão divulgados em nenhum momento, sob hipótese alguma. Brasília, de de 2018. Assinatura do(a) participante Prof. Dr. Josemberg Moura de Andrade E-mail: josemberg.andrade@gmail.com 132 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) ANEXO C Questionário sociodemográfico. Por fim, com a finalidade de obter uma descrição sociodemográfica dos participantes da pesquisa, solicitamos que responda as perguntas a seguir. 1 – Sexo: ( ) Masculino ( ) Feminino 2 – Idade: 3 – Curso: 4 – Estado civil ( ) Solteiro(a) ( ) Divorciado(a) Período: ( ( ) Casado(a) ) Viúvo(a) 5 – Escolaridade: ( ) Médio Incompleto ( ) Superior Incompleto ( ) Pós-graduação Incompleto ( ( ( ( ) Mora com companheiro(a) ) Médio Completo ) Superior Completo ) Pós-graduação Completo 6 – Situação no mercado de trabalho ( ) Assalariado do setor público ( ) Assalariado do setor privado ( ) Aposentado(a)/pensionista ( ) Autônomo(a) ( ) Mercado informal, bicos ( ) Não trabalha /desempregado 7 – Indique a renda da sua família (incluindo a sua) ( ) Até um salário mínimo (Até R$ 954,00) ( ) Entre 1 e 3 salários mínimos (Entre R$ 954,01 e R$ 2.862,00) ( ) Entre 3 e 5 salários mínimos (Entre R$ 2.862,01 e R$ 4.770,00) ( ) Entre 5 e 10 salários mínimos (Entre R$ 4.770,01 e R$ 9.540,00) ( ) Entre 10 e 20 salários mínimos (Entre R$ 9.540,01 e R$ 19.080,00) ( ) Mais de 20 salários mínimos (Mais de R$ 19.080,01) 8 – Atualmente, você reside em qual cidade? 9 – Atualmente, você reside em qual Estado? Muito obrigado pela sua colaboração! 133 CADERNO DE PESQUISA 2 ANEXO D UNIVERSIDADE DE BRASÍLIA INSTITUTO DE PSICOLOGIA DEPARTAMENTO DE PSICOLOGIA SOCIAL E DO TRABALHO – PST Por favor, informe seu CPF: PERGUNTAS SOBRE SUA EXPERIÊNCIA COM O EXAME NACIONAL DO ENSINO MÉDIO. 1. Quantas vezes você realizou as provas do ENEM? 2. Qual foi o último ano em que você realizou o ENEM? 20 vez(es). . 3. Para que fins você utilizou a nota do ENEM? ( ) Avaliação pessoal. ( ) Entrada no ensino superior por meio de universidades públicas. ( ) Entrada no ensino superior por meio de universidades particulares/privadas. ( ) Financiamento estudantil ou bolsa de estudos (FIES ou ProUni). ( ) Outros projetos acadêmicos (Ciência sem fronteiras etc). ( ) Desenvolvimento profissional. ( ) Nenhuma alternativa anterior. 4. Você participou de algum curso preparatório para o ENEM? ( ) Sim ( ) Não 5. Em relação às matérias do Ensino Médio, você estudou mais para: ( ) Matérias específicas do ENEM. ( ) As disciplinas em geral do Ensino Médio. ( ) Não utilizei nenhuma metodologia específica de estudo. 6. Para você, o ENEM consegue descrever de que forma seu desempenho escolar durante o Ensino Médio? Marque apenas uma resposta. ( ) Péssimo. ( ) Ruim. ( ) Mais ou menos adequado. ( ) Bom. ( ) Excelente. 134 EVIDÊNCIAS DE VALIDADE DE CONSTRUTO DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) 7. De que forma você acredita que o ENEM conseguiu avaliar seu conhecimento sobre as matérias do Ensino Médio? Marque apenas uma resposta. ( ) Péssimo. ( ) Ruim. ( ) Mais ou menos adequado. ( ) Bom. ( ) Excelente. 8. Em qual grau você acredita que a prova do ENEM consegue abranger o conhecimento proposto para o Ensino Médio? Marque apenas uma resposta. ( ) Abrange pouco do conhecimento do Ensino Médio. ( ) Abrange razoavelmente o conhecimento do Ensino Médio. ( ) Abrange quase todo o conhecimento do Ensino Médio. ( ) Abrange todo o conhecimento do Ensino Médio. 9. Você considera que o ENEM trouxe alguma consequência para a sua vida? ( ) Sim ( ) Não 10. Se sua resposta foi “sim”, a consequência foi positiva? ( ) Sim ( ) Não 11. Se sua resposta foi “sim”, a consequência foi negativa? ( ) Sim ( ) Não 12. Se sua resposta foi “sim” para alguma das perguntas de nº 9, 10 e/ou 11, explique qual foi a consequência da prova do ENEM para a sua vida. 135 CAPÍTULO 3 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS Luís Gustavo do Amaral Vinha Helen Cristina de Acypreste Rocha João Pedro de Oliveira Moraes 137 SUMÁRIO – CAPÍTULO 3 INTRODUÇÃO 140 1. OBJETIVOS E METAS 143 2. DESENVOLVIMENTO 144 2.1 Dados 2.2 Análise de dados 3. RESULTADOS 146 3.1 Estudo 1 3.2 Estudo 2 3.2.1 Diretores 3.2.2 Professores 3.2.3 Resposta única 3.2.4 Etapas do Ensino Fundamental 3.2.5 Estudo 3 3.2.6 Estudo 4 4. OBJETIVOS ALCANÇADOS 173 CONSIDERAÇÕES FINAIS 174 REFERÊNCIAS 177 APÊNDICE A 179 1. Teoria da Resposta ao Item 2. Modelos de Equações Estruturais 3. Representação gráfica do Modelo de Equações Estruturais 4. Qualidade do ajuste do modelo 5. Modelos de Regressão Multinível APÊNDICE B 185 APÊNDICE C 192 CADERNO DE PESQUISA 2 INTRODUÇÃO A ocorrência de violência nas escolas, segundo Abramovay (2003), não é um fenômeno recente no mundo ocidental. De acordo com o relatório de monitoramento global da educação da Unesco, cerca de 246 milhões de meninos e meninas sofreram violência escolar em 2014. No Brasil, os episódios de agressão, bullying, uso e tráfico de drogas, porte de armas brancas e de fogo, formação de gangues, além de atos contra o patrimônio têm sido cada vez mais frequentes nas escolas, o que desperta o interesse de diversas instâncias governamentais, organismos internacionais e sociedade civil. A violência tem forte influência no cotidiano escolar e atinge todos os atores envolvidos. A sensação de insegurança aumenta a insatisfação dos professores e funcionários, o que resulta na dificuldade de reter bons profissionais (SEVERNINI; FIRPO, 2009), além de gerar um ambiente incompatível com a aprendizagem. Existem evidências claras do impacto negativo da violência no desempenho escolar, na saúde física e mental dos estudantes vitimados, além de impactos negativos a longo prazo (UNESCO, 2017). Tendo em vista a importância desse fenômeno e suas consequências, é fundamental a mensuração adequada do nível de violência nas escolas brasileiras. Nesse contexto, o presente estudo tem como foco a avaliação da escala de percepção de violência e conflitos nas escolas usada no SAEB (Sistema de Avaliação da Educação Básica). Essa escala é composta por 10 itens que abordam episódios de agressão, ameaças, roubos e furtos, consumo de álcool e drogas e porte de armas. Diretores e professores das escolas envolvidas na avaliação do SAEB respondem a esses itens nos respectivos questionários contextuais. A escala em questão propõe mensurar a violência a partir da ocorrência de fatos que afetam a segurança na escola – como enunciado no cabeçalho do bloco de questões – assim, o nível de violência é tratado como um traço latente da escola. Logo, a qualidade da escala está relacionada a suas propriedades psicométricas. 140 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS Este estudo visa a avaliar a fidedignidade e a validade dessa escala. Uma escala é considerada fidedigna se fornece, consistentemente, os mesmos escores para uma mesma escola; já a validade corresponde à capacidade de mensurar o que se propõe (HOGAN, 2006). Itens relacionados com a violência nas escolas fazem parte dos questionários contextuais do SAEB desde da edição de 2003. No entanto, poucos estudos tiveram como foco avaliar as propriedades dessa escala. No trabalho de Karino, Vinha e Laros (2014), as escalas presentes nos questionários de diretores e professores da edição de 2009 foram avaliadas por meio da análise fatorial. Verificou-se que os itens sobre violência estão agrupados em único fator, que apresenta fidedignidade adequada no ajuste dos dados de professores e diretores. Machado e Barbetta (2016), por meio da teoria da resposta ao item, verificaram que a escala de violência na escola da edição de 2011 do SAEB, apresentou boa discriminação, mas enfatizaram que a informação é mais precisa e informativa para distinção de escolas com elevados índices de criminalidade e violência. No estudo da relação entre a violência nas escolas, o desempenho e a trajetória escolar, os pesquisadores têm verificado os efeitos negativos da violência. Em geral, esses estudos mostram que as escolas com maiores níveis de violência tendem a ter estudantes com menor desempenho acadêmico e mais problemas com fluxo (reprovação, abandono e evasão). Vale ressaltar, no entanto, que os efeitos estimados são pequenos quando consideradas outras características dos estudantes e das escolas. Os resultados de alguns estudos são apresentados a seguir. No estudo de Oliveira e Ferreira (2013), os autores buscaram avaliar a relação entre a violência ocorrida dentro ou nos arredores da escola com o desempenho escolar. Utilizando os dados da edição de 2011 do SAEB, eles verificaram a relação negativa entre a ocorrência de furtos, consumo e tráfico de drogas e o desempenho escolar de alunos do 5o e 9o ano do ensino fundamental. Em relação ao 3o ano do ensino médio, o consumo e o tráfico de drogas mostraram maior associação com o desempenho acadêmico. Vale destacar que nesse estudo não foi utilizada uma medida única de violência – os itens relacionados foram incorporados separadamente ao modelo. 141 CADERNO DE PESQUISA 2 Utilizando os dados do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp), edição de 2007, Teixeira e Kassouf (2015) apontam que a violência escolar exerce um impacto negativo na concentração, na frequência, na motivação e no aprendizado dos alunos do 3o ano do ensino médio. Nesse estudo foi utilizado o modelo logístico multinível, tendo como variável resposta o desempenho satisfatório dos estudantes em Matemática e apenas um item relativo à violência: diretores responderam se enfrentavam dificuldade no trabalho cotidiano devido a um ambiente de insegurança na escola – roubos, vandalismo, agressões etc. Severnini e Firpo (2009) mostraram que os alunos advindos de escolas mais violentas apresentam, em média, um desempenho menor nas disciplinas de Matemática e Língua Portuguesa. Além disso, observaram a relação entre violência e taxa de rotatividade dos professores: quanto maior a ocorrência de atos violentos, maior a chance de mudança no quadro de professores. O estudo de Candian (2009) avaliou o impacto da violência sobre o desempenho escolar a partir das respostas dadas pelos professores, utilizando a edição de 2003 do SAEB. Nesse estudo foram identificados, por meio da análise fatorial, dois fatores relacionados a violência: físico e verbal. A autora destacou o efeito negativo da violência no desempenho escolar, em especial a violência verbal, e que esses efeitos são mais expressivos nas escolas particulares. Além disso, a autora analisou a relação entre o tipo de violência sofrido e características dos professores. Por outro lado, ao utilizar indicadores de violência fora das escolas, Gama (2009) observou resultados contrários aos obtidos nos demais estudos nacionais citados acima. Verificou um desempenho acadêmico significativamente superior nos alunos de escolas localizadas em áreas mais violentas, principalmente onde há crimes contra o patrimônio e roubo. As razões que o autor elencou para a obtenção desse resultado inesperado foram possíveis erros advindos das estatísticas oficiais de transparência, dados errôneos no que tange à ocorrência de crimes ou a existência de uma variável desconhecida que esteja afetando o modelo. 142 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS Gama e Scorzafave (2013) também mostraram resultados diferentes dos esperados por outros autores. Nesse estudo, concluiu-se que a violência tem relação fraca com o desempenho escolar dos alunos do 5º e 9º ano do ensino fundamental, respectivamente. Os autores argumentaram que esse resultado poderia ser consequência da evasão escolar; de uma grande influência sofrida pela violência interna, e não pelos arredores da escola; ou alguma outra razão ainda não identificada. É importante considerar que a medida de violência nas escolas do SAEB baseia-se nas respostas dadas por diretores e professores e podem não corresponder à realidade da escola por diversas razões. Oliveira e Ferreira (2013) destacam possíveis problemas de notificação da ocorrência de episódios de violência por parte dos diretores, uma vez que os resultados podem ser usados de forma estratégica. Os autores consideraram situações onde a violência poderia ser superestimada com o objetivo de explicar o mau desempenho dos estudantes ou para se conseguir mais recursos para a escola; por outro lado, as repostas poderiam ser dadas de forma a subestimar a violência e assim mostrar maior competência do diretor no comando da escola. Além disso, os autores mostraram que os registros de episódios relacionados à violência fora das escolas são mais frequentes do que dentro das escolas, principalmente no que se refere ao uso de drogas, e concluíram que os diretores registram menos episódios de violência do que realmente acontece. 1. OBJETIVOS E METAS O projeto tem como objetivo avaliar as escalas utilizadas nas avaliações do SAEB na edição de 2015, presentes nos questionários contextuais respondidos por professores e diretores, relacionadas à violência e aos conflitos nas escolas. A partir desse objetivo geral foram definidas as metas a serem alcançadas: • Avaliação inicial dos itens que compõem as escalas, tendo como foco os padrões de respostas e dados ausentes. Essa avaliação consiste na análise das distribuições das respostas e do percentual de não resposta de cada item das escalas em questão e na identificação das variáveis presentes nos levantamentos que estão relacionadas à ausência de dados. Além disso, nessa etapa será proposta a abordagem a ser utilizada para o tratamento de dados ausentes; 143 CADERNO DE PESQUISA 2 • Verificação da qualidade das escalas em termos de validade de constructo e consistência interna. Nessa etapa serão utilizadas técnicas estatísticas para avaliar a dimensionalidade, as propriedades dos itens, além de estimar a fidedignidade das escalas; • Estudo de validade das escalas, tomando como critério medidas de desempenho escolar. Essa etapa consiste na análise da associação entre as medidas de violência e conflitos nas escolas, definidas nos passos anteriores, com variáveis relacionadas à vida escolar dos estudantes, como o desempenho acadêmico, número de reprovações, distorção idade-série, abandono e evasão escolar; • Verificação da invariância das escalas por meio da comparação de parâmetros em contextos distintos, que será realizada a partir do uso das escalas em três conjuntos de regiões brasileiras escolhidas de acordo com índices de violência. 2. DESENVOLVIMENTO 2.1 DADOS As principais fontes de dados deste projeto são disponibilizadas no site do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira). Foram utilizadas as informações da edição de 2015 do SAEB e do censo escolar do mesmo ano1. As variáveis estão relacionadas aos estudantes (como a proficiência em Língua Portuguesa e Matemática), às características sociodemográficas e às escolas (como infraestrutura, número de alunos e etapas de ensino). A escala do SAEB de violência e conflitos nas escolas, foco do presente estudo, é composta por 10 itens que abordam episódios de agressões, ameaças, roubos e furtos, consumo de álcool e drogas e porte de armas. Os itens são apresentados na tabela 1. 1 http://portal.inep.gov.br/microdados. Acessado em: 08 de Junho de 2019. 144 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS TABELA 1 – ITENS DA ESCALA DE VIOLÊNCIA E CONFLITOS Item* Descrição Q90 Agressão verbal ou física de alunos a professores/funcionários da escola. Q91 Agressão verbal ou física de alunos a outros alunos da escola. Q92 Você foi vítima de atentado à vida. Q93 Você foi ameaçado por algum aluno. Q94 Você foi vítima de furto. Q95 Você foi vítima de roubo. Q96 Alunos frequentaram a escola sob efeito de bebida alcoólica. Q97 Alunos frequentaram a escola sob efeito de drogas ilícitas. Q98 Alunos frequentaram a escola portando arma branca. Q99 Alunos frequentaram a escola portando arma de fogo. * Numeração no questionário do diretor. Essa escala é avaliada a partir da visão dos diretores e dos professores. A unidade de medida nesse caso é a escola, logo, a visão do diretor foi obtida a partir do questionário por ele respondido – um diretor por escola. Professores de uma mesma escola responderam ao questionário contextual, então no caso deles, considerou-se que um episódio de violência aconteceu naquela escola se pelo menos um professor reportou a ocorrência. Dessa forma tem-se também uma única resposta dos professores para cada escola. Por fim, considerando as respostas de professores e diretores, foi obtida uma medida única para escola: um episódio de violência ocorreu na escola se pelo menos um desses profissionais registrou a ocorrência. Além das informações disponibilizadas pelo Inep, buscou-se dados relacionados à violência fora das escolas. Foram utilizadas as seguintes informações: taxa de mortalidade nos municípios brasileiros com mais de 10.000 habitantes, fornecida pelo o Mapa da Violência (Fasco – Faculdade Latino-Americana de Ciências Sociais)2, indicadores de violência e criminalidade (furto, roubo, lesão corporal, homicídio) nas cidades de São Paulo (Secretaria de Segurança Pública do Estado), Rio de Janeiro (Instituto de Segurança Pública) e no Distrito Federal (Secretaria de Estado da Segurança Pública e da Paz Social). 2 http://www.mapadaviolencia.org.br. Acessado em: 08 de Junho de 2019. 145 CADERNO DE PESQUISA 2 2.2 ANÁLISE DE DADOS Diversas técnicas estatísticas foram utilizadas para alcançar as metas propostas no projeto. No estudo da fidedignidade da escala de violência e conflitos e da qualidade dos itens foram calculados o coeficiente de alfa de Cronbach (URBINA, 2007). Análise fatorial exploratória e confirmatória (HAIR et al., 2010) e modelos de teoria da resposta ao item (TRI) (ANDRADE, TAVARES e VALLE, 2000) foram empregados na análise da validade de constructo. Para avaliar a relação entre a escala de violência e variáveis relacionadas ao desempenho e fluxo escolar foram usados modelos de equações estruturais (KLINE, 2011) e modelos de regressão multinível (HOX, 2010; RAUDENBUSH e BRYK, 2002). O Apêndice A apresenta uma breve descrição das principais técnicas utilizadas. O pacote estatístico R foi aplicado na preparação das bases de dados e em todas as análises propostas. Os códigos utilizados no projeto estão disponíveis no Apêndice C. 3. RESULTADOS Esta seção está dividida em quatro estudos. O primeiro visa a analisar a distribuição das respostas dadas por professores e diretores aos itens sobre violência e conflitos nas escolas. As características psicométricas da escala e dos itens que a compõem são avaliadas no segundo estudo. No terceiro e no quarto estudo, a relação entre nível de violência na escola e desempenho e fluxo escolar é estudada por meio de modelos de equações estruturais e modelos multinível, respectivamente. Uma etapa inicial do projeto propunha uma análise da distribuição das respostas e ausência de dados. Vale destacar que o percentual de valores ausentes nos dados dos questionários contextuais respondidos por diretores e professores é baixo. Verificou-se que as questões relacionadas à violência nas escolas foram respondidas por mais de 99% dos diretores, logo o percentual de ausentes é menor que 1%. Quanto aos professores pôde-se observar maior percentual de ausentes, mas este está abaixo de 2%. Logo, dado que o percentual de ausentes é reduzido, as observações com valores ausentes serão eliminadas das análises. 146 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS 3.1 ESTUDO 1 Nesse estudo foram analisadas as distribuições das respostas dadas aos itens relacionados à violência por diretores e professores. Foram avaliados os resultados considerando todo o país, macrorregiões e estados, e ainda considerando a relação com dados relativos a homicídios nas cidades e outros indicadores de violência. Pela figura 1, considerando as repostas de diretores de todas as escolas do Brasil (N=55.693), pode-se verificar a ocorrência maior de episódios de agressão verbal ou física de aluno a outro aluno (74,5%) e de aluno a professor ou funcionário da escola (53,6%) e as mais raras ocorrências relacionadas a atentados a vida (2,8%) e roubo com uso de violência (2,1%). FIGURA 1 – PERCENTUAL DE RESPOSTAS AFIRMATIVAS DOS DIRETORES PARA A OCORRÊNCIA DE EPISÓDIOS DE VIOLÊNCIA E CONFLITOS (BRASIL) Considerando as macrorregiões do país (tabela 2), verificam-se algumas variações. Por exemplo, episódios de agressões de alunos a professores e funcionários são observados em 60,4% das escolas do Centro-Oeste e em 42,5% das escolas do Norte do país. Outro item que apresenta variação considerável entre as macrorregiões é o porte de armas brancas: novamente o Centro-Oeste apresenta o maior percentual (23,3%), mais de 10% a mais que na região Sudeste. 147 CADERNO DE PESQUISA 2 TABELA 2 – PERCENTUAL DE OCORRÊNCIA DE EPISÓDIOS DE VIOLÊNCIA, POR MACRORREGIÃO (DIRETOR) Item Centro-Oeste Nordeste Norte Sudeste Sul Q90-Agressão Aluno-Professor 60,4 49,1 42,5 57,9 58,3 Q91-Agressão Aluno-Aluno 78,3 72,9 69,6 75,1 77,9 Q92-Atentado à vida 2,8 3,4 3,4 2,5 2,2 Q93-Ameaça 10,9 11,1 8,3 10,5 10,3 Q94-Furto 10,6 7,9 10,2 7,9 7,8 Q95-Roubo 2,3 2,4 2,8 1,6 1,7 Q96-Álcool 15,4 12,4 12,6 10,8 11,8 Q97-Drogas ilícitas 26,1 18,9 18,9 23,4 24,4 Q98-Arma Branca 23,3 14,8 21,1 13,2 17,2 Q99-Arma de fogo 3,8 3,7 3,2 2,7 2,7 Além da distribuição das respostas para todo o país e macrorregiões, foram estudadas as distribuições para os diferentes estados brasileiros. É possível identificar algumas diferenças, como demonstrado nas figuras 2 e 3. Por exemplo, os episódios de agressão aluno-aluno são mais reportados pelos diretores das escolas do Centro-Oeste e Sul, em geral, e menos reportados pelos diretores do Norte e Nordeste. Padrão semelhante é observado para os episódios de agressões de alunos a professores ou funcionários da escola que, segundo os diretores, são menos frequentes em alguns estados do Norte (Amapá e Pará) e do Nordeste (Maranhão) do país (figura 2). Com relação à frequência de alunos portando armas brancas ou sob efeito de drogas ilícitas pode-se verificar grande variação entre os estados (figura 3). Mais de 30% dos diretores das escolas do Amapá e do Distrito Federal reportaram o porte de armas brancas, e esse percentual está em torno de 15% no Rio de Janeiro, São Paulo e em alguns estados do Nordeste. Alunos sob efeito de drogas ilícitas são mais reportados no Distrito Federal, Rio Grande do Sul e São Paulo e menos reportados no Maranhão, Piauí e no Rio de Janeiro. Os gráficos relativos aos demais itens estão no Apêndice B. 148 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 2 – RESPOSTAS PARA ITEM DE AGRESSÃO DE ALUNO A PROFESSORES OU FUNCIONÁRIOS (DIRETORES) FIGURA 3 – RESPOSTAS PARA ALGUNS ITENS POR ESTADO (DIRETORES) 149 CADERNO DE PESQUISA 2 A partir dos dados dos professores (274.179 distribuídos em 56.207 escolas), pela figura 4, pode-se verificar que os percentuais são, em geral, maiores, principalmente para as ocorrências de agressão. Observa-se que em 86,0% das escolas do país os docentes relatam agressão verbal ou física de aluno a outro aluno e em 70,2% a agressão de aluno a professor ou funcionário. FIGURA 4 – PERCENTUAL DE RESPOSTAS AFIRMATIVAS PARA OS ITENS DE VIOLÊNCIA E CONFLITOS (PROFESSORES) 150 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS TABELA 3 – PERCENTUAL DE OCORRÊNCIA DE EPISÓDIOS DE VIOLÊNCIA, POR MACRORREGIÃO (PROFESSORES) Item Centro-Oeste Nordeste Norte Sudeste Sul Q90-Agressão Aluno-Professor 75,7 64,4 63,4 76,2 71 Q91-Agressão Aluno-Aluno 88,1 83,9 82,6 88 87,1 Q92-Atentado à vida 5,4 4,9 6,7 5,6 4,4 Q93-Ameaça 24,2 18 20,1 23 20,8 Q94-Furto 15,8 9,6 16,1 15,1 12,7 Q95-Roubo 3,3 3,1 5,2 3,6 2,8 Q96-Álcool 16,1 11,8 14 11,7 12,4 Q97-Drogas ilícitas 27,5 16,5 19,4 25 25,8 Q98-Arma Branca 16,5 10,1 16,1 10,6 11,7 Q99-Arma de fogo 3,1 2,6 4,1 2,8 2,5 A tabela 3 apresenta a visão dos professores, por macrorregião do País. Nota-se uma variação expressiva da presença de alunos sob efeito de drogas ilícitas, com diferença de mais de 10% entre Centro-Oeste e Nordeste. FIGURA 5 – RESPOSTAS PARA ALGUNS ITENS POR ESTADO (PROFESSORES) 151 CADERNO DE PESQUISA 2 Pelas figuras 5 e 6 pode-se verificar que, na comparação entre os estados, as respostas dos professores também apresentam variações. Por exemplo, as agressões, tanto aluno a aluno quanto aluno a professor, são menos frequentes nos estados do Norte e Nordeste do país, em geral. Com relação à frequência de alunos sob efeito de drogas ilícitas, verificam-se maiores percentuais nos estados do Centro-Sul, com exceção do Rio de Janeiro. O porte de arma branca é mais registrado nos estados do Norte e Centro-Oeste. Os gráficos relativos aos demais itens, na visão dos professores, também estão no Apêndice B. FIGURA 6 – RESPOSTAS PARA ALGUNS ITENS POR ESTADO (PROFESSORES) 152 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS A tabela 4 apresenta uma comparação entre os percentuais observados nas respostas de professores e diretores. Em geral, o conjunto de professores reporta mais episódios de violência, com exceção dos itens relacionados ao porte de armas brancas e de fogo. Na comparação desta diferença da percepção de diretores e professores (nos percentuais entre parênteses), destacam-se ameaças, atentados à vida, roubos e furtos. Uma outra informação apresentada na tabela 4 é o coeficiente de concordância Kappa. Nota-se que a concordância entre as respostas de professores e diretores é baixa, com todos os coeficientes abaixo de 0,25 (quanto maior a concordância, mais próximo a 1). TABELA 4 – PERCENTUAL DE OCORRÊNCIA DE EPISÓDIOS DE VIOLÊNCIA, COMPARAÇÃO ENTRE DIRETOR E PROFESSORES E CONCORDÂNCIA Item Diretor Professor Diferença Kappa Q90-Agressão Aluno-Professor 53,6 70,4 16,8 (31,3%) 0,244 Q91-Agressão Aluno-Aluno 74,5 86,1 11,6 (15,6%) 0,136 Q92-Atentado à vida 2,8 5,4 2,5 (88,0%) 0,018 Q93-Ameaça 10,4 20,9 10,4 (99,6%) 0,112 Q94-Furto 8,4 13,2 4,8 (57,5%) 0,049 Q95-Roubo 2,1 3,5 1,4 (67,1%) 0,001 Q96-Álcool 12,0 12,5 0,5 (4,2%) 0,070 Q97-Drogas ilícitas 21,9 22,1 0,2 (0,9%) 0,141 Q98-Arma Branca 16,0 11,7 -4,3 (-26,9%) 0,036 Q99-Arma de fogo 3,2 2,9 -0,3 (-9,5%) 0,001 153 CADERNO DE PESQUISA 2 A tabela 5 apresenta a distribuição de frequência conjunta das respostas de professores e diretores para os itens sobre violência. A partir dessa tabela pode-se verificar a concordância e discordância dos dois registros para os mesmos itens. A interpretação desses resultados deve considerar o maior contato dos professores com o cotidiano da escola, o que explicaria a diferença entre os registros. No entanto, alguns resultados chamam a atenção. Na questão Q95, por exemplo, em 97% das escolas onde o professor reporta ocorrência de roubo, o diretor não registra essa ocorrência. O mesmo padrão pode ser observado para episódios de atentado à vida, ameaça, furto, consumo de álcool e porte de armas brancas e de fogo. TABELA 5 – RESPOSTAS DADAS POR PROFESSORES E DIRETORES – CONCORDÂNCIA Q90-Agressão Aluno-Professor Q90-Agressão Aluno-Aluno Diretor Diretor Professor Não Sim Total Professor Não Sim Total Não 10783 (66%) 5463 (34%) 16246 (100%) Não 3596 (47%) 4016 (53%) 7612 (100%) Sim 14681 (38%) 23992 (62%) 38673 (100%) Sim 10389 (22%) 36918 (78%) 47307 (100%) Total 25464 (46%) 29455 (54%) 54919 (100%) Total 13985 (25%) 40934 (75%) 54919 (100%) Q92-Atentado à vida Q93-Ameaça Diretor Diretor Professor Não Sim Total Professor Não Sim Total Não 50556 (97%) 1424 (3%) 51980 (100%) Não 39627 (91%) 3821 (9%) 43448 (100%) Sim 2803 (95%) 136 (5%) 2939 (100%) Sim 9555 (83%) 1916 (17%) 11471 (100%) Total 53359 (97%) 1560 (3%) 54919 (100%) Total 49182 (90%) 5737 (10%) 54919 (100%) Q94-Furto Q95-Roubo Diretor Diretor Professor Não Sim Total Professor Não Sim Total Não 43949 (92%) 3732 (8%) 47681 (100%) Não 51924 (98%) 1082 (2%) 53006 (100%) Sim 6382 (88%) 856 (12%) 7238 (100%) Sim 1850 (97%) 63 (3%) 1913 (100%) Total 50331 (92%) 4588 (8%) 54919 (100%) Total 53774 (98%) 1145 (2%) 54919 (100%) 154 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS Q96-Álcool Q97-Drogas ilícitas Diretor Diretor Professor Não Sim Total Professor Não Sim Total Não 43490 (90%) 4580 (10%) 48070 (100%) Não 36595 (86%) 6205 (14%) 42800 (100%) Sim 4845 (71%) 2004 (29%) 6849 (100%) Sim 6305 (52%) 5814 (48%) 12119 (100%) Total 48335 (88%) 6584 (12%) 54919 (100%) Total 42900 (78%) 12019 (22%) 54919 (100%) Q98-Arma Branca Q99-Arma de fogo Diretor Diretor Professor Não Sim Total Professor Não Sim Total Não 41742 (86%) 6764 (14%) 48506 (100%) Não 51726 (97%) 1616 (3%) 53342 (100%) Sim 4409 (69%) 2004 (31%) 6413 (100%) Sim 1460 (93%) 117 (7%) 1577 (100%) Total 46151 (84%) 8768 (16%) 54919 (100%) Total 53186 (97%) 1733 (3%) 54919 (100%) Os percentuais de ocorrência de episódios de violência nas escolas, a partir da visão de professores e diretores, conjuntamente, é apresentado na figura 7. As análises apresentadas a seguir consideram essa resposta única. FIGURA 7 – PERCENTUAL DE RESPOSTAS AFIRMATIVAS PARA A OCORRÊNCIA DE EPISÓDIOS DE VIOLÊNCIA E CONFLITOS (RESPOSTA ÚNICA) 155 CADERNO DE PESQUISA 2 Nessa etapa buscou-se também avaliar a possível relação entre a violência dentro e fora da escola (tabela 6). A correlação entre o escore de violência (obtido a partir da TRI, apresentado no estudo 2) e a taxa de homicídios das cidades brasileiras é baixa e assume o valor 0,17. Nesse caso foram utilizadas as informações das 3.221 cidades presentes no Mapa da Violência e o escore médio de violência nas escolas. Pela tabela 6, pode-se também verificar que a correlação entre o escore de violência e conflitos das escolas tem correlação baixa com os indicadores de violência e criminalidade dos bairros das cidades de São Paulo e do Rio de Janeiro e das regiões administrativas do Distrito Federal. Ainda, a maior parte dos coeficientes apresenta valor negativo. Por exemplo, existe uma correlação negativa entre furto de veículos e o escore de violência nas escolas, tanto em São Paulo quanto no Rio de Janeiro. O cálculo das correlações considerou a taxa de ocorrência dos delitos por 1.000 habitantes e o escore médio de violência das escolas dos respectivos bairros e regiões administrativas. TABELA 6 – CORRELAÇÕES ENTRE O ESCORE DE VIOLÊNCIA DA ESCOLA E INDICADORES DE VIOLÊNCIA FORA DA ESCOLA Cidades brasileiras Bairros de São Paulo Indicador Indicador Taxa de homicídios 0,17 Regiões administrativas do Distrito Federal Indicador Furto de celular -0,084 Furto de veículos -0,111 Homicídios dolosos 0,051 Lesão corporal seguida de morte -0,154 Furto de veículos -0,216 Roubo a transeunte 0,021 Bairros do Rio de Janeiro Roubo em coletivo 0,171 Indicador Roubo a comércio 0,077 Furtos -0,001 Lesão corporal seguida de morte 0,064 Roubos -0,006 Homicídios dolosos -0,016 Lesão corporal seguida de morte 0,047 156 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS 3.2 ESTUDO 2 O segundo estudo tem como foco a verificação da qualidade da escala de violência e conflito nas escolas em termos de validade de constructo e consistência interna. Para isso foram considerados os dados de diretores e professores para todas as escolas do País envolvidas no SAEB, separando as escolas da primeira e segunda etapas do ensino fundamental. 3.2.1 Diretores A figura 8 apresenta as curvas características dos itens (CCI) para os dados dos diretores de todas as escolas avaliadas no País pelo SAEB 2015. Pode-se verificar que os itens têm dificuldade acima de zero, com exceção dos itens 1 e 2 (agressões verbais ou físicas). Pelo gráfico da função de informação do teste (FIT) observa-se que o teste é mais informativo quando o nível de violência é elevado, quando esse traço latente está acima da média (figura 9). FIGURA 8 – CURVAS CARACTERÍSTICAS DOS ITENS (DIRETORES) Pela tabela 7 pode-se verificar os resultados dos parâmetros do modelo: nenhum item apresenta discriminação inadequada, considerando que os coeficientes estão acima de 0,7. Os itens Q96 e Q97 7 e 8 (alunos sob efeito de bebidas alcoólicas e de drogas ilícitas) são os que apresentam as maiores discriminações. 157 CADERNO DE PESQUISA 2 FIGURA 9 – FUNÇÃO DE INFORMAÇÃO DO TESTE (DIRETORES) TABELA 7 – PARÂMETROS DO MODELO TRI – DIRETORES Item Discriminação Dificuldade Q90-Agressão Aluno-Professor 1,71 -0,12 Q91-Agressão Aluno-Aluno 1,64 -0,95 Q92-Atentado à vida 1,62 2,87 Q93-Ameaça 1,78 1,76 Q94-Furto 0,93 2,93 Q95-Roubo 1,76 2,94 Q96-Álcool 2,62 1,41 Q97-Drogas ilícitas 2,65 0,93 Q98-Arma Branca 1,97 1,33 Q99-Arma de fogo 1,80 2,63 3.2.2 Professores As figuras 10 e 11 e a tabela 8 apresentam os resultados do ajuste do modelo, utilizando como informação as respostas dos professores. A dificuldade dos itens 1 e 2, relativos a agressões, são mais negativos e verifica-se que a curva de informação do teste apresenta um segundo pico para valores negativos para o traço latente (em torno de -1). Comparando com os resultados observados para os diretores, pode-se destacar inicialmente que a curva de informação apresenta valores mais elevados, com pico em torno de 8 (figura 11) em comparação com pico próximo a 6 para os dados dos diretores (figura 9). 158 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 10 – CURVAS CARACTERÍSTICAS DOS ITENS (PROFESSORES) FIGURA 11 – FUNÇÃO DE INFORMAÇÃO DO TESTE (PROFESSORES) Pela tabela 8, vê-se que os itens Q91 (agressão aluno/aluno) e Q99 (alunos portando arma de fogo) são os que apresentam as maiores discriminações, seguidos dos itens 7 e 8. As estimativas de discriminação dos itens estão acima de 1 e, em geral, a discriminação é maior no modelo para os professores. 159 CADERNO DE PESQUISA 2 TABELA 8 – PARÂMETROS DO MODELO TRI – PROFESSORES Item Discriminação Dificuldade Q90-Agressão Aluno-Professor 2,69 -0,62 Q91-Agressão Aluno-Aluno 3,42 -1,22 Q92-Atentado à vida 1,99 2,17 Q93-Ameaça 1,98 1,07 Q94-Furto 1,39 1,78 Q95-Roubo 2,51 2,23 Q96-Álcool 2,68 1,37 Q97-Drogas ilícitas 2,64 0,92 Q98-Arma Branca 2,26 1,50 Q99-Arma de fogo 3,34 2,16 3.2.3 Resposta única No ajuste do modelo de TRI com base na resposta única de diretores e professores observa-se os mesmos padrões. Todos os itens apresentam boa discriminação, com valores acima de 1, com destaque para os itens Q91 (agressão aluno-aluno) e Q97 (drogas ilícitas) (tabela 9). Pelas figuras 12 e 13, pode-se verificar que os itens de agressão (Q90 e Q91) têm menor dificuldade em relação aos demais e isso gera um segundo pico na curva de informação, a exemplo do que foi observado no modelo para os professores. FIGURA 12 – CURVAS CARACTERÍSTICAS DOS ITENS (RESPOSTA ÚNICA) 160 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 13 – FUNÇÃO DE INFORMAÇÃO DO TESTE (RESPOSTA ÚNICA) TABELA 9 – PARÂMETROS DO MODELO TRI – RESPOSTA ÚNICA Item Discriminação Dificuldade Q90-Agressão Aluno-Professor 2,10 -1,10 Q91-Agressão Aluno-Aluno 2,75 -1,81 Q92-Atentado à vida 1,67 2,05 Q93-Ameaça 1,73 0,82 Q94-Furto 1,10 1,55 Q95-Roubo 2,05 2,13 Q96-Álcool 2,57 0,97 Q97-Drogas ilícitas 2,82 0,50 Q98-Arma Branca 1,93 0,94 Q99-Arma de fogo 2,18 2,03 O coeficiente alfa de Cronbach foi calculado para os dados de diretores, professores e resposta única (tabela 10), para a amostra com todas as escolas. Pode-se verificar que a consistência interna é aceitável (0,755) para professores e resposta única (0,750) e fraca para a medida dos diretores (0,687). Além disso, em nenhum dos casos o coeficiente assume valor maior quando um item é excluído da análise. Isto indica que cada item é relevante para a contribuição de fidedignidade do teste. 161 CADERNO DE PESQUISA 2 TABELA 10 – RESULTADOS DA ESTATÍSTICA ALPHA DE CRONBACH Diretor Professores Resposta única Todos os itens 0,687 0,755 0,750 Excluindo Q90 0,655 0,743 0,740 Excluindo Q91 0,673 0,748 0,748 Excluindo Q92 0,68 0,741 0,735 Excluindo Q93 0,656 0,724 0,718 Excluindo Q94 0,682 0,739 0,738 Excluindo Q95 0,682 0,743 0,736 Excluindo Q96 0,645 0,723 0,713 Excluindo Q97 0,631 0,717 0,707 Excluindo Q98 0,645 0,727 0,717 Excluindo Q99 0,679 0,744 0,736 3.2.4 Etapas do Ensino Fundamental A mesma escala de violência e conflitos é respondida por professores e diretores de escolas que diferem em muitos aspectos. Os resultados a seguir foram obtidos para dois grupos de escolas, com o objetivo de avaliar se as características dos itens variam entre esses grupos. O grupo EF1 é formado por 17.708 escolas com turmas da primeira etapa do ensino fundamental (do primeiro ao quinto ano) e educação infantil, e que não têm turmas da segunda etapa do ensino fundamental (do sexto ao nono ano) nem de ensino médio. No grupo EF2 as 10.216 escolas têm turmas da segunda etapa do ensino fundamental e de ensino médio, e não têm turmas da primeira etapa do fundamental e educação infantil. Pela figura 14, comparando as curvas de informação das escalas pode-se verificar que a escala tem comportamentos diferentes. A informação da escala para as escolas do grupo EF1 é mais concentrada nos níveis mais elevados do constructo em questão, com pico de informação próximo a 10. Para o grupo EF2 verifica-se que a informação é mais constante entre diferentes níveis de violência, mas com menores níveis. 162 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 14 – CURVAS DE INFORMAÇÃO DAS ESCALAS (EF1 E EF2) a) b) A tabela 11 apresenta o ajuste do modelo para os dois grupos, separadamente, e as figuras 17 e 18, as curvas características dos itens em um ajuste conjunto e cálculo do DIF (differential item functioning). Com relação ao parâmetro de dificuldade pode-se destacar que a dificuldade é maior para o grupo EF1, principalmente para os itens relativos ao consumo de álcool e drogas, agressão a professores e ameaças. Observa-se diferenças na discriminação dos itens que, em geral, é maior no grupo EF1, com destaque para os itens relacionados ao consumo de álcool e porte de arma de fogo. Não foi identificada diferença significativa entre os parâmetros do item Q94 – furto. Para todos os demais o DIF é significativo. 163 CADERNO DE PESQUISA 2 TABELA 11 – PARÂMETROS DO MODELO TRI – GRUPOS EF1 E EF2 Ensino Fundamental 1 Ensino Fundamental 2 Discriminação Dificuldade Discriminação Dificuldade Q90-Agressão Aluno-Professor 1,73 -0,81 1,93 -1,75 Q91-Agressão Aluno-Aluno 2,69 -1,66 2,62 -2,24 Q92-Atentado à vida 1,96 2,09 1,50 2,03 Q93-Ameaça 1,74 1,29 1,52 0,46 Q94-Furto 1,14 1,62 1,14 1,55 Q95-Roubo 2,43 2,15 1,94 2,13 Q96-Álcool 3,23 1,70 2,01 0,37 Q97-Drogas ilícitas 2,88 1,41 2,34 -0,29 Q98-Arma Branca 1,97 1,34 1,67 0,69 Q99-Arma de fogo 2,72 2,12 1,74 2,02 FIGURA 15 – CURVAS CARACTERÍSTICAS DOS ITENS PARA OS GRUPOS (EF1 EM AZUL E EF2 EM ROSA) 164 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 16 – CURVAS CARACTERÍSTICAS DOS ITENS PARA OS GRUPOS (EF1 EM AZUL E EF2 EM ROSA) Os estudos 3 e 4 visam a avaliar a relação entre a medida de violência e a vida escolar. Inicialmente foram calculadas algumas correlações, apresentadas na tabela 12. Pode-se verificar que a correlação entre violência, tamanho da escola e número de alunos está em torno de 0,4. Escolas maiores e com estudantes mais velhos tendem a ser mais violentas. A medida de violência nas escolas tem correlação negativa com o desempenho em Matemática e Língua Portuguesa dos estudantes de 5º e 9º ano do ensino fundamental. Essas correlações são fracas (-0,106 a -0,110). As correlações entre a medida de violência e o percentual de estudantes que afirmam ter sido reprovados ou terem abandonado a escola pelo menos uma vez são positivas, mas também assumem valores baixos, em torno de 0,1. 165 CADERNO DE PESQUISA 2 TABELA 12 – CORRELAÇÃO ENTRE A VIOLÊNCIA DENTRO DA ESCOLA E SUAS CARATERÍSTICAS, DESEMPENHO E FLUXO ESCOLAR Correlação Número de alunos 0,422 Idade dos alunos (etapa de ensino) 0,388 5° ano do Ensino Fundamental Média em Língua Portuguesa -0,107 Média em Matemática -0,106 % Reprovação 0,059 % Abandono 0,135 9° ano do Ensino Fundamental Média em Língua Portuguesa -0,110 Média em Matemática -0,110 % Reprovação 0,092 % Abandono 0,106 * A partir do registro das turmas no Censo Escolar. 3.2.5 Estudo 3 O terceiro estudo tem como objetivo identificar os fatores associados ao desempenho e ao fluxo escolar de alunos do 9° ano de escolas públicas do Centro-Oeste. Neste estudo foi avaliado o efeito do nível de violência das escolas em um modelo que considera o capital socioeconômico e a infraestrutura escolar 3. Foram utilizados os dados dos alunos do 9o ano do ensino fundamental, tendo como unidade as escolas públicas localizadas na região Centro-Oeste do País. Alguns critérios de inclusão na pesquisa foram definidos para garantir a qualidade da base de dados: entraram na análise apenas escolas com ao menos 20 alunos presentes na Prova Brasil e cadastrados no censo escolar; e cujos diretores responderam ao questionário contextual. Visto que o principal objetivo deste estudo é analisar fatores associados ao desempenho e ao fluxo escolar, foi preciso determinar quais construtos seriam relevantes nesse contexto de análise. A seleção das variáveis Este estudo faz parte da monografia de conclusão de curso do estudante Lucas Rodrigues Rocha do bacharelado em Estatística da Universidade de Brasília. 3 166 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS para mensurar os fatores de interesse foi realizada primeiramente com os construtos endógenos, desempenho e fluxo escolar. Em seguida, variáveis que iriam formar os outros construtos foram selecionadas com base em resultados de análises descritivas e análise de correlação com os indicadores relacionados ao desempenho e fluxo escolar. A partir dos resultados dessas análises, de embasamento teórico e conteúdo adquirido a respeito do contexto de avaliação educacional, foram definidas as variáveis mensuráveis que restavam para compor o modelo. Na tabela 13 estão listadas as variáveis selecionadas para análise e seus construtos de referência. TABELA 13 – DEFINIÇÃO DAS VARIÁVEIS RELACIONADAS AOS CONSTRUTOS DO ESTUDO. Construto Desempenho Escolar Fluxo Escolar Capital Socioeconômico Infraestrutura Escolar Variável NTLP Descrição Proficiência média em Língua Portuguesa NTMT Proficiência média em Matemática REPR Percentual de alunos que nunca reprovaram ABAN Percentual de alunos que nunca abandonaram o ano letivo CSE1 Percentual de alunos com mães com ensino médio CSE2 Número médio de televisões em cores por aluno CSE3 Número médio de aparelhos de vídeo por aluno CSE4 Número médio de geladeiras por aluno CSE5 Número médio de freezers embutidos por aluno CSE6 Número médio de freezers separados por aluno CSE7 Número médio de máquinas de lavar roupa por aluno CSE8 Número médio de carros por aluno CSE9 Número médio de computadores por aluno INF1 Existência e condições da biblioteca INF2 Existência e condições da sala de leitura INF3 Existência e condições da quadra de esportes INF4 Existência e condições do laboratório de informática INF5 Existência e condições do laboratório de ciências INF6 Existência e condições do auditório As variáveis relacionadas aos construtos desempenho escolar, fluxo escolar e capital socioeconômico foram obtidas a partir das respostas ao questionário aplicado aos alunos no SAEB e a partir dos resultados de proficiência da Prova Brasil. As variáveis relacionadas à infraestrutura escolar foram obtidas através das respostas ao questionário aplicado às escolas e as variáveis relacionadas ao nível de violência a partir das respostas ao questionário aplicado aos diretores. 167 CADERNO DE PESQUISA 2 As correlações entre as variáveis do nível de violência foram, em geral, baixas (figura 17). Destacam-se as associações entre as variáveis que mensuram agressão (VIO1 e VIO2), estudantes sob efeito de álcool (VIO7), sob efeito de drogas (VIO8) e portando arma branca (VIO9). Agressão de alunos a outros alunos (VIO2) e atentado à vida (VIO3) possuem correlação negativa, mas com valor muito próximo de zero. Todas as associações resultantes da comparação das variáveis de desempenho e fluxo escolar com as de nível de violência foram negativas e fracas. FIGURA 17 – COEFICIENTES DE CORRELAÇÃO DE POSTOS DE SPEARMAN ENTRE AS VARIÁVEIS DO ESTUDO Primeiramente foi testada a adequação do modelo de mensuração. A figura 18 apresenta o modelo final, após a retirada da variável CSE6 (número médio de freezers separados da geladeira) e a inclusão de alguns termos de covariância indicados em ajustes iniciais. 168 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 18 – MODELO DE MENSURAÇÃO FINAL COM COEFICIENTES PADRONIZADOS De acordo com os índices de qualidade de ajuste (RMSEA=0,053, RMR=0,048, GFI=0,922 e PGFI=0,763), o modelo de mensuração apresenta bom resultado. O modelo estrutural proposto no passo seguinte pode ser utilizado para avaliar, entre outras, a hipótese de que o nível de violência está relacionado negativamente com o desempenho e com o fluxo escolar. O modelo estrutural final, após a retirada do fator de infraestrutura que apresenta efeito não significativo nas variáveis resposta, é apresentado na figura 19. 169 CADERNO DE PESQUISA 2 FIGURA 19 – MODELO ESTRUTURAL FINAL COM COEFICIENTES PADRONIZADOS No modelo final, observa-se que o capital socioeconômico influencia positivamente com intensidade moderada os construtos endógenos, enquanto que o nível de violência exerce influência negativa com intensidade fraca. Esse modelo apresenta RMSEA= 0,062, RMR=0,052, GFI=0,924 e PGFI=0,727, logo essas medidas indicam boa qualidade do ajuste do modelo final. Conclui-se que existem evidências estatísticas suficientes para afirmar que o desempenho e fluxo escolar são influenciados positivamente pelo capital socioeconômico e negativamente pelo nível de violência. Dessa forma, é possível afirmar que quanto maior o capital socioeconômico dos alunos da escola, melhores o desempenho e o fluxo escolar. Da mesma maneira, mas em sentido contrário, quanto maior o nível de violência na escola, piores o desempenho e o fluxo escolar. 3.2.6 Estudo 4 Esse estudo visa a analisar a relação entre violência e conflitos nas escolas na percepção dos diretores com o desempenho acadêmico dos estudantes do 5° ano do ensino fundamental4. Para a sua realização foram selecionados os dados relativos de todos os estudantes avaliados no SAEB 2015. O estudo faz parte do trabalho de conclusão do curso de Marina Macedo Gonçalves da Paixão, David Abreu Rodrigues e João Gustavo Rocha dos Santos, estudantes do Bacharelado em Estatística da Universidade de Brasília. 4 170 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS Foram extraídas as informações referentes à proficiência acadêmica em Língua Portuguesa e em Matemática, à violência nas escolas, ao perfil socioeconômico, às escolas, aos docentes, ao incentivo cultural que pais e responsáveis dão aos alunos, dentre outras informações. Para a análise de regressão multinível, foram utilizadas variáveis referentes ao aluno (sexo, etnia, idade, escolaridade da mãe, trabalho, reprovação, dever de Língua Portuguesa, dever de Matemática e nível econômico); e às escolas (nível econômico agregado e escore de violência). A descrição dessas variáveis é apresentada na tabela 14. TABELA 14 – VARIÁVEIS DO QUESTIONÁRIO DO ALUNO Variável Pergunta no questionário do SAEB Codificação Sexo Qual é o seu sexo? Feminino = 1 Masculino = 0 Etnia Como você se considera? Branco/Amarelo = 1 Outros = 0 Idade Qual a sua idade? 10 ou 11 anos =1 Outros = 0 Trabalho Atualmente você trabalha fora de casa (recebendo ou não um salário)? Sim = 1 Não = 0 Escolaridade da mãe Até que série sua mãe/mulher responsável por você estudou? Ensino médio = 1 Outros = 0 Reprovação Você já foi reprovado? Sim = 1 Não = 0 Dever de Língua Portuguesa Você faz o dever de casa de Língua Portuguesa? Sim = 1 Não = 0 Dever de Matemática Você faz o dever de casa de Matemática? Sim = 1 Não = 0 A medida de nível econômico (NE) dos estudantes foi calculada utilizando um modelo de teoria da resposta ao item a partir das respostas dadas para os itens presentes nas casas. Os itens considerados são: televisão em cores, aparelho de rádio, videocassete e/ou DVD, geladeira, freezer como parte da geladeira, freezer separado da geladeira, máquina de lavar roupa, carro, computador, banheiro, número de quartos para dormir. Foram ajustados dois modelos, um com a proficiência em Matemática e outro com a proficiência em Língua Portuguesa como variável resposta (tabela 15). Como o número de estudantes avaliados é muito grande (mais de dois milhões), os efeitos das variáveis presentes são todos significativos. Por este motivo os erros padrão foram omitidos. Pode-se observar, 171 CADERNO DE PESQUISA 2 de forma geral, que as meninas têm média de desempenho superior em Língua Portuguesa e inferior em Matemática. O nível econômico, a escolaridade da mãe e a idade têm efeitos positivos. A medida de violência nas escolas foi inserida no segundo nível do modelo, além do nível econômico agregado. Os coeficientes de violência são negativos nos dois modelos, o que indica que escolas com maior nível de violência têm estudantes com proficiências menores, em média. Essa medida tem desvio padrão próximo a 1. Logo, as variáveis resposta têm desvios padrão em torno de 46 pontos; pode-se afirmar que o efeito da medida de violência é fraco. Foram incluídos nos modelos efeitos de interação entre a violência e algumas variáveis dos estudantes. Essa inclusão visa analisar o quanto a violência pode modificar o efeito dessas variáveis no desempenho dos estudantes. Por exemplo, a variável relativa a etnia autodeclarada tem efeito positivo nos dois modelos, o que indica que o desempenho de estudantes autodeclarados brancos e amarelos é superior, em média, em relação aos demais. Como o efeito de interação entre essa variável e a violência é negativo, em escolas mais violentas a diferença entre brancos e amarelos com relação aos demais diminui. Interpretação semelhante pode ser feita para a interação entre violência e o nível econômico: a diferença entre o desempenho de estudantes com maior e menor nível econômico diminui em escolas violentas. Por outro lado, o efeito de interação entre a violência e o trabalho fora de casa indica que, nas escolas mais violentas, os estudantes que trabalham têm desempenho ainda menor em relação aos que não trabalham. TABELA 15 – MODELO MULTINÍVEL PARA OS ESTUDANTES DO 5º ANO MAT LP Coeficiente Coeficiente 217,72 206,10 NE agregado 25,33 25,58 NE 3,30 2,01 Intercepto Variáveis de controle Escolaridade da mãe Variáveis do nível aluno 172 7,88 8,64 Coeficiente Coeficiente VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS MAT LP -6,97 5,92 Etnia 2,37 2,98 Idade 6,57 7,47 Sexo feminino Trabalho -14,44 -19,75 Reprovação -17,84 -19,08 Dever MAT 6,01 2,63 Dever LP 5,65 9,48 -2,68 -2,09 Violência x Etnia -0,51 -0,24 Violência x Trabalho -0,01 -0,24 Violência x NE -0,26 -0,13 Variável do nível escola Escore de violência Efeitos de interação 4. OBJETIVOS ALCANÇADOS Como demonstrado na seção de resultados, as análises realizadas nesse estudo estão alinhadas com as metas inicialmente propostas no projeto. Pode-se, portanto, afirmar que o objetivo e as metas foram cumpridos. A escala utilizada no SAEB para mensuração de violência e conflitos nas escolas foi avaliada com diversas técnicas e abordagens. Com isso foi possível ressaltar fragilidades e qualidades desse instrumento. A primeira meta do projeto, a avaliação inicial dos itens que compõem as escalas, foi contemplada principalmente no estudo 1. Nesse estudo, foi analisada a distribuição das respostas dadas por professores e diretores em todo o País e algumas diferenças regionais foram apontadas. Além disso, verificou-se a relação desses itens com indicadores de violência fora da escola. No estudo 2 foram pesquisadas validade de constructo e fidedignidade das escalas, relacionadas à segunda meta. Verificou-se a validade de constructo das escalas, características dos itens para os dados de professores, diretores e resposta única, e foi calculada a medida de fidedignidade. Neste estudo também foi avaliada a invariância da escala, por meio da análise da mesma para dois grupos de escolas, o que contempla também a quarta meta do projeto. 173 CADERNO DE PESQUISA 2 Os resultados apresentados nos estudos 3 e 4 contemplam a terceira meta do projeto. O estudo de validade de critério foi realizado com o cálculo das correlações entre a medida de violência e os indicadores de desempenho e fluxo escolar, e com o uso da medida de violência como variável explicativa em modelos de equações estruturais e multinível. CONSIDERAÇÕES FINAIS Os resultados apresentados neste documento mostram que a escala que mede violência e conflito nas escolas apresenta fragilidades e que essa medida está fracamente associada a violência fora da escola, desempenho e fluxo escolar. A seguir são apresentadas as principais considerações e propostas de melhoria da forma com que a violência pode ser mensurada. Primeiramente, o uso de uma escala com resposta dicotômica (Sim e Não) não parece adequado. A partir dos resultados observados nos estudos, fica claro que a frequência de ocorrência dos episódios é importante para avaliar o nível de violência. O segundo item da escala, por exemplo, fala sobre os episódios de agressão entre alunos e seria muito mais informativo se relatasse o número de agressões no ano. O mesmo se aplica aos outros itens, considerando o número de estudantes nas escolas. Uma mudança possível no instrumento seria a alteração no tipo de reposta, com a possibilidade de registro do número de ocorrências. Alguns resultados sugerem que as respostas dadas aos itens da escala podem não retratar o que acontece na escola. Novamente tomando como exemplo a agressão entre alunos, verificou-se que em 74,5% das escolas os diretores responderam sim. Então, em mais de 25% delas os diretores afirmaram que essas agressões não ocorreram. O percentual é ainda maior se considerarmos a região Norte do país, onde isso aconteceu em cerca de 30% das escolas. Esse resultado pode ser duvidoso, já que a resposta se refere a um ano. Além disso, se a escola não conta com um registro das ocorrências o diretor depende da memória para relatar a ocorrência desses fatos. Os percentuais de ocorrência dos episódios de violência são maiores quando também se leva em conta a resposta dos professores, além da dos diretores. Como os professores estão em contato direto com os estu174 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS dantes, e considerando a forma como o dado é coletado, já era esperado que esses percentuais fossem maiores. No entanto, foi identificada baixa concordância entre as respostas de professores e diretores, o que pode indicar a inexistência ou fragilidade no registro dessas ocorrências. Por exemplo, em 1.577 escolas os professores relataram alunos portando armas de fogo, mas em 93% delas o diretor não registrou a ocorrência. A disparidade das respostas sugere problemas de registro e de comunicação entre os profissionais. Quanto à fidedignidade do instrumento, verificou-se melhor resultado da escala quando respondida pelos professores ou quando é considerada a resposta única para a escola. Para as respostas dos diretores, entretanto, observou-se que a fidedignidade da escala não é adequada. O estudo de validade de constructo mostrou bons resultados. Os itens têm discriminação adequada, mas a escala fornece uma medida mais precisa quando o nível de violência é elevado. Assim, a escala seria mais eficiente para diferenciar escolas com níveis elevados de violência. Ao analisar o conteúdo dos itens é possível verificar que muitos estão relacionados a maior grau de violência, o que explica esse resultado. A escala de violência e conflitos é respondida por professores e diretores de todas as escolas avaliadas no SAEB. No entanto esses estabelecimentos de ensino podem apresentar características diferentes se considerarmos tamanho, idade dos estudantes e localização geográfica, por exemplo. Nesse sentido buscou-se avaliar a invariância da escala, tendo como foco as etapas de ensino e, consequentemente, a idade dos estudantes. Verificou-se que os itens da escala apresentam diferenças entre os parâmetros do modelo, principalmente os itens relacionados ao consumo de álcool e drogas ilícitas, ameaças e agressões de alunos a professores e funcionários. Os resultados sugerem que, uma vez que existem tais diferenças, a medida não poderia ser usada, por exemplo, para comparações entre escolas de grupos diferentes, uma vez que os itens têm comportamentos distintos. No estudo de validade da escala, considerando inúmeras variáveis como critério, verificou-se correlações baixas. As correlações entre a violência dentro e fora da escola são baixas e, em alguns casos, negativas. As correlações entre violência e vida escolar dos estudantes também são baixas, mas acontecem no sentido esperado – quanto maior a violência relatada, 175 CADERNO DE PESQUISA 2 mais problemas de rendimento e fluxo os alunos têm. O ajuste dos modelos dos estudos 3 e 4 apontam que o efeito da violência é pequeno, tanto no desempenho quanto no fluxo dos estudantes. Resultados semelhantes são apontados por outros autores. Esses resultados não evidenciam que a escala tenha validade de critério. Portanto, o presente documento mostra que a escala de violência usada no SAEB deve ser repensada. Um ponto que deveria ser mudado para a melhoria da medida é o uso de escalas numéricas de respostas, que possibilitariam o registro do número de ocorrências e não apenas um registro dicotômico de sim ou não. Outro ponto a considerar seria a mudança ou inclusão de itens, para que a escala meça melhor os níveis mais baixos de violência. Também é importante a conscientização dos profissionais sobre a importância do preenchimento correto das informações. Uma vez que a escala de violência está inserida em questionários contextuais com muitos blocos de itens e que é respondida por muitos profissionais (55.693 diretores e 274.179 professores, na edição de 2015), torna-se extremamente difícil assegurar a qualidade dos dados. Como há o intuito de avaliar uma gama muito grande de instituições, o que se tem é uma medida imprecisa da violência. Possivelmente, a coleta de dados em menor escala possibilitaria reduzir os problemas nos registros e combinar abordagens qualitativas aos resultados quantitativos, o que poderia gerar diagnósticos mais interessantes sobre a violência nas escolas. 176 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS REFERÊNCIAS ABRAMOVAY, M.; Rua, M. G. Violências nas escolas. 4. ed. Brasília: UNESCO, 2003. p.400. ANDRADE, D.F.; Tavares, H.R. & Valle, R.C. Teoria da Resposta ao Item: Conceitos e Aplicações. ABE – Associação Brasileira de Estatística, 2000, São Paulo. CANDIAN, J. F. Violência escolar e desempenho: as evidências do Saeb 2003. In: Revista Contemporânea de Educação, v. 4, 2003. p. 275-295. GAMA, V. Uma análise de relação entre violência escolar e proficiência no município de São Paulo. Mestrado em Economia Aplicada, Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2009. GAMA, V. A., SCORZAFAVE, L. G. Os efeitos da criminalidade sobre a proficiência escolar no ensino fundamental no município de São Paulo. In: Pesquisa e Planejamento Econômico, 43(3), 2013. p. 447-77. HAIR, J. F., BLACK, W. C., BABIN, B. J., ANDERSON, R. E. Multivariate data analysis. Englewood Cliffs: Prentice Hall, 2010. HOGAN, T. P. Introdução à prática de testes psicológicos. Rio de Janeiro: LTC, 2006. HOX, J. J. Multilevel Analysis: Techniques and Applications. Quantitative Methodology Series, volume 2.ed. Routledge, 2010. KARINO, C. A., VINHA, L. G. do A., LAROS, J. A. Os questionários do SAEB: o que eles realmente medem? In: Estudos em Avaliação Educacional. São Paulo, v. 25, n. 59, 2014. p. 270-297. KLINE, R. B. Principles and Practice of Structural Equation Modeling. Methodology in the Social Sciences. Guilford Press, New York, 3. ed. 2011. 177 CADERNO DE PESQUISA 2 MACHADO, D. C. O., BARBETTA, P. A. (2016). Aplicação da Teoria de Resposta ao Item nos questionários de contextualização do Saeb 2011. In: Congresso Brasileiro de Avaliação Educacional, 2016. OLIVEIRA, V. R., FERREIRA, D. Violência e desempenho dos alunos nas escolas brasileiras: uma análise a partir do SAEB 2011. In: Anais do XVI Encontro de Economia da Região Sul, 2013. RAUDENBUSH, S. W., BRYK, A. S. Hierarchical linear models. Applications and data analysis methods. Newbury Park: Sage, 2. ed. 2002. SEVERINI, E.; FIRPO, S. The relationship between school violence and student proficiency. Escola de Economia de São Paulo da Fundação Getúlio Vargas (Texto para discussão, n. 236) 2009. TEIXEIRA, E. C., KASSOUF, A. L. A Relação entre Violência nas Escolas e Desempenho Escolar no Estado de São Paulo em 2007: uma Análise Multinível. In: Rede de Economia Aplicada, 9, 2011. URBINA, Susana. Fundamentos da testagem psicológica. Porto Alegre: Artmed, 2007. UNESCO. School violence and bullying: Global status report. Paris: United Nations Educational, Scientific and Cultural Organization, 2017. 178 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS APÊNDICE A 1. TEORIA DA RESPOSTA AO ITEM O modelo logístico de dois parâmetros foi utilizado neste trabalho. Os parâmetros analisados por este modelo são: discriminação (a) e dificuldade (b). A dificuldade avalia a habilidade mínima exigida para que o respondente responda corretamente ao item (no caso, o nível de violência que é necessário para que o respondente, seja ele professor ou diretor, dê uma resposta afirmativa ao item). A discriminação indica quão bem um item pode diferenciar pessoas com mais ou menos habilidade (no caso, quão bem um item pode distinguir as escolas com maiores e menores índices de violência). O Modelo Logístico de dois parâmetros é dado por onde Uij é uma variável dicotômica que assume os valores 1, quando o indivíduo j responde afirmativamente o item i, ou 0 quando ele responde negativamente; θj representa o traço latente, ou habilidade, do j-ésimo indivíduo; P(Uij = 1/θj) é a probabilidade de um indivíduo j com habilidade θj responder afirmativamente o item i; bi é o parâmetro de dificuldade do item i; e ai é o parâmetro de discriminação do item i. O modelo de TRI também pode apresentar um terceiro parâmetro conhecido como acerto ao acaso. No entanto, para os dados trabalhados no estudo não seria correto colocá-lo como um parâmetro para o modelo, visto que não faria sentido neste tipo de questionário. Isto é o mesmo que afirmar que este parâmetro para este modelo é igual a zero. A teoria de resposta ao item (TRI) também pode se valer de alguns gráficos para que as características dos itens e do teste possam ser melhor resumidas e visualizadas. O primeiro deles expressa a curva característica do item que relaciona, neste caso, a probabilidade de resposta afirmativa de um determinado respondente – localizado no eixo das ordenadas – com o nível de violência de uma escola – localizado no eixo das abcissas. Vale ressaltar que o modelo matemático para a curva característica do item (CCI) é a função logística acumulada. 179 CADERNO DE PESQUISA 2 Além da curva característica do item (CCI), outra medida bastante utilizada é a função de informação do item (FII). Com ela é possível analisar o quanto de informação é obtida com um item para uma determinada medida de habilidade. Sua fórmula, para o modelo logístico de dois parâmetros, pode ser descrita por onde li [θ] é a informação fornecida pelo item i no nível de habilidade de uma variável θ, Pi (θ) corresponde a P(Uij = 1/θi) e Qi (θ) corresponde a 1 – P(Uij = 1/θj). 2. MODELOS DE EQUAÇÕES ESTRUTURAIS A modelagem de equações estruturais (MEE) é um método que envolve um conjunto de técnicas multivariadas e possui como grande diferencial a capacidade de analisar estruturas complexas de dependência entre variáveis. Além disso, a MEE possibilita a transição de uma abordagem exploratória para uma perspectiva confirmatória: um conjunto de relacionamentos de dependência é testado empiricamente através de um modelo que operacionaliza a teoria. Segundo Hair et al. (2010), técnicas dessa modelagem são diferenciadas por duas características: (1) a estimação de múltiplas e inter-relacionadas relações de dependência e (2) a habilidade para representar conceitos não observados nessas relações e explicar o erro de mensuração durante o processo de estimação do modelo. A MEE proporciona a estimação apropriada e eficiente para uma série de equações de regressão múltipla separadas, mas interdependentes, simultaneamente. Desta forma, um modelo estrutural possibilita a análise simultânea de diversas relações em que variáveis dependentes (respostas ou endógenas) se tornam independentes (explicativas ou exógenas) em relações subsequentes. Além disso, mais de uma variável dependente pode ser incorporada no modelo. Outro diferencial da modelagem de equações estruturais é sua habilidade de incorporar variáveis latentes, também designadas fatores ou construtos, ao modelo. Um modelo de equações estruturais é composto por dois sub-modelos distintos: de mensuração e estrutural. 180 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS No modelo de mensuração são estudadas as relações entre as variáveis observadas e os construtos de interesse. Seu objetivo principal é confirmar a adequação dos indicadores selecionados para aferir os construtos. Adequação e ajuste são cruciais para que um modelo estrutural possa ser testado. No modelo estrutural são tratadas as relações entre as variáveis latentes do modelo em teste, que podem ser causais ou de associação. A realização dos procedimentos para ajuste desses dois sub-modelos se assemelha a executar uma análise fatorial dos indicadores e utilizar os escores fatoriais em várias equações de regressão. Para realizar a estimação de um modelo de equações estruturais é necessário pré-estabelecer a estrutura de relações entre as variáveis e seus efeitos. Essas especificações, a priori, podem ser representadas como hipóteses do modelo e, neste sentido, uma MEE pode ser vista como uma técnica de cunho confirmatório. A construção do modelo deve ser realizada com base em aspectos teóricos relacionados ao fenômeno estudado ou em estudos empíricos anteriores e, então, durante a análise dos resultados, o pesquisador pode determinar o quanto o modelo teórico é validado pela amostra observada. 3. REPRESENTAÇÃO GRÁFICA DO MODELO DE EQUAÇÕES ESTRUTURAIS A MEE é usualmente considerada uma combinação de análise fatorial e análise de caminho (path analysis), visto que um modelo estrutural é um modelo de caminho (path model) com a incorporação de variáveis latentes. Essa característica permite uma representação gráfica das relações encontradas em um MEE através de um diagrama de caminho, ou diagrama de trajetória. Diagramas de caminho são mais do que uma representação visual das relações preditivas entre os construtos, mas também correlações entre construtos e até mesmo indicadores (HAIR et al., 2010). As variáveis e suas relações são ilustradas nesse tipo de diagrama através da junção de formas geométricas e setas. A figura 20 mostra uma apresentação visual dos componentes de um diagrama de trajetória. A ilustração das variáveis é simples: as variáveis observadas são representadas por quadrados ou retângulos e as variáveis latentes são representadas por círculos ou elipses. Com relação às setas, as unidirecionais indicam o efeito direto de uma variável em outra e as bidimensionais representam covariâncias ou correlações entre as variáveis (KLINE, 2011). 181 CADERNO DE PESQUISA 2 FIGURA 20 – SÍMBOLOS PARA A CRIAÇÃO DE UM DIAGRAMA DE TRAJETÓRIA E SUAS DESCRIÇÕES 4. QUALIDADE DO AJUSTE DO MODELO Existem inúmeros índices que medem o ajuste e a adequação do modelo, isto é, quão bem o modelo teórico reproduz a estrutura de relações das variáveis observadas na amostra. Entre as medidas mais utilizadas estão: • Root mean square error of aproximation (RMSEA) – um dos índices reconhecidos como mais explicativos para a avaliação de modelos que utilizam estruturas de covariâncias. O RMSEA mede a discrepância entre a matriz de covariâncias amostral e estimada, é sensível ao número de parâmetros estimados no modelo e leva em consideração o erro de aproximação na população. Segundo Kline (2011), valores inferiores a 0,05 indicam boa qualidade no ajuste. • Root mean square residual (RMR) – representa a raiz quadrada média dos resíduos e indica o valor absoluto médio dos resíduos das covariâncias. Valores menores que 0,10 indicam um bom ajuste do modelo. • Goodness-of-fit index (GFI) – estima a proporção das covariâncias observadas na matriz amostral, que é explicada pelo modelo ajustado (KLINE, 2011). Essa medida estima quanto o modelo teórico se ajusta comparado ao modelo nulo. O índice assume valores entre 0 e 1. Resultados maiores que 0,90 indicam bom ajustamento. 182 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS • Parsimony goodness-of-fit index (PGFI) – é uma adaptação de GFI que leva em consideração o número de parâmetros estimados no modelo teórico. Esse índice assume valores menores que o GFI, valores superiores a 0,60 já indicam bom ajuste. Além dos índices apresentados, é possível realizar o teste Qui-quadrado de ajustamento, que possui como hipótese nula a igualdade entre as matrizes de covariâncias amostral e estimada. A utilização deste teste não é muito comum devido à sua sensibilidade com o tamanho amostral. 5. MODELOS DE REGRESSÃO MULTINÍVEL Os modelos de regressão multinível consistem em uma evolução do modelo de regressão linear e também são conhecidos por denominações como modelo hierárquico linear, modelo de coeficiente randômico ou modelo linear misto. Esses modelos, basicamente, apresentam relações que agrupam as variáveis conforme níveis hierárquicos, permitindo, assim, uma análise dentro de cada unidade (HOX, 2010). Nos modelos de regressão clássica, assume-se a independência entre os indivíduos. No entanto, os estudos educacionais envolvem dados de natureza hierárquica, ou seja, os indivíduos em estudo correspondem a unidades de nível mais baixo, que poderiam ser enquadradas como nível 1, seguidas por agrupamento dessas unidades conforme nível mais alto, que poderia ser nomeado como nível 2, e assim por diante (figura 21). FIGURA 21 – GRÁFICO ILUSTRATIVO REFERENTE À HIERARQUIA CONSTANTE NO MRM Logo, as unidades de um mesmo nível pertencentes a uma unidade de nível mais alto raramente são independentes, o que demonstra que o pressuposto da independência entre as observações não foi atendido e isso faz com que seja ideal o uso dos modelos de regressão multinível. O não 183 CADERNO DE PESQUISA 2 pressuposto da independência entre as observações é uma vantagem no uso dessa técnica, pois permite analisar as correlações em diferentes níveis e escolher um modelo que faça as associações mais adequadas. Além disso, a análise multinível necessita de um agrupamento claro e de uma classificação de nível para cada variável observada, permitindo, inclusive, uma distinção entre níveis individuais e agregados como classificação. Um modelo com dois níveis, por exemplo, escolas e estudantes, com duas variáveis explicativas no nível dos alunos (nível mais baixo) e uma variável relativa às escolas (no nível mais alto). O conjunto de equações que descreve o modelo pode ser apresentado por yij = β0j + β1j x1ij + β2ij x2j + eij, β0j = γ 00 + γ 01zi + u0j, β1j = γ 10 + γ 11zi + u1j, β2j = γ 20 + γ 21zi + u2j. Dessa forma é possível ajustar um modelo onde o intercepto (β0j) e as variáveis explicativas do nível mais baixo (β0j) podem ter, além do efeito fixo, um efeito aleatório. Esse efeito aleatório permite que os coeficientes do nível mais baixo variem entre as unidades do nível mais alto. Ainda, além de estimar o efeito de variáveis do nível mais alto, é possível introduzir efeitos de interação entre as variáveis de níveis diferentes (coeficientes γ 11 e γ 21). 184 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS APÊNDICE B FIGURA 22 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (DIRETOR) 185 CADERNO DE PESQUISA 2 FIGURA 23 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (DIRETOR) 186 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 24 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (DIRETOR) 187 CADERNO DE PESQUISA 2 FIGURA 25 – DISTRIBUIÇÃO DAS RESPOSTAS AO ITEM SOBRE PORTE DE ARMA BRANCA POR ESTADO (DIRETOR) FIGURA 26 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (PROFESSOR) 188 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 27 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (PROFESSOR) 189 CADERNO DE PESQUISA 2 FIGURA 28 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (PROFESSOR) 190 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS FIGURA 29 – DISTRIBUIÇÃO DAS RESPOSTAS AOS ITENS DE VIOLÊNCIA NAS ESCOLAS POR ESTADO (PROFESSOR) 191 CADERNO DE PESQUISA 2 APÊNDICE C ################################################################################# # Códigos do R # Pacotes library(ggplot2) library(tidyverse) library("moments") require(dplyr) require(forcats) require("irr") ################################################################################# # Distribuição dos itens # Diretores - Importação dos dados do questionário dos diretores diretor <- read.csv("TS_DIRETOR.csv", header = TRUE) diretor=diretor[,c(1:4,97:106)] # Preparando os dados diretor$TX_RESP_Q090 <- as.character(diretor$TX_RESP_Q090) diretor[which(diretor$TX_RESP_Q090=="A"),which(names(diretor)=="TX_RESP_Q090")] <- "1" diretor[which(diretor$TX_RESP_Q090=="B"),which(names(diretor)=="TX_RESP_Q090")] <- "0" diretor[which(diretor$TX_RESP_Q090==""),which(names(diretor)=="TX_RESP_Q090")] <- "0" diretor$TX_RESP_Q090 <- as.numeric(diretor$TX_RESP_Q090) diretor$TX_RESP_Q091 <- as.character(diretor$TX_RESP_Q091) diretor[which(diretor$TX_RESP_Q091=="A"),which(names(diretor)=="TX_RESP_Q091")] <- "1" diretor[which(diretor$TX_RESP_Q091=="B"),which(names(diretor)=="TX_RESP_Q091")] <- "0" diretor[which(diretor$TX_RESP_Q091==""),which(names(diretor)=="TX_RESP_Q091")] <- "0" diretor$TX_RESP_Q091 <- as.numeric(diretor$TX_RESP_Q091) diretor$TX_RESP_Q092 <- as.character(diretor$TX_RESP_Q092) diretor[which(diretor$TX_RESP_Q092=="A"),which(names(diretor)=="TX_RESP_Q092")] <- "1" diretor[which(diretor$TX_RESP_Q092=="B"),which(names(diretor)=="TX_RESP_Q092")] <- "0" diretor[which(diretor$TX_RESP_Q092==""),which(names(diretor)=="TX_RESP_Q092")] <- "0" diretor$TX_RESP_Q092 <- as.numeric(diretor$TX_RESP_Q092) 192 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS diretor$TX_RESP_Q093 <- as.character(diretor$TX_RESP_Q093) diretor[which(diretor$TX_RESP_Q093=="A"),which(names(diretor)=="TX_RESP_Q093")] <- "1" diretor[which(diretor$TX_RESP_Q093=="B"),which(names(diretor)=="TX_RESP_Q093")] <- "0" diretor[which(diretor$TX_RESP_Q093==""),which(names(diretor)=="TX_RESP_Q093")] <- "0" diretor$TX_RESP_Q093 <- as.numeric(diretor$TX_RESP_Q093) diretor$TX_RESP_Q094 <- as.character(diretor$TX_RESP_Q094) diretor[which(diretor$TX_RESP_Q094=="A"),which(names(diretor)=="TX_RESP_Q094")] <- "1" diretor[which(diretor$TX_RESP_Q094=="B"),which(names(diretor)=="TX_RESP_Q094")] <- "0" diretor[which(diretor$TX_RESP_Q094==""),which(names(diretor)=="TX_RESP_Q094")] <- "0" diretor$TX_RESP_Q094 <- as.numeric(diretor$TX_RESP_Q094) diretor$TX_RESP_Q095 <- as.character(diretor$TX_RESP_Q095) diretor[which(diretor$TX_RESP_Q095=="A"),which(names(diretor)=="TX_RESP_Q095")] <- "1" diretor[which(diretor$TX_RESP_Q095=="B"),which(names(diretor)=="TX_RESP_Q095")] <- "0" diretor[which(diretor$TX_RESP_Q095==""),which(names(diretor)=="TX_RESP_Q095")] <- "0" diretor$TX_RESP_Q095 <- as.numeric(diretor$TX_RESP_Q095) diretor$TX_RESP_Q096 <- as.character(diretor$TX_RESP_Q096) diretor[which(diretor$TX_RESP_Q096=="A"),which(names(diretor)=="TX_RESP_Q096")] <- "1" diretor[which(diretor$TX_RESP_Q096=="B"),which(names(diretor)=="TX_RESP_Q096")] <- "0" diretor[which(diretor$TX_RESP_Q096==""),which(names(diretor)=="TX_RESP_Q096")] <- "0" diretor$TX_RESP_Q096 <- as.numeric(diretor$TX_RESP_Q096) diretor$TX_RESP_Q097 <- as.character(diretor$TX_RESP_Q097) diretor[which(diretor$TX_RESP_Q097=="A"),which(names(diretor)=="TX_RESP_Q097")] <- "1" diretor[which(diretor$TX_RESP_Q097=="B"),which(names(diretor)=="TX_RESP_Q097")] <- "0" diretor[which(diretor$TX_RESP_Q097==""),which(names(diretor)=="TX_RESP_Q097")] <- "0" diretor$TX_RESP_Q097 <- as.numeric(diretor$TX_RESP_Q097) diretor$TX_RESP_Q098 <- as.character(diretor$TX_RESP_Q098) diretor[which(diretor$TX_RESP_Q098=="A"),which(names(diretor)=="TX_RESP_Q098")] <- "1" diretor[which(diretor$TX_RESP_Q098=="B"),which(names(diretor)=="TX_RESP_Q098")] <- "0" diretor[which(diretor$TX_RESP_Q098==""),which(names(diretor)=="TX_RESP_Q098")] <- "0" diretor$TX_RESP_Q098 <- as.numeric(diretor$TX_RESP_Q098) diretor$TX_RESP_Q099 <- as.character(diretor$TX_RESP_Q099) diretor[which(diretor$TX_RESP_Q099=="A"),which(names(diretor)=="TX_RESP_Q099")] <- "1" diretor[which(diretor$TX_RESP_Q099=="B"),which(names(diretor)=="TX_RESP_Q099")] <- "0" diretor[which(diretor$TX_RESP_Q099==""),which(names(diretor)=="TX_RESP_Q099")] <- "0" 193 CADERNO DE PESQUISA 2 diretor$TX_RESP_Q099 <- as.numeric(diretor$TX_RESP_Q099) # Cálculo do percentual de respostas "sim" para os itens de violência q90 <- prop.table(table(diretor$TX_RESP_Q090))*100 q91 <- prop.table(table(diretor$TX_RESP_Q091))*100 q92 <- prop.table(table(diretor$TX_RESP_Q092))*100 q93 <- prop.table(table(diretor$TX_RESP_Q093))*100 q94 <- prop.table(table(diretor$TX_RESP_Q094))*100 q95 <- prop.table(table(diretor$TX_RESP_Q095))*100 q96 <- prop.table(table(diretor$TX_RESP_Q096))*100 q97 <- prop.table(table(diretor$TX_RESP_Q097))*100 q98 <- prop.table(table(diretor$TX_RESP_Q098))*100 q99 <- prop.table(table(diretor$TX_RESP_Q099))*100 # Preparando os dados para gráfico Itens_VIOLENCIA=rbind(q90,q91,q92,q93,q94,q95,q96,q97,q98,q99) Nomes<-c("Q90-Agressão Aluno-Professor","Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto","Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo") dados=data.frame(Itens_VIOLENCIA,Nomes) names(dados)[names(dados)== "X0"]<- "Não" names(dados)[names(dados)== "X1"]<- "Sim" ggplot(data=dados, aes(x = reorder(Nomes, -Sim), y = Sim)) + labs(x="", y ="% de respostas afirmativas")+ geom_bar(stat="identity", color="black", fill="indianred4") + geom_text(aes(label = paste0(round(Sim,1),"%")), size=8, vjust=-0.3) + theme_classic() + theme(axis.title.y = element_text (colour= "black", size=20, vjust=2.0, hjust = 0.5, angle = 90), axis.title.x = element_text (colour= "black", size=18, hjust = 0.5, angle = 0), panel.border axis.line axis.text.y = element_blank(), = element_line(colour = "black"), = element_blank(), plot.background axis.text.x = element_rect( margin(0)), = element_text(color ="black",size=20 ,hjust=1,angle=70, vjust = 1))+ ylim(0,90) # Por macrorregião diretor$Macro=substr(diretor$ID_UF,1,1) diretor$Macro[diretor$Macro==1]<-"Norte" diretor$Macro[diretor$Macro==2]<-"Nordeste" 194 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS diretor$Macro[diretor$Macro==3]<-"Sudeste" diretor$Macro[diretor$Macro==4]<-"Sul" diretor$Macro[diretor$Macro==5]<-"Centro-oeste" # Cálculo do percentual de respostas "sim" para os itens de violência, por macrorregião q90_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q090),1)*100 q91_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q091),1)*100 q92_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q092),1)*100 q93_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q093),1)*100 q94_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q094),1)*100 q95_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q095),1)*100 q96_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q096),1)*100 q97_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q097),1)*100 q98_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q098),1)*100 q99_macro <- prop.table(table(diretor$Macro,diretor$TX_RESP_Q099),1)*100 diretor_macro=cbind(q90_macro[,2],q91_macro[,2],q92_macro[,2],q93_macro[,2], q94_macro[,2],q95_macro[,2],q96_macro[,2],q97_macro[,2], q98_macro[,2],q99_macro[,2]) colnames(diretor_macro)<-c("Q90-Agressão Aluno-Professor","Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto","Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo") # Tabela com os percentuais diretor_macro ################################################################################# # Por estado # Cálculo do percentual de respostas "sim" para os itens de violência, por estado q90_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q090),1)*100 q91_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q091),1)*100 q92_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q092),1)*100 q93_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q093),1)*100 q94_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q094),1)*100 q95_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q095),1)*100 q96_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q096),1)*100 q97_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q097),1)*100 q98_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q098),1)*100 195 CADERNO DE PESQUISA 2 q99_estado <- prop.table(table(diretor$ID_UF,diretor$TX_RESP_Q099),1)*100 # Preparando os dados para o gráfico itens_estado=cbind(q90_estado[,2],q91_estado[,2],q92_estado[,2],q93_estado[,2], q94_estado[,2],q95_estado[,2],q96_estado[,2],q97_estado[,2], q98_estado[,2],q99_estado[,2]) Nomes3<-c("RO","AC","AM", "RR", "PA", "AP", "TO", "MA", "PI", "CE", "RN", "PB", "PE", "AL", "SE", "BA", "MG", "ES", "RJ", "SP", "PR", "SC", "RS", "MS", "MT", "GO", "DF") dados=data.frame(itens_estado) dados=data.frame(itens_estado,Nomes3) dados$Macroregiao=substr(rownames(dados),1,1) dados$Macroregiao[dados$Macroregiao==1]<-"Norte" dados$Macroregiao[dados$Macroregiao==2]<-"Nordeste" dados$Macroregiao[dados$Macroregiao==3]<-"Sudeste" dados$Macroregiao[dados$Macroregiao==4]<-"Sul" dados$Macroregiao[dados$Macroregiao==5]<-"Centro-oeste" dados %>% mutate(ordering = X1, Nomes3= fct_reorder(Nomes3, ordering, .desc = T)) %>% # Gráfico para o item Agressão Aluno-Professor ggplot( aes( Nomes3, X1, fill=Macroregiao))+ labs(x="", y ="% de respostas afirmativas", title="Q90 - Agressão Aluno-Professor") + geom_col( color="black") + theme_classic() + theme(axis.title.y = element_text (colour= "black", size=20, vjust=3.0, hjust = 0.5, angle = 90), axis.title.x = element_text (colour= "black", size=18, hjust = 0.5, angle = 0), title = element_text (colour= "black", size=25), panel.border axis.line legend.text = element_blank(), = element_line(colour = "black"), =element_text(size = 20) , plot.background = element_rect( margin(0)), axis.text.y = element_text(color= "black",size = 20,hjust = 0.5,angle = 0, vjust = 1), axis.text.x = element_text(color= "black",size =20,hjust = 0.5,angle = 0,vjust = 1)) + ylim(0,80) 196 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS ################################################################################# # Professores - Importação dos dados do questionário dos professores professor <- read.csv("TS_PROFESSOR.csv", header = TRUE) professor=professor[,c(1:4, 92:101)] # Recodificando os itens professor$TX_RESP_Q083 <- as.character(professor$TX_RESP_Q083) professor[which(professor$TX_RESP_Q083=="A"),which(names(professor)=="TX_RESP_Q083")] <- "1" professor[which(professor$TX_RESP_Q083=="B"),which(names(professor)=="TX_RESP_Q083")] <- "0" professor[which(professor$TX_RESP_Q083==""),which(names(professor)=="TX_RESP_Q083")] <- "0" professor$TX_RESP_Q083 <- as.numeric(professor$TX_RESP_Q083) professor$TX_RESP_Q084 <- as.character(professor$TX_RESP_Q084) professor[which(professor$TX_RESP_Q084=="A"),which(names(professor)=="TX_RESP_Q084")] <- "1" professor[which(professor$TX_RESP_Q084=="B"),which(names(professor)=="TX_RESP_Q084")] <- "0" professor[which(professor$TX_RESP_Q084==""),which(names(professor)=="TX_RESP_Q084")] <- "0" professor$TX_RESP_Q084 <- as.numeric(professor$TX_RESP_Q084) professor$TX_RESP_Q085 <- as.character(professor$TX_RESP_Q085) professor[which(professor$TX_RESP_Q085=="A"),which(names(professor)=="TX_RESP_Q085")] <- "1" professor[which(professor$TX_RESP_Q085=="B"),which(names(professor)=="TX_RESP_Q085")] <- "0" professor[which(professor$TX_RESP_Q085==""),which(names(professor)=="TX_RESP_Q085")] <- "0" professor$TX_RESP_Q085 <- as.numeric(professor$TX_RESP_Q085) professor$TX_RESP_Q086 <- as.character(professor$TX_RESP_Q086) professor[which(professor$TX_RESP_Q086=="A"),which(names(professor)=="TX_RESP_Q086")] <- "1" professor[which(professor$TX_RESP_Q086=="B"),which(names(professor)=="TX_RESP_Q086")] <- "0" professor[which(professor$TX_RESP_Q086==""),which(names(professor)=="TX_RESP_Q086")] <- "0" professor$TX_RESP_Q086 <- as.numeric(professor$TX_RESP_Q086) professor$TX_RESP_Q087 <- as.character(professor$TX_RESP_Q087) professor[which(professor$TX_RESP_Q087=="A"),which(names(professor)=="TX_RESP_Q087")] <- "1" professor[which(professor$TX_RESP_Q087=="B"),which(names(professor)=="TX_RESP_Q087")] <- "0" professor[which(professor$TX_RESP_Q087==""),which(names(professor)=="TX_RESP_Q087")] <- "0" professor$TX_RESP_Q087 <- as.numeric(professor$TX_RESP_Q087) professor$TX_RESP_Q088 <- as.character(professor$TX_RESP_Q088) professor[which(professor$TX_RESP_Q088=="A"),which(names(professor)=="TX_RESP_Q088")] <- "1" professor[which(professor$TX_RESP_Q088=="B"),which(names(professor)=="TX_RESP_Q088")] <- "0" 197 CADERNO DE PESQUISA 2 professor[which(professor$TX_RESP_Q088==""),which(names(professor)=="TX_RESP_Q088")] <- "0" professor$TX_RESP_Q088 <- as.numeric(professor$TX_RESP_Q088) professor$TX_RESP_Q089 <- as.character(professor$TX_RESP_Q089) professor[which(professor$TX_RESP_Q089=="A"),which(names(professor)=="TX_RESP_Q089")] <- "1" professor[which(professor$TX_RESP_Q089=="B"),which(names(professor)=="TX_RESP_Q089")] <- "0" professor[which(professor$TX_RESP_Q089==""),which(names(professor)=="TX_RESP_Q089")] <- "0" professor$TX_RESP_Q089 <- as.numeric(professor$TX_RESP_Q089) professor$TX_RESP_Q090 <- as.character(professor$TX_RESP_Q090) professor[which(professor$TX_RESP_Q090=="A"),which(names(professor)=="TX_RESP_Q090")] <- "1" professor[which(professor$TX_RESP_Q090=="B"),which(names(professor)=="TX_RESP_Q090")] <- "0" professor[which(professor$TX_RESP_Q090==""),which(names(professor)=="TX_RESP_Q090")] <- "0" professor$TX_RESP_Q090 <- as.numeric(professor$TX_RESP_Q090) professor$TX_RESP_Q091 <- as.character(professor$TX_RESP_Q091) professor[which(professor$TX_RESP_Q091=="A"),which(names(professor)=="TX_RESP_Q091")] <- "1" professor[which(professor$TX_RESP_Q091=="B"),which(names(professor)=="TX_RESP_Q091")] <- "0" professor[which(professor$TX_RESP_Q091==""),which(names(professor)=="TX_RESP_Q091")] <- "0" professor$TX_RESP_Q091 <- as.numeric(professor$TX_RESP_Q091) professor$TX_RESP_Q092 <- as.character(professor$TX_RESP_Q092) professor[which(professor$TX_RESP_Q092=="A"),which(names(professor)=="TX_RESP_Q092")] <- "1" professor[which(professor$TX_RESP_Q092=="B"),which(names(professor)=="TX_RESP_Q092")] <- "0" professor[which(professor$TX_RESP_Q092==""),which(names(professor)=="TX_RESP_Q092")] <- "0" professor$TX_RESP_Q092 <- as.numeric(professor$TX_RESP_Q092) # Agregando (1 resposta por escola) a0=aggregate(x =list(max = professor$TX_RESP_Q083),by = list(tipo = professor$ID_ESCOLA), FUN = max) a1=aggregate(x =list(max = professor$TX_RESP_Q084),by = list(tipo = professor$ID_ESCOLA), FUN = max) a2=aggregate(x =list(max = professor$TX_RESP_Q085),by = list(tipo = professor$ID_ESCOLA), FUN = max) a3=aggregate(x =list(max = professor$TX_RESP_Q086),by = list(tipo = professor$ID_ESCOLA), FUN = max) a4=aggregate(x =list(max = professor$TX_RESP_Q087),by = list(tipo = professor$ID_ESCOLA), FUN = max) 198 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS a5=aggregate(x =list(max = professor$TX_RESP_Q088),by = list(tipo = professor$ID_ESCOLA), FUN = max) a6=aggregate(x =list(max = professor$TX_RESP_Q089),by = list(tipo = professor$ID_ESCOLA), FUN = max) a7=aggregate(x =list(max = professor$TX_RESP_Q090),by = list(tipo = professor$ID_ESCOLA), FUN = max) a8=aggregate(x =list(max = professor$TX_RESP_Q091),by = list(tipo = professor$ID_ESCOLA), FUN = max) a9=aggregate(x =list(max = professor$TX_RESP_Q092),by = list(tipo = professor$ID_ESCOLA), FUN = max) uf=aggregate(x =list(max = professor$ID_UF), by = list(tipo = professor$ID_ESCOLA), FUN = max) mun=aggregate(x =list(max = professor$ID_MUNICIPIO),by = list(tipo = professor$ID_ESCOLA),FUN = max) # Arquivo com os dados agregados (1 resposta por escola) professor_agreg=cbind(a0,a1[,2],a2[,2],a3[,2],a4[,2],a5[,2], a6[,2],a7[,2],a8[,2],a9[,2],uf[,2],mun[,2]) names(professor_agreg)[names(professor_agreg)== "max"]<- "Q90" names(professor_agreg)[names(professor_agreg)== "a1[, 2]"]<- "Q91" names(professor_agreg)[names(professor_agreg)== "a2[, 2]"]<- "Q92" names(professor_agreg)[names(professor_agreg)== "a3[, 2]"]<- "Q93" names(professor_agreg)[names(professor_agreg)== "a4[, 2]"]<- "Q94" names(professor_agreg)[names(professor_agreg)== "a5[, 2]"]<- "Q95" names(professor_agreg)[names(professor_agreg)== "a6[, 2]"]<- "Q96" names(professor_agreg)[names(professor_agreg)== "a7[, 2]"]<- "Q97" names(professor_agreg)[names(professor_agreg)== "a8[, 2]"]<- "Q98" names(professor_agreg)[names(professor_agreg)== "a9[, 2]"]<- "Q99" names(professor_agreg)[names(professor_agreg)== "uf[, 2]"]<- "ID_UF" names(professor_agreg)[names(professor_agreg)== "mun[, 2]"]<- "ID_MUNICIPIO" # Cálculo do percentual de respostas "sim" para os itens de violência q90 <- prop.table(table(professor_agreg$Q90))*100 q91 <- prop.table(table(professor_agreg$Q91))*100 q92 <- prop.table(table(professor_agreg$Q92))*100 q93 <- prop.table(table(professor_agreg$Q93))*100 q94 <- prop.table(table(professor_agreg$Q94))*100 q95 <- prop.table(table(professor_agreg$Q95))*100 q96 <- prop.table(table(professor_agreg$Q96))*100 199 CADERNO DE PESQUISA 2 q97 <- prop.table(table(professor_agreg$Q97))*100 q98 <- prop.table(table(professor_agreg$Q98))*100 q99 <- prop.table(table(professor_agreg$Q99))*100 # Preparando para o gráfico Itens_VIOLENCIA=rbind(q90,q91,q92,q93,q94,q95,q96,q97,q98,q92) Nomes<-c("Q90-Agressão Aluno-Professor","Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto","Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo") Itens_VIOLENCIA dados=data.frame(Itens_VIOLENCIA,Nomes) names(dados)[names(dados)== "X1"]<- "Sim" names(dados)[names(dados)== "X0"]<- "Não" ggplot(data=dados, aes(x = reorder(Nomes, -Sim), y = Sim)) + labs(x="", y ="% de respostas afirmativas")+ geom_bar(stat="identity", color="black", fill="blue4") + geom_text(aes(label = paste0(round(Sim,1),"%")), size=8, vjust=-0.3) + theme_classic() + theme(axis.title.y = element_text (colour= "black", size=20, vjust=2.0, hjust = 0.5,angle = 90), axis.title.x = element_text (colour= "black", size=18, hjust = 0.5, angle = 0), panel.border axis.line axis.text.y = element_blank(), = element_line(colour = "black"), = element_blank(), plot.background = element_rect( margin(0)), axis.text.x = element_text(color= "black",size = 20,hjust = 1,angle = 70, vjust = 1))+ ylim(0,90) # Por macrorregião professor_agreg$Macro=substr(professor_agreg$ID_UF,1,1) professor_agreg$Macro[professor_agreg$Macro==1]<-"Norte" professor_agreg$Macro[professor_agreg$Macro==2]<-"Nordeste" professor_agreg$Macro[professor_agreg$Macro==3]<-"Sudeste" professor_agreg$Macro[professor_agreg$Macro==4]<-"Sul" professor_agreg$Macro[professor_agreg$Macro==5]<-"Centro-oeste" q90_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q90),1)*100 q91_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q91),1)*100 q92_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q92),1)*100 200 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS q93_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q93),1)*100 q94_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q94),1)*100 q95_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q95),1)*100 q96_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q96),1)*100 q97_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q97),1)*100 q98_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q98),1)*100 q99_macro <- prop.table(table(professor_agreg$Macro,professor_agreg$Q99),1)*100 itens_macro=cbind(q90_macro[,2],q91_macro[,2],q92_macro[,2],q93_macro[,2], q94_macro[,2],q95_macro[,2],q96_macro[,2],q97_macro[,2], q98_macro[,2],q99_macro[,2]) Nomes2<-c("N", "NE", "SE", "S","CO") q90_macro=cbind(q90_macro,Nomes2) dados=data.frame(itens_macro) dados=data.frame(itens_macro,Nomes2) # Agressão Aluno-Professor ggplot(data=dados, aes(x = reorder(Nomes2, -X1), y = X1)) + labs(x="", y ="% de respostas afirmativas", title=" Q90 - Agressão Aluno-Professor")+ geom_bar(stat="identity", color="black", fill="salmon1") + geom_text(aes(label = paste0(round(X1,1),"%")), size=4, vjust=-0.3) + theme_classic() + theme(axis.title.y = element_text (colour= "black", size=12, vjust=3.0, hjust = 0.5, angle = 90), axis.title.x = element_text (colour= "black", size=15, hjust = 0.5, angle = 0), title = element_text (colour= "black", size=12), panel.border axis.line axis.text.y = element_blank(), = element_line(colour = "black"), = element_blank(), panel.background = element_rect(fill="gray93"), plot.background = element_rect(fill ="gray93", margin(0)), axis.text.x = element_text(color="black", size = 12,hjust = 0.5,angle = 0, vjust = 1))+ ylim(0,90) ################################################################################# # Por estado q90_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q90),1)*100 q91_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q91),1)*100 201 CADERNO DE PESQUISA 2 q92_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q92),1)*100 q93_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q93),1)*100 q94_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q94),1)*100 q95_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q95),1)*100 q96_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q96),1)*100 q97_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q97),1)*100 q98_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q98),1)*100 q99_estado <- prop.table(table(professor_agreg$ID_UF,professor_agreg$Q99),1)*100 # Preparando para o gráfico itens_estado=cbind(q90_estado[,2],q91_estado[,2],q92_estado[,2],q93_estado[,2], q94_estado[,2],q95_estado[,2],q96_estado[,2],q97_estado[,2], q98_estado[,2],q99_estado[,2]) Nomes3<-c("RO","AC","AM", "RR", "PA", "AP", "TO", "MA", "PI", "CE", "RN", "PB", "PE", "AL", "SE", "BA", "MG", "ES", "RJ", "SP", "PR", "SC", "RS", "MS", "MT", "GO", "DF") dados=data.frame(itens_estado) dados=data.frame(itens_estado,Nomes3) dados$Macroregiao=substr(rownames(dados),1,1) dados$Macroregiao[dados$Macroregiao==1]<-"Norte" dados$Macroregiao[dados$Macroregiao==2]<-"Nordeste" dados$Macroregiao[dados$Macroregiao==3]<-"Sudeste" dados$Macroregiao[dados$Macroregiao==4]<-"Sul" dados$Macroregiao[dados$Macroregiao==5]<-"Centro-oeste" # Gráfico dados %>% mutate(ordering = X1, Nomes3= fct_reorder(Nomes3, ordering, .desc = T)) %>% # Agressão Aluno-Professor ggplot( aes( Nomes3, X1, fill=Macroregiao))+ labs(x="", y ="% de respostas afirmativas", title="Q90 - Agressão Aluno-Professor") + geom_col( color="black") + theme_classic() + 202 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS theme(axis.title.y = element_text (colour= "black", size=20, vjust=3.0, hjust = 0.5, angle = 90), axis.title.x = element_text (colour= "black", size=18, hjust = 0.5, angle = 0), title = element_text (colour= "black", size=25), panel.border axis.line = element_blank(), = element_line(colour = "black"), legend.background = element_rect(size = 20), legend.text =element_text(color = "black", size = 20) , plot.background = element_rect(margin(0)), axis.text.y = element_text(color="black", size = 20, hjust = 0.5,angle = 0,vjust = 1), axis.text.x = element_text(color="black",size=20,hjust = 0.5, angle = 0, vjust = 1)) + ylim(0,80) ################################################################################# Juntando os dados para estudo de concordância names(professor_agreg)[names(professor_agreg)=="tipo"]="ID_ESCOLA" todos=merge(diretor,professor_agreg, by="ID_ESCOLA") # Concordância entre as respostas de diretores e professores # Um conjunto de dados para cada item a1=todos[,c(5,16)] a2=todos[,c(6,17)] a3=todos[,c(7,18)] a4=todos[,c(8,19)] a5=todos[,c(9,20)] a6=todos[,c(10,21)] a7=todos[,c(11,22)] a8=todos[,c(12,23)] a9=todos[,c(13,24)] a10=todos[,c(14,25)] # Coeficiente Kappa e tabela de contingência kappa2(a1) table(a1) ################################################################################# Resposta única - Juntando dados de professores e diretores q <- matrix(rep(0,823785), ncol = 15) 203 CADERNO DE PESQUISA 2 q[,1] <- todos[,1] q[,2] <- todos[,2] q[,3] <- todos[,3] q[,4] <- todos[,4] for(j in 5:14){ for(i in 1:length(todos$ID_ESCOLA)){ soma <- todos[i,j] + todos[i,j+11] if(soma == 0){ q[i,j]<- 0} else{ q[i,j] <- 1} } } resposta_unica <- as.data.frame(q[,1:14]) names(resposta_unica)[names(resposta_unica)=="V1"]="ID_ESCOLA" names(resposta_unica)[names(resposta_unica)=="V2"]="ID_PROVA_BRASIL" names(resposta_unica)[names(resposta_unica)=="V3"]="ID_UF" names(resposta_unica)[names(resposta_unica)=="V4"]="ID_MUNICIPIO" names(resposta_unica)[names(resposta_unica)=="V5"]="TX_RESP_Q090" names(resposta_unica)[names(resposta_unica)=="V6"]="TX_RESP_Q091" names(resposta_unica)[names(resposta_unica)=="V7"]="TX_RESP_Q092" names(resposta_unica)[names(resposta_unica)=="V8"]="TX_RESP_Q093" names(resposta_unica)[names(resposta_unica)=="V9"]="TX_RESP_Q094" names(resposta_unica)[names(resposta_unica)=="V10"]="TX_RESP_Q095" names(resposta_unica)[names(resposta_unica)=="V11"]="TX_RESP_Q096" names(resposta_unica)[names(resposta_unica)=="V12"]="TX_RESP_Q097" names(resposta_unica)[names(resposta_unica)=="V13"]="TX_RESP_Q098" names(resposta_unica)[names(resposta_unica)=="V14"]="TX_RESP_Q099" # Cálculo do percentual de respostas "sim" para os itens de violência q90 <- prop.table(table(resposta_unica$TX_RESP_Q090))*100 q91 <- prop.table(table(resposta_unica$TX_RESP_Q091))*100 q92 <- prop.table(table(resposta_unica$TX_RESP_Q092))*100 q93 <- prop.table(table(resposta_unica$TX_RESP_Q093))*100 q94 <- prop.table(table(resposta_unica$TX_RESP_Q094))*100 q95 <- prop.table(table(resposta_unica$TX_RESP_Q095))*100 q96 <- prop.table(table(resposta_unica$TX_RESP_Q096))*100 q97 <- prop.table(table(resposta_unica$TX_RESP_Q097))*100 204 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS q98 <- prop.table(table(resposta_unica$TX_RESP_Q098))*100 q99 <- prop.table(table(resposta_unica$TX_RESP_Q099))*100 # Preparando os dados para gráfico Itens_VIOLENCIA=rbind(q90,q91,q92,q93,q94,q95,q96,q97,q98,q99) Nomes<-c("Q90-Agressão Aluno-Professor","Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto","Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo") dados=data.frame(Itens_VIOLENCIA,Nomes) names(dados)[names(dados)== "X0"]<- "Não" names(dados)[names(dados)== "X1"]<- "Sim" ggplot(data=dados, aes(x = reorder(Nomes, -Sim), y = Sim)) + labs(x="", y ="% de respostas afirmativas")+ geom_bar(stat="identity", color="black", fill="green4") + geom_text(aes(label = paste0(round(Sim,1),"%")), size=8, vjust=-0.3) + theme_classic() + theme(axis.title.y = element_text (colour= "black", size=20, vjust=2.0, hjust = 0.5, angle = 90), axis.title.x = element_text (colour= "black", size=18, hjust = 0.5, angle = 0), panel.border axis.line axis.text.y = element_blank(), = element_line(colour = "black"), = element_blank(), plot.background = element_rect( margin(0)), axis.text.x = element_text(color="black",size = 20, hjust = 1,angle = 70, vjust = 1))+ ylim(0,100) ################################################################################# # Ajuste dos modelos TRI e gráficos # Pacotes nstall.packages("ggplot2") install.packages("dplyr") install.packages("mirt") install.packages("magrittr") install.packages("psych") library(dplyr) library(mirt) library(magrittr) library(ggplot2) 205 CADERNO DE PESQUISA 2 library(psych) ################################################################################# # Ajuste do modelo de TRI # Diretores diretor_2pl_mirt <- mirt(diretor[5:14], 1, intemtype = "2PL") coef(diretor_2pl_mirt, simplify=T, IRTpars=T) # Preparação para gráfico de curva característica dos itens traceline <- NULL for(i in 1:length(diretor[5:14])){ extr.2 <- extract.item(diretor_2pl_mirt, i) Theta <- matrix(seq(-5,5, by = .1)) traceline[[i]] <- probtrace(extr.2, Theta) } # Renomeia a lista names(traceline) <- c("Q90-Agressão Aluno-Professor", "Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto", "Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo" ) traceline.df <- do.call(rbind, traceline) Item <- rep(names(traceline),each=length(Theta)) l.format <- cbind.data.frame(Theta, Item, traceline.df) l.format$item<-as.factor(l.format$Item) aux<-l.format %>% group_by(Item) %>% slice(which.min(abs(P.1-0.5))) aux<-aux[order(aux$Theta),] ord<-as.integer(aux$item) l.format$Item = factor(l.format$Item,levels(l.format$Item)[ord]) ggplot(l.format, aes(Theta, P.1, colour = Item)) + 206 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS geom_line( size=1.2) + xlab("Nível de violência") + ylab("Probabilidade") + geom_hline(aes(yintercept = 0.5)) + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect(margin(0)), axis.text.y=element_text(colour="black", hjust = 1), legend.text =element_text(color = "black") ) # Preparando o gráfico para curva de informação do teste tI<- testinfo(diretor_2pl_mirt, Theta =seq(-5,5,0.01)) se<- 1/(sqrt(tI)) tI<- cbind.data.frame(tI,seq(-5,5,length.out=1001), se) colnames(tI) <- c("information", "xAxis","se") ggplot(tI, aes(x=xAxis, y=information, colour="black")) + geom_line(colour="blue" ,size=1.2) + scale_colour_identity(name="", guide="legend", labels=c("Information")) + xlab("Nível de violência") + ylab("Informação") + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect( margin(0)), axis.text.y=element_text(colour="black", hjust = 1))+ ylim(0,8) ################################################################################# # Professores professor_2pl_mirt <- mirt(professor_agreg[2:11], 1, intemtype = "2PL") coef(professor_2pl_mirt, simplify=T, IRTpars=T) traceline <- NULL for(i in 1:length(professor[4:13])){ extr.2 <- extract.item(professor_2pl_mirt, i) Theta <- matrix(seq(-5,5, by = .1)) traceline[[i]] <- probtrace(extr.2, Theta) } 207 CADERNO DE PESQUISA 2 # Renomeia a lista names(traceline) <- c("Q90-Agressão Aluno-Professor", "Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto", "Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo" ) traceline.df <- do.call(rbind, traceline) Item <- rep(names(traceline),each=length(Theta)) l.format <- cbind.data.frame(Theta, Item, traceline.df) l.format$item<-as.factor(l.format$Item) aux<-l.format %>% group_by(Item) %>% slice(which.min(abs(P.1-0.5))) aux<-aux[order(aux$Theta),] ord<-as.integer(aux$item) l.format$Item = factor(l.format$Item,levels(l.format$Item)[ord]) ggplot(l.format, aes(Theta, P.1, colour = Item)) + geom_line(size=1.2) + xlab("Nível de violência") + ylab("Probabilidade") + geom_hline(aes(yintercept = 0.5)) + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect( margin(0)), axis.text.y=element_text(colour="black", hjust = 1), legend.text =element_text(color = "black") ) tI<- testinfo(professor_2pl_mirt, Theta =seq(-5,5,0.01)) se<- 1/(sqrt(tI)) tI<- cbind.data.frame(tI,seq(-5,5,length.out=1001), se) colnames(tI) <- c("information", "xAxis","se") ggplot(tI, aes(x=xAxis, y=information, colour="black")) + geom_line(colour="blue" ,size=1.2) + 208 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS scale_colour_identity(name="", guide="legend", labels=c("Information")) + xlab("Nível de violência") + ylab("Informação") + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect( margin(0)), axis.text.y=element_text(colour="black", hjust = 1)) ################################################################################# # Resposta única resposta_unica_2pl_mirt <- mirt(resposta_unica[,5:14], 1, intemtype = "2PL") coef(resposta_unica_2pl_mirt, simplify=T, IRTpars=T) traceline <- NULL for(i in 1:length(resposta_unica[,5:14])){ extr.2 <- extract.item(resposta_unica_2pl_mirt, i) Theta <- matrix(seq(-5,5, by = .1)) traceline[[i]] <- probtrace(extr.2, Theta) } names(traceline) <- c("Q90-Agressão Aluno-Professor", "Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto", "Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo" ) traceline.df <- do.call(rbind, traceline) Item <- rep(names(traceline),each=length(Theta)) l.format <- cbind.data.frame(Theta, Item, traceline.df) l.format$item<-as.factor(l.format$Item) aux<-l.format %>% group_by(Item) %>% slice(which.min(abs(P.1-0.5))) aux<-aux[order(aux$Theta),] 209 CADERNO DE PESQUISA 2 ord<-as.integer(aux$item) l.format$Item = factor(l.format$Item,levels(l.format$Item)[ord]) ggplot(l.format, aes(Theta, P.1, colour = Item)) + geom_line( size=1.2) + xlab("Nível de violência") + ylab("Probabilidade") + geom_hline(aes(yintercept = 0.5)) + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect( margin(0)), axis.text.y=element_text(colour="black", hjust = 1), legend.text =element_text(color = "black") ) tI<- testinfo(resposta_unica_2pl_mirt, Theta =seq(-5,5,0.01)) se<- 1/(sqrt(tI)) tI<- cbind.data.frame(tI,seq(-5,5,length.out=1001), se) colnames(tI) <- c("information", "xAxis","se") ggplot(tI, aes(x=xAxis, y=information, colour="black")) + geom_line(colour="blue" ,size=1.2) + scale_colour_identity(name="", guide="legend", labels=c("Information")) + xlab("Nível de violência") + ylab("Informação") + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect(margin(0)), axis.text.y=element_text(colour="black", hjust = 1))+ ylim(0,8) ################################################################################# # Coeficiente alfa de cronbach alfa_diretor=alpha(diretor[5:14]) alfa_diretor=alpha(professor_agreg[2:11]) alfa_unica=alpha(resposta_unica[,5:14]) ################################################################################# # Resposta Unica # Divisão de Fundamental 1 e 2 210 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS # Segundo Censo escolar # Dados do Censo - turmas turma_censo=read.csv("TURMAS.csv") turma_censo <- data.frame(turma_censo$CO_ENTIDADE,turma_censo$TP_ETAPA_ENSINO) turma_censo <- unique(turma_censo) turma_censo <- na.omit(turma_censo) dir.prof.unica.1f2f <- merge(resposta_unica, turma_censo, by.x = "ID_ESCOLA", by.y = "turma_censo. CO_ENTIDADE") fundamental.1.unica<- NULL temp <- NULL dir.prof.unica.1f2f$turma_censo.TP_ETAPA_ENSINO <- as.numeric(dir.prof.unica.1f2f$turma_censo. TP_ETAPA_ENSINO) for(i in 1:length(dir.prof.unica.1f2f$ID_ESCOLA)){ temp <- dir.prof.unica.1f2f[i,] if(temp$turma_censo.TP_ETAPA_ENSINO == 4){ fundamental.1.unica<- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 5){ fundamental.1unica<- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 6){ fundamental.1.unicaunica<- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 7){ fundamental.1.unicaunica<- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 14){ fundamental.1.unicaunica<- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 15){ fundamental.1.unica <- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 16){ fundamental.1.unica <- bind_rows(temp,fundamental.1.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 17){ fundamental.1.unica <- bind_rows(temp,fundamental.1.unica) 211 CADERNO DE PESQUISA 2 } if(temp$turma_censo.TP_ETAPA_ENSINO == 18){ fundamental.1.unica <- bind_rows(temp,fundamental.1.unica) } } fundamental.2.unica <- NULL temp <- NULL for(i in 1:length(dir.prof.unica.1f2f$ID_ESCOLA)){ temp <- dir.prof.unica.1f2f[i,] if(temp$turma_censo.TP_ETAPA_ENSINO == 8){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 9){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 10){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 11){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 19){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 20){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 21){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } if(temp$turma_censo.TP_ETAPA_ENSINO == 41){ fundamental.2.unica <- bind_rows(temp,fundamental.2.unica) } } fundamental.1.unica <- fundamental.1.unica[,-c(15,16)] fundamental.1.unica <- unique(fundamental.1.unica) fundamental.2.unica <- fundamental.2.unica[,-c(15,16)] fundamental.2.unica <- unique(fundamental.2.unica) 212 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS vetor <- as.numeric(fundamental.2.unica$ID_ESCOLA) fundamental.1.unica$ID_ESCOLA <- as.numeric(fundamental.1.unica$ID_ESCOLA) str(vetor) temp <- NULL ambos <- NULL for( i in 1:length(vetor)){ temp <- fundamental.1.unica[ fundamental.1.unica$ID_ESCOLA == vetor[i],] ambos <- bind_rows(ambos,temp) } for( i in 1:length(vetor)){ fundamental.1.unica <- fundamental.1.unica[ !(fundamental.1.unica$ID_ESCOLA == vetor[i]),] } vetor <- as.numeric(ambos$ID_ESCOLA) fundamental.2.unica$ID_ESCOLA <- as.numeric(fundamental.2.unica$ID_ESCOLA) str(vetor) temp <- NULL for( i in 1:length(vetor)){ fundamental.2.unica <- fundamental.2.unica[ !(fundamental.2.unica$ID_ESCOLA == vetor[i]),] } ################### Exportação de Arquivos ################# write.csv(fundamental.1.unica, "Fundamental1_unico.csv", row.names = FALSE) write.csv(fundamental.2.unica, "Fundamental2_unico.csv", row.names = FALSE) write.csv(ambos, "Ambos_unico.csv", row.names = FALSE) ################################################################################# # TRI para Fundamental 1 e 2 ################################################################################# ######################## Leitura de Arquivos ######################## fundamental.1.unica <- read.csv(file.choose(), header = TRUE, sep = ",") fundamental.2.unica <- read.csv(file.choose(), header = TRUE, sep = ",") ambos.unica <- read.csv(file.choose(), header = TRUE, sep = ",") fundamental.1.unica_2pl_mirt <- mirt(fundamental.1.unica[,5:14], 1, intemtype = "2PL") 213 CADERNO DE PESQUISA 2 fundamental.2.unica_2pl_mirt <- mirt(fundamental.2.unica[,5:14], 1, intemtype = "2PL") coef(fundamental.1.unica_2pl_mirt, simplify=T, IRTpars=T) coef(fundamental.2.unica_2pl_mirt, simplify=T, IRTpars=T) traceline <- NULL for(i in 1:length(fundamental.1.unica[,5:14])){ extr.2 <- extract.item(fundamental.1.unica_2pl_mirt, i) Theta <- matrix(seq(-6,6, by = .1)) traceline[[i]] <- probtrace(extr.2, Theta) } names(traceline) <- c("Q90-Agressão Aluno-Professor", "Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto", "Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo" ) traceline.df <- do.call(rbind, traceline) Item <- rep(names(traceline),each=length(Theta)) l.format <- cbind.data.frame(Theta, Item, traceline.df) l.format$item<-as.factor(l.format$Item) aux<-l.format %>% group_by(Item) %>% slice(which.min(abs(P.1-0.5))) aux<-aux[order(aux$Theta),] ord<-as.integer(aux$item) l.format$Item = factor(l.format$Item,levels(l.format$Item)[ord]) ggplot(l.format, aes(Theta, P.1, colour = Item)) + geom_line( size=1.2) + ylab("Probabilidade") + geom_hline(aes(yintercept = 0.5)) + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background 214 = element_rect( margin(0)), VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS axis.text.y=element_text(colour="black", hjust = 1), legend.text =element_text(color = "black") ) + xlim(-5,5) tI<- testinfo(fundamental.1.unica_2pl_mirt, Theta =seq(-5,5,0.01)) se<- 1/(sqrt(tI)) #get the standard error tI<- cbind.data.frame(tI,seq(-5,5,length.out=1001), se) colnames(tI) <- c("information", "xAxis","se") ggplot(tI, aes(x=xAxis, y=information, colour="black")) + geom_line(colour="blue" ,size=1.2) + scale_colour_identity(name="", guide="legend", labels=c("Information")) + xlab("Nível de violência") + ylab("Informação") + theme_bw() + theme(text = element_text(size=24), axis.text.x =element_text(colour="black") , plot.background = element_rect(margin(0)), axis.text.y=element_text(colour="black", hjust = 1)) traceline <- NULL for(i in 1:length(fundamental.2.unica[,5:14])){ extr.2 <- extract.item(fundamental.2.unica_2pl_mirt, i) Theta <- matrix(seq(-5,5, by = .1)) traceline[[i]] <- probtrace(extr.2, Theta) } names(traceline) <- c("Q90-Agressão Aluno-Professor", "Q91-Agressão Aluno-Aluno", "Q92-Atentado à vida", "Q93-Ameaça", "Q94-Furto", "Q95-Roubo", "Q96-Álcool", "Q97-Drogas ilícitas", "Q98-Arma Branca", "Q99-Arma de fogo" ) traceline.df <- do.call(rbind, traceline) Item <- rep(names(traceline),each=length(Theta)) l.format <- cbind.data.frame(Theta, Item, traceline.df) l.format$item<-as.factor(l.format$Item) 215 CADERNO DE PESQUISA 2 aux<-l.format %>% group_by(Item) %>% slice(which.min(abs(P.1-0.5))) # We are only using the P.1 column (dichotomous) aux<-aux[order(aux$Theta),] ord<-as.integer(aux$item) l.format$Item = factor(l.format$Item,levels(l.format$Item)[ord]) ggplot(l.format, aes(Theta, P.1, colour = Item)) + geom_line(size=1.2) + xlab("Nível de violência") + ylab("Probabilidade") + geom_hline(aes(yintercept = 0.5)) + theme_bw() + theme(text = element_text(size=22), axis.text.x =element_text(colour="black") , plot.background = element_rect(margin(0)), axis.text.y=element_text(colour="black", hjust = 1), legend.text =element_text(color = "black") ) tI<- testinfo(fundamental.2.unica_2pl_mirt, Theta =seq(-5,5,0.01)) se<- 1/(sqrt(tI)) #get the standard error tI<- cbind.data.frame(tI,seq(-5,5,length.out=1001), se) colnames(tI) <- c("information", "xAxis","se") ggplot(tI, aes(x=xAxis, y=information, colour="black")) + geom_line(colour="blue" ,size=1.2) + scale_colour_identity(name="", guide="legend", labels=c("Information")) + xlab("Nível de violência") + ylab("Informação") + theme_bw() + theme(text = element_text(size=18), axis.text.x =element_text(colour="black") , plot.background = element_rect( margin(0)), axis.text.y=element_text(colour="black", hjust = 1))+ ylim(0,10) ################################################################################# # Gráficos DIF dir.prof.unica.dif <- rbind(fundamental.1.unica[,5:14], fundamental.2.unica[,5:14]) group <- c(rep('fundamental.1', length(fundamental.1.unica[,5])), rep('fundamental.2', length(fundamental.2.unica[,5]))) 216 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS models <- 'F1 = 1-10' mod.dir.prof.unica <- multipleGroup(dir.prof.unica.dif, 1, group = group, SE = TRUE) plot(mod.dir.prof.unica, type = 'info') plot(mod.dir.prof.unica, type = 'trace') summary(mod.dir.prof.unica) mod.dir.prof.unica ################################################################################# # Correlações ecores_t=read.csv("resposta_unica_professor_e_diretor.csv") # Agregando por cidade agregado_todos=aggregate(x = list(mean = escores_t$F1.x), by = list(tipo = escores_t$ID_MUNICIPIO), FUN = mean) names(agregado_todos)[names(agregado_todos)=="tipo"]="ID_MUNICIPIO" ################################################################################# # Alunos # 9o ano alunos9=read.csv("TS_ALUNO_9EF.csv") alunos9$Reprov=NA alunos9$Reprov[alunos9$TX_RESP_Q048=="A"] =0 alunos9$Reprov[alunos9$TX_RESP_Q048=="B"] =1 alunos9$Reprov[alunos9$TX_RESP_Q048=="C"]=1 alunos9$Aband=NA alunos9$Aband[alunos9$TX_RESP_Q049=="A"]=0 alunos9$Aband[alunos9$TX_RESP_Q049=="B"]=1 alunos9$Aband[alunos9$TX_RESP_Q049=="C"]=1 alunos9=subset(alunos9, Reprov>=0 & Aband>=0 & IN_PREENCHIMENTO_QUESTIONARIO==1 & IN_ PREENCHIMENTO_PROVA==1) alunos9=alunos9[,c(1:6,14,29,33,83,84,93,94)] # Agregando agregado_a9LP=aggregate(x = list(mean = alunos9$PROFICIENCIA_LP_SAEB), by = list(tipo = alunos9$ID_ESCOLA), FUN = mean) agregado_a9MT=aggregate(x = list(mean = alunos9$PROFICIENCIA_MT_SAEB), by = list(tipo = alunos9$ID_ESCOLA), FUN = mean) 217 CADERNO DE PESQUISA 2 agregado_a9RP=aggregate(x = list(mean = alunos9$Reprov), by = list(tipo = alunos9$ID_ESCOLA), FUN = sum) agregado_a9N=aggregate(x = list(mean = alunos9$IN_PREENCHIMENTO_PROVA), by = list(tipo = alunos9$ID_ESCOLA), FUN = sum) agregado_a9AB=aggregate(x = list(mean = alunos9$Aband), by = list(tipo = alunos9$ID_ESCOLA), FUN = sum) Agreg_a9=cbind(agregado_a9LP,agregado_a9MT[,2],agregado_a9RP[,2],agregado_a9N[,2],agregado_a9AB[,2]) names(Agreg_a9)[names(Agreg_a9)=="tipo"]="ID_ESCOLA" names(Agreg_a9)[names(Agreg_a9)=="mean"]="MediaLP" names(Agreg_a9)[names(Agreg_a9)=="agregado_a9MT[, 2]"]="MediaMT" names(Agreg_a9)[names(Agreg_a9)=="agregado_a9RP[, 2]"]="Reprovacao" names(Agreg_a9)[names(Agreg_a9)=="agregado_a9N[, 2]"]="N" names(Agreg_a9)[names(Agreg_a9)=="agregado_a9AB[, 2]"]="Abandono" Agreg_a9$Reprovacao=Agreg_a9$Reprovacao/Agreg_a9$N Agreg_a9$Abandono=Agreg_a9$Abandono/Agreg_a9$N # 5o ano alunos5=read.csv("TS_ALUNO_5EF.csv") alunos5$Reprov=NA alunos5$Reprov[alunos5$TX_RESP_Q045=="A"] =0 alunos5$Reprov[alunos5$TX_RESP_Q045=="B"] =1 alunos5$Reprov[alunos5$TX_RESP_Q045=="C"]=1 alunos5$Aband=NA alunos5$Aband[alunos5$TX_RESP_Q046=="A"]=0 alunos5$Aband[alunos5$TX_RESP_Q046=="B"]=1 alunos5$Aband[alunos5$TX_RESP_Q046=="C"]=1 alunos5=subset(alunos5, Reprov>=0 & Aband>=0 & IN_PREENCHIMENTO_QUESTIONARIO==1 & IN_ PREENCHIMENTO_PROVA==1) alunos5=alunos5[,c(1:6,14,29,33,80,81,87,88)] agregado_a5LP=aggregate(x = list(mean = alunos5$PROFICIENCIA_LP_SAEB), by = list(tipo = alunos5$ID_ESCOLA), FUN = mean) agregado_a5MT=aggregate(x = list(mean = alunos5$PROFICIENCIA_MT_SAEB), by = list(tipo = alunos5$ID_ESCOLA), FUN = mean) 218 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS agregado_a5RP=aggregate(x = list(mean = alunos5$Reprov), by = list(tipo = alunos5$ID_ESCOLA), FUN = sum) agregado_a5N=aggregate(x = list(mean = alunos5$IN_PREENCHIMENTO_PROVA), by = list(tipo = alunos5$ID_ESCOLA), FUN = sum) agregado_a5AB=aggregate(x = list(mean = alunos5$Aband), by = list(tipo = alunos5$ID_ESCOLA), FUN = sum) Agreg_a5=cbind(agregado_a5LP,agregado_a5MT[,2],agregado_a5RP[,2],agregado_a5N[,2],agregado_a5AB[,2]) names(Agreg_a5)[names(Agreg_a5)=="tipo"]="ID_ESCOLA" names(Agreg_a5)[names(Agreg_a5)=="mean"]="MediaLP" names(Agreg_a5)[names(Agreg_a5)=="agregado_a5MT[, 2]"]="MediaMT" names(Agreg_a5)[names(Agreg_a5)=="agregado_a5RP[, 2]"]="Reprovacao" names(Agreg_a5)[names(Agreg_a5)=="agregado_a5N[, 2]"]="N" names(Agreg_a5)[names(Agreg_a5)=="agregado_a5AB[, 2]"]="Abandono" Agreg_a5$Reprovacao=Agreg_a5$Reprovacao/Agreg_a5$N Agreg_a5$Abandono=Agreg_a5$Abandono/Agreg_a5$N ################################################################################# # Mapa da violência # Arquivo foi tratado no excel, adicionando o código da cidade para junção mapa=read.csv2("MAPA.csv") agregado_todos_mapa=merge(agregado_todos, mapa, by="ID_MUNICIPIO") cor(agregado_todos_mapa$Posicao,agregado_todos_mapa$mean, method="spearman") # Bairros do Rio de Janeiro # arquivo tratado no excel violencia.rj <- read.csv("Escolas_bairro_cisp_violencia_rj_2015.csv",header=T,sep=";",stringsAsFactors = F) # POPULAÇÃO POR BAIRRO PARA CÁLCULO DA TAXA DE VIOLÊNCIA pop.rj <- read.csv("populacao_por_bairro_rj.csv",header=T,sep=";",stringsAsFactors = F) violencia.rj <- merge(violencia.rj,pop.rj[,c(2,3)],by.x="COD_BAIRRO",by.y="cod_bairro") # CALCULAR AS TAXAS DE VIOLÊNCIA POR 100000 HABITANTES violencia.rj[,c(11:39)] <- (violencia.rj[,c(11:39)]/violencia.rj$populacao_2010)*100000 219 CADERNO DE PESQUISA 2 # BASE COM VIOLENCIA INTERNA E EXTERNA POR ESCOLA RJ base.rj <- merge(violencia.rj,escores_t,by.x="COD_ESCOLA",by.y="ID_ESCOLA") # COEFICIENTE DE CORRELAÇÃO cor(base.rj$TOTAL_FURTOS,base.rj$F1.x,use = "complete", method="spearman") cor(base.rj$HOMICIDIO_DOLOSO,base.rj$F1.x,use = "complete", method="spearman") cor(base.rj$TOTAL_ROUBOS,base.rj$F1.x,use = "complete", method="spearman") cor(base.rj$LESAO_CORP_MORTE,base.rj$F1.x,use = "complete", method="spearman") # GRAFICOS ggplot(base.rj, aes(x=TOTAL_FURTOS, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa total de furtos e escore de violência dentro da escola no RJ", y = "Score", x = "Taxa de furto total") ggplot(base.rj, aes(x=HOMICIDIO_DOLOSO, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de homicídio doloso e escore de violência dentro da escola no RJ", y = "Score", x = "Taxa de homicídio doloso") ggplot(base.rj, aes(x=TOTAL_ROUBOS, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de roubo total e escore de violência dentro da escola no RJ", y = "Score", x = "Taxa de roubo total") ggplot(base.rj, aes(x=LESAO_CORP_MORTE, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de lesão seguida de morte e escore de violência dentro da escola no RJ", y = "Score", x = "Taxa de lesão seguida de morte") # Regiões administrativas do DF violencia.df <- read.csv2("violencia_ra_interna_escola_df.csv",header=T,sep=";",stringsAsFactors = F) # BASE COM VIOLENCIA INTERNA E EXTERNA POR ESCOLA DF base.df <- merge(violencia.df,escores_t,by.x="COD_SEEC",by.y="ID_ESCOLA") # COEFICIENTE DE CORRELAÇÃO cor(base.df$TAXA_FURTO_EM_VEICULO_2015,base.df$F1.x,use = "complete", method="spearman") 220 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS cor(base.df$TAXA_ROUBO_A_TRAUNSENTE_2015,base.df$F1.x,use = "complete", method="spearman") cor(base.df$TAXA_ROUBO_EM_COLETIVO_2015,base.df$F1.x,use = "complete", method="spearman") cor(base.df$TAXA_ROUBO_EM_COMERCIO_2015,base.df$F1.x,use = "complete", method="spearman") cor(base.df$TAXA_LESAO_SEGUIDA_MORTE_2015,base.df$F1.x,use = "complete", method="spearman") # GRÁFICOS ggplot(base.df, aes(x=TAXA_FURTO_EM_VEICULO_2015, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de furto em veículo e escore de violência dentro da escola no DF", y = "Score", x = "Taxa de furto de veículo") ggplot(base.df, aes(x=TAXA_ROUBO_A_TRAUNSENTE_2015, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de roubo a transeunte e escore de violência dentro da escola no DF", y = "Score", x = "Taxa de roubo a transeunte") ggplot(base.df, aes(x=TAXA_ROUBO_EM_COLETIVO_2015, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de roubo em coletivo e escore de violência dentro da escola no DF", y = "Score", x = "Taxa de roubo em coletivo") ggplot(base.df, aes(x=TAXA_ROUBO_EM_COMERCIO_2015, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de roubo em comércio e escore de violência dentro da escola no DF", y = "Score", x = "Taxa de roubo em comércio") ggplot(base.df, aes(x=TAXA_LESAO_SEGUIDA_MORTE_2015, y=F1.x)) + geom_point() + labs(subtitle = "Relação entre taxa de lesão seguida de morte e escore de violência dentro da escola no DF", y = "Score", x = "Taxa lesão seguida de morte") # Bairros de São Paulo violencia.sp <- read.csv2("violencia_sp_2015.csv",header=T,sep=";",stringsAsFactors = F) # BASE COM VIOLENCIA INTERNA E EXTERNA POR ESCOLA SP 221 CADERNO DE PESQUISA 2 base.sp <- merge(violencia.sp,escores_t,by.x="ID_ESCOLA",by.y="ID_ESCOLA") # COEFICIENTE DE CORRELAÇÃO cor(base.sp$TAXA_FURTO_CELULAR,base.sp$F1.x,use = "complete", method="spearman") cor(base.sp$TAXA_FURTO_VEICULO,base.sp$F1.x,use = "complete", method="spearman") cor(base.sp$TAXA_HOMICIDIO_DOLOSO,base.sp$F1.x,use = "complete", method="spearman") cor(base.sp$TAXA_LESAO_CORPORAL,base.sp$F1.x,use = "complete", method="spearman") ggplot(base.sp, aes(x=TAXA_FURTO_CELULAR, y=F1.x)) + geom_point() + labs(subtitle = "Violência em São Paulo", y = "Score", x = "Taxa de furto de celular") ggplot(base.sp, aes(x=TAXA_FURTO_VEICULO, y=F1.x)) + geom_point() + labs(subtitle = "Violência em São Paulo", y = "Score", x = "Taxa de furto de celular") ggplot(base.sp, aes(x=TAXA_HOMICIDIO_DOLOSO, y=F1.x)) + geom_point() + labs(subtitle = "Violência em São Paulo", y = "Score", x = "Taxa de furto de celular") ggplot(base.sp, aes(x=TAXA_LESAO_CORPORAL, y=F1.x)) + geom_point() + labs(subtitle = "Violência em São Paulo", y = "Score", x = "Taxa de furto de celular") ################################################################################# # Notas # 9o ano agregado_escola_todos=merge(escores_t, Agreg_a9,by="ID_ESCOLA") cor.test(agregado_escola_todos$F1.x,agregado_escola_todos$MediaMT, method="spearman") cor.test(agregado_escola_todos$F1.x,agregado_escola_todos$MediaLP, method="spearman") cor.test(agregado_escola_todos$F1.x,agregado_escola_todos$Reprovacao, method="spearman") cor.test(agregado_escola_todos$F1.x,agregado_escola_todos$Abandono, method="spearman") # 5o ano agregado_escola_todos5=merge(escores_t, Agreg_a5,by="ID_ESCOLA") cor.test(agregado_escola_todos5$F1.x,agregado_escola_todos5$MediaMT, method="spearman") cor.test(agregado_escola_todos5$F1.x,agregado_escola_todos5$MediaLP, method="spearman") 222 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS cor.test(agregado_escola_todos5$F1.x,agregado_escola_todos5$Reprovacao, method="spearman") cor.test(agregado_escola_todos5$F1.x,agregado_escola_todos5$Abandono, method="spearman") ################################################################################# # Estudo 3 require(lavaan) require(semPlot) require(corrplot) # Arquivo “dados” contém informações de 1) alunos: desempenho e fluxo, itens relativos ao nível econômico; 2) diretores: itens da escala de violência; e 3) escolas: itens de infraestrtutura quant <- na.omit(dados) p <- ncol(quant) matcor <- cor(quant, method = "spearman") # Modelo de mensuração mod1 <- "Desempenho =~ NTLP + NTMT FluxoEscolar =~ REPR + ABAN CapitalSocioeco =~ CSE1 + CSE2 + CSE3 + CSE4 + CSE5 + CSE6 + CSE7 + CSE8 + CSE9 Infraestrutura =~ INF1 + INF2 + INF3 + INF4 + INF5 + INF6 Violência =~ VIO1 + VIO2 + VIO3 + VIO4 + VIO5 + VIO6 + VIO7 + VIO8 + VIO9 + VIO0" fit1 <- sem(mod1, sample.cov = matcor, sample.nobs = nrow(quant)) summary(fit1, standardized = T) semPaths(fit1, what = 'std', layout = "tree2", edge.label.cex = 1.05, residuals = F, curve = 1.5, fade = F, rotation = 2, label.cex = 1.5, nCharNodes = 0, label.norm = "OOOOO", label.color = "gray10", border.color = "gray10", posCol = c("#024A5F"), negCol = c("#E46A4D")) fitMeasures(fit1, c("chisq", "df", "p.value", "rmsea", "rmr", "gfi", "pgfi")) # Modelo de mensuração sem a variável CSE6. mod2 <- "Desempenho =~ NTLP + NTMT FluxoEscolar =~ REPR + ABAN CapitalSocioeco =~ CSE1 + CSE2 + CSE3 + CSE4 + CSE5 + CSE7 + CSE8 + CSE9 Infraestrutura =~ INF1 + INF2 + INF3 + INF4 + INF5 + INF6 Violência =~ VIO1 + VIO2 + VIO3 + VIO4 + VIO5 + VIO6 + VIO7 + VIO8 + VIO9 + VIO0" fit2 <- sem(mod2, sample.cov = matcor, sample.nobs = nrow(quant)) 223 CADERNO DE PESQUISA 2 summary(fit2, standardized = T) semPaths(fit2, what = 'std', layout = "tree2", edge.label.cex = 1.05, residuals = F, curve = 1.5, fade = F, rotation = 2, label.cex = 1.5, nCharNodes = 0, label.norm = "OOOOO", label.color = "gray10", border.color = "gray10", posCol = c("#024A5F"), negCol = c("#E46A4D")) fitMeasures(fit2, c("chisq", "df", "p.value", "rmsea", "rmr", "gfi", "pgfi")) mi2 <- modificationIndices(fit2) head(mi2[order(-mi2$mi), ], 20) # Modelo com as covariâncias dos erros indicados pelos índices de modificação. mod3 <- "Desempenho =~ NTLP + NTMT FluxoEscolar =~ REPR + ABAN CapitalSocioeco =~ CSE1 + CSE2 + CSE3 + CSE4 + CSE5 + CSE7 + CSE8 + CSE9 Infraestrutura =~ INF1 + INF2 + INF3 + INF4 + INF5 + INF6 Violência =~ VIO1 + VIO2 + VIO3 + VIO4 + VIO5 + VIO6 + VIO7 + VIO8 + VIO9 + VIO0 CSE2 ~~ CSE3 CSE4 ~~ CSE5 VIO1 ~~ VIO2 VIO5 ~~ VIO6" fit3 <- sem(mod3, sample.cov = matcor, sample.nobs = nrow(quant)) summary(fit3, standardized = T) semPaths(fit3, what = 'std', layout = "tree2", edge.label.cex = 1.05, residuals = F, curve = 1.5, fade = F, rotation = 2, label.cex = 1.5, nCharNodes = 0, label.norm = "OOOOO", label.color = "gray10", border.color = "gray10", posCol = c("#024A5F"), negCol = c("#E46A4D")) fitMeasures(fit3, c("chisq", "df", "p.value", "rmsea", "rmr", "gfi", "pgfi")) mi3 <- modificationIndices(fit3) head(mi3[order(-mi3$mi), ], 20) # Modelo estrutural. mod4 <- "Desempenho =~ NTLP + NTMT FluxoEscolar =~ REPR + ABAN CapitalSocioeco =~ CSE1 + CSE2 + CSE3 + CSE4 + CSE5 + CSE7 + CSE8 + CSE9 Infraestrutura =~ INF1 + INF2 + INF3 + INF4 + INF5 + INF6 Violência =~ VIO1 + VIO2 + VIO3 + VIO4 + VIO5 + VIO6 + VIO7 + VIO8 + VIO9 + VIO0 224 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS CSE2 ~~ CSE3 CSE4 ~~ CSE5 VIO1 ~~ VIO2 VIO5 ~~ VIO6 Desempenho ~ CapitalSocioeco + Infraestrutura + Violência FluxoEscolar ~ CapitalSocioeco + Infraestrutura + Violência" fit4 <- sem(mod4, sample.cov = matcor, sample.nobs = nrow(quant)) summary(fit4, standardized = T) semPaths(fit4, what = 'std', layout = "tree2", edge.label.cex = 1.05, residuals = F, curve = 1.5, fade = F, rotation = 4, label.cex = 1.5, nCharNodes = 0, label.norm = "OOOOO", label.color = "gray10", border.color = "gray10", posCol = c("#024A5F"), negCol = c("#E46A4D")) fitMeasures(fit4, c("chisq", "df", "p.value", "rmsea", "rmr", "gfi", "pgfi")) # Modelo Estrutural sem o construto infraestrutura. mod5 <- "Desempenho =~ NTLP + NTMT FluxoEscolar =~ REPR + ABAN CapitalSocioeco =~ CSE1 + CSE2 + CSE3 + CSE4 + CSE5 + CSE7 + CSE8 + CSE9 Violência =~ VIO1 + VIO2 + VIO3 + VIO4 + VIO5 + VIO6 + VIO7 + VIO8 + VIO9 + VIO0 CSE2 ~~ CSE3 CSE4 ~~ CSE5 VIO1 ~~ VIO2 VIO5 ~~ VIO6 Desempenho ~ CapitalSocioeco + Violência FluxoEscolar ~ CapitalSocioeco + Violência" fit5 <- sem(mod5, sample.cov = matcor, sample.nobs = nrow(quant)) summary(fit5, standardized = T) semPaths(fit5, what = 'std', layout = "tree2", 50 Apêndices edge.label.cex = 1.05, residuals = F, curve = 1.5, fade = F, rotation = 4, label.cex = 1.5, nCharNodes = 0, label.norm = "OOOOO", label.color = "gray10", border.color = "gray10", posCol = c("#024A5F"), negCol = c("#E46A4D")) fitMeasures(fit5, c("chisq", "df", "p.value", "rmsea", "rmr", "gfi", "pgfi")) 225 CADERNO DE PESQUISA 2 ################################################################################# # Estudo 4 alunos5=read.csv("TS_ALUNO_5EF.csv") nse5=read.csv("nse_5ano.csv") score=read.csv("resposta_unica_professor_e_diretor.csv") alunos5=merge(alunos5, nse5, by="ID_ALUNO") alunos5=merge(alunos5, score, by="ID_ESCOLA") #Pacotes usados library(tidyverse) library("moments") #Tirando quem não fez uma das provas alunos5 = filter(alunos5, IN_PREENCHIMENTO_PROVA == 1) alunos5 = filter(alunos5, IN_PREENCHIMENTO_QUESTIONARIO ==1) alunos5[alunos5==""]=NA alunos5$nvalidos=rowSums(!is.na(alunos5[,36:86])) alunos5 = filter(alunos5, nvalidos>15) alunos5$nvalidos = as.numeric(alunos5$nvalidos) # Codificando as variáveis alunos5$mat=alunos5$PROFICIENCIA_MT_SAEB alunos5$lp=alunos5$PROFICIENCIA_LP_SAEB # Sexo (0 Masculino, 1 Feminino) alunos5$sexo<-NA alunos5$sexo[alunos5$TX_RESP_Q001=="Feminino"]<-1 alunos5$sexo[alunos5$TX_RESP_Q001=="Masculino"]<-0 alunos5$sexo=as.numeric(alunos5$sexo) # Etnia (Pardo, preto, indígena = 0. Branco, amarelo = 1) alunos5$etnia<-NA alunos5$etnia[alunos5$TX_RESP_Q002=="A"]<-1 alunos5$etnia[alunos5$TX_RESP_Q002=="D"]<-1 alunos5$etnia[alunos5$TX_RESP_Q002=="B"]<-0 alunos5$etnia[alunos5$TX_RESP_Q002=="C"]<-0 alunos5$etnia[alunos5$TX_RESP_Q002=="E"]<-0 alunos5$etnia[alunos5$TX_RESP_Q002=="F"]<-0 alunos5$etnia=as.numeric(alunos5$etnia) 226 VALIDAÇÃO DAS ESCALAS DE PERCEPÇÃO DE VIOLÊNCIA E CONFLITOS NAS ESCOLAS # Idade (1 se 10 ou 11 e 0 caso contrário) alunos5$idade<-NA alunos5$idade[alunos5$TX_RESP_Q004=="A"]<-0 alunos5$idade[alunos5$TX_RESP_Q004=="B"]<-0 alunos5$idade[alunos5$TX_RESP_Q004=="C"]<-1 alunos5$idade[alunos5$TX_RESP_Q004=="D"]<-1 alunos5$idade[alunos5$TX_RESP_Q004=="E"]<-0 alunos5$idade[alunos5$TX_RESP_Q004=="F"]<-0 alunos5$idade[alunos5$TX_RESP_Q004=="G"]<-0 alunos5$idade[alunos5$TX_RESP_Q004=="H"]<-0 alunos5$idade=as.numeric(alunos5$idade) # Escolaridade da mãe (1 se ensino médio completo) alunos5$esc<-NA alunos5$esc[alunos5$TX_RESP_Q019=="A"]<-0 alunos5$esc[alunos5$TX_RESP_Q019=="B"]<-0 alunos5$esc[alunos5$TX_RESP_Q019=="C"]<-0 alunos5$esc[alunos5$TX_RESP_Q019=="D"]<-0 alunos5$esc[alunos5$TX_RESP_Q019=="E"]<-1 alunos5$esc[alunos5$TX_RESP_Q019=="F"]<-1 alunos5$esc[alunos5$TX_RESP_Q019=="G"]<-0 alunos5$esc=as.numeric(alunos5$esc) # TRABALHO (Não = 0. Sim (independente do número) = 1) alunos5$trab<-NA alunos5$trab[alunos5$TX_RESP_Q042=="A"]<-1 alunos5$trab[alunos5$TX_RESP_Q042=="B"]<-0 alunos5$trab=as.numeric(alunos5$trab) # Reprovação (Não = 0. Sim (independente do número) = 1) alunos5$reprov<-NA alunos5$reprov[alunos5$TX_RESP_Q045=="A"]<-0 alunos5$reprov[alunos5$TX_RESP_Q045=="B"]<-1 alunos5$reprov[alunos5$TX_RESP_Q045=="C"]<-1 alunos5$reprov=as.numeric(alunos5$reprov) # Faz dever LP (Não Faz = 0. Sim, Faz (independente do número) = 1) alunos5$deverlp<-NA alunos5$deverlp[alunos5$TX_RESP_Q047=="A"]<-1 227 CADERNO DE PESQUISA 2 alunos5$deverlp[alunos5$TX_RESP_Q047=="B"]<-1 alunos5$deverlp[alunos5$TX_RESP_Q047=="C"]<-0 alunos5$deverlp[alunos5$TX_RESP_Q047=="D"]<-0 alunos5$deverlp=as.numeric(alunos5$deverlp) # Faz dever MAT (Não Faz = 0. Sim, Faz (independente do número) = 1) alunos5$devermat<-NA alunos5$devermat[alunos5$TX_RESP_Q049=="A"]<-1 alunos5$devermat[alunos5$TX_RESP_Q049=="B"]<-1 alunos5$devermat[alunos5$TX_RESP_Q049=="C"]<-0 alunos5$devermat[alunos5$TX_RESP_Q049=="D"]<-0 alunos5$devermat=as.numeric(alunos5$devermat) # NSE agregado nse_a=aggregate(x = list(nse_agreg = alunos5$z1), by = list(ID_ESCOLA = alunos5$ID_ESCOLA), FUN = mean) nse_a$padrao=(nse_a-mean(nse_a$nse_agreg,na.rm="TRUE"))/sd(nse_a$nse_agreg,na.rm="TRUE") alunos5=merge(alunos5, nse_a, by="ID_ESCOLA") names(alunos5)[names(alunos5)=="padrao.nse_agreg"]="padrao" # Centralizando as variáveis alunos5$esc=alunos5$esc-mean(alunos5$esc, na.rm="TRUE") alunos5$sexo=alunos5$sexo-mean(alunos5$sexo, na.rm="TRUE") alunos5$etnia=alunos5$etnia-mean(alunos5$etnia, na.rm="TRUE") alunos5$idade=alunos5$idade-mean(alunos5$idade, na.rm="TRUE") alunos5$trab=alunos5$trab-mean(alunos5$trab, na.rm="TRUE") alunos5$reprov=alunos5$reprov-mean(alunos5$reprov, na.rm="TRUE") alunos5$devermat=alunos5$devermat-mean(alunos5$devermat, na.rm="TRUE") alunos5$deverlp=alunos5$deverlp-mean(alunos5$deverlp, na.rm="TRUE") # Análise Multinível library(lme4) model2 <- lmer(lp ~ nse_agreg + z1 + esc + sexo + etnia + idade + trab + reprov + devermat + deverlp + F1.x + F1.x*etnia + F1.x*trab + F1.x*reprov +F1.x*z1 + (1 | ID_ESCOLA) , data = alunos5, REML = FALSE) summary(model2) 228 CAPÍTULO 4 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Domingos Savio Coelho Ana Cléia Ferreira Lima Kamila Pimentel Antônio Lucas 230 SUMÁRIO – CAPÍTULO 4 1. OBJETIVOS PROPOSTOS 233 2. OBJETIVOS ATINGIDOS 233 3. DESENVOLVIMENTO 234 3.1 A perspectiva organicista sobre deficiência 4. MÉTODO 246 4.1 Participantes 4.2 Contexto de aplicação coletiva em um único dia 4.3 Procedimento 5. PROPOSTA ALTERNATIVA À REDAÇÃO DO ENEM 2017 249 6. AULA 1 - REDAÇÃO DISSERTATIVA 251 6.1 Domínio de conteúdo: função 6.1.1 Medida de critério para a criação de itens em matemática 7. AULA MATEMÁTICA - FUNÇÃO 254 7.1 Questões (pós-teste) 8. RESULTADOS 262 CONSIDERAÇÕES FINAIS 265 REFERÊNCIAS 267 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 1. OBJETIVOS PROPOSTOS Os objetivos propostos para o projeto foram: 1. Adaptação de itens de avaliações escolares do ensino fundamental e médio para língua brasileira de sinais (Libras) nos seguintes formatos: múltipla escolha, certo/errado, resposta numérica (000 a 999), discursiva e redação em Libras. 2. Testagem de estudantes surdos via computador utilizando a plataforma VISUMO. 3. Avaliação das funcionalidades da plataforma VISUMO para apresentar testes escolares em Libras. 2. OBJETIVOS ATINGIDOS Para fins do presente relatório final, concluímos as atividades relacionadas aos três objetivos propostos. Os três bolsistas (Ana Cléia Ferreira Lima, Antonio Lucas e Kamila Pimentel): 1. As videoaulas com questões de matemática e redação foram criadas com os formatos de questões múltipla escolha, certo/errado, resposta numérica (000 a 999), discursiva e redação em Libras. As questões de pré e pós testagem foram criadas e avaliadas por uma surda profunda, estudante do curso de letras Libras, que definiu os conteúdos e gravou as videoaulas, elaborou as imagens que acompanham as questões em video para pré-teste, videoaula e pós teste, e analisou as questões da videoprova do Enem 2017, avaliando como a redação foi adaptada para Libras. 2. Testagem de estudantes surdos via computador, utilizando a plataforma VISUMO. 3. Avaliação das funcionalidades da plataforma VISUMO para apresentar testes escolares em Libras. 233 CADERNO DE PESQUISA 2 3. DESENVOLVIMENTO O desenvolvimento de tecnologias para solução de demandas de pessoas com deficiência não ocorre em um vazio teórico. A questão conceitual básica é que, ao falar sobre deficiência, estamos comparando pessoas entre si e avaliando suas capacidades e habilidades. Mas o que se entende por capacidade? Como é possível comparar pessoas com e sem deficiência? Historicamente, os termos teóricos subjacentes às soluções tecnológicas para pessoas com deficiência, foram paulatinamente explicitados e organizados em um corpo teórico minimamente organizado, principalmente após a idade média. Agrupamos as perspectivas sobre deficiência em: “organicista” e “criterial”. 3.1 A PERSPECTIVA ORGANICISTA SOBRE DEFICIÊNCIA A concepção organicista do ser humano como tendo uma “falha” do corpo ou deficiência (impairment) a ser corrigida por algum tipo de dispositivo que compensa a perda ou anomalia funcional, física ou psíquica subjaz a uma parte significativa dos estudos sobre deficiência a partir do século XVI. O grande mérito desta concepção foi o de desautorizar concepções supersticiosas e religiosas sobre deficiência. Embora representasse um ganho em relação a concepções supersticiosas, a concepção organicista fortaleceu estigmas sociais acerca da incapacidade das pessoas com deficiência. Gradualmente, a partir do século XIX, refinamentos teóricos foram realizados, tanto que se mostrou necessário distinguir entre deficiência, incapacidade (disability) da pessoa na realização de uma atividade conforme parâmetros sociais; e desvantagem social (handicap), isto é, desvantagem que limita a realização de uma atividade social. Deficiência, incapacidade e desvantagem são os conceitos que atualmente subsidiam o desenvolvimento de tecnologias para as soluções de demandas das pessoas com deficiência. Tais conceitos se baseiam em uma certa concepção sobre capacidades humanas ainda pouco explicitada e discutida na literatura especializada. 234 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Tanto o estudo da surdez quanto da cegueira estão associados ao desenvolvimento de novas tecnologias, algumas vezes de alta complexidade, que buscam atender as pessoas em termos de deficiência, incapacidade ou desvantagem. Por exemplo, o Optacon®, desenvolvido nos anos 60 a partir da concepção de desvantagem, é um tipo de scanner específico para converter padrões de letras impressas em estímulos táteis por meio da vibração nas pontas dos dedos correspondente às letras escaneadas; desta forma, cegos e surdocegos podem acessar diversos tipos de textos de modo mais flexível do que aquele disponível pelo sistema Braille. As modernas tecnologias de implante coclear para pessoas surdas representam, tanto do ponto de vista cirúrgico quanto de tecnologia de amplificadores sonoros, uma das mais altas tecnologias disponíveis para proporcionar qualidade de vida a surdos. O implante coclear parte da premissa da deficiência, isto é, de que falta algo na pessoa “deficiente auditiva” e que cumpre desenvolver o conhecimento necessário para suprir a falha ou a “deficiência” da modalidade sensorial. Na perspectiva organicista, do passado e atualmente, o foco é a relação entre o funcionamento de determinadas estruturas do corpo e funções sensoriais especificas (respostas sensoriais a estímulos auditivos, visuais…). O ponto fraco da perspectiva organicista é a falta de conceitos que permitam lidar com uma dimensão mais ampla do ser humano: as capacidades gerais do ser humano que se aplicam a diversos contextos. Descartes, no Discurso do Método (2001), apresenta um critério para se distinguir as capacidades especificamente humanas: o uso convencional de signos (fala ou gestos) enquanto expressão do pensamento em contextos diversificados. Descartes utiliza o exemplo da língua de sinais dos surdos: não há homens tão embrutecidos e tão estúpidos, sem excetuar nem mesmo os dementes, que não sejam capazes de combinar diversas palavras e de com elas compor um discurso no qual possam expressar seus pensamentos (grifo nosso); e que, pelo contrário, não há outro animal, por mais perfeito e bem nascido que seja, que faça o mesmo. Isto não acontece por lhe faltarem orgãos, pois as pegas e os papagaios podem proferir palavras como nós; entretanto não podem falar como nós, isto é, atestando que pensam o que dizem; ao passo que os homens surdos e mudos de nascença 235 CADERNO DE PESQUISA 2 e privados dos orgãos que servem aos outros para falar, tanto ou mais que os animais, costumam eles mesmos inventar alguns sinais pelos quais se fazem entender por quem, convivendo habitualmente com eles, tem ensejo de aprender sua língua. E isto não prova somente que os animais têm menos razão que os homens, mas que não têm absolutamente nenhuma. (p. 64-65) Ao estabelecer um critério de demarcação para a capacidade humana, Descartes apresenta uma nova perspectiva, oposta ao pensamento organicista, acerca de pessoas com deficiência e antecipa em quase quatro séculos a visão atual que temos sobre pessoas surdas: aquele que possui uma língua própria e que é capaz de inventar signos e expressar pensamentos, emoções e dotado de uma mente com potencial de “servir em todas as circunstâncias”, conforme o critério cartesiano de capacidade mental humana. Ao invés da perspectiva de “falta”, “incompletude” ou “falha” no corpo, os surdos, na concepção cartesiana, podem constituir saberes, crenças e capacidades próprias que os identificam enquanto grupo social dadas as capacidades básicas de língua e pensamento. A mente é condição necessária para a aplicação inventiva da linguagem. Na concepção cartesiana, as capacidades inventivas humanas são independentes das estruturas orgânicas relacionadas a eles. Na ausência do funcionamento de um determinado órgão (estruturas do ouvido interno, por exemplo) a mente humana faz uso de outros recursos (os gestos, por exemplo) para produzir novos pensamentos e expressar emoções e significados. A segunda implicação da concepção cartesiana de linguagem como uma invenção é que ela antecipa a discussão dos iluministas sobre a origem da linguagem, isto é, como seres humanos inventaram seus primeiros sinais de comunicação. Segundo Wells (1987), a explicação tradicional de que as palavras foram estabelecidas por convenção não satisfez Monboddo, Thomas Reid, Condillac e Rousseau pois tal convenção dependeria de uma base de comunicação prévia. 236 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF A proposta de Condillac foi a de que os primeiros sinais humanos foram gestos auto-explicativos (reações de ameaça, por exemplo). Ele denominou esse tipo de comunicação como “linguagem de ação” em oposição a linguagem por convenção. A invenção humana da linguagem consistiria no uso dos gestos (braços esticados e em movimento) na ausência dos contextos naturais em que ocorreriam (afogamento, por exemplo). O ponto fraco da perspectiva criterial cartesiana é a dificuldade em identificar precisamente o que está envolvido no uso da linguagem humana (fala ou gestos). Descartes contrasta a falta de razão que é evidente no discurso dos loucos com a racionalidade que é assumida em sua capacidade de falar. Segundo Clarke (2003), critério de capacidade de linguagem proposto por Descartes: implica que a racionalidade envolvida não é intrínseca ao conteúdo do que é dito, pelo menos quando as chamadas pessoas loucas falam sem fazer sentido; em vez disso, a racionalidade relevante é pressuposta na própria capacidade de aprender uma linguagem e manipular os signos convencionais, a fim de significar realidades que, de outra forma, não teriam qualquer relação com eles. (p. 174) A concepção cartesiana sobre capacidades de surdos, a teoria de Condillac e Rousseau sobre a origem da linguagem e a invenção de sinais para expressar emoções teve continuidade nos estudos de Wundt (1902/1973) e Wundt e Freixo (1912/2013), sobre a origem das línguas e sobre o pensamento do homem primitivo. Wundt e Freixo argumentam que os contextos de emoção estabeleceram as oportunidades para a criação dos primeiros sinais de comunicação humana. Wundt comparou a comunicação gestual de monges trapistas, os gestos de indígenas norte-americanos, gestos de italianos da região de Nápoles e os sinais de surdos alemães buscando indícios evolucionários de continuidade entre a comunicação gestual e a língua falada. Assim, Wundt concluiu que o gestual de comunicação dos surdos apresentava uma sintaxe e que era possível afirmar que, de forma análoga a fala dos ouvintes, a comunicação dos surdos era formada por uma sequência de “sentenças” em forma de gestos. 237 CADERNO DE PESQUISA 2 Wundt classificou os gestos de surdos, monges, indígenas e napolitanos em: gestos demonstrativos (usados para indicar participantes de uma conversação e relações espaciais do tipo “acima”, “abaixo”, “esquerda”, “direita”, “atrás”, “frente”), gestos imitativos (descrevem a forma original do objeto), gestos conativos (indicam o todo através de partes de um objeto ou pessoa; por exemplo, o gesto para homem é indicado pelo movimento da mão no queixo) e gestos simbólicos (gestos que indicam conceitos abstratos). Ele distinguiu duas formas de gestos imitativos: gestos indicativos (esboço do objeto no ar com as mãos), e gestos plásticos (detalhe do objeto ou de sua função). Nos anos 60 houve renovado interesse pelo estudo dos gestos e pela língua de sinais motivado pela releitura dos trabalhos de Descartes realizada pelo linguista Noam Chomsky no final dos anos 50. Ele hipotetizou que a melhor explicação para a capacidade de produção de sentenças dos nativos de uma língua seriam estruturas inatas (análogas à razão cartesiana ou, talvez, estruturas do córtex cerebral) e que, a partir de limitados estímulos, seria capaz de combinar diversas palavras e com ela compor um discurso através do qual as pessoas possam entender seus pensamentos. Neste contexto de redefinição teórica dentro da linguística, William Stokoe criou a primeira notação da língua de sinais americana e deu maior visibilidade ao estudo dos sinais enquanto língua (ARMSTRONG; KARCHMER; CLEVE, 2002). Nos anos 80, a busca por estruturas corticais relacionadas à língua de sinais por meio de estudos em neuropsicologia mostrou que surdos usuários de libras com dano cerebral têm déficits em língua de sinais, e que tais déficits se assemelham aos apresentados por pacientes ouvintes afásicos, que apresentam dificuldades análogas em relação à fala (CAMPBELL, 2008). Por exemplo, a afasia de Wernicke (problemas de compreensão de sinais e erros ao produzir sinais) ou a afasia de Broca (boa compreensão, mas dificuldade em produzir discurso fluente). A partir dos anos 90, a técnica de ressonância funcional possibilitou estudar o que acontece no córtex de grupos de surdos profundos enquanto observam cenas de video em língua de sinais (gestos simbólicos) e no córtex de participantes do grupo controle, que assistem videos apenas com gestos demonstrativos. Os resultados indicaram que o córtex auditivo de surdos profundos funcionou ativamente em uma tarefa de compreensão de sen238 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF tenças em língua de sinais (NISHIMURA, 1999). O fato de o córtex auditivo de surdos profundos estar em atividade durante uma conversação em língua de sinais sugere plasticidade cruzada entre as modalidades auditiva e visual. Saraiva (2014) analisa os resultados recentes e sugere a possibilidade de plasticidade cruzada também entre tato e audição na explicação do desempenho de surdos em detectar “vibrações induzidas por estimulação de receptores táteis”. O conjunto de informações vindas de diferentes áreas de pesquisa fortaleceu a luta do movimento político de associações de surdos para promover o reconhecimento da comunicação dos surdos nas convenções de órgãos internacionais e na legislação dos países membros da ONU, principalmente a partir de 1981, quando a Suécia reconheceu a língua de sinais como forma de comunicação dos surdos daquele país. A partir da convenção das pessoas com deficiência da ONU, em 2007, a cultura surda foi reconhecida (artigo 30) e a sua valorização começou a ser objeto de políticas públicas. A deficiência passou a ser concebida como a interação de variáveis ambientais (barreiras atitudinais e físicas) e individuais. Atualmente, reconhece-se que pessoas culturalmente surdas se comunicam preferencialmente em língua de sinais – independentemente do nível de perda auditiva ou da fase de suas vidas em que se deu o início da surdez – e utilizam a modalidade escrita da língua falada pela comunidade ouvinte. A escolha e a preferência pela comunicação via sinais constitui um dos aspectos da identidade cultural de grupos de surdos. Dentro desta perspectiva, os indivíduos surdos que se autodenominam “pessoas culturalmente surdas” podem buscar afirmar sua cultura baseada na comunicação através de língua de sinais e demandar serviços específicos. Por exemplo, existe uma tecnologia de pisos vibráteis para boates que permite que pessoas surdas possam sentir a vibração da música que está sendo executada e dançar, sem a necessidade de aumentar excessivamente o volume ou usar amplificadores auditivos especiais; o cinema com legenda para todos os filmes – e não somente os filmes estrangeiros – permite ao surdo compartilhar o espaço com a as pessoas que escutam; intérprete de Libras em cerimônias oficiais e shows de música com 239 CADERNO DE PESQUISA 2 bailarino de Libras permitem a inclusão do surdo em ambientes sociais diversos, conforme determinam as leis, decretos e estatutos que vigoram atualmente no Brasil. A ideia destas inovações tecnológicas é atender a demanda do surdo enquanto pertencente a um grupo cultural. As legislações brasileira e internacional referem-se ao surdo tanto utilizando o termo “deficiente” quanto utilizando o termo Surdo com “s” maiúsculo, indicando o grupo cultural que utiliza a língua de sinais. Esta referência dupla ao surdo caracteriza o estado em que se encontra a discussão teórica neste momento: duas concepções, em diversos aspectos antagônicas, que implicam práticas, intervenções e tecnologias distintas para atender aos surdos. Foi um ganho importante a proposta interacionista estabelecida na convenção das pessoas com deficiência da ONU, pois a unidade de análise mínima passou a ser a interação entre o indivíduo e seu ambiente. Porém, a limitação da convenção das pessoas com deficiência começa pelo nome: é que “deficiência” é somente um rótulo que descreve a interação indivíduo-ambiente, mas restabelece a perspectiva organicista, assim como vários artigos apresentados na convenção. Por exemplo, em relação à saúde, o artigo 25 prevê que os países signatários: Propiciarão serviços de saúde que as pessoas com deficiência necessitam especificamente por causa de sua deficiência, inclusive diagnóstico e intervenção precoces, bem como serviços projetados para reduzir ao máximo e prevenir deficiências adicionais. (Brasil, 2009) Desse modo, temos três perspectivas vigentes sobre pessoas com deficiência: interacionista, criterial e organicista. O objetivo do presente projeto é desenvolver uma proposta criterial sobre avaliação escolar de surdos. A partir do reconhecimento da Cultura Surda pela convenção das pessoas com deficiência de 2007, a questão proposta é como estabelecer medidas referenciadas a critério para estudantes surdos. A partir do artigo seminal de Glaser (1962), ficou estabelecida a distinção entre avaliação referenciada a critério e avaliação referenciada a norma. A distinção central entre ambas é o tipo de conclusão a que os testes que240 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF rem chegar: na avaliação por norma busca-se comparar o desempenho de um estudante em relação aos outros dentro de um grupo normativo, isto é, obter correlação e predição do resultado obtido no teste; os testes referenciados por critério devem nos dizer o que um examinando pode ou não fazer, isto é, obter generalização e transferência do que foi aprendido e avaliado. Hively e Reynolds (1975) reuniram as propostas de testagem de critério em educação especial. Donlon (1975) apresenta as limitações do conceito de critério e propõe uma substituição pelo conceito de domínio tal como concebido por Hively (1974). Segundo Glaser, critério é o nível crítico de excelência a partir do qual não é necessário treino adicional. Hively (1974) considera esta definição insuficiente pois “nível crítico” é um conceito vago. Segundo Donlon (1975), ao invés de critério seria mais adequado considerar o domínio de aprendizagem a ser avaliado e extrair itens deste domínio. Segundo Hively: A noção básica subjacente ao teste de desempenho referenciado por domínio é que certas classes importantes de comportamento nos repertórios de especialistas (ou amadores) podem ser exaustivamente definidas em termos de conjuntos estruturados ou domínios de itens de teste. Os sistemas de teste podem ser referenciados a esses domínios no sentido de que um sistema de teste consiste em regras para amostragem de itens de um domínio e administrá-los a um indivíduo (ou amostra de indivíduos de uma população especificada) a fim de obter estimativas da probabilidade de que indivíduo (ou grupo de indivíduos) poderia responder a qualquer item do domínio em um determinado momento no tempo. (Hively, 1973, p. 15, citado em Tomko, 1982) Tomko (1982) critica a proposta de Hivley (1974) pois não é explicitado o que exatamente um universo de itens de um determinado domínio contém e qual a definição de “item” a ser utilizada; os dois conceitos centrais na proposta de Hively são mal definidos e aplicados de forma inconsistente pelo autor. Tomko (1982) propõe que o modelo mais adequado para testagem de critério é “a inferência para a melhor explicação”. Nesta perspectiva, a melhor explicação para um determinado resultado de um desempenho é a aplicação ou não de um determinado termo teórico. Por exemplo, se o aprendiz obteve desempenho superior no teste pós-ensino de redação, a melhor explicação para este resultado é que o ensino foi eficaz. 241 CADERNO DE PESQUISA 2 A população de pessoas culturalmente surdas (isto é, usuárias de língua de sinais) é reconhecida como grupo cultural, e assim, torna-se necessário reconhecer a adaptação de toda e qualquer testagem direcionada a este grupo. A literatura estabeleceu diretrizes sobre avaliação e testagem de grupos culturais minoritários dentro de uma perspectiva multiculturalista. A comissão internacional de testes (ITC) divulgou em 2005 diretrizes para adaptação e criação de testes que respeitem o multiculturalismo e que minimizem ou, se possível, evitem o viés cultural dos testes. As diretrizes objetivam também estabelecer equivalência de escores entre diferentes grupos culturais e idiomas. Ronald Hambleton coordenou, em 1996, o grupo que elaborou as diretrizes da ITC a serem seguidas na adaptação e criação de testes que respeitem o multiculturalismo. Segundo Hambleton (1996): Diferenças que existem entre vários grupos culturais e linguísticos são uma função não só das diferentes tradições, normas e valores, mas também de diferentes visões e interpretações do mundo. É, portanto, inteiramente possível que o mesmo construto seja interpretado e entendido de modos completamente diferentes por dois grupos distintos. (pag. 10). Por exemplo, o construto “atmosfera” não tem sinal correspondente em língua de sinais brasileira. O termo “filtro” não possui um sinal específico tal como em português embora o sentido possa ser expresso em Libras com uso de exemplificações. Desse modo, o desafio para o criador ou adaptador do teste é avaliar a compreensão de toda a extensão do conceito metafórico de “filtro atmosférico” para designar a proteção em relação a radiação, altas temperaturas do espaço e, por outro lado, a possibilidade de vida na terra. É parte integrante do construto “atmosfera” o seu aspecto metafórico de ser um “filtro” ou um tipo de “escudo”? Em que medida conseguimos avaliar a compreensão deste aspecto por um candidato surdo em cuja cultura a metáfora do filtro ou escudo não possui necessariamente o mesmo significado que temos no português? Ainda que o “filtro” seja substituído por conceitos técnicos como “camada de ozônio”, a ideia de filtro permanece na função do 242 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF construto de “proteger a matéria viva na Terra dos efeitos prejudiciais dos raios solares ultravioleta” conforme enunciado da questão do Enem de 2012. Se a metáfora for parte integrante da compreensão do conceito e função do conceito então é necessário criar as condições necessárias para que o surdo submetido a testes sobre atmosfera tenha a possibilidade de entrar em contato com as implicações expressivas do conceito originalmente criado pela ciência e suas implicações. O uso do computador e da internet pode ser benéfico para o processo de avaliação (levando em consideração o alcance e o baixo custo), mas deve-se considerar as possíveis limitações e, inclusive, danos (OAKLAND, 2006), pois a avaliação pode prejudicar um candidato que não tem prática em utilizar computador ou internet. A interpretação das diretrizes para a presente pesquisa foi adaptar culturalmente todo o processo avaliativo de modo que: 1) as questões sejam criadas originalmente em língua de sinais; 2) imagens substituam termos técnicos, e 3) as pessoas surdas sob avaliação possam acessar os enunciados e responder as questões por meio de vídeo. A plataforma Visumo foi criada em 2015 com o objetivo de elaborar alternativas através das tecnologias de software para atender às necessidades de avaliação de surdos usuários de língua brasileira de sinais. Assim, o avaliador adapta o texto de forma flexível, considerando alguns dos 22 princípios estabelecidos pela ITC relevantes para adaptação e criação de testes via computador nas categorias de: 1) contexto; 2) desenvolvimento e adaptação do instrumento; 3) administração; 4) documentação de escore e interpretação de escore. Em relação à categoria “contexto”, o uso da tecnologia foi precedido de uma avaliação por estudantes surdos acerca das necessidades de expressão em Libras em um contexto escolar. Na categoria “administração”, foi identificada a configuração de computador geralmente utilizada na escola e a velocidade de internet disponível em escolas do DF. A partir da explicitação das necessidades dos estudantes surdos egressos do ensino médio, o software foi desenvolvido para produzir a melhor solução possível para o contexto do surdo brasileiro: permitir ao avaliador 243 CADERNO DE PESQUISA 2 definir a configuração da página a ser apresentada ao estudante, inserir links para videos na internet, imagens diversas e o registro da resposta em Libras do estudante. Os recursos tecnológicos agregados à plataforma Visumo visam possibilitar a criação de formas comparáveis de provas para surdos e ouvintes sobre o mesmo conteúdo. No caso das avaliações norte-americanas, a questão da adequação das avaliações para estudantes surdos é um tópico de intensa investigação dado que a tradução dos testes padronizados para a Língua de Sinais Americana (ASL) não foi amplamente adotada devido à falta de estudos psicométricos: “se os alunos surdos e com dificuldade de audição devem participar nos programas de avaliação estaduais e distritais, os testes utilizados também devem ser válidos e confiáveis para eles.” (QI; MITCHELL, 2012, pag.8). Avaliando a aplicação do Stanford achievement test (SAT) no período de três décadas, Qi e Mitchell concluem que: 1) o desempenho de estudantes surdos e com dificuldade de audição foi sistematicamente abaixo dos estudantes ouvintes; 2) a diferença é maior para a leitura do que para a matemática; 3) a distância entre estudantes surdos e ouvintes não diminuiu nas últimas três décadas, exceto na resolução de problemas matemáticos. No Brasil, criação e adaptação de testes para surdos é tópico relativamente recente (CARDOSO; CAPITÃO, 2009; MIGUEL; ZUANAZZI; EURICH et al., 2016; TONIN, 2016). A proposta geral que adotamos para adaptar e criar avaliações comparáveis entre surdos e ouvintes é derivada da teoria da exemplificação de Catherine Elgin (1983). Segundo ela, é possível pensar a relação entre linguagem – científica ou coloquial – e os eventos no mundo sem o uso de “rótulos” ou “etiquetas verbais”, apenas através do processo de exemplificação e de amostras. Se a língua de sinais não possui as “etiquetas” equivalentes a “filtro”, “atmosfera” ou “escudo”, o caminho alternativo seria substituir tais rótulos ou etiquetas pela exemplificação literal (desenho, por exemplo) ou, quando for o caso, exemplificação metafórica de uma amostra do conceito; 244 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF interpretação com gestos e expressões em Libras concomitante a uma imagem que expressa o conceito. O “filtro atmosférico” pode ser exemplificado por uma experiência de laboratório que simula a experiência cotidiana de percepção do céu azul e de pôr do sol. Na teoria de Elgin (1982), a simulação de laboratório é uma amostra do conceito metafórico de “filtro atmosférico”. E ressalta que: 1) a amostra precisa ser correta; 2) o aprendiz precisa identificar a quais categorias de eventos o aprendizado com uma determinada amostra se aplica ou pode ser projetado; e 3) o aprendiz necessita distinguir as particularidades das características gerais para que possa projetar o conceito para casos novos. Projeção de predicados é uma característica básica do uso de conceitos científicos e indica que o indivíduo possui critérios para extrapolar a partir das amostras apresentadas pelo livro ou pela professora ou professor. Ao utilizar uma metáfora do tipo “filtro atmosférico” em um novo exercício ou questão, o estudante estará diante de uma situação de projeção de predicado a partir de uma amostra de exemplos dadas previamente. Em termos de método de avaliação, achamos que a testagem de critério é a mais adequada para generalização e transferência de aprendizagem, conforme explicitado acima. Testagem de critério com a população surda pode estar associada a soluções de inclusão e aprendizagem mais eficazes, pois implica na busca de solução para os casos em que não há correspondência em Libras para termos técnicos das diversas aéreas do conhecimento. E mesmo nos casos em que há sinais para determinados termos técnicos, não necessariamente tais sinais são difundidos amplamente ou são compreendidos plenamente pelos estudantes surdos. As duas bolsistas, Kamila Pimentel e Ana Cléia Ferreira Lima, selecionaram dois domínios comumente avaliados em ambientes escolares e nas diversas formas de ingresso no ensino superior: função e redação. O bolsista Antonio Lucas produziu as imagens correspondentes a contextos metafóricos ou palavras que não possuem um sinal convencional em Libras. 245 CADERNO DE PESQUISA 2 A seguir, na subseção de método, apresentaremos os critérios de criação dos itens para estes domínios, trechos de aula em vídeo (função) e de pré-teste (redação) e as aulas em formato de texto para ambos os conteúdos. 4. MÉTODO 4.1 PARTICIPANTES Participaram voluntariamente 16 estudantes cursando a educação de jovens e adultos (EJA) no período noturno em escola bilíngue de surdos do DF, no 5º, 7º e 8º anos do ensino fundamental e no ensino médio. Quinze participantes eram fluentes em Libras e um participante tinha nível intermediário. A média da faixa etária foi 36,6 anos (DP = 9,63). 4.2 CONTEXTO DE APLICAÇÃO COLETIVA EM UM ÚNICO DIA Os docentes responsáveis pelas disciplinas de matemática e de língua portuguesa informaram que nenhum dos participantes possuía conhecimento prévio sobre os conceitos básicos de função e sobre as regras de redação em português. Decidimos trabalhar com este grupo apesar disso, pois poderíamos obter informação importante sobre o uso da plataforma Visumo, suas funcionalidades e o conteúdo escolar selecionado. Os docentes de matemática e de língua portuguesa estiveram presentes durante a aplicação de pré e pós-testes e as videoaulas. Pré-teste, videoaula e pós-testagem foram realizados no mesmo dia, das 20 às 22 horas. A aplicação coletiva foi realizada em uma sala de informática da Universidade de Brasília (UnB). Foram disponibilizados para cada participante um computador e uma webcam. Inicialmente foi solicitado a cada participante que assistissem ao video que mostrava a instrução para realização da tarefa e um exemplo de redação em Libras. Após realizar pré e pós-testagem, relativos a redação, os participantes foram apresentados ao conteúdo de função. Os participantes alegaram cansaço após a realização da tarefa de redação, então foi solicitado a eles que apenas assistissem e comentassem a videoaula de função. A realização do pós-teste foi opcional. 246 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 4.3 PROCEDIMENTO Análise dos critérios para a criação e correção de redação do Enem 20171. A redação nas provas de seleção para acesso às universidades é bastante valorizada, de modo que, muitas vezes, a nota dessa avaliação é decisiva para que o candidato consiga uma vaga nas instituições de ensino superior. Na prova de redação, o candidato é avaliado a partir de cinco competências, que visam analisar o domínio da norma da língua escrita, a compreensão da proposta de redação e a aplicação das várias áreas do conhecimento no desenvolvimento do tema proposto, a capacidade de selecionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista, o conhecimento dos mecanismos linguísticos necessários para a construção da argumentação e, por fim, a elaboração de uma proposta de intervenção para o problema abordado, respeitando os direitos humanos. Observando a inscrição de estudantes surdos nesses exames de avaliação, divulga-se, para as bancas examinadoras, que há critérios específicos destinados a avaliar esses indivíduos que têm a Libras como primeira língua e o português como segunda língua. Assim se faz porque há legislações que instituem que é obrigatório que se observe as especificidades linguísticas do indivíduo surdo quando a este é pedido o uso da língua portuguesa escrita. Entretanto, quando se observa a correção que é utilizada para esses estudantes, avaliamos que deve haver mais adequações, considerando as especificidades da Libras. Os critérios que dizem respeito à microestrutura (ortografia, morfologia, pontuação, colocação dos termos da oração e do período, paralelismo sintático, regência, concordância, uso de recursos coesivos, articuladores textuais, relações lógico-semânticas, uso de referenciadores e pronomes, emprego de tempos e modos verbais) devem ser adaptados, bem como os que dizem respeito à macroestrutura (domínio do tipo textual e do gênero discursivo cobrados, paragrafação, progressão textual, organização da informação, estratégias de interlocução, intertextualidade). 1 Análise desenvolvida em parceria com a bolsista Ana Cléia Ferreira Lima. Imagens criadas pelo bolsista Antonio Lucas. 247 CADERNO DE PESQUISA 2 Além disso, não se pode avaliar o sujeito surdo como se avalia uma pessoa que tem o português como primeira língua. Ele é falante nativo de outra língua e o que se espera dele ao escrever em português deve ser melhor elaborado. No caso específico da competência 1 do Enem, que avalia o domínio da norma da língua escrita, o que se exige desse indivíduo em relação aos aspectos microestruturais precisa ser repensado. Os parâmetros do que seria dominar a língua escrita devem estar de acordo com o que um indivíduo surdo, usuário de Libras, proficiente em português escrito produz. É inadequado avaliar a produção escrita deste indivíduo tendo como parâmetro a escrita de um indivíduo ouvinte, visto que os dois têm línguas nativas diferentes e essas línguas possuem estruturas diferenciadas. No caso da competência 3 do Enem, espera-se que o candidato produza parágrafos bem estruturados. A utilização de conectivos deve ser explícita, ligando os argumentos e parágrafos, evitando repetições. Ao nosso ver, a exigência do uso de uma diversidade de conectivos é inadequada no caso dos usuários de Libras, já que na língua de sinais eles não existem. Em Libras, utilizam-se outros recursos para se estruturar uma narrativa. Desse modo, ao se propor a prova em vídeo e a possibilidade de os estudantes apresentarem a sua redação em vídeo, busca-se conseguir avaliar todo o seu potencial. Por meio desse recurso, pode-se realizar uma verdadeira adaptação nessas avaliações, levando em consideração as especificidades da língua dos candidatos. Além disso, na prova do Enem, os enunciados da proposta de redação são complexos, quase sempre sem o uso de imagens. Em Libras o recurso visual é bastante valorizado, mas mesmo nas vezes em que este recurso é utilizado no enunciado, ele não favorece o entendimento do tema, já que as imagens sempre vêm com textos. Então esse formato de avaliação não inclui os surdos, mas dificulta o acesso deles a cursos superiores e a obtenção de vagas em concursos. Para incluí-los poderia haver, portanto, uma valorização maior da linguagem não-verbal, já que as duas linguagens – verbal e não-verbal – são bastante utilizadas no cotidiano do meio escolar. 248 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 5. PROPOSTA ALTERNATIVA À REDAÇÃO DO ENEM 2017 Após analisar os critérios da prova do Enem e avaliar as características da narrativa em Libras, decidimos trabalhar a estrutura da redação dissertativa (tese, apresentação de argumentos, coerência, coesão, estratégias de persuasão) com adaptações para o melhor entendimento em Libras. O outro tipo textual pensado para as aulas foi o narrativo, do qual foram citados os seguintes elementos: personagem, lugar, tempo, enredo, coerência, coesão. Foi fundamental no processo de tomada de decisão a interação com a estudante surda Mayra Pessoa que fez a interpretação em Libras dos enunciados abaixo. Durante o desenvolvimento das atividades viu-se a importância da presença de pessoas surdas durante a preparação do material produzido para o ensino mais significativo do português. No link: https://www.youtube.com/watch?v=MM7vh-aiAso está a aula sobre redação em Libras apresentada aos participantes. No link: https:// www.youtube.com/watch?v=gMdfH13p08M&t=8s está o pré-teste e no link: https://www.youtube.com/watch?v=ITHY33_KZeM, o pós-teste. Foram apresentados em videolibras na plataforma Visumo para que os participantes pudessem responder via webcam. FIGURA 1 – UMA PESSOA EM DOIS MOMENTOS, NO PRIMEIRO ELA ESTÁ GRAVANDO PELO CELULAR UMA MENSAGEM (EM LIBRAS) EM VÍDEO E NO SEGUNDO MOMENTO ELA VÊ UMA MSG (EM LIBRAS) EM VÍDEO QUE ELA RECEBE 249 CADERNO DE PESQUISA 2 FIGURA 2 – UMA PESSOA COM UMA EXPRESSÃO DE FELICIDADE UTILIZANDO UM CELULAR (OU PODE SER UM COMPUTADOR) E SURGEM OS ÍCONES DAS VÁRIAS FUNÇÕES (ENVIO DE MSG/ VÍDEO/EVENTOS/ADIÇÃO DE AMIGOS) QUE O FACEBOOK TEM FIGURA 3 – UM CELULAR COM UM ÍCONE DO FACEBOOK. DO CELULAR SURGE UM BRAÇO QUE PRENDE/PUXA A PERNA DE UMA PESSOA PARA NÃO FUGIR OU DEIXAR DE USAR O FACEBOOK Libras Tradução para o Português Intérprete de Libras: agora você fazer redação. Precisar explicar pessoa ouvinte não conhecer cultura surda. Que você achar, sua opinião ? Facebook importante? Exemplo, amizade, namoro e comunicação. Em português padrão: agora você irá fazer a redação. Você precisa explicar para as pessoas ouvintes que não conhecem a cultura surda, o que você acha, sua opinião: Qual a importância da rede social para o surdo? Por exemplo, nos casos de amizade, namoro e comunicação… 250 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 6. AULA 1 - REDAÇÃO DISSERTATIVA Libras Intérprete de Libras: agora aprender regras redação. 1ª Regra Intérprete de Libras: primeiro precisar pensar pessoa ver redação surdo ou ouvinte? Quer dizer influenciar outra pessoa? Tradução para o Português Em português padrão: agora vamos aprender as regras da redação. Em português padrão: primeiro você precisa definir o público ao qual se destina o seu texto. Por exemplo, surdo ou ouvinte? O que você quer dizer para impactá-lo? FIGURA 4 – UMA PESSOA SURDA COM UMA EXPRESSÃO DE ESFORÇO TENTANDO SE COMUNICAR EM LIBRAS COM UMA PESSOA OUVINTE QUE PARECE NÃO ESTAR ENTENDENDO MUITO BEM Libras Tradução para o Português 2ª Regra Em português padrão: você sempre precisa Intérprete de Libras: precisa explicar tema explicar qual é o tema em uma redação sempre qualquer redação opinião: D-I-S-S-E- dissertativa. Veja o exemplo a seguir. R-T-A-T-I-V-A Intérprete de Libras: VEJA EXEMPLO: Facebook é gratuito…. 3ª Regra Intérprete de Libras: precisa explicar opinião, o que achar? Facebook, bom ou ruim? Ajuda ou atrapalha? Em português padrão: Por exemplo, a rede social é gratuita… Em português padrão: você precisa apresentar sua perspectiva, seu ponto de vista: rede social é boa ou ruim na sua visão de mundo? Ela ajuda ou atrapalha a pessoa que é surda? 251 CADERNO DE PESQUISA 2 Libras Intérprete de Libras: VEJA EXEMPLO: (EU GOSTEI ESSE FACE ). 4ª Regra Intérprete de Libras: importante expressões faciais, porque as pessoas entenderão clareza. Exemplo: piada, raiva, gostar, gostoso. 5ª Regra Intérprete de Libras: precisa detalhar temas redações, também pode mostrar exemplo. Intérprete de Libras: gostar mensagens pessoas, nos sociais comunicar, chat poder mesma pessoas encontrar ao vivo legal, prazer; não sabe parentes uma família… Tradução para o Português Em português padrão: eu gosto do facebook porque… Em português padrão: é importante utilizar expressões faciais porque será mais claro para outras pessoas que estão vendo o video. Por exemplo, expressões faciais em piada, de emoção de raiva, de gostar de algo ou de saborear algo. Em português padrão: você precisa apresentar sua perspectiva, seu ponto de vista: rede social é boa ou ruim na sua visão de mundo? Ela ajuda ou atrapalha a pessoa que é surda? Eu gosto de enviar mensagens para as pessoas na rede social. Gosto de comunicar socialmente via chat e poder encontrar as pessoas pessoalmente. É legal e prazeroso. Meus parentes não sabem da importância do facebook para o surdo. Intérprete de Libras: se ter tema facebook, não poder trocar tema, precisar continuar até fim Se você estabelecer que o tema da redação é rede social, então não pode mudar de tema durante a criação da redação. Precisa ir até o final desenvolvendo este tema da rede social. Interprete de Libras: ver imagem... Confusão! Porque não saber se quebra-cabeça facebook ou whatsapp. Então redação não poder ter confusão, se tema facebook, precisar explicar sua opinião sobre facebook porque facebook mais importante? Não poder trocar tema; exemplo não poder misturar whatsapp e facebook. Impossível. Olha este video de redação! Confuso! Não está claro se é sobre facebook ou whatsapp. Redação não pode ser confusa. Se o tema é rede social você precisa explicar seu posicionamento a respeito. Por exemplo, explique se a rede social é importante. Não troque de tema! Não misture o tema da rede social com whatsapp, por exemplo. 6ª Regra Interprete de Libras: agora já aprender todas Em português padrão: depois de aprender todas as regras, veja um exemplo de uma as regras, vamos ver exemplo uma redação redação inteira em Libras. completa. Prova 2 Redação opinião (PÓS-TESTE) Em português padrão: olhe o tema desta redação: comunicação do surdo em uma Intérprete de Libras: Agora você ver imagem família de pais ouvintes. Agora você irá fazer tema "surdo comunicação família". Intersua redação. Explique para o público ouvinte prete de Libras: ENTÃO você fazer redação. que não conhece a cultura surda, qual seu Precisa explicar pessoa ouvinte não conhece ponto de vista. Os pais ouvintes conhecem cultura surda. O que você acha, sua opinião? Libras? Como eles comunicam com seus Pais ouvintes sabem Libras? Como comunifilhos surdos? car com filhos surdos? 252 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 6.1 DOMÍNIO DE CONTEÚDO: FUNÇÃO 6.1.1 Medida de critério para a criação de itens em matemática2 Propomos uma avaliação que seja estruturada com foco em recursos visuais com o intuito de atender ao público que apresenta surdez. As imagens são de muita relevância dentro da cultura surda e podem servir como ferramenta no processo de aprendizagem. Além disso, podem proporcionar uma avaliação mais justa e que explore a inteligência visual inerente à cultura surda e que tem se tornado essencial às novas gerações. Isso também diminui a sobrecarga sobre o intérprete durante as avaliações, além de solucionar a maioria dos problemas que surgem relacionados à língua portuguesa, que é muito diferente de Libras, linguagem com a qual os surdos têm maior contato e fluidez. Para a criação das avaliações, tentamos resolver os problemas relacionados à língua. Para tanto, utilizamos os recursos visuais para evitar o uso de termos técnicos (por exemplo, “função”), dos quais a física e a matemática tanto se valem. As imagens substituem, esclarecem e exemplificam os conceitos utilizados nessas áreas do conhecimento. Isso para que não seja necessário o uso dos termos técnicos, que não possuem sinais correspondentes em Libras e são pouco usados dentro do contexto do público-alvo, evitando a digitação – ou soletração – em Libras durante o vídeo e evitando que o estudante recorra ao intérprete durante a avaliação. As imagens têm a intenção de contextualizar os problemas e facilitar a interpretação. A contextualização é uma demanda não só do aluno com dificuldade auditiva; ela é importante em todo o processo de aprendizagem e é um desafio para a área de exatas. Na interpretação das questões de física e matemática é essencial que os enunciados sejam claros e curtos, para que as informações não se percam. Considerando que a questão será apresentada em vídeo, tentamos colocar o máximo de informações, mas sem sobrecarregar a imagem. 2 Análise desenvolvida em parceria com a bolsista Ana Cléia Ferreira Lima. Imagens criadas pelo bolsista Antonio Lucas. 253 CADERNO DE PESQUISA 2 As questões pretendem verificar a habilidade do aluno na interpretação das imagens, o que seria equivalente ao critério de interpretação de texto cobrado dos alunos ouvintes. Pretende-se avaliar, além dos conhecimentos específicos de cada área, a abstração dos conceitos a partir das ilustrações – se o aluno consegue associar as informações apresentadas nas imagens com a linguagem matemática e sua habilidade de generalizações a partir do exemplo. Optou-se pelo uso da metáfora de “função como uma máquina” porque ela permite apresentar o conceito de função sem a necessidade de aplicar o rótulo ou termo técnico “função”. Trata-se de uma metáfora complexa que demanda do estudante atenção e interesse pelo tema e que ele utilize recursos prévios, pois em nossa cultura é comum a ocorrência de máquinas e suas funcionalidades. A metáfora é aberta e possibilita ao estudante explorar o potencial da comparação função-máquina e mostrar ganhos em relação ao que ele já conhece sobre o conceito matemático. No link: https://www.youtube.com/watch?v=DxjjHSHDfHs foi disponibilizada a videoaula em Libras sobre função. 7. AULA MATEMÁTICA - FUNÇÃO Vamos aprender um conceito de matemática que lembra o sinal de transformação Veja a imagem: A máquina ela transforma tudo que entra. 254 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Então, quando entra cenouras, a máquina está configurada para cortar as cenouras. Vejam a imagem: Essa outra máquina é diferente, ela faz sopa de cenouras. Vejam a imagem: Quando entra cenouras ela faz sopa de cenoura. As duas máquinas funcionam diferentes. Vamos ver uma máquina na transforma números. Vejam a imagem: 255 CADERNO DE PESQUISA 2 No primeiro exemplo, então quando colocamos o número 2 na entrada a máquina ela transforma e sai o número 4. Essa máquina soma dois a qualquer número que entra na máquina. Vejamos uma tabela com os números que entram na máquina e os números que saem depois. 256 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Vamos ver outro exemplo: Veja mais de perto o que acontece na máquina: Agora, a mesma máquina com um número diferente na entrada 257 CADERNO DE PESQUISA 2 Percebe que o resultado é diferente para cada número que entra na máquina. É muito importante perceber que para cada número que entra na máquina só há uma única resposta na saída. Agora, veja a imagem: Essa máquina corta cenouras e também faz sopa ao mesmo tempo, ela faz dois resultados, podemos falar que essa máquina não está funcionando direito. Vamos ver agora usando números: Perceba que entra vários números iguais na máquina, e ela transforma tudo em números diferentes, essa máquina não representa uma função, porque a resposta que sai da máquina não depende dos números que entra, parece que a máquina está quebrada. Agora vamos ver diferente. 258 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Sabemos que para cada número que entra na máquina sai uma única resposta. A máquina está configurada com essa fórmula: Podemos substituir o x para qualquer número que quiser, por exemplo: Vejam a imagem: 259 CADERNO DE PESQUISA 2 Vamos calcular a mesma fórmula para o número 2. Veja a imagem: Então, agora vamos fazer uma tabela que relaciona os números que entram na máquina e os números que sair. Agora podemos fazer um gráfico com esses números, veja. O gráfico relaciona a quantidade de cenouras com a quantidade de sopa que a máquina faz, é possível descobrir a quantidade de sopa que a máquina faz só observando o gráfico. Então, agora você já aprendeu o conceito, pode tentar responder as questões. Obrigada pela atenção. 260 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF 7.1 QUESTÕES (PÓS-TESTE) Veja a imagem da máquina e responda as questões: (Máquina, f(x)= 5x-2 ) 1. Quando entra o número 1 a resposta que sai é 3. 2. Quanto maior for o número que entra na máquina, maior o número na saída 3. Quanto menor o número que entra na máquina, menor o número da saída 4. a) b) c) d) Quais destes gráficos representa a função Gráfico crescente Decrescente Constante Quadrático Observe a imagem e depois responda as questões. Máquina f(x)= x^2 -2, números de entrada (0,1,2,3,4) 5. a) b) c) d) Quais são os números que saem da máquina? 0,-1,2, 7, 14 0,-1, 2, 4,6 -2,-1, 2, 7, 14 2,-1, 2, 4, 6 5. Faça o gráfico da função. 6. Observe a imagem da máquina e a tabela e tente descobrir qual é a função. Descrição da imagem: No visor da função tem um ponto de interrogação (?). Entra 1 na máquina e sai 1; 2 e sai 3; 3 e sai 5; entra 4 e sai 7. 261 CADERNO DE PESQUISA 2 8. RESULTADOS Três participantes produziram a redação via webcam no pré-teste e no pós-teste, porém não aplicaram as regras conforme solicitado na videoaula. Os demais participantes tiveram dificuldades que podem ser agrupadas em: 1) dificuldade de compreensão da tarefa; 2) dificuldade na gravação da redação e 3) dificuldade de uso de funcionalidades da plataforma Visumo. As dificuldades de compreensão foram relacionadas a que tipo de redação produzir ou se era para produzir algo novo. Participantes alegaram não conseguir produzir redação em Libras sobre o tema proposto (“a dificuldade de comunicação do surdo em uma família de ouvintes”) a partir do modelo apresentado na videoaula (https://www.youtube.com/watch?v=MM7vh-aiAso). Neste caso, o fato de o modelo apresentado sobre a importância do Facebook não ter relação com o tema proposto dificultou o uso das regras apresentadas. As dificuldades de produção da redação foram relacionadas ao fato dos participantes não conseguirem produzir uma redação nova usando os botões da tela do Visumo. O participante pode utilizar quatro botões durante a gravação de uma resposta via webcam. Na figura abaixo, o botão 1 inicia a gravação, o botão 2 finaliza a gravação. O botão 3 permite reproduzir a gravação realizada e o botão 4 apaga a gravação. TELA 1 – APRESENTAÇÃO DAS FUNÇÕES DA PLATAFORMA VISUMO ANTES DO PARTICIPANTE ACIONAR O BOTÃO DE GRAVAÇÃO 262 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF As dificuldades de uso da plataforma Visumo foram relacionadas ao uso da barra de rolagem da plataforma Visumo, ao enquadramento do participante no campo de captura de imagem pela webcam e ao upload da gravação concluída. As duas figuras abaixo mostram a tela 1) após a participante acionar o botão que inicia a gravação de vídeo e 2) a tela resultante quando a participante aciona a barra de rolagem para baixo. Gravar Apaga Finaliza Reproduz TELA 2 – FUNCIONAMENTO DA BARRA DE ROLAGEM ENTRE O ENUNCIADO E A CÂMERA PARA GRAVAÇÃO APÓS O PARTICIPANTE ACIONAR O BOTÃO DE GRAVAÇÃO 263 CADERNO DE PESQUISA 2 TELA 3 – FUNCIONAMENTO DA BARRA DE ROLAGEM ENTRE O ENUNCIADO E A CÂMERA PARA GRAVAÇÃO (CONTINUAÇÃO) TELA 4 – RESPOSTA GRAVADA PELO PARTICIPANTE VIA WEBCAM O participante precisa utilizar o mouse e acionar a barra de rolagem a sua direita para que tenha acesso a sua imagem tal como está sendo enquadrada e capturada pela webcam. Após a finalização da gravação, o participante clica em “terminar prova” para realizar o upload do video. As três dificuldades em conjunto tornaram a tarefa extremamente difícil para o conjunto dos participantes na videoaula de aprendizagem de regras de redação. A seguir, foi apresentada aos participantes a videoaula sobre função. Dois professores de matemática auxiliaram na compreensão da videoaula e na execução da tarefa. As três dificuldades foram observadas novamente. Os participantes alegaram cansaço e falta de ventilação na sala de informática. 264 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF Após a realização das duas atividades, foi colhido o depoimento dos participantes sobre a experiência. Apesar das dificuldades em realizar as atividades, os participantes relataram que a experiência foi positiva devido à possibilidade de realizar a tarefa totalmente em Libras. No depoimento (https://vimeo.com/313218438) os participantes comentam que foi importante a experiência da gravação via webcam e que na escola ela pode ser uma ferramenta importante para desenvolvimento de uma aprendizagem mais eficaz tanto para matemática quanto para redação. Três participantes (https://vimeo.com/313215122) relatam as dificuldades de lidar com gravação da redação via webcam e de salvar a gravação pelo fato de ser a primeira vez que realizam este tipo de tarefa. CONSIDERAÇÕES FINAIS O Visumo foi desenvolvido inicialmente com estudantes secundaristas (jovens de até 18 anos), com aplicação coletiva das questões (https:// vimeo.com/243490177). Em geral, secundaristas são pessoas que diariamente utilizam as novas tecnologias e suas funcionalidades básicas (gravar, salvar, deletar, usar barra de rolagem etc). Realizamos a testagem prévia das videoaulas somente com jovens surdos dos anos finais do ensino fundamental. Nos links: https://vimeo.com/313286152 e https://vimeo.com/313286434 jovens surdos realizam na plataforma Visumo videoaulas de redação idênticas àquelas apresentadas aos estudantes da educação de jovens e adultos (EJA) e produzem as redações de pós-testagem, mas sem seguir as regras apresentadas nas videoaulas. Ao realizar a aplicação final, trabalhamos na presente pesquisa com estudantes adultos e idosos que cursam EJA numa escola bilíngue para surdos com média de idade de 36 anos e que estavam afastados do ambiente escolar. O resultado obtido mostra inequivocamente que a população de estudantes surdos do EJA forma um grupo diferente do estudante surdo secundarista jovem com o qual vínhamos trabalhando no desenvolvimento da plataforma. Talvez os estudantes do EJA sejam uma população adequada para se investigar as dificuldades relacionadas às funcionalidades da plataforma Visumo, como gravação da redação e dificuldades de uso dos recursos. O grupo 265 CADERNO DE PESQUISA 2 de estudantes secundaristas que seguem o fluxo escolar e são usuários contumazes das novas tecnologias podem ser o público onde detalhes relacionados à dificuldade de compreensão dos itens seja mais apropriado. A avaliação final positiva nas entrevistas indica que os participantes dissociam o desempenho específico nas duas tarefas a que foram submetidos e o tipo de solução apresentada para a resposta do surdo via webcam. 266 TESTAGEM VIA COMPUTADOR DE ESTUDANTES SURDOS DO ENSINO FUNDAMENTAL E MÉDIO DO DF REFERÊNCIAS ARMSTRONG, D.; KARCHMER, M.A.; CLEVE, J.V. (eds.) The Study of Signed Languages: Essays in Honor of William C. Stokoe. Washington, DC: Gallaudet University Press, 2002. CAMPBELL, R.; MAIRÉAD, M.; DAFYDD, W. Sign Language and the Brain: A Review. In: Journal of Deaf Studies and Deaf Education, vol. 13, 1, p. 3-20, 2008. CARDOSO, L. M.; CAPITÃO, C. G. Evidências de validade do Teste do Desenho da Figura Humana para o contexto da surdez. In: Avaliação Psicológica, 8, 2, p. 245-254, 2009. DESCARTES, R. Discurso do Método. São Paulo: Martins Fontes, 2001. HASHIKAWA K.; DOI K.; IWAKI, T. et al. Sign Language 'Heard' in the Auditory Cortex. In: Nature, 14, 1999.397:116. HISLOP, DW, ZUBER BL, TRIMBLE JL. Text-scanning patterns of blind readers using Optacon and braille. J Rehabil Res Dev. 1985 Jul;22(3):54-65 HIVELY, W. (Ed.). Domain-referenced testing. Englewood Cliffs, N.J.: Educational Technology Publications, 1974. HIVELY, W.; REYNOLDS, M.C. Domain-Referenced Testing in Special Education. Minnesota: Leadership Training Institute Special Education. 1975. MÂNGIA, E. F.; MURAMOTO, M. T.; LANCMAN, S. Classificação Internacional de Funcionalidade e Incapacidade e Saúde (CIF): processo de elaboração e debate sobre a questão da incapacidade. Rev. Ter. Ocup. Univ. São Paulo, 19, 2008. P. 121-130. MIGUEL, F. K.; ZUANAZZI, A. C.; LIMA, R. et al. Estudo da aplicação coletiva de um teste de percepção emocional em surdos. In: Avaliação Psicológica, 15, 2016. p. 197-205. 267 CADERNO DE PESQUISA 2 PESSOTTI, I. Deficiência mental: da superstição à ciência. São Paulo: EDUSP, 1984. SARAIVA, P.E.S. Cérebro, Evolução e Linguagem. Brasilia: Editora UnB, 2014. TONIN, R. P. Adaptação à Língua Brasileira de Sinais de uma escala de satisfação de vida para adolescentes. Dissertação de Mestrado. Brasilia: Universidade Católica de Brasilia, 2015. WELLS, G. A. The Origin of Language: Aspects of the Discussion from Condillac to Wundt, La Salle, ILL: Open Court Puhlishing Co, 1987. WUNDT. W. The Language of Gestures. The Hague: Mouton and Co. 1973. WUNDT, W.; FREIXO, E. C. Elementos de psicologia dos povos: o princípio da linguagem e o pensamento do homem primitivo. In: Psicologia da Educação, 37, p. 91-101. 2013. 268 CAPÍTULO 5 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Flávio Bambirra Gonçalves Juliane Venturelli S. Lima 270 SUMÁRIO – CAPÍTULO 5 INTRODUÇÃO 273 1. ENEM 274 1.1 Redação 2. OBJETIVOS PROPOSTOS 277 3. OBJETIVOS ATINGIDOS 278 4. DESENVOLVIMENTO 279 4.1 Inferência Bayesiana 5. RESULTADOS 283 CONSIDERAÇÕES FINAIS 290 REFERÊNCIAS 291 APÊNDICE A 292 1. Condicional Completa para X e Z dos itens dicotômicos 2. Condicional Completa para c 3. Condicional Completa para (a, b) 4. Condicional Completa para bRD 5. Condicional Completa para θ 6. Condicional Completa para θGL 7. Condicional Completa para λ APÊNDICE B 295 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM INTRODUÇÃO Variáveis latentes, também chamadas de construtos ou fatores, são características que não podem ser medidas diretamente; contudo, podem ser mensuradas indiretamente através de variáveis observáveis, como respostas de indivíduos a itens. Habilidades matemática ou linguística são exemplos de variáveis latentes consideradas no contexto de avaliação educacional. Além disso, é razoável assumir que algumas variáveis latentes sejam hierarquicamente estruturadas. Considere, por exemplo, o domínio linguístico. Esse construto pode ser entendido como uma dimensão superior formada por subdimensões, como escrita e leitura, sendo que esta última pode ser formada por outras subdimensões, como retenção de informação, interpretação, crítica e domínio gramatical. Em várias situações psicométricas ou avaliativas, é de interesse do pesquisador mensurar não apenas o construto geral, mas também os subdomínios que o compõem; por exemplo, as habilidades específicas de leitura e escrita. De maneira geral, estruturas hierárquicas para construtos são utilizadas também em modelos de personalidade (DEYOUNG, 2006) e de inteligência (CARROLL, 1993). Exemplo disso são as teorias recentes sobre inteligência que visualizam uma habilidade cognitiva geral como sendo o construto no topo da hierarquia e, em níveis abaixo, consideram habilidades cognitivas específicas (BRUNNER et al., 2012). Modelagem estatística de estruturas hierárquicas é comumente encontrada na literatura com aplicações em diversas áreas de conhecimento. No contexto de TRI/análise fatorial, porém, esse tipo de modelagem é um problema complexo e soluções eficientes requerem grande esforço, tanto na parte de modelagem quanto na parte de inferencial. Por esse motivo, talvez, metodologias que não consideram uma estrutura hierárquica intrinsecamente no modelo são utilizadas com mais frequência na literatura. Em particular, duas metodologias são comumente utilizadas. Em ambas, os construtos específicos, diretamente medidos pelo teste, são obtidos de forma independente para cada subavaliação. Uma das metodologias consiste em calcular médias (simples ou ponderadas) das estimativas dos construtos específicos de cada subavaliação. A outra metodologia utiliza análise fatorial, em um segundo passo, a partir das estimativas dos construtos específicos, fornecendo, assim, uma estimativa para o construto global. Como 273 CADERNO DE PESQUISA 2 é de se esperar, estudos de simulação sugerem que ambas as metodologias — especialmente a das médias — produzem estimativas menos precisas do que aquelas produzidas por métodos que levam em conta a estrutura hierárquica como um todo (HUANG et al., 2013). Isso porque muita informação relevante é ignorada e desconsiderada, impactando negativamente na estimação dos construtos. 1. ENEM Considere o Exame Nacional do Ensino Médio (Enem), uma das maiores e mais importantes avaliações educacionais de larga escala do Brasil. O objetivo do Enem é estimar a habilidade acadêmica global dos candidatos, gerando assim uma classificação. Para tanto, os indivíduos são submetidos a quatro provas objetivas, cada uma com 45 questões, e a uma prova de redação. As provas objetivas são: linguagens e códigos (LC), ciências humanas (CH), ciências da natureza (CN), e matemática (MT). Os itens de cada prova do Enem exigem conhecimento de diversas áreas sendo, portanto, multidisciplinares. No modelo atual do exame, um candidato recebe cinco notas independentes referentes aos domínios específicos citados e a nota geral de cada candidato é obtida através da média aritmética das cinco notas. A nota de cada uma das provas objetivas é obtida pelo modelo de teoria de resposta ao item (TRI) de três parâmetros. A avaliação de redação é pontuada pela maneira clássica, sendo que dois avaliadores independentes pontuam o texto de acordo com critérios pré-determinados em cinco competências. A figura 1 ilustra o modelo atual, sendo θ as habilidades referentes aos cinco domínios. FIGURA 1 – ESTRUTURA ATUAL DO ENEM 274 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Espera-se, porém, que exista uma correlação positiva entre as habilidades específicas de um mesmo indivíduo. De fato, isso fica evidente ao se calcular as correlações entre as habilidades/notas obtidas no Enem 20171 (tabela 1). TABELA 1 – CORRELAÇÕES ENTRE AS HABILIDADES/NOTAS NO ENEM 2017 Domínio CN CH LC MT CH 0,740 LC 0,612 0,662 MT 0,577 0,609 0,594 RD 0,503 0,487 0,445 0,438 Uma vez constatada a correlação entre as habilidades específicas, a forma estatística mais coerente de se obter uma habilidade global é via análise fatorial em que essa habilidade é o fator em comum que explica as habilidades específicas. O modelo de análise fatorial aplicado diretamente às habilidades do Enem 2017 retorna os resultados mostrados na tabela 2. TABELA 2 – ANÁLISE FATORIAL APLICADA ÀS HABILIDADES/NOTAS DO ENEM 2017 Prova Carga Fatorial LC 0,832 CH 0,870 CN 0,763 MT 0,716 RD 0,584 Como esperado, os resultados sugerem relação forte entre as habilidades específicas do Enem. Note que as habilidades do Enem foram obtidas separadamente para cada avaliação e, portanto, não é considerada relação alguma a priori entre as habilidades específicas. Outra questão importante relacionada ao Enem é a possível presença de itens multidimensionais. Espera-se que itens com enunciados e distratores com complexidade textual exijam, conjuntamente com a habilidade específica da avaliação em questão, o uso da habilidade em linguagens e códigos. Para tal cálculo, foi utilizada uma amostra aleatória de 46.795 candidatos, que fizeram prova de Inglês, não faltaram a nenhum dia e não zeraram nenhuma prova objetiva. 1 275 CADERNO DE PESQUISA 2 Da mesma forma, itens da prova de ciências da natureza que requerem cálculos algébricos não triviais demandam o uso da habilidade matemática. Uma análise estatística mais coerente requer que a relação entre as habilidades específicas e a definição da habilidade global seja considerada intrinsecamente no modelo. Deve ser considerada a estrutura multidimensional presente em alguns itens, para que a estimação das variáveis desconhecidas no modelo apresente menor variabilidade. Dessa maneira, todas as fontes de incerteza são consideradas na estimação dos parâmetros dos itens e das habilidades e de suas relações. 1.1 REDAÇÃO A avaliação atual de redação exige que o candidato realize uma produção de texto dissertativo-argumentativo, sendo avaliado o domínio do candidato em cinco competências: 1. Demonstrar domínio da modalidade escrita formal da língua portuguesa; 2. Compreender a proposta de redação e aplicar conceitos das várias áreas de conhecimento para desenvolver o tema, dentro dos limites estruturais do texto dissertativo-argumentativo em prosa; 3. Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista; 4. Demonstrar conhecimento dos mecanismos linguísticos necessários para a construção da argumentação; 5. Elaborar proposta de intervenção para o problema abordado, respeitando os direitos humanos. As provas são avaliadas por, no mínimo, dois avaliadores rigorosamente treinados. Cada avaliador, de forma independente, deve atribuir uma nota entre 0 e 200 pontos para cada uma das competências citadas, sendo que os pontos podem ser: 0, 40, 80, 120, 160 e 200. A nota final do candidato é obtida a partir da média simples das notas totais atribuídas pelos dois avaliadores. Portanto, a nota mínima de um candidato é 0 e a nota máxima 1000. 276 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Vale ressaltar que no modelo atualmente adotado pelo Enem, as notas de redação e das demais quatro avaliações estão em escalas distintas, visto que são obtidas por metodologias diferentes. Torna-se, então, apelativo que a habilidade em redação seja também obtida via TRI. Isso contribuiria para uma melhor especificação das relações entre essa habilidade e as demais e para a obtenção da habilidade global. 2. OBJETIVOS PROPOSTOS O objetivo principal deste projeto é propor metodologia estatística (modelo e estimação) que permita uma caracterização mais precisa/refinada/completa dos candidatos segundo suas habilidades específicas e global. Isso é feito através de um modelo que considere uma modelagem conjunta e hierárquica das habilidades para, desta forma, não ignorar a correlação existente entre elas e assim construir naturalmente uma escala para habilidade global. Além disso, deve-se considerar uma estrutura multidimensional, em que alguns itens exigem mais de uma habilidade específica. Isso permite a obtenção de habilidades específicas mais refinadas e, consequentemente, melhor caracterização das correlações entre as diferentes habilidades. Por fim, o modelo também deve incluir a habilidade em redação, a ser obtida também via TRI e na mesma escala das demais habilidades, permitindo uma exploração mais precisa das correlações e maior precisão na obtenção da habilidade global. Pretende-se explorar as propriedades estatísticas do modelo e suas implicações práticas, bem como desenvolver uma metodologia eficiente para estimação, sob o Paradigma Bayesiano (via MCMC), o que permitirá a incorporação de todas as fontes de incerteza envolvidas. Por fim, pretende-se aplicar a metodologia proposta aos dados do Enem 2017 e comparar com a metodologia adotada atualmente. 277 CADERNO DE PESQUISA 2 FIGURA 2 – ESTRUTURA HIERÁRQUICA PROPOSTA PARA O ENEM A figura 2 apresenta a estrutura multidimensional proposta para a análise dos dados do Enem. Conforme a figura 2, a habilidade em linguagens e códigos também será medida em itens das outras três provas objetivas e da redação (competência 1). Além disso, a habilidade em matemática será medida em alguns itens da prova de ciências da natureza. 3. OBJETIVOS ATINGIDOS Todos os objetivos propostos foram atingidos de forma satisfatória. Foi proposta uma nova metodologia estatística para análise dos resultados do Enem que: • obtém a nota da redação via teoria de resposta ao item; • considera uma estrutura multidimensional; e • obtém as habilidades específicas e global, de forma conjunta e na mesma escala, mais purificadas e precisas que no modelo atual utilizado pelo Enem. As próximas seções apresentam o detalhamento da metodologia proposta, bem como os resultados obtidos para o Enem 2017. 278 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM 4. DESENVOLVIMENTO Os modelos dicotômicos da TRI relacionam a probabilidade de acertar um item às habilidades sendo medidas, através de uma função crescente denominada de curva característica do item (ICC). Neste trabalho, considera-se a função probito com três parâmetros para cada item – modelo 3PNO. Para as quatro avaliações objetivas, considere um conjunto de J candidatos submetidos aos 180 itens dicotômicos (corrigidos como certos ou errados). Considere a seguinte variável aleatória Yij = 1 se o j-ésimo indivíduo acerta o item i, e Yij = 0 se o j-ésimo indivíduo não acerta o item i, para j = 1,…, J e i = 1,…,180. A probabilidade do j-ésimo indivíduo responder corretamente o i-ésimo item é dado por P(Yij = 1 | ai, bi, ci, θj) = ci – (1 – ci) Ф (ai, LCθj,LC + ai,CHθJ,CH + ai,CNθj,CN + ai,MTθj,MT – bi) (1) em que θj = (θj,LC, θj,CH, θj,CN θj,MT) é o vetor de habilidades específicas do candidato j, ai = (ai,LC, ai,CH, ai,CN, ai,MT) é o vetor de parâmetros de discriminação do item i, e bi e ci são os parâmetros de locação e acerto casual do item i, respectivamente. Note que são os parâmetros aiq que determinam a estrutura multidimensional dos itens – se a habilidade q = (LC, CH, CN, MT) não for mensurada pelo item i, faz-se aiq = 0. A relação entre as habilidades específicas e a definição de uma habilidade global é modelada via análise fatorial que define todas essas habilidades em uma mesma escala. O modelo proposto para as quatro provas objetivas do Enem é tal que Yij |pij ~ Bernoulli (pij), (2) pij = ci – (1 – ci) Φ (ai,LC θj,LC + ai,CH θj,CH + ai,CN θj,CN + ai,MT θj,MT – bi), sendo θLC,j = λLC θj,GL + εLC,j θCH,j = λCH θj,GL + εLC,j θCN,j = λCN θj,GL + εCN,j θMT,j = λ MT θj,GL + εMT,j (3) 279 CADERNO DE PESQUISA 2 em que θj,GL é a habilidade global do candidato j, e λq são os coeficientes que relacionam as habilidades específicas e global. Para que o modelo seja identificável, assume-se que θGL,j ~ N(0,1) e εq,j ~ N(0,1 – λ²q) (4) Sendo as habilidades independentes a priori. Esta especificação identifica o modelo de forma que todas as habilidades (geral e específicas) fiquem na mesma escala - todas têm distribuição marginal normal com média zero e variância um. A avaliação de redação será modelada conjuntamente com as provas objetivas e através do modelo de respostas graduais (SAMEJIMA, 1969), que assume que as categorias de resposta de um item estejam ordenadas. Como são cinco competências na prova de redação, o modelo proposto considera cinco itens com respostas ordenadas, sendo que a resposta de cada item é a nota obtida pelo aluno naquela competência. Para o modelo de resposta gradual, assume-se, sem perda de generalidade, que haja M categorias, denotadas por m = 1,…, M, e cinco itens (competências). Isso implica que, para cada item, existem M - 1 parâmetros de locação bic , tais que ∞ = bi0 < bi1 < bi2 < ... < bim < bim+1 = ∞ (5) O modelo de resposta gradual (SAMEJIMA, 1969) assume que a probabilidade de o candidato j fornecer uma resposta na categoria m no item i é dada por P(Yij = m) = Φ (bim – ai,LC θj,LC – ai,RDθj,RD) – Φ (bim–1 – ai,LC θj,LC – ai,RD θj,RD) (6) Por fim, o modelo de análise fatorial para as habilidades é completado com a seguinte especificação: θRD,j = λRDθj,GL + εRD,j, em que valem as condições dadas por 4. 280 (7) CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM 4.1 INFERÊNCIA BAYESIANA Sob a abordagem bayesiana, a inferência é baseada na distribuição a posteriori conjunta dos parâmetros e variáveis não observadas do modelo. A distribuição a posteriori é a distribuição condicional de todas essas quantidades, dado as respostas dos candidatos. A função densidade dessa distribuição é proporcional ao produto da função de verossimilhança com as densidades a priori de todas as quantidades desconhecidas do modelo. As distribuições a priori sintetizam probabilisticamente o conhecimento do pesquisador sobre os parâmetros desconhecidos. A estrutura hierárquica apresentada anteriormente (equações 3, 4 e 7) define a distribuição a priori das habilidades específicas e global. A função de verossimilhança para as questões das provas objetivas é dada por (8) em que Ψ representa os parâmetros na expressão dos pij ’s (Equação 2). No caso da redação, tem-se que (9) em que Ι(Yij = m) vale 1 se a nota do candidato j na competência i for igual a m, e vale zero caso contrário. Para facilitar o desenvolvimento de uma metodologia de inferência, considera-se um modelo aumentado, introduzindo um conjunto de variáveis auxiliares. As variáveis auxiliares (Z, X) são introduzidas no modelo, tais que Zij ~Bernoulli(ci) e (Xij |Zij)~N(ai θj – bi,1)Ι(Zij = 0) + δ0Ι(Zij = 1), em que I é a função indicadora e δ0 é um ponto de massa em zero, isto é, P(Xij = 0|Zij = 1) = 1. Dessa maneira, pode-se reescrever Yij por Este modelo é equivalente ao modelo da Equação 2 marginalizando com respeito a (Z, X). 281 CADERNO DE PESQUISA 2 Para os itens politômicos, Xij = ai θj + εij, em que εij~N(0,1). Pode-se demonstrar que o Modelo em (6) é equivalente a Ainda, para todos os itens politômicos, faz-se Zij = 0, visto que para esses itens ci = 0. No caso do modelo da TRI proposto neste trabalho, a distribuição a posteriori, apresentada na equação (10), tem dimensão muito grande, o que torna impossível explorá-la de forma analítica. A solução mais viável consiste em obter uma amostra grande o suficiente desta distribuição e fazer a inferência com base em estimativas de Monte Carlo. Essa amostra é obtida através de um algoritmo Markov chain Monte Carlo (MCMC), mais especificamente, um algoritmo Gibbs sampling. A densidade da distribuição a posteriori é proporcional a (10) em que q = (1,…,5), representa as provas (LC, CH, CN, MT, RD), a representa o conjunto de todos ai ’s dos itens dicotômicos e politômicos, b e c representam o conjuntos de todos os bi ’s e c’s dos itens dicotômicos, respectivamente, e bRD o conjunto de todos os bim’s dos itens politômicos da redação. Além disso, é dada em (3)-(4) e. Os blocos do algoritmo Gibbs sampling são definidos por: (X,Z) ; θ; (a,b); λ; bRD. Exceto os dois últimos blocos, que são amostrados via passo Metropoli-Hastings (MH), todos os demais são amostrados diretamente de suas respectivas distribuições condicionais completas (ver Apêndice A). Como citado, (X, Z) formam um conjunto de variáveis auxiliares introduzidas para que seja possível amostrar diretamente das demais distribuições condicionais completas. Os passos MH para os parâmetros em bRD e em λ são cuidadosamente construídos para que os respectivos algoritmos sejam eficientes. 282 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM O algoritmo MCMC é computacionalmente eficiente devido à criteriosa escolha dos blocos e algoritmos utilizados na amostragem. Em particular, as habilidades podem ser amostradas conjuntamente ou separadamente. As condicionais são apresentadas no Apêndice A. No passo MH para bRD, é utilizada uma reparametrização tal que dois tipos de atualização são realizadas a cada iteração da cadeia. Todos os bRD de um mesmo item são amostrados conjuntamente. No caso de λ, a amostragem de cada λq é realizada individualmente, visto que a correlação entre as cadeias é negligenciável. 5. RESULTADOS Foram realizados estudos de simulação que demonstraram que o algoritmo MCMC proposto recupera muito bem os parâmetros dos itens, dos indivíduos e da estrutura hierárquica. Nesta seção, são apresentados os resultados da aplicação da metodologia proposta a uma amostra aleatória de aproximadamente 46 mil candidatos, considerando os dados do Enem 2017. A amostra selecionada pertence a um universo de candidatos que estiveram presentes nos dois dias de prova, realizaram a prova de Inglês e não zeraram nenhuma prova objetiva. Para fins de comparação, foi realizada, também, a análise do mesmo conjunto utilizando a modelagem atual do Enem. Foi considerada a ordenação dos itens do caderno azul de provas. Os itens com estrutura multidimensional foram escolhidos subjetivamente utilizando como critério, no caso da multidimensionalidade com a habilidade de linguagens e códigos, a complexidade textual dos enunciados e opções de resposta. No caso da prova de ciências da natureza, foram identificadas as questões que demandavam cálculos não triviais, para ter uma estrutura multidimensional com a habilidade em matemática. Desta forma, a quantidade de itens com estrutura multidimensional foi tal que: • • • • • CH/LC: 7 itens; CN/LC: 1 item; CN/MT: 8 itens; MT/LC: 3 itens; RD/LC: 1 item. 283 CADERNO DE PESQUISA 2 A tabela 3 apresenta estatísticas a posteriori dos parâmetros λ. Observa-se que o valor mais alto de λ foi referente à prova de ciências humanas (λCH = 0,969) e o menor valor foi para a prova de redação (λRD = 0,639). Vale ressaltar que os valores de λ representam a correlação estimada entre as habilidades específicas e a habilidade global. TABELA 3 – ESTATÍSTICAS A POSTERIORI PARA λ λ Média Desvio Padrão λLC 0,920 0,001 λCH 0,969 0,001 λCN 0,940 0,002 λMT 0,851 0,003 λRD 0,639 0,003 Como citado na seção 4, a parametrização utilizada na construção do modelo é tal que todas as habilidades, específicas e global, estejam, marginalmente, na mesma escala, isto é, normal com média zero e variância um. A tabela 4 apresenta as médias e desvios padrão das habilidades estimadas (média a posteriori). Nota-se que as médias estão todas próximas de zero e os desvios padrão próximos de um. A figura 3 apresenta os histogramas das estimativas das habilidades específicas e global, mostrando comportamento aproximadamente normal de todas as habilidades. A tabela 5 mostra as altas correlações entre as habilidades estimadas. Note como essas são bem maiores que as obtidas quando as provas são analisadas separadamente (ver tabela 1). Para evidenciar o ganho na precisão das estimativas das habilidades entre o modelo proposto e o modelo atual do Enem, são comparados os desvios padrão a posteriori das habilidades de todos os candidatos. Note que, como as habilidades estão na mesma escala em ambas as abordagens, os valores dos desvios podem ser diretamente comparados. Os resultados são apresentados na tabela 6 e mostram que tanto a média quanto o desvio dos desvios padrão de todas as habilidades estimadas são menores para o modelo proposto do que para modelo atual, que analisa cada prova separadamente. 284 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM TABELA 4 – ESTATÍSTICAS A POSTERIORI DAS HABILIDADES ESPECÍFICAS E GLOBAL Competência Média Desvio Padrão θCN -0,001 0,947 -0,001 0,947 θCH -0,001 0,926 -0,001 0,906 -0,001 0,970 -0,001 0,949 θMT θLC θRD θGL TABELA 5 – CORRELAÇÃO ENTRE AS ESTIMATIVAS DAS HABILIDADES θCH θCN θLC θCH θCN θMT 0,953 0,939 0,972 θMT 0,876 0,910 0,911 0,639 0,662 0,666 0,623 θGlobal 0,968 0,994 0,985 0,929 θRD θRD 0,686 A figura 4 apresenta a comparação entre as distribuições das habilidades estimadas com o modelo proposto e o modelo atual. Note que as distribuições são similares para as quatro provas objetivas, uma vez que a mesma escala é fixada. Ainda, distribuições menos assimétricas são obtidas para o modelo proposto para as provas de ciências da natureza e matemática. Finalmente, maiores diferenças são observadas para as habilidades em redação e global por não estarem na mesma escala nos dois modelos. Apesar de as distribuições serem similares para as provas objetivas quando comparamos os dois modelos, as estimativas de cada habilidade individual apresentam grandes diferenças, como mostrado na figura 5. Isso se dá pelas diferenças com relação à multidimensionalidade e modelagem das habilidades entre os dois modelos. Para vários dos itens escolhidos foram identificadas estruturas multidimensionais. As estimativas das médias a posteriori dos parâmetros de discriminação (que indicam a presença da multidimensionalidade), locação e acerto casual são apresentadas nas tabelas 11 e 12 do Apêndice B. Uma comparação gráfica entre as estimativas dos parâmetros de 285 CADERNO DE PESQUISA 2 discriminação e locação entre os dois modelos é apresentada na figura 7, também no Apêndice B. As tabelas 6 a 9 apresentam os itens para os quais multidimensionalidade foi identificada. TABELA 6 – ITENS COM ESTRUTURA MULTIDIMENSIONAL NA PROVA DE CIÊNCIAS HUMANAS Item aLC aCH 51 0,19 0,41 0,75 63 0,28 65 0,11 0,41 78 0,16 1,26 82 0,04 0,39 84 0,15 0,40 88 0,35 0,57 TABELA 7 – ITENS COM ESTRUTURA MULTIDIMENSIONAL NA PROVA DE CIÊNCIAS DA NATUREZA aLC aCH aMT 103 0,54 0,40 104 0,12 0,25 Item 109 0,11 0,37 112 0,15 0,21 122 0,75 0,37 124 0,06 127 0,08 0,08 129 0,91 0,71 131 0,48 0,76 TABELA 8 – ITENS COM ESTRUTURA MULTIDIMENSIONAL NA PROVA DE MATEMÁTICA Item aLC aMT 1,62 141 0,09 156 0,23 1,53 162 0,08 0,32 TABELA 9 – ITENS COM ESTRUTURA MULTIDIMENSIONAL NA PROVA DE REDAÇÃO 286 Item aLC aRD 181 0,19 1,70 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM FIGURA 3 – HISTOGRAMAS DAS MÉDIAS A POSTERIORI DAS HABILIDADES ESPECÍFICAS E GLOBAL (a) Linguagens e Códigos. (b) Ciências Humanas. (c) Ciências da Natureza. (d) Matemática. (e) Redação. (f) Global. 287 CADERNO DE PESQUISA 2 FIGURA 4 – COMPARAÇÃO ENTRE AS DENSIDADES ESTIMADAS DAS HABILIDADES NOS DOIS MODELOS UTILIZANDO AS MÉDIAS A POSTERIORI DE CADA INDIVÍDUO 288 (a) Linguagens e Códigos. (b) Ciências Humanas. (c) Ciências da Natureza. (d) Matemática. (e) Redação. (f) Global. CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM FIGURA 5 – DIAGRAMA DE DISPERSÃO DAS MÉDIAS A POSTERIORI DAS HABILIDADES DOS DOIS MODELOS (a) Ciências da Natureza. (b) Matemática. (c) Ciências Humanas. (d) Linguagens e Códigos. (e) Redação. (f) Global. 289 CADERNO DE PESQUISA 2 Por fim, chama-se a atenção para alguns itens patológicos – que apresentaram um comportamento não admitido pelo modelo considerado. A figura 6 apresenta a proporção de acerto dos itens 36 (de linguagens e códigos) e 143 (de matemática) para diferentes faixas de habilidade. FIGURA 6 – CURVAS DE FREQUÊNCIA DE ACERTO PARA DIFERENTES FAIXAS DE HABILIDADE (a) Item 36. (b) Item 143. CONSIDERAÇÕES FINAIS Este projeto discutiu algumas limitações do modelo atual utilizado no Enem para se obter as habilidades e notas dos candidatos e propôs soluções para essas limitações. Foi proposta uma nova abordagem estatística que considera uma modelagem conjunta das habilidades específicas e de uma habilidade global. Além disso, é considerada uma estrutura multidimensional para alguns itens, o que permite que esses meçam mais de uma habilidade específica. Por fim, a habilidade na prova de redação também é incluída no modelo e obtida via TRI. Todos esses aspectos considerados permitem uma caracterização mais precisa e completa dos candidatos segundo suas habilidades específicas e global. Os resultados apresentados evidenciam a importância e aplicabilidade da metodologia proposta, bem como suas vantagens quando comparada à abordagem utilizada atualmente. 290 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM REFERÊNCIAS BRUNNER, Martin; NAGY, Gabriel ; WILHELM, Oliver. A tutorial on hierarchically structured constructs. In: Journal of Personality, 80(4), 2012. p. 796 - 846. CARROLL, JB. Human cognitive abilities: A survey of factor-analytic studies. 10.1017. CBO9780511571312, 1993. DEYOUNG, Colin G. Higher-order factors of the big five in a multi-informant sample. In: Journal of personality and social psychology, 91(6), 2006. p. 1138. HUANG, Hung-Yu; WANG, Wen-Chung; CHEN, Po-Hsi; SU, Chi-Ming. Higher-order item response models for hierarchical latent traits. In: Applied Psychological Measurement, 37(8), 2013. p. 619 - 637. ROBERTS, Gareth O.; GELMAN, Andrew; GILKS, Walter R et al. Weak convergence and optimal scaling of random walk metropolis algorithms. In: The annals of applied probability, 7(1), 1997. p. 110 - 120. SAMEJIMA, Fumiko. Estimation of latent ability using a response pattern of graded scores. In: Psychometrika monograph supplement, 1969. 291 CADERNO DE PESQUISA 2 APÊNDICE A 1. CONDICIONAL COMPLETA PARA X E Z DOS ITENS DICOTÔMICOSa posteriori (𝑍𝑍𝑖𝑖𝑖𝑖 , 𝑋𝑋𝑖𝑖𝑖𝑖 ) a posteriori , 𝑋𝑋 |.(𝑍𝑍 𝑖𝑖𝑖𝑖 , 𝑋𝑋𝑖𝑖𝑖𝑖 ) 𝑖𝑖𝑖𝑖 𝑖𝑖𝑖𝑖 = a posteriori de (Z , X ) A distribuição condicional𝑍𝑍completa ij ij 𝑠𝑠𝑠𝑠 a posteriori 𝑌𝑌 = 0,(𝑍𝑍𝑖𝑖𝑖𝑖 , 𝑋𝑋𝑖𝑖𝑖𝑖 ) 𝑍𝑍𝑖𝑖𝑖𝑖 , 𝑋𝑋𝑖𝑖𝑖𝑖 |. = 𝑖𝑖𝑖𝑖 𝜙𝜙(𝑥𝑥𝑖𝑖𝑖𝑖 −𝑚𝑚𝑖𝑖𝑖𝑖 ) 𝑍𝑍𝑖𝑖𝑖𝑖0)𝕀𝕀(𝑋𝑋 , 𝑋𝑋 |. = > 0) 𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖 𝑌𝑌= 𝑤𝑤 =𝑖𝑖𝑖𝑖1)𝕀𝕀(𝑋𝑋 0) + 𝑖𝑖𝑖𝑖 (1<−0), 𝑤𝑤𝑖𝑖𝑖𝑖 ) 𝑖𝑖𝑖𝑖 𝕀𝕀(𝑍𝑍 𝑖𝑖𝑖𝑖 𝑚𝑚 𝜙𝜙(𝑥𝑥 )𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 ==0)𝕀𝕀(𝑋𝑋 𝑖𝑖𝑖𝑖 − 𝑖𝑖𝑖𝑖 = 𝑖𝑖𝑖𝑖0, 𝑖𝑖𝑖𝑖 Φ(𝑚𝑚𝑠𝑠𝑠𝑠 𝑖𝑖𝑖𝑖 ) 𝜙𝜙(𝑥𝑥𝑖𝑖𝑖𝑖 − 𝑚𝑚𝑖𝑖𝑖𝑖 )𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖 = 0)𝕀𝕀(𝑋𝑋𝑖𝑖𝑖𝑖 < 0), 𝑠𝑠𝑠𝑠 𝜙𝜙(𝑥𝑥𝑖𝑖𝑖𝑖 − 𝑚𝑚𝑖𝑖𝑖𝑖 )𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖 = 0)𝕀𝕀(𝑋𝑋 < 0), 𝑠𝑠𝑠𝑠 𝑌𝑌𝑖𝑖𝑖𝑖 = 0, 𝑖𝑖𝑖𝑖 −𝑚𝑚𝑖𝑖𝑖𝑖 ) 𝑐𝑐𝜙𝜙(𝑥𝑥𝑖𝑖𝑖𝑖 (1) 𝑠𝑠𝑠𝑠 𝑤𝑤𝑖𝑖𝑖𝑖𝑚𝑚 𝕀𝕀(𝑍𝑍 +𝑖𝑖𝑖𝑖(1 == 𝑎𝑎𝑖𝑖 1)𝕀𝕀(𝑋𝑋 𝜃𝜃{𝑖𝑖 −𝑖𝑖𝑖𝑖𝑏𝑏= = − 𝑤𝑤𝑖𝑖𝑖𝑖 ) 𝑖𝑖 Φ(𝑚𝑚 ) 𝕀𝕀(𝑍𝑍 𝜙𝜙(𝑥𝑥 −𝑚𝑚0)𝕀𝕀(𝑋𝑋 𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖= 𝑖𝑖𝑖𝑖 > 0) 𝑖𝑖𝑖𝑖 ) 𝑖𝑖𝑖𝑖 𝑖𝑖𝑖𝑖 𝑖𝑖 0)𝑤𝑤 𝑐𝑐 +(1−𝑐𝑐 )Φ(𝑚𝑚 ) 𝑤𝑤𝑖𝑖𝑖𝑖 𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖 = 1)𝕀𝕀(𝑋𝑋𝑖𝑖𝑖𝑖𝑖𝑖 = 0)𝑖𝑖 + (1𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 − 𝑤𝑤𝑖𝑖𝑖𝑖 ) Φ(𝑚𝑚 𝕀𝕀(𝑍𝑍𝑖𝑖𝑖𝑖 = 0)𝕀𝕀(𝑋𝑋𝑖𝑖𝑖𝑖 > 0) (1) 𝑚𝑚𝑖𝑖𝑖𝑖 = 𝑎𝑎𝑖𝑖 𝜃𝜃𝑖𝑖 𝑖𝑖𝑖𝑖 ) 𝑐𝑐 𝑖𝑖 𝑐𝑐𝑖𝑖 (1) − 𝑏𝑏𝑚𝑚 = 𝑖𝑖 𝑖𝑖𝑖𝑖 =𝑤𝑤𝑎𝑎𝑖𝑖𝑖𝑖 𝑏𝑏𝑖𝑖 e 𝑖𝑖𝑤𝑤 )Φ(𝑚𝑚 𝑖𝑖 𝜃𝜃𝑖𝑖 𝑐𝑐− 𝑖𝑖𝑖𝑖 =𝑖𝑖𝑖𝑖𝑐𝑐) +(1−𝑐𝑐 )Φ(𝑚𝑚 ). 𝑖𝑖 +(1−𝑐𝑐 𝑠𝑠𝑠𝑠 𝑌𝑌𝑖𝑖𝑖𝑖 = 1, 𝑌𝑌𝑖𝑖𝑖𝑖 = 1, 𝑌𝑌𝑖𝑖𝑖𝑖 = 1, 𝑖𝑖 𝑖𝑖𝑖𝑖 𝑐𝑐𝑖𝑖 = 0𝑖𝑖 𝑍𝑍𝑖𝑖𝑖𝑖 = 0 𝑖𝑖 𝑗𝑗 𝑋𝑋𝑖𝑖𝑖𝑖 𝑐𝑐𝑖𝑖 =𝑍𝑍0𝑖𝑖𝑖𝑖 = 0 𝑍𝑍𝑖𝑖𝑖𝑖 = 0 𝑖𝑖 𝑗𝑗 𝑗𝑗 𝑐𝑐𝑖𝑖 = 0 𝑖𝑖 𝑋𝑋 𝑖𝑖𝑖𝑖 𝑋𝑋𝑖𝑖𝑖𝑖 em que c = 0, faz-se Zij = 0 para todo i e todo j, Para itens politômicos 𝑋𝑋𝑖𝑖𝑖𝑖 |. os ~𝑁𝑁(𝒂𝒂 𝑠𝑠𝑠𝑠 𝑌𝑌𝑖𝑖𝑖𝑖 = 𝑚𝑚. 𝑖𝑖 𝜽𝜽𝑖𝑖 , 1)𝕀𝕀(𝑏𝑏𝑚𝑚−1 < 𝑋𝑋𝑖𝑖𝑖𝑖 < 𝑏𝑏𝑚𝑚 )i de modo que a𝑋𝑋 condicional completa de X seja dada ij 𝑠𝑠𝑠𝑠 por 𝑌𝑌𝑖𝑖𝑖𝑖 = 𝑚𝑚. 𝑖𝑖𝑖𝑖 |. ~𝑁𝑁(𝒂𝒂𝑖𝑖 𝜽𝜽𝑖𝑖 , 1)𝕀𝕀(𝑏𝑏𝑚𝑚−1 < 𝑋𝑋𝑖𝑖𝑖𝑖 < 𝑏𝑏𝑚𝑚 ) 𝑋𝑋𝑖𝑖𝑖𝑖 |. ~𝑁𝑁(𝒂𝒂𝑖𝑖 𝜽𝜽𝑖𝑖 , 1)𝕀𝕀(𝑏𝑏 𝑠𝑠𝑠𝑠 𝑌𝑌𝑖𝑖𝑖𝑖 = 𝑚𝑚. 𝑚𝑚−1 < 𝑋𝑋𝑖𝑖𝑖𝑖 < 𝑏𝑏𝑚𝑚 ) Xij |.~N(ai θj, 1) II (bm–1 < Xij < bm) se Yij = m. 2. CONDICIONAL COMPLETA PARA C 𝑐𝑐𝑖𝑖 ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎(𝛼𝛼 𝑐𝑐 , 𝛽𝛽𝑐𝑐 ) 𝑐𝑐𝑖𝑖 ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎(𝛼𝛼𝑐𝑐 , 𝛽𝛽𝑐𝑐 ) 𝑐𝑐𝑖𝑖 ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎(𝛼𝛼 𝐽𝐽 𝐽𝐽 𝑐𝑐 , 𝛽𝛽𝑐𝑐 ) c ~ Beta 𝐽𝐽 Para uma𝑐𝑐priori (α𝑖𝑖𝑖𝑖c ,+β∑ +𝑖𝑖=1 𝛼𝛼𝑐𝑐 , 𝐽𝐽𝑍𝑍− +𝐽𝐽𝑖𝑖=1 𝛽𝛽𝑐𝑐𝑍𝑍).𝑖𝑖𝑖𝑖 + 𝛽𝛽𝑐𝑐 ). 𝑍𝑍 −𝑖𝑖𝑖𝑖 ∑ i ∑𝑐𝑐𝑖𝑖=1 c𝛼𝛼):𝑖𝑖=1 𝑖𝑖 |. ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎( 𝑖𝑖𝑖𝑖 ∑ 𝑐𝑐 , 𝐽𝐽 𝑍𝑍 𝑖𝑖 |. ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎( 𝑐𝑐𝑖𝑖 |. ~𝐵𝐵𝑠𝑠𝐵𝐵𝑎𝑎(∑𝐽𝐽𝑖𝑖=1 𝑍𝑍𝑖𝑖𝑖𝑖 + 𝛼𝛼𝑐𝑐 , 𝐽𝐽 − ∑𝐽𝐽𝑖𝑖=1 𝑍𝑍𝑖𝑖𝑖𝑖 + 𝛽𝛽𝑐𝑐 ). (11) 3. CONDICIONAL COMPLETA PARA𝜼𝜼𝑖𝑖 (A, a posteriori = (𝒂𝒂𝑖𝑖B) , 𝑏𝑏𝑖𝑖 ) a posteriori 𝜼𝜼𝑖𝑖 = (𝒂𝒂𝑖𝑖 , 𝑏𝑏𝑖𝑖 ) A distribuição condicional completa 𝜼𝜼a posteriori de ηi = (ai, bi) é uma nora posteriori 𝑖𝑖 = (𝒂𝒂𝑖𝑖 , 𝑏𝑏𝑖𝑖 ) mal multivariada de dimensão 6,𝜂𝜂 |.tal que ~𝑁𝑁(𝜇𝜇 , 𝚲𝚲 ), 𝑖𝑖 𝜂𝜂𝑖𝑖 |. ~𝑁𝑁(𝜇𝜇𝑎𝑎𝑏𝑏𝑖𝑖 , 𝚲𝚲𝑇𝑇𝑎𝑎𝑏𝑏 ), 𝑎𝑎𝑏𝑏𝑖𝑖 𝑎𝑎𝑏𝑏 −1 𝚲𝚲𝑎𝑎𝑏𝑏 = (𝐶𝐶 𝐶𝐶 + 𝚲𝚲−1 𝜂𝜂 ) , e 𝜂𝜂 |. ~𝑁𝑁(𝜇𝜇𝑎𝑎𝑏𝑏−1 , 𝚲𝚲𝑎𝑎𝑏𝑏 ), 𝚲𝚲𝑎𝑎𝑏𝑏 = 𝑖𝑖(𝐶𝐶 𝑇𝑇 𝐶𝐶𝜇𝜇𝑎𝑎𝑏𝑏 + 𝚲𝚲=𝜂𝜂𝑖𝑖𝚲𝚲)𝑎𝑎𝑏𝑏−1 , 𝜂𝜂 −1𝜇𝜇𝜂𝜂 e+ 𝐂𝐂𝑇𝑇 𝑋𝑋𝑖𝑖𝑇𝑇 ), (𝚲𝚲 𝚲𝚲 𝑖𝑖 = (𝐶𝐶 𝑇𝑇 𝐶𝐶 + 𝚲𝚲−1 )−1 , 𝐢𝐢 e 𝑎𝑎𝑏𝑏 𝜂𝜂 𝐶𝐶 = [𝜃𝜃 𝑇𝑇 , −1] 𝑖𝑖 = 𝐂𝐂0𝑇𝑇 𝑋𝑋𝑖𝑖𝑇𝑇 ),𝑧𝑧𝑖𝑖𝑖𝑖 = 0 𝜇𝜇𝑎𝑎𝑏𝑏𝑖𝑖 = 𝚲𝚲𝑎𝑎𝑏𝑏 (𝚲𝚲𝜂𝜂 −1 𝜇𝜇𝜂𝜂𝐢𝐢 𝜃𝜃+ −1 + 𝐂𝐂θ𝑇𝑇 𝑋𝑋=𝑖𝑖𝑇𝑇0),se z = 0. = 𝚲𝚲𝑎𝑎𝑏𝑏 tem-se (𝚲𝚲 𝜇𝜇 que 𝑎𝑎𝑏𝑏𝑖𝑖Ainda, 𝑇𝑇 que C = [θT, –𝜇𝜇1]. 𝐢𝐢 𝐶𝐶 = [𝜃𝜃em , −1] 𝜃𝜃𝑖𝑖 =𝜂𝜂0 𝜂𝜂27 𝑧𝑧𝑖𝑖𝑖𝑖 =j 0 ij (12) (13) (14) 𝐶𝐶 = [𝜃𝜃 𝑇𝑇 , −1] 𝜃𝜃𝑖𝑖 = 0 𝑧𝑧𝑖𝑖𝑖𝑖 = 0 Para os itens politômicos, 27 faz-se C = [θT, 0]. Além disso, para esses itens, utiliza-se a matriz X dada em 1. 27 292 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM 4. CONDICIONAL COMPLETA PARA bRD Não é possível amostrar diretamente dessa distribuição e, portanto, um passo Metropolis-Hasting é feito. Um passeio aleatório é utilizado, propriamente ajustado para otimizar a velocidade de convergência (ROBERTS et al., 1997). Como os resultados de simulação mostraram que as cadeias dos b apresentam correlação muito alta, é feita uma amostragem conjunta de todos os bRD para cada item. 5. CONDICIONAL COMPLETA PARA Θ Para cada indivíduo j, a condicional completa de θj é uma normal de dimensão 6 dada por θj |.~N6 (ϑj, Λ), (15) em que Λ e μj são dados por Λ = (aT a + Σ-1)-1, e (16) ϑj = Λ(Σ-1 μj + aT (Xj + b)), (17) em que Λ tem dimensão 6 × 6 e ϑj tem dimensão 6 × 1, e (18) Ainda, tem-se que (ai, bi) = 0 se zij = 0. 6. CONDICIONAL COMPLETA PARA ΘGL Para cada indivíduo j, a condicional completa de θGL,j é uma normal univariada dada por θGL,j |.~N(ϑj(2), Λ(2)), (19) Λ(2) = (1+λT λ)-1, (20) em que e ϑj(2) = Λ(2) (λT Σ-1 θj), (21) em que Λ(2) e ϑj(2) têm dimensão 1 × 1. 293 Λ 𝜗𝜗𝑗𝑗 1×1 CADERNO DE PESQUISA 2 𝝀𝝀 7. CONDICIONAL COMPLETA PARA λ 𝜆𝜆𝑞𝑞 A distribuição condicional completa a posteriori de cada λq é proporcional a 𝐽𝐽 𝜋𝜋(𝜆𝜆𝑞𝑞 |. ) ∝ [∏𝑗𝑗=1 1 𝜏𝜏𝑞𝑞 √2𝜋𝜋 1 𝜃𝜃𝑞𝑞𝑞𝑞 −𝜆𝜆𝑞𝑞 𝜃𝜃𝐺𝐺𝐺𝐺,𝑞𝑞 2 ) }]𝕀𝕀(0 𝜏𝜏𝑞𝑞 2 𝑒𝑒𝑒𝑒𝑒𝑒{− ( < 𝜆𝜆𝑞𝑞 < 1), (22) Não é possível amostrar diretamente dessa distribuição e, portanto, um passo Metropolis-Hasting é feito. Um passeio aleatório é utilizado, propriamente ajustado para otimizar a velocidade de convergência (ROBERTS et al.,1997). Como os resultados de simulação mostraram que as cadeias dos λq apresentam correlação muito baixa, cada λq é amostrado separadamente. Porém, a amostragem conjunta também é viável.et al. 𝜆𝜆𝑞𝑞 𝜆𝜆𝑞𝑞 29 294 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM APÊNDICE B A tabela 10 apresenta as médias a posteriori para os parâmetros dos itens. Vale notar que os valores para o parâmetro c foram estimados considerando o modelo 3PNO separadamente para cada prova, uma vez que sua interpretação é a mesma. Mais ainda, foi imposta a restrição de o valor máximo de c ser igual a 0,20, visto que cada item tem cinco alternativas. O modelo proposto, porém, comporta a estimação conjunta do parâmetro c. TABELA 10 – MÉDIAS A POSTERIORI PARA OS PARÂMETROS DOS ITENS Item aLC aCH aCN aMT aRD b c 1 1.13 0.41 0.20 2 0.89 0.38 0.20 3 1.18 1.29 0.10 4 0.81 0.16 0.20 5 0.93 0.52 0.20 6 0.50 -0.54 0.02 7 0.66 0.44 0.12 8 0.22 0.29 0.04 9 0.58 -0.06 0.05 10 0.68 0.87 0.13 11 0.76 -0.75 0.02 12 0.62 1.13 0.12 13 0.51 1.21 0.14 14 1.15 0.41 0.18 15 0.23 -0.02 0.02 16 0.50 0.36 0.09 17 0.46 -0.13 0.04 18 0.63 0.97 0.12 0.01 19 0.77 -0.48 20 0.95 1.61 0.10 21 0.33 -0.54 0.02 22 0.66 0.45 0.18 23 0.57 -0.47 0.02 24 0.64 0.53 0.10 25 1.11 2.48 0.14 26 0.21 0.10 0.03 27 0.88 -0.98 0.05 295 CADERNO DE PESQUISA 2 Item aLC 28 29 aCN aMT aRD b c 0.34 -0.29 0.03 1.30 2.62 0.13 30 0.65 0.85 0.18 31 0.84 -0.18 0.08 32 1.01 0.28 0.17 33 -0.01 1.1 0.03 34 0.76 -1.21 0.05 35 0.70 1.50 0.20 36 -0.05 0.91 0.07 37 0.42 -0.23 0.03 38 0.65 0.66 0.17 39 0.91 2.31 0.16 40 0.90 0.26 0.20 41 0.18 0.61 0.07 42 0.72 0.10 0.13 43 0.41 -0.28 0.02 44 1.37 0.72 0.20 45 1.07 1.23 0.13 46 1.24 1.03 0.13 47 0.96 -0.1 0.11 48 0.18 1.01 0.09 49 0.52 -0.04 0.05 50 0.80 0.32 0.18 51 0.41 -0.32 0.05 52 0.19 1.39 1.04 0.18 53 0.20 1.20 0.12 54 1.16 0.69 0.11 55 0.27 0.02 0.03 56 0.50 0.18 0.04 57 1.02 1.95 0.19 58 1.22 -0.2 0.18 59 0.29 0.43 0.04 60 0.99 0.69 0.17 61 0.37 -0.08 0.03 62 1.53 1.44 0.19 63 0.28 64 65 296 aCH 0.11 0.75 1.28 0.20 0.17 0.44 0.08 0.41 0.25 0.02 66 0.57 1.49 0.17 67 0.60 0.42 0.15 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Item aLC aCH aCN aMT aRD b c 68 -0.32 1.29 0.08 69 0.35 0.60 0.02 70 0.01 0.85 0.07 71 0.52 -0.03 0.04 72 1.12 0.35 0.14 73 1.13 1.56 0.20 74 0.59 0.6 0.16 75 1.42 3.73 0.17 76 0.83 0.71 0.18 77 1.10 1.29 0.20 1.26 0.23 0.20 78 0.16 79 0.69 1.63 0.18 80 1.76 1.22 0.13 81 -0.06 0.91 0.12 82 0.04 83 84 0.15 0.39 1.41 0.2 0.58 1.24 0.13 0.4 -0.07 0.01 0.19 85 0.96 2.07 86 1.07 0.14 0.17 87 0.62 0.71 0.20 0.20 88 0.57 1.04 89 0.35 1.41 2.65 0.10 90 0.62 2.22 0.09 91 1.41 3.22 0.17 92 1.25 1.41 0.13 93 0.43 1.28 0.20 94 1.21 0.73 0.15 95 2.17 4.57 0.13 96 0.30 0.84 0.20 0.19 97 1.03 1.68 98 0.34 0.98 0.1 99 0.36 0.06 0.16 100 0.62 0.08 0.08 101 0.28 -0.19 0.06 102 1.32 3.70 0.11 103 0.54 0.4 2.84 0.16 104 0.12 0.25 1.1 0.20 105 0.6 0.65 0.20 106 0.71 2.63 0.06 107 0.90 0.82 0.20 297 CADERNO DE PESQUISA 2 Item aLC 108 aCN aMT aRD b c 1.18 3.57 0.12 0.37 0.31 0.03 110 -0.10 0.20 0.06 111 1.65 2.04 0.14 112 0.15 1.65 0.17 0.14 109 0.11 0.21 113 0.83 2.59 114 1.22 2.31 0.12 115 0.67 0.06 0.03 116 1.63 3.73 0.17 117 1.57 3.36 0.15 118 0.86 0.38 0.20 119 1.92 4.74 0.12 120 1.82 3.39 0.19 121 0.72 2.21 0.16 122 0.75 123 0.14 124 0.06 0.37 0.08 2.29 0.20 0.85 0.08 1.35 0.17 0.20 125 0.67 1.13 126 1.46 1.31 0.17 127 0.00 1.05 0.09 128 1.89 129 0.91 130 0.65 0.08 0.71 0.76 2.63 0.19 3.1 0.08 1.08 0.20 131 0.48 3.64 0.08 132 0.78 0.17 0.20 133 0.63 1.79 0.11 134 1.29 2.53 0.18 135 1.04 1.72 0.19 0.14 136 0.59 2.17 137 0.67 2.40 0.15 138 1.7 2.20 0.20 139 0.74 0.5 0.20 140 1.91 4.88 0.10 1.62 2.94 0.08 142 0.46 1.33 0.14 141 298 aCH 0.09 143 -0.29 1.50 0.03 144 1.21 1.60 0.20 145 0.98 2.10 0.20 146 0.90 1.59 0.18 147 1.12 1.80 0.20 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM Item aLC aCH aCN aMT aRD b c 148 0.86 1.26 0.20 149 0.63 0.63 0.08 150 1.07 0.44 0.15 151 1.55 2.69 0.20 152 0.40 0.70 0.20 153 1.35 2.76 0.14 154 0.82 -0.53 0.02 155 0.55 -0.10 0.02 0.20 156 1.53 4.02 157 0.23 0.77 0.45 0.14 158 -0.61 2.05 0.18 159 1.06 1.61 0.18 160 1.06 2.94 0.05 161 0.82 1.58 0.20 0.32 2.04 0.11 163 162 0.08 0.55 1.34 0.20 164 0.70 0.39 0.15 0.08 165 1.88 2.84 166 1.36 4.09 0.17 167 1.36 3.38 0.15 168 0.56 1.22 0.18 169 1.57 3.00 0.12 170 0.72 0.86 0.17 171 0.93 1.52 0.20 172 0.71 1.93 0.08 173 0.46 1.29 0.20 174 1.11 2.00 0.19 175 0.1 0.90 0.07 176 0.59 1.93 0.20 177 1.08 1.57 0.20 178 0.62 -0.20 0.20 179 0.72 1.65 0.20 2.20 0.13 180 181 1.01 0.19 1.7 182 1.76 183 3.00 184 2.34 185 1.15 299 CADERNO DE PESQUISA 2 A tabela 11 apresenta as estimativas dos parâmetros da redação. Observa-se proximidade entre os valores estimados de b1 e b2 para as competências 1, 2, 3 e 4. Isso pode ser explicado pelo fato de a frequência de candidatos com a nota 20 ser baixa para essas competências. TABELA 11 – ESTIMATIVAS DOS PARÂMETROS DOS ITENS DA PROVA DE REDAÇÃO Comp a b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 1 1.67 -3.95 -3.91 -3.85 -3.58 -2.62 -1.69 0.16 1.21 3.75 4.96 2 1.68 -3.80 -3.79 -3.16 -2.90 -2.34 -1.57 1.26 1.73 2.43 3.15 3 2.95 -5.83 -5.78 -4.77 -4.25 -2.44 -1.09 1.34 2.63 4.34 5.69 4 2.35 -4.91 -4.88 -4.61 -3.95 -2.21 -1.01 1.06 2.10 3.55 4.58 5 1.17 -2.26 -1.87 -1.26 -0.78 -0.11 0.42 1.18 1.82 2.61 3.38 TABELA 12 – ENEM 2017 - PORCENTAGEM DE RESPOSTAS DE CADA NOTA NAS CINCO COMPETÊNCIAS DA REDAÇÃO E CATEGORIAS DEFINIDAS PARA USO DO MODELO DE RESPOSTA GRADUAL Nota 300 CP1 CP2 CP3 CP4 CP5 0 5.70 5.70 5.70 5.70 10.50 20 0.01 0.00 0.08 0.06 5.00 40 0.26 2.40 2.20 0.54 11.40 60 1.00 1.80 2.60 2.20 11.40 80 7.10 5.30 16.40 15.60 18.10 100 12.90 10.80 17.90 19.40 13.70 120 37.70 58.90 32.90 33.70 15.10 140 17.10 5.80 10.70 10.40 7.30 160 16.60 5.60 7.50 7.80 4.80 180 1.40 3.00 2.50 2.70 1.80 200 0.20 2.70 1.60 1.80 0.76 CONSTRUÇÃO DE ESCALA LATENTE PARA A OBTENÇÃO DE HABILIDADES ESPECÍFICAS E GERAIS NO ENEM FIGURA 7 – DIAGRAMAS DE DISPERSÃO DAS ESTIMATIVAS DOS PARÂMETROS DE DISCRIMINAÇÃO E DIFICULDADE NOS DOIS MODELOS (a) Discriminação. (b) Dificuldade. 301 CAPÍTULO 6 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/ SUPERDOTAÇÃO Tatiana de Cassia Nakano Primi 303 SUMÁRIO – CAPÍTULO 6 1. OBJETIVOS PROPOSTOS INICIALMENTE 306 2. OBJETIVOS ATINGIDOS 306 3. ESTUDO 1 307 3.1 Diretrizes curriculares de pedagogia para formação em educação especial e altas habilidades/superdotação 3.2 Material 3.3 Procedimentos 3.4 Resultados 4. ESTUDO 2 317 4.1 Diretrizes curriculares em psicologia: análise da formação para atuação na educação especial 4.2 Material 4.3 Procedimentos 4.4 Análise dos Dados 4.5 Resultados 5. ESTUDO 3 322 5.1 Compreensão da educação especial nos currículos dos cursos de graduação em psicologia e pedagogia, segundo coordenadores, professores e pesquisadores 5.2 Participantes 5.3 Instrumento 5.4 Procedimentos 5.5 Resultados 6. ESTUDO 4 337 6.1 Grade curricular dos cursos de graduação em psicologia: análise da formação para educação especial 6.2 Material 6.3 Procedimentos 6.4 Dificuldades 6.5 Resultados 7. ESTUDO 5 341 7.1 Análise da grade curricular dos cursos de graduação em pedagogia: formação para atuação na educação especial 7.2 Material 7.3 Procedimentos 7.4 Resultados CONSIDERAÇÕES FINAIS 351 REFERÊNCIAS 354 CADERNO DE PESQUISA 2 1. OBJETIVOS PROPOSTOS INICIALMENTE A proposta tinha como objetivos propostos inicialmente analisar a formação oferecida nos cursos de pedagogia e psicologia em relação à temática das altas habilidades e superdotação, tomando-se os aspectos teóricos e práticos. Mais especificamente pretendia: 1. analisar as diretrizes curriculares estabelecidas pelo Ministério da Educação (MEC) para cada um dos cursos, procurando por aspectos relacionados à educação especial, mais especificamente pela existência de aspectos voltados à temática das altas habilidades e superdotação (AH/S); 2. fazer o levantamento dos cursos de graduação em pedagogia e psicologia que apresentam nota 4 no conceito de curso; e 3. verificar, nesses cursos, a grade curricular, buscando identificar a compreensão de educação especial e a presença de disciplinas voltadas a esse tema e, de forma mais específica, à preparação dos estudantes para a temática das AH/S. 2. OBJETIVOS ATINGIDOS Todos os objetivos propostos foram atingidos e organizados em cinco estudos: Objetivo inicial Título do estudo Analisar as diretrizes curriculares do Ministério da Educação (MEC), estabelecidas para cada um dos cursos, procurando por aspectos relacionados à educação especial, mais especificamente a existência de aspectos voltados à temática das altas habilidades/superdotação. As diretrizes dos cursos foram analisadas separadamente e deram origem a dois estudos: Estudo 1 - Diretrizes curriculares de pedagogia para formação em educação especial e altas habilidades/ superdotação. Estudo 2 - Diretrizes curriculares de psicologia: análise da formação para atuação na educação especial. Fazer o levantamento dos cursos de graduação em pedagogia e psicologia que apresentam nota 4 no conceito de curso. O objetivo foi ampliado, envolvendo não só coordenadores de curso, mas também professores e pesquisadores das áreas. Estudo 3 - Compreensão da educação especial nos currículos dos cursos de graduação em psicologia e pedagogia, segundo coordenadores, professores e pesquisadores. 306 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Objetivo inicial Título do estudo O estudo foi dividido em dois, enfocando cada um dos Verificar, nesses cursos, a grade curricular, buscursos: cando identificar a compreensão de educação Estudo 4 - Grade curricular dos cursos de graduação em especial e a presença de disciplinas voltadas psicologia: análise da formação para educação especial. a esse tema e, de forma mais específica, à Estudo 5 - Análise da grade curricular dos cursos de gradpreparação dos estudantes para a temática uação em pedagogia: formação para atuação na educação das AH/S. especial. A fim de atender os objetivos propostos, os resultados serão apresentados neste relatório. Serão divididos nos cinco estudos, um para cada objetivo específico. Para fins de organização, serão disponibilizados em tópicos – objetivos, método e resultados. 3. ESTUDO 1 3.1 DIRETRIZES CURRICULARES DE PEDAGOGIA PARA FORMAÇÃO EM EDUCAÇÃO ESPECIAL E ALTAS HABILIDADES/SUPERDOTAÇÃO A proposta teve como finalidade analisar as diretrizes curriculares do Ministério da Educação (MEC) estabelecidas para os cursos de graduação em pedagogia, bem como os principais documentos normativos da área, procurando por aspectos relacionados à educação especial, mais especificamente por orientações voltadas especificamente à temática das AH/S. 3.2 MATERIAL As diretrizes curriculares nacionais determinadas pelo Ministério da Educação (MEC) para os cursos de graduação em pedagogia foram consultadas, bem como os principais documentos da área, constantes no portal do MEC (http://portal.mec.gov.br/component/content/article?id=12991). O quadro 1 apresenta os documentos incluídos na análise. 307 CADERNO DE PESQUISA 2 QUADRO 1 – DOCUMENTOS REFERENTES ÀS DIRETRIZES CURRICULARES DOS CURSOS DE GRADUAÇÃO EM PEDAGOGIA, SEGUNDO O MINISTÉRIO DA EDUCAÇÃO Documento Conteúdo Parecer CNE/CP nº 5/2005 Diretrizes curriculares para o curso de pedagogia. Parecer CNE/CP nº 3/2006 Reexame do parecer CNE/CP número 5/2005. Parecer CNE/CP nº 3/2007 Consulta sobre a implantação das diretrizes curriculares nacionais para o curso de pedagogia. Resolução CNE/CP nº 1/2006 Institui diretrizes curriculares nacionais para o curso de graduação em pedagogia, licenciatura. Parecer CNE/CP nº 9/2001 Define as diretrizes curriculares nacionais para a formação de professores da educação básica. Parecer CNE/CP nº 28/2001 Dá nova redação ao parecer CNE/CP nº 21/2001, estabelecendo a duração e a carga horária dos cursos de formação de professores da educação básica. Resolução CNE/CP nº 1/2002 Institui diretrizes curriculares nacionais para a formação de professores da educação básica. Plano Nacional de Educação (Lei nº 10.172/2001) Inciso VIII, educação especial, que define as diretrizes, os objetivos e as metas relativas à tal modalidade educacional. Fonte: elaborado pelo autor (2018). 3.3 PROCEDIMENTOS A localização desses documentos, assim como a sua leitura e análise, foi feita visando identificar a presença de conteúdos especificamente voltados à temática investigada. Os documentos foram lidos na íntegra, buscando qualquer indicação normativa referente à educação especial e, mais especificamente, à temática das altas habilidades/superdotação. Houve a adição de mais um documento na análise: o plano nacional de educação (Lei nº 10.172/2001) que, especialmente em seu inciso VIII – educação especial – define as diretrizes, objetivos e metas relativas a esse tipo de modalidade educacional. Durante o procedimento de leitura e análise dos documentos, três deles foram excluídos porque não abordavam de forma direta a temática (Parecer CNE/CP nº 9/2009, Resolução CNE/CP 2/2002 e Parecer CNE/CP 27/2001). Também foi possível perceber que, em alguns casos, os mesmos trechos 308 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO das normativas se encontravam repetidos em mais de um documento. Nesse caso optou-se pela repetição da informação, a fim de que um panorama geral pudesse ser oferecido em relação à forma como a temática foi historicamente abordada nos documentos. Saliente-se, ainda, que a citação literal dos trechos selecionados nos documentos foi realizada a fim de garantir a precisão da informação, separando referências à educação especial e aquelas específicas sobre altas habilidades/superdotação. Os achados foram agrupados em relação a três pontos principais: educação especial, altas habilidades/superdotação e trechos em que a abordagem à temática se dá de forma indireta ou subjetiva. Salienta-se que os trechos e expressões que basearam a seleção, encontram-se destacados em negrito, sendo indicada, logo após o trecho, a página do documento em que ele pode ser encontrado. 3.4 RESULTADOS A análise dos documentos indicou que uma série de terminologias são utilizadas para fazer referência à educação especial. Inicialmente são apresentadas as referências diretas à educação especial e as denominações encontradas nos documentos analisados (quadro 2). QUADRO 2 – REFERÊNCIAS DIRETAS SOBRE EDUCAÇÃO ESPECIAL ENCONTRADA NOS DOCUMENTOS ANALISADOS Documento Transcrição do trecho selecionado Parecer CNE/CP nº 05/2005 “(...) oferecem-se diversas ênfases nos percursos de formação dos graduandos em pedagogia, para contemplar (...) a inclusão escolar e social das pessoas com necessidades especiais” (p. 4). “O egresso do curso de Pedagogia deverá estar apto a: demonstrar consciência da diversidade, respeitando (...) necessidades especiais” (p. 9). “(...) curso, poderão ser, especialmente, aprofundadas questões relativas, entre outras (...) a educação de pessoas com necessidades educacionais especiais” (p. 9). “(...) tem que se destacar a importância desses profissionais conhecerem as políticas de educação inclusiva. A inclusão não é uma modalidade, mas um princípio do trabalho educativo” (p. 12). “Inclusão e atenção às necessidades educacionais especiais são exigências constitutivas da educação escolar, como um todo. Por conseguinte, os professores deverão acolher os alunos que demonstrem qualquer tipo de limitação ou deficiência (...)” (p. 13). “(...) Educação Infantil e nos anos iniciais do Ensino Fundamental vêm abrigando maior número de pessoas com necessidades especiais” (p. 13) 309 CADERNO DE PESQUISA 2 Documento Parecer CNE/CP nº 3/2007 Resolução CNE/ CP nº 1/2006 310 Transcrição do trecho selecionado “(...) eventual exclusão da formação de professores para a educação especial do nível de graduação poderá comprometer definitivamente o preparo de profissionais especializados para as diversas áreas de deficiência” (p. 2) “(...) manutenção das atuais ‘habilitações’ na área de educação especial, como habilitações complementares ao curso básico” (p. 2). “A política nacional de educação define-se hoje pela Educação Inclusiva das pessoas com necessidades de educação especial. Em paralelo e decorrência, são estabelecidas políticas sociais de inclusão dos cidadãos com deficiências (...) exigindo-se a educação de todos os profissionais de nível superior para o convívio e o atendimento de pessoas com necessidades especiais. Nessa perspectiva, estima-se a ampliação de postos de trabalho que requeiram formação em Educação Especial no magistério superior, principalmente, mas não exclusivamente, nas licenciaturas” (p. 3). “(...) possibilidade da manutenção da ‘habilitação em educação especial’ nos cursos de Pedagogia” (p. 3). “Parece-nos de todo conveniente que o processo de qualificação (...) de todos os professores, em todas as licenciaturas, para o atendimento de portadores de necessidades especiais seja desenvolvido com pessoal especializado que já está apto para o exercício da docência sobre necessidades educacionais especiais, em nível superior (...) os sistemas de ensino estão a requerer profissionais que (...) se capacitem para as funções de coordenação pedagógica de projetos de Educação Inclusiva, assim como para o atendimento complementar ou de base aos escolares com necessidades educacionais especiais” (p. 4). “O curso de Pedagogia (...) pode, complementarmente, tratar do aprofundamento no atendimento de portadores de necessidades especiais” (p. 4). “O egresso do curso de Pedagogia deverá estar apto a demonstrar consciência da diversidade, respeitando as (...) necessidades especiais” (p. 2). “A integralização dos estudos será efetivada por meio de vivências em algumas modalidades e experiências, opcionalmente, a educação de pessoas com necessidades especiais” (p. 5). ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Transcrição do trecho selecionado Documento “A Constituição Federal estabelece o direito de as pessoas com necessidades especiais receberem educação preferencialmente na rede regular de ensino” (Art. 208, III). “A Organização Mundial de Saúde estima que em torno de 10% da população têm necessidades especiais. Estas podem ser de diversas ordens visuais, auditivas, físicas, mentais, múltiplas, distúrbios de conduta”. “Em 1998, havia 293.403 alunos, distribuídos da seguinte forma: 58% com problemas mentais; 13,8% com deficiências múltiplas; 12% com problemas de audição; 3,1%, de visão; 4,5% com problemas físicos; 2,4%, de conduta”. “As tendências recentes (...) integração/inclusão do aluno com necessiPlano Nacional dades especiais no sistema regular de ensino”. de Educação (Lei “A educação especial se destina às pessoas com necessidades espenº 10.172/2001) - ciais no campo da aprendizagem, originadas quer de deficiência física, inciso VIII sensorial, mental ou múltipla”. “Não há como ter uma escola regular eficaz quanto ao desenvolvimento e aprendizagem dos educandos especiais sem que seus professores, demais técnicos, pessoal administrativo e auxiliar sejam preparados para atendê-los adequadamente”. “Garantir (...) apoio adequado às crianças especiais”. Parecer CNE/CP nº 9/2001 Parecer CNE/CP nº 28/2001 Resolução CNE/ CP nº 1/2002 “Assegurar a inclusão, no projeto pedagógico das unidades escolares, do atendimento às necessidades educacionais especiais”. “Incluir nos currículos de formação de professores, conteúdos e disciplinas específicas para a capacitação ao atendimento dos alunos especiais”. “Precisam ser consideradas as especificidades dos alunos (...) especialmente (...) dos alunos com necessidades educacionais especiais” (p. 10). “A educação básica deve ser inclusiva, no sentido de atender a uma política de integração dos alunos com necessidades educacionais especiais nas classes comuns” (p. 26). “No âmbito da deficiência mental, é necessário aprofundar a reflexão sobre os critérios de constituição de classes especiais. Em muitas situações, esse encaminhamento vem sendo orientado pelo equívoco de considerar como manifestação de deficiência o que pode ser dificuldade de aprendizagem. “Esse quadro tem promovido a produção de uma pseudodeficiência, terminando por manter em classes especiais para portadores de deficiência mental, alunos que, na realidade, não o são” (p. 26). “A construção espacial para alunos cegos, a singularidade lingüística [sic] dos alunos surdos (...) são temáticas a serem consideradas” (p. 27). “Importante é o conhecimento sobre as peculiaridades dos alunos que apresentam necessidades educacionais especiais” (p. 45). “(...) a organização curricular dos cursos (...) deve incluir (...) atuação em modalidades ou campos específicos incluindo educação especial” (p. 55). “Deve-se acrescentar (...) o estudo das novas diretrizes do ensino fundamental, do ensino médio, da educação infantil, da educação de jovens e adultos, dos portadores de necessidades especiais” (p. 12). § 3o: “A definição dos conhecimentos exigidos deverá, contemplar (...) conhecimentos sobre crianças, adolescentes, jovens e adultos, incluídas as especificidades dos alunos com necessidades educacionais especiais” (p. 3). Fonte: elaborado pelo autor (2018). 311 CADERNO DE PESQUISA 2 Pode-se verificar nos documentos a presença de diferentes trechos em que a modalidade da educação especial é mencionada de forma direta, por meio da utilização dos termos “educação inclusiva” e “educação especial” (Parecer CNE/CP nº 05/2005, Resolução CNE/CP nº 1/2006, Parecer CNE/CP nº 9/2001, Parecer CNE/CP nº 3/2007), sem que, no entanto, qualquer explicitação acerca de qual público essa modalidade educacional atende seja apresentada. As entradas que se referem às pessoas com deficiência são as mais frequentes, como “necessidades especiais”, “necessidades educacionais especiais”, “pessoas com necessidades especiais”, “alunos com necessidades educacionais especiais”, “educandos especiais”, “crianças especiais”, “necessidades educacionais especiais”, “pessoas com necessidades de educação especial”, “cidadãos com deficiências” e “portadores de necessidades especiais” (Parecer CNE/CP nº 05/2005, Resolução CNE/CP nº 1/2006, Parecer CNE/CP nº 3/2006, Resolução CNE/CP nº 1/2002, Parecer CNE/CP nº 28/2001, Parecer CNE/CP nº 3/2007, plano nacional de educação – Lei 10.172/2001). Note-se que a maior parte dos documentos não explicita qual tipo de público se enquadra nessa modalidade educacional (se somente aqueles estudantes que apresentam alguma deficiência, ou seja, se a educação especial é restrita a transtornos e déficits ou se, de maneira mais ampla, engloba, também, indivíduos com altas habilidades/superdotação). Somente em dois pareceres a concepção de quem seria o público-alvo dessa modalidade de ensino é explicitada. No Parecer CNE/CP nº 9/2001 são encontradas referências explícitas à educação especial como modalidade educacional voltada especificamente ao atendimento de estudantes com algum tipo de déficit (portadores de deficiência mental, alunos cegos e alunos surdos). Já o plano nacional de educação (Lei nº 10.172/2001) define os alunos especiais como aqueles que apresentam algum déficit ou transtorno do tipo visual, auditivo, físico, mental, múltiplos ou ainda, distúrbios de conduta, incluindo, também, os indivíduos que apresentam altas habilidades/superdotação, que serão foco da análise a seguir. Em seguida, a busca por referências diretas às altas habilidades/ superdotação foi realizada e os resultados serão apresentados no quadro 3. É importante salientar que as referências foram encontradas somente em um dos documentos analisados, o plano nacional de educação (Lei nº 10.172/2001), no inciso VIII, que trata de 312 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO educação especial, sendo conveniente destacar que tal documento é geral e não se restringe a diretrizes para a formação em pedagogia. Tal documento estipula metas para o setor até 2024, visando garantir educação acessível e de qualidade em todos os níveis educacionais. Sua importância se ampara no fato de que o plano estabelece diretrizes, metas e estratégias que devem reger as iniciativas na área da educação brasileira, com acompanhamento dos resultados a cada dois anos. QUADRO 3 – REFERÊNCIAS DIRETAS SOBRE ALTAS HABILIDADES/SUPERDOTAÇÃO ENCONTRADAS NOS DOCUMENTOS ANALISADOS Documento Transcrição do trecho selecionado “A organização mundial de saúde estima que em torno de 10% da população têm necessidades especiais. Estas podem ser de diversas ordens – visuais, auditivas, físicas, mentais, múltiplas, distúrbios de conduta e também superdotação ou altas habilidades” “Em 1998, havia 293.403 alunos, distribuídos da seguinte forma “(...) Apenas 0,3% com altas habilidades ou eram superdotados” Plano Nacional “A educação especial se destina às pessoas com necessidades espede Educação (Lei ciais no campo da aprendizagem, originadas (...) de características nº 10.172/2001) como altas habilidades, superdotação ou talentos” inciso VIII “O atendimento deve começar precocemente, inclusive como forma preventiva. Em relação às crianças com altas habilidades (superdotadas ou talentosas), a identificação levará em conta o contexto socioeconômico e cultural” “Implantar gradativamente programas de atendimento aos alunos com altas habilidades nas áreas artística, intelectual ou psicomotora” Fonte: elaborado pelo autor (2018). Esse documento é o único entre os consultados que apresenta uma visão ampliada de educação especial, de modo a contemplar as AH/S. Tal documento faz referência a alunos com altas habilidades, superdotados, talentosos, com altas habilidades nas áreas artística, intelectual ou psicomotora. Importante destacar que não há nenhuma outra referência explícita às AH/S em nenhuma das diretrizes curriculares e documentos normativos específicos do curso de pedagogia que foram consultados (listados no quadro 1). Nestes foi possível perceber que, como dito anteriormente, a educação especial é tratada de forma genérica sem especificar que tipo de estudante ela deve atender. Ou, naqueles casos em que tal informação é explicitada, faz menção à indivíduos que apresentam algum déficit ou transtorno. Somente no plano nacional de educação, publicado em 2000, a concepção de educação especial se mostra ampliada, de modo 313 CADERNO DE PESQUISA 2 a contemplar tanto aqueles indivíduos que apresentam déficits quanto alta habilidade/superdotação. Em seguida, a análise buscou identificar termos ou referências indiretas ou subjetivas nos documentos analisados. Estes estão no quadro 4. Note-se que nesta categoria foram inseridos trechos que apresentam terminologias vagas, a partir das quais pode-se inferir alguma tentativa de abordar a questão da educação especial. Importante destacar que tal levantamento buscou identificar, nos documentos consultados, terminologias que poderiam ser aplicadas à educação especial, sem que, no entanto, essa interpretação estivesse explicitada nos documentos. QUADRO 4 – REFERÊNCIAS INDIRETAS E/OU SUBJETIVAS ENCONTRADAS NOS DOCUMENTOS ANALISADOS Documento Transcrição literal do trecho selecionado “(...) estudantes de pedagogia sejam formados para garantir a inclusão plena dos segmentos historicamente excluídos” (p. 5). Parecer CNE/CP nº 05/2005 “(...) promoção da aprendizagem de sujeitos em diferentes fases do desenvolvimento humano, em diversos níveis e modalidades do processo educativo” (p. 8). “(...) reconhecer e respeitar as manifestações e necessidades físicas, cognitivas, emocionais e afetivas dos educandos” (p. 9). “(...) incentivando para que haja a convivência do conjunto da sociedade, na sua diversidade, em todos os ambientes sociais” (p. 13). “(...) atuar com ética e compromisso com vistas à construção de uma sociedade justa, equânime, igualitária” (p. 6). Parecer CNE/CP nº 3/2006 “(...) trabalhar em diversos níveis e modalidades do processo educativo”(p. 6). “(...) reconhecer e respeitar as manifestações e necessidades físicas, cognitivas, emocionais, afetivas dos educandos nas suas relações individuais e coletivas” (p. 6). “(...) realização de diagnóstico sobre necessidades e aspirações dos diferentes segmentos da sociedade, relativamente à educação” (p. 7). “(...) trabalhar sujeitos em diferentes fases do desenvolvimento humano, em diversos níveis e modalidades do processo educativo” (p. 2). Resolução CNE/ CP nº 1/2006 “(...) reconhecer e respeitar as manifestações e necessidades físicas, cognitivas, emocionais, afetivas dos educandos” (p. 2). “(...) contribuir para superação de exclusões sociais, étnico-raciais, econômicas, culturais, religiosas, políticas e outras” (p. 2). 314 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Documento Transcrição literal do trecho selecionado “(...) o preparo inadequado dos professores (...) não contempla (...) assumir e saber lidar com a diversidade existente entre os alunos” (p. 4). “(...) tem como principal tarefa cuidar da aprendizagem dos alunos, respeitada a sua diversidade pessoal, social e cultural” (p. 9). Parecer CNE/CP nº 9/2001 “(...) zelar pela aprendizagem do aluno – inclusive daqueles com ritmos diferentes de aprendizagem” (p. 12). “(...) eleger as estratégias mais adequadas para a aprendizagem dos alunos, considerando sua diversidade” (p. 20). “(...) reconhecer e respeitar a diversidade manifestada por seus alunos, em seus aspectos sociais, culturais e físicos” (p. 41). “(...) conhecimentos que o ajudarão a lidar com a diversidade dos alunos e trabalhar na perspectiva da escola inclusiva” (p. 46). Resolução CNE/ CP nº 1/2002 “(...) a organização curricular de cada instituição observará (...) o preparo para (...) o acolhimento e o trato da diversidade” (p. 2). Fonte: elaborado pelo autor (2018). Dentre os termos utilizados, podem ser citados alguns em que a abordagem à educação especial se dá de forma indireta: “segmentos historicamente excluídos”, necessidade de construção de “uma sociedade justa, equânime e igualitária”, o trabalho com “diversas modalidades do processo educativo”, a necessidade de “reconhecer e respeitar as manifestações e necessidades físicas, cognitivas, emocionais e afetivas dos educandos”, atribuindo, como uma de suas habilidades, a “realização de diagnóstico sobre necessidades e aspirações dos diferentes segmentos da sociedade” (Parecer CNE/ CP nº 05/2005, Parecer CNE/CP nº 3/2006). O primeiro termo pode referir-se tanto aos estudantes excluídos por serem portadores de algum transtorno ou déficit como por preconceitos de cunho social, econômico ou cultural. Diante da dúvida sobre a quais indivíduos ele se referia, foi enquadrado nessa modalidade de terminologias indiretas ou subjetivas. Em outros casos, há dúvida se os termos estão se referindo à educação especial, ao mencionarem “sujeitos em diferentes fases do desenvolvimento humano” e a necessidade de “reconhecer e respeitar as manifestações e necessidades físicas, cognitivas, emocionais e afetivas dos educandos”. A Resolução CNE/CP nº 1/2002, também, apresenta um trecho em que a educação especial é abordada de forma indireta, ao dizer que a formação deve preparar o professor para a diversidade. Convém destacar que tais expressões podem ser interpretadas em relação à amplitude de perfis – cognitivos, emocionais, físicos – encontrados em sala de aula, fazendo menção à diversidade atendida pela chamada educação especial. Ou podem se referir 315 CADERNO DE PESQUISA 2 a diferenças devidas a outros fatores tais como origem socioeconômica, familiar e ambiental, para as quais os professores devem estar preparados. Diante da quantidade de expressões encontradas, usadas tanto para fazer referência à educação especial quanto às AH/S, mais as menções feitas de forma indireta ou subjetiva, uma síntese dos achados nos documentos é apresentada no quadro 5. Os termos foram agrupados em três grupos: os que se referem à modalidade de ensino, os que nomeiam os estudantes, e aqueles mais genéricos que não deixam claro se fazem referência à educação especial. QUADRO 5 – SÍNTESE DAS NOMENCLATURAS ENCONTRADAS NOS DOCUMENTOS ANALISADOS Tipo de nomenclaturas analisadas Nomenclaturas para se referir à modalidade de ensino Nomenclaturas para se referir ao estudante Nomenclaturas genéricas Educação Especial em Geral Classes especiais Educação especial Educação inclusiva Educação inclusiva das pessoas com necessidades de educação especial Escola inclusiva Aluno com necessidade especial Aluno com necessidades educacionais especiais Cidadãos com deficiências Crianças especiais Deficiências múltiplas Educandos especiais Necessidades especiais de diversas ordens: visuais, auditivas, físicas, mentais, múltiplas, distúrbios de conduta Pessoas com necessidades educacionais especiais Pessoas com necessidades especiais Portadores de necessidades especiais Diferentes segmentos da sociedade Diversidade existente entre alunos Diversos níveis e modalidades do processo educativo Segmentos historicamente excluídos Sujeitos em diferentes fases do desenvolvimento humano Altas habilidades/superdotação Altas habilidades, superdotação ou talentos Alunos com altas habilidades Crianças com altas habilidades (superdotadas ou talentosas) Necessidades educacionais de diversas ordens: superdotação ou altas habilidades Superdotados Fonte: elaborado pelo autor (2018). Os resultados indicaram um número bem maior de referências à educação especial de forma geral que às AH/S, bem como maior número de nomenclaturas para se referir ao estudante em comparação com a modalidade de ensino. 316 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO 4. ESTUDO 2 4.1 DIRETRIZES CURRICULARES EM PSICOLOGIA: ANÁLISE DA FORMAÇÃO PARA ATUAÇÃO NA EDUCAÇÃO ESPECIAL A proposta tem como finalidade analisar as diretrizes curriculares do Ministério da Educação (MEC) estabelecidas para os cursos de graduação em psicologia, bem como os principais documentos normativos da área, procurando por aspectos relacionados à educação especial, mais especificamente à temática das AH/S. 4.2 MATERIAL A Resolução CNE/CES nº 8/2004, que institui as diretrizes curriculares nacionais para os cursos de graduação em psicologia, se constitui de orientações, princípios, fundamentos e condições de oferecimento e de procedimentos para o planejamento, implementação e avaliação desse curso. Estabelece competências e habilidades gerais exigidas, organizadas por eixos estruturantes, núcleo comum, ênfases e competências. As diretrizes curriculares nacionais determinadas pelo MEC para os cursos de graduação em psicologia foram consultadas, bem como os principais documentos da área, constantes no portal do MEC (http://portal.mec.gov. br/component/content/article?id=12991). O quadro 6 apresenta os documentos incluídos na análise. QUADRO 6 – DOCUMENTOS REFERENTES ÀS MATRIZES CURRICULARES DOS CURSOS DE GRADUAÇÃO EM PSICOLOGIA, SEGUNDO O MINISTÉRIO DA EDUCAÇÃO Lei 4119 de 27 de agosto de 1962 Regulamenta a profissão. Resolução 19/12/62 Fixa o currículo mínimo para os cursos de psicologia. Parecer CNE/CES nº 1.314/2001 Diretrizes curriculares para o curso de graduação em psicologia. Parecer CNE/CES nº 72/2002 Retificação do parecer CNE/CES 1.314/2001 relativo às diretrizes curriculares nacionais para os cursos de graduação em psicologia. Parecer CNE/CES n° 62/2004 Diretrizes curriculares nacionais para os cursos de graduação em psicologia. 317 CADERNO DE PESQUISA 2 Resolução CNE/CES nº 8 Institui diretrizes curriculares nacionais do curso de graduação em psicologia. Parecer CNE/CES nº 153/2007 Consulta referente à Resolução CNE/CES nº 8/2004, que institui as diretrizes curriculares nacionais para os cursos de graduação em psicologia. Parecer CNE/CES nº 338/2009 Aprecia a indicação CNE/CES nº 2/2007, que propõe a alteração do art. 13 da Resolução CNE/CES nº 8, de 7 de maio de 2004, que institui as diretrizes curriculares nacionais para os cursos de graduação em psicologia. Resolução CNE/CES nº 5 Institui as diretrizes curriculares nacionais para os cursos de graduação em psicologia, estabelecendo normas para o projeto pedagógico complementar para a formação de professores de psicologia. Parecer CNE/CES nº 784 /2016 Solicita adoção de providências objetivando revogar o inciso V do artigo 4º da Resolução CNE/CES nº 5, de 15/3/2011, que institui as diretrizes curriculares nacionais de graduação em psicologia. Fonte: elaborado pelo autor. 4.3 PROCEDIMENTOS A localização desses documentos, assim como a sua leitura e análise foi feita visando identificar a presença de conteúdos especificamente voltados à temática investigada. Eles foram lidos na íntegra, buscando-se qualquer indicação normativa referente à educação especial e, mais especificamente, à temática das altas habilidades/superdotação. Houve a adição de mais um documento na análise: o plano nacional de educação (Lei nº 10.172/2001) que, especialmente em seu inciso VIII – educação especial – define as diretrizes, objetivos e metas relativas a esse tipo de modalidade educacional. Alguns que inicialmente haviam sido selecionados no site do MEC foram descartados após a leitura, visto que não contemplavam as diretrizes curriculares. Dentre eles podem ser citados os Pareceres CNE/CES nº 119/2010, CNE/CES nº 153/2007 e CNE/CES nº 784 /2016. Também após leitura e análise da Lei 4.119 de 27 de agosto de 1962, verificou-se que nenhuma menção à educação especial, foco da análise, foi encontrada. A partir da análise foi possível perceber que em alguns casos os mesmos trechos das normativas se encontravam repetidos em mais de um documento. Nesse caso, optou-se pela repetição da informação, a fim de que um panorama geral pudesse ser oferecido em relação à forma como a temática foi historicamente abordada. 318 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO 4.4 ANÁLISE DOS DADOS A citação literal dos trechos selecionados foi realizada a fim de garantir a precisão da informação, separando-se referências à educação especial e aquelas específicas sobre altas habilidades/superdotação. Os achados foram agrupados em relação a três pontos principais: educação especial, altas habilidades/superdotação e trechos em que a abordagem à temática se dá de forma indireta ou subjetiva. Os trechos e expressões que basearam a seleção estão destacados em negrito, sendo indicada a página do documento em que ele pode ser encontrado. 4.5 RESULTADOS Inicialmente convém destacar que as diretrizes curriculares nacionais para os cursos de graduação em psicologia compreendem uma formação ampla do psicólogo e envolvem competências e habilidades a serem desenvolvidas a partir de um núcleo comum, eixos estruturantes, ênfases e competências. Também estabelecem a necessidade de ênfases curriculares, estágios e número mínimo de horas para os cursos. Elas apresentam as orientações, princípios, fundamentos e condições de oferecimento e procedimentos para o planejamento, implementação e avaliação desse curso. A análise dos documentos indicou poucas referências específicas à atuação na educação especial. De modo geral, referências a questões relacionadas à formação e atuação para a diversidade são praticamente inexistentes, mas, quando ocorrem, o fazem, na maior parte das vezes, de forma indireta ou subjetiva. Os resultados são apresentados no quadro 7. QUADRO 7 – REFERÊNCIAS SOBRE EDUCAÇÃO ESPECIAL ENCONTRADAS NOS DOCUMENTOS ANALISADOS Documento Transcrição literal do trecho selecionado Resolução 19/12/62 “Para a obtenção do diploma de psicólogo exigem-se, além das matérias fixadas nos itens 1 a 7 deste artigo, mais cinco sendo (...) três dentre as seguintes: psicologia do excepcional” (p. 1). “A formação do professor de psicologia deve propiciar o desenvolvimento de habilidades básicas (...) considerando as diretrizes nacionais Parecer CNE/CES para a educação infantil, de ensino fundamental e de ensino médio, nº 72/2002 e as modalidades de educação especial, educação profissional e educação de jovens e adultos” (p. 5). 319 CADERNO DE PESQUISA 2 Documento Transcrição literal do trecho selecionado “A formação do professor de psicologia deve considerar (...) as diretrizes Parecer CNE/CES nacionais para a educação infantil, ensino fundamental, ensino médio, nº 1.314/2001 e as modalidades de educação especial” (p. 4). “Prepara o formando para compreender a complexidade da realidade Parecer CNE/CES educacional do país e fortalece a elaboração de políticas públicas que nº 338/2009 se articulem com as finalidades da educação inclusiva” (p. 3). Resolução CNE/ CES nº 5/2011 “Prepara o formando para compreender a complexidade da realidade educacional do país e fortalece a elaboração de políticas públicas que se articulem com as finalidades da educação inclusiva” (p. 5). Fonte: elaborado pelo autor (2018). Como se pode ver, poucos trechos trazem referências diretas à educação especial. Merece ser salientado o fato de que a Resolução 19/12/62, que fixa o currículo mínimo para os cursos de psicologia, determina que a disciplina “psicologia do excepcional” seja oferecida, destacando, no entanto, seu caráter optativo. Então, um graduado em psicologia poderia se formar sem ao menos ter estudado o tema. Os documentos mais recentes da área, incluindo o Parecer CNE/CES nº 72/2002 e o Parecer CNE/CES nº 1.314/2001 apresentam como modalidade de atuação a “educação especial”, incluindo, além desta, modalidades “regulares” (ensino infantil, fundamental e médio) e outras tais como a educação profissional e educação de jovens e adultos. Já o Parecer CNE/CES nº 338/2009 e a Resolução CNE/CES nº 5/2011 apresentam o termo “educação inclusiva”. Convém destacar, no entanto, que nenhum dos documentos especifica diretamente que tipo de indivíduo a educação especial contempla. Assim, não é possível identificar se tal modalidade educacional tem foco apenas nos indivíduos que apresentam déficits e transtornos ou se traz uma visão ampliada, que inclui as altas habilidades/superdotação. Curiosamente, dois pareceres (CNE/CES nº 338/2009 e CNE/CES nº 05/2011) definem que a formação do professor de psicologia deve prepará-lo para atuar na construção de políticas públicas de educação em diferentes níveis: na educação básica, no nível médio, no curso normal, em cursos profissionalizantes e em cursos técnicos, na educação continuada, assim como em contextos de educação informal como abrigos, centros socioeducativos, instituições e outros; mas nenhuma referência é feita à atuação na educação especial. 320 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Em seguida, foi feita uma busca por referências diretas às altas habilidades/superdotação nos documentos – nenhuma foi encontrada. Entretanto, foram identificados termos com referências indiretas ou subjetivas à educação especial. Os resultados estão no quadro 8. Nesta categoria foram inseridos trechos com terminologias vagas, a partir das quais pode-se inferir alguma tentativa de abordar a questão da educação especial, ainda que tal análise possa ser considerada subjetiva, dada a generalidade dos termos utilizados. QUADRO 8 – REFERÊNCIAS INDIRETAS E/OU SUBJETIVAS SOBRE EDUCAÇÃO ESPECIAL ENCONTRADA NOS DOCUMENTOS ANALISADOS Documento Transcrição literal do trecho selecionado “Dentre as competências requeridas do formado em psicologia, identificar e analisar as necessidades e características da população-alvo” (p. 8). São possibilidades de ênfases..... “psicologia e processos educativos Parecer CNE/CES que compreende a concentração nas competências para diagnosticar necessidades, planejar condições e realizar procedimentos que nº 62/2004 envolvam o processo de educação e de ensino-aprendizagem através do desenvolvimento de conhecimentos, habilidades, atitudes e valores de indivíduos e grupos em distintos contextos institucionais em que tais necessidades sejam detectadas” (p. 10). “A formação em psicologia deve garantir oportunidades de aprofundamento de estudos que permitam ao egresso lidar com a diversidade de problemas e contextos possíveis de atuação do psicólogo”. (p. 3) “Ajustar sua atividade de ensino à diversidade de contextos institucionais em que ocorrem as práticas educativas, às finalidades da educação e à população-alvo” (p. 5). “A formação deve ajustar sua atividade de ensino à diversidade de Parecer CNE/CES contextos institucionais em que ocorrem as práticas educativas, às finalidades da educação e à população-alvo” (p. 5). nº 72/2002 “Planejar as condições de ensino, considerando as características e necessidades dos aprendizes” (p. 5). “Utilizar recursos de ensino apropriados aos contextos, população-alvo e finalidades da educação” (p. 5). “Identificar e analisar necessidades de natureza psicológica, diagnosticar, elaborar projetos, planejar e intervir de forma coerente com os referenciais teóricos e características da população-alvo” (p. 7). “O projeto pedagógico de formação de professores deve formar o aluno para uma prática profissional diferenciada, sintonizada com as necessidades sociais” (p. 1). Parecer CNE/CES “Respaldada nos princípios do compromisso social, dos direitos hunº 338/2009 manos e do respeito à diversidade” (p. 1). A formação do professor de psicologia deve oferecer conteúdos que considerem as características de aprendizagem e de desenvolvimento dos alunos” (p. 4). 321 CADERNO DE PESQUISA 2 Documento Transcrição literal do trecho selecionado Resolução CNE/ CES nº 5/2011 “O formado em psicologia deve (...) identificar e analisar necessidades de natureza psicológica, diagnosticar, elaborar projetos, planejar e intervir de forma coerente com os referenciais teóricos e características da população-alvo” (p. 3). “A formação deve oferecer conteúdos que (...) considerem as características de aprendizagem e de desenvolvimento dos alunos” (p. 6). Fonte: elaborado pelo autor (2018). Dentre os termos e expressões selecionados, nota-se uma preocupação de adequação da atividade do profissional à “população-alvo” e à “diversidade”, considerando-se as “características de aprendizagem e de desenvolvimento dos alunos”. Os documentos normativos apontam para a necessidade de uma atuação voltada para a “diversidade de problemas”, “diversidade de contextos institucionais em que ocorrem as práticas educativas” e uma prática diferenciada que respeite as “necessidades sociais”. Tais termos geram dúvida: referem-se à educação especial e aos indivíduos que dela podem fazer proveito ou à diversidade proveniente de diferenças sociais, econômicas, familiares, ambientais ou culturais? 5. ESTUDO 3 5.1 COMPREENSÃO DA EDUCAÇÃO ESPECIAL NOS CURRÍCULOS DOS CURSOS DE GRADUAÇÃO EM PSICOLOGIA E PEDAGOGIA, SEGUNDO COORDENADORES, PROFESSORES E PESQUISADORES O estudo tinha como objetivo analisar a compreensão de educação especial nos currículos dos melhores cursos de psicologia e pedagogia, segundo coordenadores, professores e pesquisadores. Buscou-se, mais especificamente, identificar as disciplinas que são oferecidas na área de educação especial nesses cursos e, indiretamente, como a educação especial é abordada nos currículos dos cursos oferecidos – se restrita aos déficits e transtornos ou se ampliada, com a inserção das altas habilidades/superdotação). 322 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO 5.2 PARTICIPANTES Participaram 126 professores e pesquisadores, sendo 62 da psicologia (49,2%), 58 da pedagogia (46,1%) e 6 da educação (4,7%). Destes, 57,5% atuam na graduação e 42,5% na pós-graduação. Eles atuam em instituições localizadas em diversas cidades de quatro regiões brasileiras: sul (Passo Fundo, Itajaí, Maringá, Porto Alegre, Florianópolis, Londrina, Santa Cruz do Sul, São Leopoldo, Guarapuava e Curitiba), sudeste (Campinas, Araras, São Paulo, Rio de Janeiro, Sorocaba, Hortolândia, Ouro Fino, Belo Horizonte, São João del Rei, Uberlândia, Bauru, São Carlos, Petrópolis, São Gonçalo, Juiz de Fora, Americana, Jaguariúna, Niterói, Viçosa e Campo Grande), centro-oeste (Brasília e Goiânia) e nordeste (Salvador, Recife, Bananeiras, João Pessoa, Maceió e Natal). A distribuição dos convites seguiu a classificação de qualidade dos cursos e por isso pode haver uma concentração em instituições localizadas em determinadas regiões do país. 5.3 INSTRUMENTO Um questionário elaborado pela pesquisadora, composto por seis questões abertas e dados sociodemográficos – cidade de origem e curso de atuação – para caracterização posterior dos participantes foi respondido em plataforma virtual. As questões eram: 4. Como a educação especial é entendida no curso? 5. Em que disciplinas a educação especial é abordada? Em quais semestres do curso elas são oferecidas? 6. (Existe alguma disciplina em que a temática das altas habilidades/ superdotação se faz presente? Se sim, qual? 7. Você acredita que, da forma como a estrutura curricular é oferecida, os alunos estão sendo preparados para trabalhar/lidar com portadores de altas habilidades/superdotação? Justifique. 323 CADERNO DE PESQUISA 2 8. Em sua instituição existe alguma orientação de atendimento a ser prestado caso algum aluno apresente altas habilidades/superdotação? Qual? 9. Hoje, no curso sob sua coordenação, existe algum aluno com esse diagnóstico? Caso negativo, já existiu? 5.4 PROCEDIMENTOS Inicialmente o projeto foi enviado para avaliação pelo comitê de ética em pesquisa da Pontifícia Universidade Católica de Campinas e foi aprovado sob número CAAE: 79787717.3.0000.5481. A fim de que um número significativo de docentes e pesquisadores recebesse o convite para participar da pesquisa, a pesquisadora optou por consultar dois sistemas de ranKeamento de cursos: o ranKing 2017 do jornal Folha de São Paulo (https://ruf.folha.uol.com.br/2017/ranking-de-cursos/psicologia/) e a lista de cursos com classificação cinco estrelas do Guia do Estudante (https://guiadoestudante.abril.com.br/blog/melhores-faculdades/psicologia-descubra-a-profissao-e-escolha-a-sua-faculdade/). Dessa maneira, um total de 34 cursos de graduação em psicologia foram selecionados. O mesmo procedimento foi realizado em relação ao curso de pedagogia (https://ruf.folha.uol.com.br/2017/ranking-de-cursos/ pedagogia/ e https://guiadoestudante.abril.com.br/blog/melhores-faculdades/os-22-melhores-cursos-de-pedagogia-do-brasil/) e um total de 36 cursos foram selecionados. Cada uma das instituições listadas teve seu website acessado, na busca pelos endereços de e-mail de seus docentes. Um total de 624 endereços de e-mail foram obtidos de professores dos cursos de psicologia e 716 de professores da pedagogia. O convite para participação na pesquisa foi enviado a cada um deles. O questionário foi disponibilizado por meio da plataforma online de pesquisa, https://pt.surveymonkey.com/r/P9WLGQJ. Ao clicar no linK, depois de concordar com o termo de consentimento livre e esclarecido para pesquisa, o questionário era iniciado. 324 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Importante número de mensagens voltou devido à inexistência do endereço, seja por falta de atualização dos websites ou pela mudança de instituição dos profissionais. Uma porcentagem baixa dos convites enviados resultaram em respostas ao questionário. A análise dos dados foi baseada nas respostas de 126 participantes, sendo 62 de psicologia (cerca de 10% dos convites enviados), 58 de pedagogia (cerca de 8,1% dos convites enviados) e 6 participantes de educação. Os resultados são apresentados a seguir. 5.5 RESULTADOS A primeira questão envolvia a compreensão de educação especial – como a educação especial é entendida no seu curso? A análise dos dados foi baseada na resposta de 122 participantes (quatro deles não responderam). Por meio da análise de conteúdo, as respostas foram agrupadas por semelhança, em cinco diferentes focos: (1) educação especial na perspectiva de diversidade, (2) respostas que afirmavam que esse tema não era abordado ou não é privilegiado no curso, (3) visão de educação especial restrita aos déficits, (4) interpretada como adoção de medidas ou metodologias que respeitem as leis e (5) respostas genéricas. O primeiro grupo teve respostas que afirmavam a compreensão de educação especial dentro de uma perspectiva de diversidade, que engloba o atendimento a todos os tipos de necessidades especiais e a inclusão dos alunos no ensino superior, sendo a categoria mais citada entre os participantes. Como exemplos de respostas nessa categoria podem ser mencionadas: “A educação especial é tida como uma modalidade de atendimento de extrema importância, disponibilizada ao aluno com deficiência, autismo e superdotação”; “Uma modalidade de ensino transversal a todos os níveis e modalidades de ensino, destinada a estudantes com deficiência, transtornos e altas habilidades/superdotação”; “A educação especial é entendida na perspectiva da diversidade e inclusão, observando-se as especificidades e peculiaridades humanas”. Nessa categoria, pode-se verificar uma série de terminologias usadas na tentativa de localizar a educação especial dentro de uma perspectiva ampla, que contempla a “diversidade”, “especificidades e peculiaridades humanas”, “inclusão”, “diferenças”. As categorias nela englobadas são ci325 CADERNO DE PESQUISA 2 tadas por dois participantes: estudantes com deficiência, transtornos e altas habilidades/superdotação. A segunda categoria mais citada se referiu a respostas que afirmavam que a educação especial não é abordada ou não é privilegiada no curso. Uma série de respostas ilustram bem esse posicionamento: “Assunto pouco abordado e discutido”; “Com pouco espaço no currículo e baixa importância”; “Não está entre as vertentes da formação; desconheço disciplinas que digam respeito a ela”; “Não ouço falar de educação especial no meu curso”. As respostas apontam para uma área que não vem sendo privilegiada durante a formação, sendo completamente ignorada. Na fala dos professores, o tema não faz parte da grade curricular e não há nenhuma abordagem específica ou disciplina no curso. Para outros, o assunto até se mostra presente em algum momento, mas não é prioridade, sendo “pouco abordado e discutido”, “com pouco espaço no currículo e baixa importância”, “pouca carga horária”, “pouquíssimo explorado”, sendo considerado ainda como “um nicho, um campo marginal” na formação. Sobre essa situação, três professores demonstraram insatisfação ao afirmarem que a educação especial é abordada apenas como política educacional, e da pior forma possível e que, infelizmente, o tópico não faz parte formalmente dos programas das disciplinas. A terceira categoria de participantes considera educação especial como uma área restrita aos déficits. Segundo eles, o foco nessa área são as deficiências, atrasos e limitações, ou ainda, tendo suas causas relacionadas aos problemas de desempenho e comportamento escolar atribuídas “ao sistema”. Algumas respostas à pergunta “como a educação especial é entendida no seu curso?” ilustram essa percepção: “Como parte dos debates e estudos sobre inclusão de pessoas com necessidades especiais, resumidas às situações de déficit”; “Inclusiva, porém a visão dos professores está viciada em associar educação especial somente às deficiências”; “No meu curso, infelizmente, só se fala em educação especial relacionada a atrasos”; “Como uma área que nos fornece noções das necessidades das pessoas com deficiência”. 326 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Um número importante de respostas interpretam a educação especial como alguma medida adotada pela instituição na tentativa de cumprir leis (“Está vinculada aos parâmetros indicados pelo MEC”) ou como uma preocupação com a acessibilidade aos portadores de deficiência – adaptação das salas de aula, adequação de materiais, flexibilização do currículo escolar. Alguns participantes, ao serem questionados sobre a compreensão de educação especial nos cursos em que atuam, se limitaram a afirmar a existência de serviços como “diretoria de acessibilidade”, “núcleo de acessibilidade”, “laboratório para auxílio aos cegos” e um “setor especializado dentro da instituição”. Outro tipo de respostas fornecidas se mostraram um tanto genéricas, que não demonstraram compreensão de educação especial, tais como “aqui discutimos pela inclusão”; “como área de estudo específico”; “como sendo muito importante”; “como uma possibilidade de atuação na educação”. Esse tipo de resposta salientava somente a importância e necessidade do tema, visualizado como algo essencial, indispensável, urgente e obrigatório. Também foram encontradas referências à interdisciplinaridade da EE, citando-a “como tema transversal que deve ser trabalhado em todas as áreas e abordagens da psicologia”, sendo considerada uma “experiência indispensável à formação dos futuros educadores e dos educadores em atuação”, ainda que um dos participantes ressalte que a área tem “poucas pessoas interessadas”. Dois participantes afirmaram não saberem responder à questão. A segunda questão buscou investigar “em que disciplinas a educação especial é abordada? Em quais semestres do curso elas são oferecidas? ”. Um dos participantes não respondeu à questão. Novamente as respostas foram agrupadas em relação ao conteúdo. Um total de 65 diferentes disciplinas foram citadas pelos participantes, oferecidas desde o primeiro semestre do curso, até seu final. Há uma grande variação em relação ao período de oferecimento da mesma disciplina em instituições diferentes. Por exemplo, a disciplina de Libras, que é oferecida no primeiro, segundo, quinto ou nono semestres, ou ainda Educação Especial, desde o segundo até o oitavo semestres. 327 CADERNO DE PESQUISA 2 Dentre as disciplinas mais frequentemente citadas pelos participantes, destaque pode ser dado à educação especial (n=21), psicologia da pessoa com deficiência (n=11), libras (n=10), psicologia escolar (n=10), psicologia do desenvolvimento (n=8), educação inclusiva (n=5), psicologia da educação (n=5), avaliação psicológica (n=4) e fundamentos da educação especial (n=4). Note-se que o número de disciplinas citadas não é igual ao número de participantes da pesquisa, visto que, nas respostas, alguns citaram mais de uma disciplina, enquanto outros não citaram nenhuma. Do mesmo modo, algumas respostas indicavam somente o nome da disciplina, sem especificar qual período a mesma era oferecida nos cursos. A lista completa das disciplinas é apresentada a seguir. TABELA 1 – LISTA COMPLETA DE DISCIPLINAS RELACIONADAS À EDUCAÇÃO ESPECIAL Disciplina Altas habilidades/superdotação Análise do comportamento aplicada às pessoas com necessidades especiais Aprendizagem e desenvolvimento da pessoa com NEE Semestre Frequência 5 1 5-6 2 3 2 Avaliação da leitura e escrita 1 Avaliação na educação especial Avaliação psicológica 1 3-4 Deficiência e necessidades educacionais especiais Desenvolvimento e necessidades especiais 4 1 6 2 Desenvolvimento humano e aprendizagem 2 Desenvolvimento infantil 2 Didática 2 Dificuldades de aprendizagem 1 Direitos humanos e educação 1 Distúrbios do desenvolvimento 4 Educação e diversidade Educação especial 1 1 2-3-5-7-8 21 Educação especial e inclusão 1 1 Educação especial e inclusiva 6 2 Educação especial em uma perspectiva inclusiva Educação inclusiva 3 1 1-6 5 Educando com necessidades educacionais especiais 2 2 Escolarização/ educação de surdos 4 3 Estágio em educação especial/ inclusiva 328 2 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Disciplina Semestre Frequência 4 4 Ética profissional Fundamentos da educação especial 1 Funções corticais na infância 1 História da educação 1 História da psicologia Intervenções pedagógicas e NEE Libras Metodologia da educação inclusiva 1 4 1 1-2-5-9 10 7 2 Neurociência aplicada a educação Neurociência e aprendizagem 1 6 Neurologia infantil 1 1 Pesquisa e processos de inclusão escolar na educação infantil 1-2 1 Pesquisa e processos de inclusão na educação básica 1-2 1 Pessoas com necessidades especiais 4 1 Políticas públicas na educação especial 7 Pessoas com deficiência 1 2 Políticas da educação 2 Psicologia da educação básica 1 Políticas educacionais 1 Políticas sociais e educação especial 10 1 Práticas e processos educativos 4 1 Práticas de políticas de saúde 4 1 Processos psicológicos básicos Psicologia construtivista 1 2 1 4 1 Psicologia da aprendizagem Psicologia da diferença e inclusão social 1 Psicologia da pessoa com deficiência Psicologia do desenvolvimento Psicologia da educação Psicologia e educação especial 11 1-3-4-5 8 2-5-6 5 8 2 Psicologia e educação inclusiva 1 Psicologia e inclusão 3-5 2 Psicologia e necessidades especiais 5-9 2 Psicologia e pessoas com deficiência 3-6 5 8 1 4-5-6 10 Psicologia e processos educacionais especiais Psicologia escolar Psicologia na educação 3 329 CADERNO DE PESQUISA 2 Disciplina Semestre Frequência Psicopatologia 6 1 Psicopedagogia terapêutica 5 1 Superdotação, talento e desenvolvimento humano 1 Tecnologias assistivas 1 Tópicos especiais em educação especial 1 Dentre as disciplinas mais citadas, cinco se referem especificamente à psicologia (psicologia da pessoa com deficiência, psicologia escolar, psicologia do desenvolvimento, psicologia da educação e avaliação psicológica) e outras três, à educação (educação especial, educação inclusiva e fundamentos da educação especial). Diversas disciplinas podem ter sido listadas separadamente devido ao fato de a pesquisadora ter optado por classificar os nomes das disciplinas tais como foram citadas pelos participantes. No entanto, disciplinas com nomes diferentes podem apresentar conteúdo semelhante. Cinco participantes disseram que não sabiam responder à pergunta, outros seis afirmaram que nenhuma disciplina com esse foco fazia parte do currículo. Por outro lado, oito respondentes disseram que a educação especial era abordada em todas as disciplinas. A próxima questão foi: Existe alguma disciplina em que a temática das altas habilidades/superdotação se faz presente? Se sim, em qual? Um total de 36 nomes diferentes de disciplinas foram encontrados nas respostas dos participantes sendo que, novamente, várias delas não contemplavam o semestre em que a disciplina seria oferecida no curso. As mais citadas foram educação especial (n=18), avaliação psicológica (n=6) e psicologia do desenvolvimento (n=5). TABELA 2 – LISTA DE DISCIPLINAS QUE ABORDAM AS ALTAS HABILIDADES/SUPERDOTAÇÃO Disciplina Semestre Frequência Altas habilidades/superdotação 1 Aprendizagem e desenvolvimento da PNEE 1 Avaliação psicológica 6 Criatividade e educação inclusiva 1 Desenvolvimento e necessidades especiais 1 Desenvolvimento psicológico e ensino 1 Educação especial 18 330 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Disciplina Semestre Frequência Educação especial e inclusão 1 Educação especial e inclusiva 2 Educação especial em uma perspectiva inclusiva Educação inclusiva 1 6 3 Educação inclusiva e alfabetização 1 Educando com NEEs 1 Fundamentos da educação especial 1 Fundamentos do desenvolvimento Metodologia da educação inclusiva 1 7 1 Neurociências aplicada a educação 2 Psicologia da criatividade 1 Psicologia da educação 2 Psicologia da pessoa com deficiência 2 Psicologia das diferenças e inclusão social 1 Psicologia das diferenças individuais da personalidade e inteligência 1 Psicologia do desenvolvimento 5 Psicologia e educação inclusiva 1 Psicologia e inclusão 1 Psicologia e necessidades especiais 1 Psicologia da educação 3 Psicologia escolar/educacional Psicopedagogia 3 5 1 Psicopedagogia terapêutica 1 Supervisão em psicopedagogia clínica 1 Técnicas da avaliação da inteligência 1 Técnicas de exame psicológico 2 Temas especiais em psicologia 1 Tópicos em psicologia do desenvolvimento 1 Transtornos do desenvolvimento e superdotação 1 Algumas das disciplinas citadas se referem especificamente à inteligência (psicologia das diferenças individuais da personalidade e inteligência; técnicas da avaliação da inteligência) ou à criatividade (criatividade e educação inclusiva; psicologia da criatividade). Especificamente com o termo AH/S no nome, somente duas disciplinas foram citadas (altas habilidades/superdotação; transtornos do desenvolvimento e superdotação). A maior parte das disciplinas apresenta, em seu título, a educação especial, 331 CADERNO DE PESQUISA 2 educação inclusiva, necessidades especiais, desenvolvimento ou alguma referência à área educacional. Duas opiniões divergentes sobre o tema chamaram a atenção. A primeira delas parece contrária à presença de conteúdos relacionados às AH/S no currículo do curso já que, na opinião do participante, o tema não parece cientificamente embasado. “Não trabalhamos com ênfase em altas habilidades e superdotação, que nos parecem conceitos frágeis que só se sustentam em uma perspectiva positivista de educação, de aprendizagem e de elaboração de conhecimento”, disse. Na opinião do segundo participante, é o contrário: nota-se a relevância da temática, ainda que, segundo sua percepção, “O tema das AH/S está previsto na disciplina de educação inclusiva. No entanto, como a ementa da disciplina é longa e tem somente dois créditos, ou oito aulas, o tema não tem o estudo aprofundado que merece. Abordam-se questões gerais e conceituais”. Outras duas opiniões foram selecionadas para ilustrar a forma como a AH/S vem sendo trabalhada nos cursos de formação – de forma superficial e a critério do professor: “Essa temática é ligeiramente abordada na disciplina ‘psicologia e pessoas com deficiência’. Mas não costumo aprofundar. O que procuro enfatizar é que é importante que a escola consiga acolher pessoas com diferentes perfis de aprendizagem e que todos sejam beneficiados nesse processo”. A quarta questão perguntava: “Você acredita que, da forma como a estrutura curricular é oferecida, os alunos estão sendo preparados para trabalhar com indivíduos que apresentam altas habilidades/superdotação? Justifique”. A maior parte das respostas foi negativa, demonstrando que, na opinião dos profissionais, os profissionais que estão sendo formados nas instituições em que atuam, não concluem o curso preparados para atuarem junto a essa população. Dentre os principais argumentos apresentados, pode-se destacar conteúdo e carga horária restritos, necessidade de reformulação do currículo, e o foco da educação especial nas deficiências e transtornos. Algumas respostas podem ser vistas a seguir: “Não. O currículo necessita de maior articulação”; “Acredito que não. Não me recordo de qualquer menção a alguma disciplina do tipo”; “Não. Vejo que as discussões são muito superficiais”; “Não, nem com esse e nem com outros 332 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO temas da educação especial”; “De forma alguma. Não sabem diagnosticar e muito menos acompanhar”; “Não, é posta de forma superficial no currículo e não é exigida prática aos acadêmicos”; “Não, não há disciplinas e nem parte de disciplinas com este foco. A educação especial está voltada exclusivamente para pessoas com deficiências”. Outras respostas negativas apresentaram como justificativa a presença de mitos e preconceitos associados ao fenômeno: “Não, existe muito preconceito com o aluno de AH/S”; “Não, acredito que muitos ainda não veem as AH/S como uma necessidade especial. Por essa razão não a discutem”. Notadamente, há preconceitos que envolvem a ideia de que tais indivíduos não precisam se atendimento especial: “Eu acho que não de forma suficiente. Há um mito de que pessoas com altas habilidades não precisam de qualquer suporte, pois têm uma enorme capacidade de avançarem sozinhas no processo de aquisição do conhecimento”. Houve, também, a ideia de que são raras as pessoas que apresentam tal quadro: “Trabalhei dez anos com supervisão de estágio e pouquíssimas vezes presenciei alunos, em escolas públicas sobretudo, com altas habilidades”. Aparecem respostas que também negam que o aluno esteja preparado, mas justificam tal fato como responsabilidade dos docentes. Para esses participantes, tais profissionais também não possuem formação, trajetória, experiência e conhecimentos sobre a área: “Não, pois observo que os próprios docentes não apresentam repertório de atuação”; “Não temos no corpo docente alguém com formação e trajetória nesse tema”; “Nem os profissionais estão preparados, quem dirá os alunos”; “Percebo que os docentes possuem pouco conhecimento sobre a área e, quando são dotados de tal expertise, não é incomum a falta de experiência tácita, o que, em minha concepção, prejudica a formação dos estudantes”. Houve ainda participantes que afirmaram que tal preparação deve acontecer posteriormente à graduação, em cursos de formação continuada, complementar ou especialização: “Não. Necessitam de cursos de pós-graduação”; “Não. Infelizmente ainda é abordado de maneira superficial e fica a cargo do profissional ter interesse em aprofundar o assunto em cursos de especialização”; “O aluno interessado saberá buscar mais informações a partir do que aprendeu na sala de aula”. 333 CADERNO DE PESQUISA 2 Também foram recebidas respostas afirmativas ou que indicavam que o curso estava preparando seus alunos para lidar com esse fenômeno: “Acredito que, sim, há um grande enfoque nessa formação, sobretudo para atuação em campo”; “Sim, a temática é vista de forma aprofundada”; “Acredito que saem sensibilizados a procurar recursos para atender não só o aluno com superdotação como outras necessidades que surgirem”; “Sim, estão conhecendo as leis e aplicabilidade. Na teoria e na prática”; “Sim. Além das disciplinas, a temática é oferecida em estágio, em pesquisas, e em cursos de extensão”. Outras respostas afirmavam que o curso estava passando por reformulações: “Estamos caminhando para esta melhora”; “Há necessidade de reestruturação de todo o PCC do curso e o NDE, juntamente com o colegiado departamental, vem trabalhando nesse sentido”; “Estamos passando por mudança do projeto pedagógico, da grade curricular e há uma ótima mobilização nesse sentido”. De modo geral, a concentração de respostas que afirmavam que o curso não prepara seus formandos para atuarem junto a indivíduos com AH/S aponta para uma questão bastante preocupante, visto que tal população, além de ser considerada dentro da perspectiva da educação especial de acordo com as leis brasileiras, também tem se mostrado um desafio a ser enfrentado na educação brasileira, dentro da perspectiva de educação integral. A próxima questão indagava: “Em sua instituição, existe alguma orientação de atendimento a ser prestado caso algum aluno apresente altas habilidades/superdotação? Qual?”. A maior parte das respostas foi negativa, afirmando que não existe nenhuma orientação ou serviço de atendimento (n=76; 60,3%): “Não me parece que no espaço universitário haja algum atendimento específico para alunos com AH/S”, “Nunca recebi orientação sobre a temática”, “Eu desconheço”, “Não, a secretaria da diversidade tem demandas apenas para alunos com deficiências”, “O serviço de acompanhamento de alunos PNE tem sido muito eficiente para necessidades especiais, entretanto para altas habilidades não tenho visto”. As demais respostas, que afirmaram a existência de algum tipo de orientação, apontaram para órgãos dentro da instituição que não tratam especificamente do estudante com AH/S. São setores de apoio ao aluno regular ou, no máximo, voltados à garantia de acessibilidade aos portadores de 334 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO necessidades especiais (setor de assuntos estudantis, núcleo de acessibilidade, núcleo de apoio acadêmico, núcleo de apoio ao professor, comissão de acompanhamento acadêmico aos alunos, sistema de orientação ao universitário, coordenadoria de acessibilidade educacional). Algumas iniciativas são citadas por Ciantelli et al. (2018): o programa de acompanhamento a estudantes com necessidades educacionais especiais da universidade de Londrina, o programa USP Legal da universidade de São Paulo, o departamento de apoio à inclusão da universidade estadual do Rio Grande do Norte. Surpreendentemente, muitas respostas negando que exista tal demanda no curso também foram encontradas: “Em 22 anos trabalhando no ensino superior, nunca tive aluno com superdotação”; “Os acadêmicos com altas habilidades são raramente identificados pela instituição e seus professores”; “Não surgiu, até o momento, nenhum caso de aluno que apresentasse altas habilidades/superdotação”. Diversas respostas também indicaram desconhecimento desse tipo de serviço na instituição: “Particularmente nunca vivenciei, mas já ouvi relatos, em outros cursos, de situações semelhantes. Desconheço os trâmites particulares”; “Se há, não tenho conhecimento”; “Nunca escutei nada a respeito”. Houve, no entanto, respostas afirmativas sobre a existência de projetos, programas e orientações específicas para os alunos com altas habilidades/ superdotação: “Temos um projeto de extensão que trabalha com avaliação e projetos para pessoas com superdotação ou altas habilidades, incluindo os estudantes universitários”, “Sistema de orientação ao universitário (SOU) e programa de pessoas com necessidades especiais (PPNE)”, “Sim, há um setor da faculdade que ajuda alunos com necessidades especiais de vários tipos”, “Temos um departamento que é responsável por todos os processos de inclusão dentro da universidade”, “Um setor denominado CAENE - comissão permanente de apoio a estudantes com necessidades educacionais especiais”. Mas estas respostas envolvem órgãos que atuam na orientação geral dos universitários ou na educação inclusiva. Somente três participantes relataram algum serviço específico para indivíduos com AH/S. Outras respostas relataram o encaminhamento para outros serviços fora da universidade, como o núcleo de atividades de altas habilidades/superdotação (NAAH/S), ou para projeto de extensão, acompanhamento psicológico, avaliação mé335 CADERNO DE PESQUISA 2 dica, atendimento em centros especializados, para o programa de educação tutorial (PET) ou projetos de iniciação científica e extensão. Por fim, a última questão era “Hoje, no curso em que atua, existe algum aluno com esse diagnóstico? Caso negativo, já existiu?”. A maior parte dos respondentes, 65 deles (51,5%), afirmou que não existe atualmente nenhum estudante com AH/S e que nunca houve: “Não temos atualmente e não recebemos nenhum aluno com esse diagnóstico”, “Não. Desconheço que tenha existido”, “Não que eu saiba”, “Não existe, oficialmente, nenhum aluno com esse diagnóstico”, “Nunca fomos informados sobre existência anterior”. Outros 16 afirmaram que desconhecem algum aluno com tal diagnóstico (12,7%), e dez não souberam informar (7,9%). Dos que responderam de forma afirmativa, 18 afirmaram que existem ou já existiram estudantes com déficits. Os demais confirmaram que têm ou já tiveram estudantes com AH/S: “Posso dizer que já fui professor de alunos que podem fazer parte do rol de discentes com tal diagnóstico”, “Já soube de um aluno de música e um de química”, “Conheço, mas a pessoa não deseja a divulgação da informação”, “Fui procurada, em 2017, por uma estudante com esse perfil”, “Temos um professor”. Alguns professores apontaram a dificuldade de identificação e diagnóstico: “Com certeza, mas ainda são invisíveis”; “Com diagnóstico, não lembro de ter conhecimento, mas acredito que no tamanho da nossa instituição, sim, deve haver mais de um”; “Somente suspeitas. Nunca existiu diagnóstico”; “Acredito que sim! Mas fica camuflado e não se tem conhecimento”; “Pode ter havido casos não notificados”. Importante esclarecer que um professor disse que a instituição está realizando esse levantamento por meio de um projeto de doutorado. Convém destacar algumas opiniões preconceituosas em relação à temática, expressas por meio das respostas: “Não oferecemos diagnóstico em nosso curso” ou “No curso de psicologia existe uma crítica muito forte por parte de um grupo de estudantes sobre a mensuração do QI e sobre diagnósticos de modo geral”. E ainda a presença de críticas às instituições: “Atualmente não. Se existiu, foi dizimado pela mediocridade e deve ter trocado de curso”; “Nem o levantamento dos alunos com deficiência é feito, nem suas necessidades especiais atendidas. Muito menos o dos com altas habilidades”. 336 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO 6. ESTUDO 4 6.1 GRADE CURRICULAR DOS CURSOS DE GRADUAÇÃO EM PSICOLOGIA: ANÁLISE DA FORMAÇÃO PARA EDUCAÇÃO ESPECIAL A presente pesquisa foi elaborada com o objetivo de analisar como a formação em psicologia tem preparado o futuro profissional para atuar na educação especial, por meio da análise da grade curricular dos cursos de graduação em psicologia com melhor avaliação em importantes sistemas de ranKeamento nacionais. 6.2 MATERIAL Foram incluídos na análise os 15 melhores cursos de graduação em psicologia segundo o ranKing 2017 do jornal Folha de São Paulo (https:// ruf.folha.uol.com.br/2017/ranking-de-cursos/psicologia/) e aqueles que receberam a classificação cinco estrelas do Guia do Estudante (https:// guiadoestudante.abril.com.br/blog/melhores-faculdades/psicologia-descubra-a-profissao-e-escolha-a-sua-faculdade/), em um total de 34 cursos. 6.3 PROCEDIMENTOS A proposta envolveu a análise da grade curricular de cada um desses cursos, de acordo com a disponibilidade dos dados, por meio de acesso ao website das instituições de ensino superior. Somente a grade curricular dos cursos de graduação foram consultadas, incluindo tanto as disciplinas para licenciatura quanto formação de psicólogos, quando tal diferenciação era apresentada nos websites. Não entraram nesta pesquisa cursos de pós-graduação, extensão nem especialização. 6.4 DIFICULDADES A consulta aos websites das instituições indicou que a maior parte deles disponibiliza somente o nome das disciplinas, sem ao menos a apresentação da ementa. Dessa forma a tarefa de identificação e classificação das disciplinas que envolvem a temática da educação especial ficou bastante 337 CADERNO DE PESQUISA 2 difícil, pois haveria uma subjetividade muito grande caso fossem julgadas apenas pelo nome. Outras dificuldades foram encontradas, podendo-se citar como exemplos a presença de mais de um currículo vigente; a ausência de informações acerca da carga horária da disciplina ou do período do curso em que a mesma é oferecida, principalmente no caso das disciplinas optativas; carga horária apresentada em número de créditos e não em horas/aula; dificuldade em acessar a matriz curricular nos websites, incluindo, na maior parte das vezes, a necessidade de navegar por uma série de páginas antes que a informação pudesse ser encontrada. Tais aspectos certamente podem ter exercido influência nos resultados finais, de modo que os mesmos devem ser interpretados com cautela. O objetivo do trabalho não era analisar instituições ou cursos isoladamente e, sim, traçar um perfil sobre como a formação para a educação especial e, mais especificamente envolvendo a questão das altas habilidades/superdotação vem sendo oferecida nos cursos de graduação brasileiros, de forma geral. A pesquisadora optou, então, por não identificar os cursos. Tal decisão se embasou nas limitações da pesquisa citadas anteriormente, para evitar qualquer equívoco que poderia ocorrer na classificação nominal das instituições. Importante destacar que nenhuma disciplina que não apresentava, em seu título, alguma referência direta à educação especial foi considerada na análise, ainda que pudesse abranger o assunto. Como exemplos podem ser citadas “Intervenção psicopedagógica no cotidiano escolar”, “Psicologia escolar e problemas de aprendizagem” ou ainda “Tópicos especiais em psicologia escolar e educacional”. 6.5 RESULTADOS Cada uma das instituições listadas teve seu website acessado, na busca pela grade curricular dos cursos. Aquelas disciplinas que apresentaram, em seus nomes, alguma referência direta à educação especial, foram selecionadas; e as informações sobre a carga horária total do curso, carga horária da disciplina identificada, seu caráter obrigatório ou optativo e o semestre do curso em que é oferecida foram obtidas, a fim de que um quadro mais amplo dessa formação pudesse ser estabelecido. Dos 34 cur338 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO sos analisados, somente quatro não apresentaram disciplinas voltadas à educação especial. A primeira análise realizada envolveu a carga horária total do curso. A média apontou para um total de 4.545 horas para formação de psicólogo, o que supera em mais de 10% o mínimo estabelecido pelo Ministério da Educação nas diretrizes curriculares nacionais para esse curso – 4 mil horas, distribuídas em cinco anos. Em seguida, o levantamento das disciplinas que possivelmente abordariam a educação especial foi realizado; um total de 36 diferentes foram encontradas nas instituições analisadas. A maior parte delas oferece a disciplina de língua brasileira de sinais (n=17), o que corresponde a 47,22% das disciplinas na área da educação especial, podendo, tal situação, ser explicada pela obrigatoriedade das instituições em oferecê-la. Verificou-se que 30,5% dos cursos apresentam somente uma ou duas disciplinas sobre educação especial, 16,6% deles têm três disciplinas com este foco e é ainda menos comum o oferecimento de quatro (2,7%) ou cinco disciplinas (2,7%) a este respeito. Mas a maioria dessas disciplinas (16,6%) tem enfoque na educação especial voltada ao atendimento de indivíduos que apresentam algum tipo de déficit ou transtorno. A lista de disciplinas é fornecida na tabela 3. TABELA 3 – DISCIPLINAS COM FOCO NO DÉFICIT OU TRANSTORNO Carga horária Obrigatória Psicologia e deficiência 60 x Transtorno do espectro autista 54 x 9 Psicologia e estudos da deficiência 34 x 3 Psicologia e pessoas com deficiência 68 Estudos sobre deficiência 72 Nome da disciplina Eletiva (optativa) Semestre 5, 6 x 6 x 9 A análise nos mostra que a metade delas é oferecida como disciplina eletiva ou optativa e a outra metade, como disciplina obrigatória. São cursadas entre o 3º e o 9º semestres do curso e sua carga horária varia entre 34 e 72 horas. 339 CADERNO DE PESQUISA 2 Um segundo grupo, contendo as disciplinas cujos nomes não especificam qual o enfoque dado à educação especial, foi analisado. Os resultados são apresentados na tabela 4. TABELA 4 – DISCIPLINAS EM QUE O FOCO DA EDUCAÇÃO ESPECIAL NÃO É ESPECIFICADO Carga horária Obrigatória Psicologia da pessoa com necessidades especiais 36 x Educação especial e processos inclusivos NE x 8,9,10 Psicologia e excepcionalidade 43 x 5/6 Nome da disciplina Eletiva (optativa) Semestre 6 Desenvolvimento de necessidades especiais 75 x 6 Educação escolar inclusiva 135 x 8 Testes para diagnósticos especiais 75 x Psicologia, educação e inclusão social 60 6 x Psicologia e educação especial 68 Tópicos em educação especial 68 x 4 Psicologia e educação inclusiva 60 x NE Psicologia dos portadores de necessidades especiais 90 x NE Educação de pessoas com necessidades especiais 68 x 5 ao 9 Aspectos psicológicos e educacionais dos portadores de necessidades especiais 60 x NE Psicologia aplicada aos portadores de necessidades especiais 48 x 6 Psicologia e necessidades especiais I 60 x 5 Psicologia e necessidades especiais II 60 x Psicologia do excepcional 60 x 2 ao 10 Educação especial na educação básica 72 x 10 Desenvolvimento atípico e atuação do psicólogo no ensino especial 30 Psicologia aplicada aos portadores de necessidades especiais 72 x NE Intervenções psicopedagógicas para portadores de necessidades especiais 72 x NE Psicologia e os processos educacionais especiais 60 A criança especial 105 Psicologia do excepcional 105 x 5 Pessoas com necessidades especiais II 60 x 5 Pessoas com necessidades especiais I 40 x 4 340 x Até 8º 4 6 x 4 x 8 x 5 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Nome da disciplina Carga horária Avaliação psicológica de pessoas com necessidades especiais 60 Psicologia aplicada aos portadores de necessidades especiais 60 Psicologia do excepcional 60 Obrigatória Eletiva (optativa) Semestre x NE x 6 x 9 Psicologia do excepcional 30 x 4,5,6 Desenvolvimento atípico 30 x NE Desenvolvimento humano e inclusão 30 x NE Necessidades especiais e psicologia 34 x 3 Educação inclusiva 60 x NE Legenda: NE = não encontrado. Este grupo é composto por 34 disciplinas cujos nomes são marcados por diversas terminologias, tais como educação inclusiva, pessoas com necessidades especiais, excepcional, desenvolvimento atípico, portadores de necessidades especiais. Suas cargas horárias variam entre 30 e 135 horas/ aula, com média de 59 horas/aula. Destas, 14 são oferecidas em caráter obrigatório nos cursos (41,1% dos casos) e as demais em caráter optativo ou eletivo entre o 2º e o 10º semestre do curso. Disciplina que concentra sua atenção especificamente nos indivíduos com altas habilidades/superdotação foi encontrada em somente uma instituição, oferecida em caráter eletivo, sem que informações sobre sua carga horária ou semestre em que pode ser cursada fossem encontradas. 7. ESTUDO 5 7.1 ANÁLISE DA GRADE CURRICULAR DOS CURSOS DE GRADUAÇÃO EM PEDAGOGIA: FORMAÇÃO PARA ATUAÇÃO NA EDUCAÇÃO ESPECIAL A presente pesquisa foi elaborada com o objetivo de analisar como a grade curricular dos melhores cursos de graduação em pedagogia está organizada para preparar o aluno para atuar na educação especial. 341 CADERNO DE PESQUISA 2 7.2 MATERIAL Foram incluídos na análise os 36 melhores cursos de pedagogia, segundo dois importantes sistemas de ranKeamento nacionais: os 30 melhores cursos segundo o ranking 2017 do jornal Folha de São Paulo (http://ruf.folha. uol.com.br/2017/ranking-de-cursos/pedagogia/) foram selecionados, juntamente com aqueles que receberam a classificação cinco estrelas do Guia do Estudante (https://guiadoestudante.abril.com.br/blog/melhores-faculdades/os-22-melhores-cursos-de-pedagogia-do-brasil/). A lista dos cursos analisados é apresentada no quadro 9. QUADRO 9 – LISTA DAS INSTITUIÇÕES ANALISADAS Carga horária total 3220 342 Instituição Pontifícia Universidade Católica de Campinas 3213 Pontifícia Universidade Católica de Minas 3200 Pontifícia Universidade Católica de São Paulo 3560 Pontifícia Universidade Católica do Paraná 3180 Pontifícia Universidade Católica do Rio de Janeiro 3260 Pontifícia Universidade Católica do Rio Grande do Sul 3240 Universidade de Brasília 3240 Universidade de São Paulo 3220 Universidade do Estado do Rio de Janeiro 3735 Universidade Estadual de Campinas 3365 Universidade Estadual de Feira de Santana 3244 Universidade Estadual de Londrina 3360 Universidade Estadual Paulista Júlio de Mesquita Filho 3313 Universidade Federal da Bahia 3265 Universidade Federal da Grande Dourados 3210 Universidade Federal da Paraíba 3120 Universidade Federal de Goiás 3200 Universidade Federal de Juiz de Fora 3840 Universidade Estadual de Maringá 3210 Universidade Federal de Mato Grosso do Sul 3858 Universidade Federal de Minas Gerais 3220 Universidade Federal de Pernambuco 3870 Universidade Federal de Santa Catarina 3225 Universidade Federal de Santa Maria ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Carga horária total Instituição 3365 Universidade Federal de São Carlos 3530 Universidade Federal de Uberlândia 3245 Universidade Federal de Viçosa 3200 Universidade Federal do Paraná 3435 Universidade Federal do Rio de Janeiro 3120 Universidade Federal do Rio Grande do Norte 3255 Universidade Federal do Rio Grande do Sul 3330 Universidade Federal Fluminense 3204 Universidade Metodista de Piracicaba 3240 Universidade Norte do Paraná NE 3105 Universidade Presbiteriana Mackenzie Universidade Regional do Noroeste do Estado do Rio Grande do Sul Legenda: NE = não encontrado. 7.3 PROCEDIMENTOS A proposta envolveu a análise da grade curricular de cada um desses cursos, de acordo com a disponibilidade dos dados, por meio de acesso ao website das instituições de ensino superior. Somente a grade curricular dos cursos de graduação foram consultadas, excluindo-se cursos de pós-graduação, extensão e especialização. O objetivo do trabalho não era analisar instituições ou cursos isoladamente e, sim, descobrir como a formação para a educação especial, mais especificamente com enfoque nas altas habilidades/superdotação, vem sendo oferecida nos cursos de graduação em pedagogia. Diante das limitações impostas pela busca nos websites (cuja grade curricular poderia não estar completa ou ainda não atualizada) e na ausência das ementas (as quais poderiam sanar algumas dúvidas sobre a abrangência das disciplinas), a pesquisadora optou por não identificar os cursos de origem das disciplinas avaliadas visto que o foco principal era identificar, de forma geral, como essa formação se dá nos principais cursos de graduação em pedagogia. Importante destacar que disciplinas que não apresentavam em seu título alguma referência direta à educação especial foram desconsideradas da análise, ainda que na prática, ementa ou conteúdo programático possam tratar do assunto. 343 CADERNO DE PESQUISA 2 7.4 RESULTADOS As instituições avaliadas tiveram seu website acessado, na busca por informações referentes à grade curricular dos cursos de formação em pedagogia, sendo importante destacar que, naqueles casos em que a ementa da disciplina era disponibilizada, as mesmas foram consultadas. Nos demais casos, somente o nome da disciplina foi considerado. Assim, aquelas disciplinas que apresentaram, em seus nomes ou ementas, alguma referência direta à educação especial foram selecionadas. O nome da disciplina, sua carga horária, caráter obrigatório ou optativo, semestre do curso em que é oferecida, bem como a carga horária total do curso analisado foram dados identificados. A primeira análise se referiu à carga horária total dos 36 cursos selecionados. A média apresentada foi de 3.325 horas, o que supera em 125 horas a carga horária mínima estabelecida pelas diretrizes curriculares nacionais para esse curso. A maior parte dos cursos prevê a formação em quatro anos, mas, também, foram encontrados cursos com cinco anos de duração. Depois foi feito o levantamento das disciplinas que abordariam a educação especial. Um total de 129 disciplinas foi encontrado nas 36 instituições analisadas. Esse número indica que, em média, os cursos apresentam 3,58 disciplinas na área. A língua brasileira de sinais é assunto de 32 delas, ou 50%. Do total, 64 são obrigatórias (49,6%); as eletivas ou optativas somam 44 (34,1%), e sobre 21 delas (16,2%) não foi possível determinar se são obrigatórias ou optativas. Uma análise mais aprofundada das disciplinas permitiu seu agrupamento em três blocos: disciplinas que tratam sobre déficits ou transtornos, disciplinas que não especificam qual o enfoque dado à educação especial e a disciplina de libras, avaliada separadamente dada sua alta incidência nos cursos analisados. Em relação ao primeiro grupo, foram encontradas 18 disciplinas, 13,9% do total. A lista delas é fornecida na tabela 5. 344 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO TABELA 5 – DISCIPLINAS COM FOCO NO DÉFICIT OU TRANSTORNO Nome da disciplina Carga horária Obrigatória Eletiva (optativa) Semestre Desenvolvimento emocional da criança deficiente 60 6 Organização do trabalho para o deficiente mental 30 2 Tópicos especiais em psicologia do deficiente mental 60 6 Deficiência mental e família 60 6 Diversidade, diferença e deficiência: implicações educacionais 30 2 Desenvolvimento e aprendizagem: especificidades das pessoas com deficiência 90 9 Sexualidade e deficiência 30 9 Necessidades educacionais especiais de pessoas com deficiência física e neuromotora 51 x 9 Necessidades educacionais especiais de pessoas com deficiência intelectual 68 x 9 Necessidades educacionais especiais de pessoas com deficiência visual e cegos 68 x 9 Necessidades educacionais especiais de pessoas com deficiências múltiplas 34 x 9 Necessidades educacionais especiais de pessoas com transtorno global do desenvolvimento 51 x 9 Educação de surdos 68 x NE Educação do deficiente mental 68 x NE Aspectos pedagógicos da inclusão de pessoas com deficiência intelectual de motora 60 x 10 O ensino de braile e tecnologias associadas 60 x NE Educação de surdos 45 x NE História da educação e cultura das pessoas surdas 45 x NE Legenda: NE = não encontrado. Nesse grupo, é possível verificar que o foco se volta para os diferentes tipos de deficiência – mental, física, neuromotora, intelectual, motora, visual, auditiva, transtorno global do desenvolvimento e múltipla – e para assuntos relacionados – desenvolvimento emocional, família, sexualidade, necessidades educacionais especiais. Dessas disciplinas, 11 são eleti345 CADERNO DE PESQUISA 2 vas (61,1%) e sete não puderam ter sua natureza identificada devido à ausência dessa informação nos websites (38,8%). Chama a atenção o fato de que nenhuma em que a informação acerca da sua natureza (obrigatória ou eletiva) se encontrava disponibilizada, tem caráter obrigatório, sendo importante destacar que tal situação deve ser relativizada visto que, dentre as sete disciplinas em que tal informação não é apresentada nos websites, alguma delas pode ser obrigatória. As disciplinas são oferecidas entre o 2º e o 10º semestres do curso, com carga horária média de 54,33 horas. No segundo grupo, o de disciplinas que não especificam qual o enfoque dado à educação especial, foram encontradas 68 disciplinas, sendo 32 obrigatórias, 26 eletivas e 10 sobre as quais tal informação não foi encontrada. Elas são oferecidas desde o 1º até o 10º semestre do curso, com média de 54,98 horas/aula. Informações detalhadas são apresentadas na tabela 6. TABELA 6 – DISCIPLINAS EM QUE O FOCO DA EDUCAÇÃO ESPECIAL NÃO É ESPECIFICADO Nome da disciplina Aprendizagem e educação especial Carga horária Obrigatória 60 Currículo e necessidades educacionais especiais Comunicação e sinalização diferenciada da educação especial Recursos e estratégias didáticas na educação especial Linguística aplicada à educação especial Semestre 6 Educação especial A Fundamentos da educação inclusiva Eletiva (optativa) 6 75 3 75 7 90 9 60 9 30 9 Fundamentos da educação inclusiva 75 3 Fundamentos da educação inclusiva 60 4 Educação inclusiva 68 Educação inclusiva 34 x 3 Educação especial: fundamentos e práticas 68 x 4 Educação especial 68 x 7 Educação especial e processos inclusivos 60 x 6 8 Educação especial 30 x 6 Educação inclusiva 40 x 1 346 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Nome da disciplina A escola e as pessoas com necessidades educacionais especiais Adaptações curriculares para pessoas com necessidades educacionais especiais Educação de pessoas com necessidades educacionais especiais Políticas sociais e educação especial Educando com necessidades educacionais especiais Aprendizagem e desenvolvimento do portador de necessidades educacionais especiais Avaliação educacional do portador de necessidades educacionais especiais Desenvolvimento e necessidades especiais Carga horária Obrigatória Eletiva (optativa) 68 x 7 34 x 8 68 x 5 60 x 4 60 x 2 30 x 3 Semestre 60 x NE 60 x NE Introdução à educação especial 30 x NE Tópicos em educação especial I 30 x NE Fundamentos de educação especial 30 x 4 Questões atuais em educação especial 60 x 3 60 x 5 Educação inclusiva e cotidiano escolar Pesquisa e prática pedagógica I – estudos de educação inclusiva e continuada Pesquisa e prática pedagógica II – estudos de educação inclusiva e continuada Pesquisa e prática pedagógica III – estudos de educação inclusiva e continuada Pesquisa e prática pedagógica IV – estudos de educação inclusiva e continuada Educação especial e políticas educacionais inclusivas Tópicos especiais em educação, inclusão e diversidade 60 x 1-8 60 x 1-8 60 x 1-8 60 x 1-8 60 x 72 7 x NE x NE Educação especial e inclusiva 72 Necessidades educacionais especiais 34 x 7 54 x 6 72 x 9 30 x 1 Políticas e práticas pedagógicas relacionadas à educação especial Educação especial: conceitos, concepções e sujeitos Educação especial: fundamentos 347 CADERNO DE PESQUISA 2 Carga horária Obrigatória Educação especial: processos de inclusão 30 x 3 Educação especial 90 x 7 Educação especial 60 x Temas em educação especial 60 Nome da disciplina Estágio supervisionado em educação especial/inclusiva Organização e gestão em educação especial Planejamento educacional e currículo em educação especial 120 Eletiva (optativa) Semestre 6 x x 8 7 60 x 1-8 45 x 1-8 Fundamentos da educação especial 60 Inclusão em educação 45 x 9-10 60 x 8 60 x 8 60 x 8 Metodologia do ensino para pessoas com necessidades educacionais especiais I Metodologia do ensino para pessoas com necessidades educacionais especiais II Metodologia do ensino para pessoas com necessidades educacionais especiais III Educação especial em uma perspectiva inclusiva Educação especial, docência e processos inclusivos Seminário de estágio de docência: educação especial, docência e atendimento educacional especializado Seminário de estágio de docência: educação especial, processos e práticas Inclusão escolar e prática pedagógica nos anos iniciais do ensino fundamental Intervenção pedagógica e necessidades educativas especiais Pessoa portadora de necessidades especiais: normalização e integração Educação especial Tópicos em educação especial e inclusiva Tópicos especiais em educação especial x 4 60 x 3 45 x 4 30 x 5 30 x 5 45 x NE 30 x NE 30 x NE 60 x 5 30 x NE 60 x NE Educação inclusiva 60 x NE Educação inclusiva 34 x 3 Educação especial: fundamentos e práticas educativas 68 x 4 348 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Nome da disciplina Processo escolares de inclusão Carga horária Obrigatória 60 x 8 x 7 Práticas docentes em educação inclusiva Educação especial 60 Eletiva (optativa) x Semestre 6-7-8 Legenda: NE = não encontrado. São 51 nomes diferentes de disciplinas. Entre aquelas que apresentam o mesmo nome em mais de uma instituição, podem ser destacadas “educação especial” (n=7), “educação inclusiva” (n=5) e “fundamentos da educação inclusiva” (n=3). Em dois cursos foram encontradas disciplinas seriadas, de caráter optativo: pesquisa e prática pedagógica – estudos de educação inclusiva e continuada, em quatro níveis; metodologia do ensino para pessoas com necessidades educacionais especiais, em três níveis. A disciplina de língua brasileira de sinais (Libras) foi analisada separadamente, devido à sua ampla oferta nos cursos analisados (n=43). Essa disciplina se apresenta na maior parte dos casos como nível básico (tem as palavras ‘introdução’, ‘fundamentos’, ‘básico’ no nome). É obrigatória em 32 instituições (74,4%) e eletiva em apenas sete (16,2%). TABELA 7 – DISCIPLINAS RELACIONADAS AO ENSINO DA LÍNGUA BRASILEIRA DE SINAIS Eletiva (optativa) Carga horária Obrigatória Libras 68 x 8 Língua brasileira de sinais 60 x 6 Libras 30 x 8 Língua brasileira de sinais e educação para a pessoa surda 60 6 Libras NE 5 Nome da disciplina Língua brasileira de sinais 45 Educação inclusiva e libras 60 Semestre 6 x 8 Libras – introdução ao aprendizado 40 x 2 Libras NE x 4 Libras I 68 x 5 Libras 60 x 4 Fundamentos em Libras 60 x 7 Fundamentos da língua brasileira de sinais 60 x 7 349 CADERNO DE PESQUISA 2 Carga horária Obrigatória 60 x Libras 30 x 6 Libras no processo educacional 60 x 8 Libras básico 60 x NE Escolarização de surdos - Libras 30 x 5 Educação de surdos e língua de sinais 90 Educação de surdos - Libras 60 x Libras 30 x 6 Educação inclusiva e língua brasileira de sinais 30 x 1 Libras 72 x NE Libras 60 x 7 Libras 68 x 1 Libras 54 x Libras II 72 Libras 60 x 3 Libras 90 x 8 Língua brasileira de sinais e letramento visual de surdos 60 x 4 Tópicos especiais em língua brasileira de sinais 30 x NE Tópicos especiais em língua brasileira de sinais II 30 x NE Estudos independentes em língua brasileira de sinais I 60 x NE Estudos independentes em língua brasileira de sinais II 60 x NE Estudos independentes em língua brasileira de sinais III 60 x NE Comunicação em língua brasileira de sinais: educação bilíngue de surdos 60 Libras Libras Libras II 45 Libras 30 x 8 Libras 34 x 1 Libras 60 x 8 Libras 30 x 6 Nome da disciplina Libras Legenda: NE = não encontrado. 350 Eletiva (optativa) Semestre 5 2 7 x NE x 6 60 x 4 30 x 2 x NE ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO Frequentemente, essa disciplina se apresenta em caráter eletivo quando consiste em um módulo adicional (Libras II) ou em estudo mais aprofundado (tópicos especiais em língua brasileira de sinais, nível I e II; estudos independentes em língua brasileira de sinais I, II e III). Em quatro casos não foi possível identificar sua natureza. A disciplina de Libras é oferecida de maneira bem ampla, desde o 1º até o 8º semestre do curso, com carga horária média de 53,31 horas. Entre os cursos analisados, um único apresentou disciplina voltada especificamente aos indivíduos que apresentam altas habilidades/superdotação – “práticas educacionais para alunos com altas habilidades/superdotação” – de caráter eletivo e carga horária total de 60 horas. CONSIDERAÇÕES FINAIS O projeto tinha como objetivo analisar a formação oferecida nos cursos de pedagogia e psicologia sobre altas habilidades e superdotação, tomando-se os aspectos teóricos e práticos. Deu origem a quatro estudos. Os dois primeiros investigaram os documentos normativos da formação em pedagogia e psicologia para a área de educação especial. De modo geral, os resultados indicaram uma série de dificuldades desta área de estudo, que se relacionam aos citados documentos, à organização curricular dos cursos de graduação e à percepção dos professores que atuam na área. Os resultados do estudo dos documentos normativos dos cursos de pedagogia indicaram que (1) a educação especial é, na maior parte dos documentos, tratada de forma geral, sem especificar qual tipo de estudante ela deve atender; (2) quando essa informação é dada, usualmente se refere a estudantes com déficits; (3) as altas habilidades e a superdotação praticamente não são abordadas nos documentos; (4) há um número bem maior de menções a outras modalidades de educação do que a AH/S. Na psicologia a situação encontrada não foi muito diferente. Os documentos normativos que regem a formação em psicologia apresentam referências específicas a “educação especial” e “educação inclusiva” em número bastante reduzido. Nenhum deles cita explicitamente a questão das altas habilidades/superdotação. 351 CADERNO DE PESQUISA 2 Em seguida, foi investigada a compreensão de educação especial dos coordenadores, professores e pesquisadores dos cursos de graduação em pedagogia e psicologia. Os relatos apontaram para diferentes situações: (1) educação especial compreendida na perspectiva de diversidade, (2) tema não abordado ou não privilegiado no curso, (3) visão de educação especial restrita aos déficits, (4) tomada somente como significado da adoção de medidas ou metodologias que respeitem as leis vigentes. A maior parte dos participantes afirmou que os alunos não estão sendo adequadamente preparados para trabalhar com os indivíduos que apresentam altas habilidades e superdotação, visto que tal temática não é abordada no currículo. Também disseram que eles próprios e as instituições onde trabalham não têm nenhuma orientação sobre como atender esse tipo de aluno e que nenhum estudante apresenta atualmente nem nunca apresentou esse diagnóstico no curso. Por fim, a análise da grade curricular dos melhores cursos de graduação em pedagogia e psicologia foi conduzida e indicou um número bastante limitado de disciplinas voltadas à educação especial. A maior parte delas se restringe a estudar algum tipo de déficit ou transtorno ou não especifica no website qual o enfoque dado à educação especial. As AH/S praticamente não são abordadas na maior parte dos cursos. Os resultados obtidos confirmaram a importância de que as matrizes curriculares dos cursos de graduação em pedagogia e psicologia sejam revistas de modo a incorporar conteúdos que capacitem seus formandos para atuar na área da educação especial. A proposta de educação integral e inclusiva difundida pelo Ministério da Educação precisa ser adotada pelos cursos, para que populações minoritárias possam ter acesso a uma educação equitativa e de qualidade. É importante que a educação especial seja vista de uma forma mais ampla e que envolva não só estudantes que apresentam algum tipo de déficit ou transtorno, mas, também, os que apresentam altas habilidades e superdotação. Nas diretrizes que devem nortear a formação nessas áreas não são explícitas e o tema da educação especial acaba sendo relegado. Grande parte dos profissionais completa sua formação sem ter tido a oportunidade de conhecer as especificidades da educação especial e está despreparada para lidar com isso na prática profissional. A falta de capacitação é apontada como uma das principais dificuldades para o desenvolvimento de 352 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO ações voltadas ao aluno com necessidades educacionais especiais, ainda que tal demanda venha se mostrando cada vez mais presente. A análise das diretrizes e grades curriculares dos melhores cursos e a opinião de professores e pesquisadores convergiram para um ponto em comum: a necessidade de que a educação especial seja revista em todos os âmbitos – legal, curricular e prático. Os papéis do pedagogo e do psicólogo na educação especial ainda são pouco explorados e são limitadas as oportunidades dos alunos nos cursos de graduação de conhecer esta área. O número de professores e pesquisadores dedicados à temática ainda é muito restrito superdotação e há uma lacuna na formação dos futuros profissionais. Por isso a necessidade, urgente, de que as diversas leis brasileiras a respeito de educação especial sejam colocadas em prática. O preparo dos professores também deve ser ampliado. Somente assim uma parcela importante dos indivíduos com necessidades educacionais especiais deixará de ser excluída, tanto na formação, quanto nos estudos e pesquisas. 353 CADERNO DE PESQUISA 2 REFERÊNCIAS ALCHIERI, J. C.; BANDEIRA, D. R. Ensino da avaliação psicológica no Brasil. In: PRIMI, R. (Org.). Temas em Avaliação Psicológica. Campinas: Ibap / Impressão Digital do Brasil, 2002, p. 35-39. ALENCAR, E.M.L.S. O aluno com altas habilidades na escola inclusiva. In: MOREIRA, L.C.; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, 2012, p. 85-94. ALMEIDA, M.L.; BENTO, M.J.C.; SILVA, N.V. As contribuições da pesquisa-ação para a elaboração de políticas de formação continuada na perspectiva da inclusão escolar. Revista Brasileira de Estudos Pedagógicos, v. 252, n. 99, p. 257-276, 2018. ARAÚJO, M. F. Estratégias de diagnóstico e avaliação psicológica. Psicologia Teoria e Prática, v. 2, n. 9, p. 126-141, 2007. BARBOSA, A.J.B.; CONTI, C.F. Formação em psicologia e educação inclusiva: um estudo transversal. Psicologia Escolar e Educacional, v. 2, n. 15, p. 231234, 2011. BRASIL. Secretaria de Educação Especial - MEC. Políticas Públicas para Alta Habilidade/ Superdotação. 2010. CIANTELLI, A.P.C.; LEITE, L.P.; NUERNBERG, A.H. Atuação do psicólogo nos “núcleos de acessibilidade” das universidades federais brasileiras. Psicologia Escolar e Educacional, v. 2, n. 21, p. 303-311, 2017. DAI, D.Y.; SWANSON, J.A.; CHENG, H. State of research on giftedness and gifted education: a survey of empirical studies published during 1998-2010 (April). Gifted Child Quarterly, v. 2, n. 55, p. 126-138, 2011. DELOU, C.M.C. O atendimento educacional especializado para alunos com altas habilidades/superdotação no ensino superior: possibilidades e desafios. In: MOREIRA, L.C.; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, 2012, p. 129-142. 354 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO FARIAS, E.S.; WECHSLER, S.M. Desafios na identificação de alunos intelectualmente dotados. In: VIRGOLIM, A.M.R.; KONKIEWITZ, E.C. (Orgs.). Altas habilidades/superdotação, inteligência e criatividade. Campinas: Papirus, 2014, p. 335-350. FONSECA, T.S.; FREITAS, C.S.C.; NEGREIROS, F. Psicologia escolar e educação inclusiva: a atuação junto aos professores. Revista Brasileira de Educação Especial, v. 3, n. 24, p. 427-440, 2018. FONSECA-JANES, C. R. X.; OMOTE, O. Os cursos de pedagogia da Universidade Estadual Paulista e a educação inclusiva. Revista Brasileira de Educação Especial, v. 3, n. 19, p. 325-342, 2013. FONSECA-JANES, C. R. X.; SILVA JUNIOR, C. A.; OLIVEIRA, A. A. S. Pedagogia, educação especial e educação inclusiva na UNESP: História e trajetória. Revista Brasileira de Educação, v.55, n. 18, p. 985-1008, 2013. FREITAS, S.N.; ROMANOWSKI, C.L.; COSTA, L.C. Alunos com altas habilidades/ superdotação no contexto da educação especial. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 237-250, 2012. GALLAGHER, J. J. Psychology, psychologist, and gifted students. In: PFEIFFER, S. (Org.). Handbook of giftedness in children: Psycho-educational theory, research and best practices. Nova Iorque: Springer, p. 1-11, 2008. GLAT, R.; PLETSCH, M.D. O papel da universidade no contexto da política de educação inclusiva: reflexões sobre a formação de recursos humanos e a produção de conhecimento. Revista Educação Especial, v. 38, n. 23, p. 345-356, 2010. HUTZ, C. S.; BANDEIRA, D. R. Avaliação Psicológica no Brasil: situação atual e desafios para o futuro. In: YAMAMOTO, O. H.; GOUVEIA, V. V. (Orgs.). Construindo a psicologia brasileira: desafios da ciência e prática psicológica. São Paulo: Casa do Psicólogo, p. 261-277, 2003. KERR, B.; SODANO, S. Career assessment with intellectually gifted students. Journal of Career Assessment, n. 11, p. 168-186, 2003. 355 CADERNO DE PESQUISA 2 KROESBERGEN, E.H.; HOOIJDONK, M.V.; VIERSEN, S.V. et al. The psychological well-being of early identified gifted children. Gifted Child Quaterly, v. 1, n. 60, p. 1-15, 2015. LOOS-SANT’ANA, H.; SANT’ANA-LOOS, R.S.; TRANCOSO, B.S. O desejo da superdotação e o desejo do superdotado: mitos, crenças e paradoxos na educação e as consequentes tensões na construção da identidade. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 181-206, 2012. LOURENÇO, G.F.; BATTISTELLA, J. Mapeamento de alunos público-alvo da educação especial na Universidade Federal de São Carlos em 2014-2015. Psicologia Escolar e Educacional, n. 22, p. 25-32, 2018. MACHADO, J.P.; PAN, M.A.G.S. Do nada ao tudo: políticas públicas e a educação especial brasileira. Educação & Realidade, v. 1, n. 37, p. 273-294, 2012. MARTINS. B. A.; CHACON, M. C. M. Sobredotação e formação de professores: Análise dos currículos dos cursos de Pedagogia da UNESP - Brasil. Anais do Seminário Internacional "Cognição, Aprendizagem e Desempenho", Braga, Portugal, p. 108-118, 2017. Disponível em: <http://gicad.org/1/images/ ficheiros/Livro-de-Atas-V-Seminrio-Internacional-GICAD.pdf#page=108>. Acesso em: 20/09/2018. MARTINS, B.A.; CHACON, M.C.M.; ALMEIDA, L.S. Estudo comparativo luso-brasileiro sobre a formação inicial de professores em altas habilidades/ superdotação com enfoque nos conteúdos curriculares. Revista Brasileira de Educação Especial, v. 3, n. 24, p. 309-326, 2018. MELETTI, S.M.F. Indicadores educacionais sobre a educação especial no Brasil e no Paraná. Educação & Realidade, v. 3, n. 39, p. 789-809, 2014. MELO, F.R.L.V.; ARAÚJO, E.R. Núcleos de Acessibilidade nas Universidades: reflexões a partir de uma experiência institucional. Psicologia Escolar e Educacional, n. 22, p. 57-66, 2018. MONICO, P.A.; MORGADO, L.A.S.; ORLANDO, R.M. Formação inicial de professores na perspectiva inclusiva: levantamento de produções. Psicologia Escolar e Educacional, n. 22, p. 41-48, 2018. 356 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO MOREIRA, L.C.; LIMA, D.M.M.P. Interface entre os NAAH/S e universidade: um caminho para a inclusão de alunos com altas habilidades/superdotação. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 143-154, 2012. NORONHA, A. P. P.; PRIMI, R.; ALCHIERI, J. C. Instrumentos de avaliação mais conhecidos/utilizados por psicólogos e estudantes de psicologia. Psicologia Reflexão e Crítica, v. 3, n. 18, p. 390-401, 2005. OLIVEIRA, M.A.; LEITE, L.P. Educação inclusiva: análise e intervenção em uma sala de recursos. Ribeirão Preto: Paidéia, 2011. OLIVEIRA, L.P.; ORLANDO, R.M. Matrizes curriculares de licenciaturas da UFSCar: Um olhar voltado para a inclusão escolar? In: POKER, R.B.; MARTINS, S.E.S.O.; GIROTO, C.R.M. (Orgs.), Educação inclusiva: em foco a formação de professores. São Paulo: Cultura Acadêmica, 2016, p. 77-94. OMOTE, S.; OLIVEIRA, A.A.S.; BALEOTTI, L.R. et al. Mudança de atitudes sociais em relação à inclusão. Ribeirão Preto: Paidéia, 2005. PAPI, S.O.G. Desenvolvimento Profissional de Docentes Iniciantes na Educação Especial. Educação & Realidade, v. 2, n. 43, p. 747-770, 2018. PEREIRA, V.L.P. Superdotação e currículo escolar: potenciais superiores e seus desafios da perspectiva da educação inclusiva. In: VIRGOLIM, A.M.R.; KONKIEWITZ, E.C. (Orgs.). Altas habilidades/superdotação, inteligência e criatividade. Campinas: Papirus, 2014, p. 373-388. PÉREZ, S.G.P.B. E que nome daremos à criança? In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 45-62, 2012. PFEIFFER, S.I. Current perspectives on the identification and assessment of gifted students. Journal of Psychoeducational Assessment, v.1, n. 30, p. 3-9, 2012. 357 CADERNO DE PESQUISA 2 PFEIFFER, S.I.; BLEI, S. Gifted identification beyond the IQ test: rating scales and other assessment procedures. In: PFEIFFER, S. (Org.). Handbook of giftedness in children: Psycho-educational theory, research and best practices. Nova Iorque: Springer, 2008, p. 177-198. SABATELLA, M.L.P. Expandir horizontes para compreender alunos superdotados. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 113-128, 2012. SAKAGUTI, P.M.Y.; BOLSANELLO, M.A. A família e o aluno com altas habilidades/superdotação. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/ superdotação, talento, dotação e educação. Curitiba: Juruá, p. 221-236, 2012. SILVA, F.T.; GONÇALVES, E.A.V.; ALVARENGA, K.F. Inclusão do portador de necessidades especiais no ensino regular: revisão da literatura. Jornal da Sociedade Brasileira de Fonoaudiologia, v. 1, n. 24, p. 96-103, 2012. SILVA, N.C.; CARVALHO, B.G.E. Compreendendo o processo de inclusão escolar no Brasil na perspectiva dos professores: uma revisão integrativa. Revista Brasileira de Educação Especial, v. 2, n. 23, p. 293-308, 2017. TAVARES, L.M.F.L.; SANTOS, L.M.M.; FREITAS, M.N.C. A Educação Inclusiva: um Estudo sobre a Formação Docente. Revista Brasileira de Educação Especial, v. 4, n. 22, p. 527-542, 2016. THESING, M.L.C.; COSTAS, F.A.T. As proposições de uma escola inclusiva na concepção de professores de educação especial: algumas problematizações. Revista Brasileira de Estudos Pedagógicos, v. 252, n. 99, p. 277-293, 2018. VELDEN, H. F. V.; LEITE, L. P. Método de pesquisa da temática deficiência nos currículos de psicologia. Psicologia em Estudo, v. 3, n. 18, p. 497-507, 2013. VITALIANO, C.R. Análise da necessidade de preparação pedagógica de professores de cursos de licenciatura para inclusão de alunos com necessidades educacionais especiais. Revista Brasileira de Educação Especial, v. 3, n. 13, p. 399-414, 2007. 358 ANÁLISE DAS DIRETRIZES CURRICULARES DO MINISTÉRIO DA EDUCAÇÃO (MEC) E DAS MATRIZES CURRICULARES DOS CURSOS DE FORMAÇÃO EM PEDAGOGIA E PSICOLOGIA PARA A FORMAÇÃO NA TEMÁTICA DAS ALTAS HABILIDADES/SUPERDOTAÇÃO VIRGOLIM, A.M.R. A educação de alunos com altas habilidades/superdotação em uma perspectiva inclusiva. In: L.C MOREIRA; STOLTZ, T. (Orgs.). Altas habilidades/superdotação, talento, dotação e educação. Curitiba: Juruá, p. 95-112, 2012. VIRGOLIM, A.M.R.; KONKIEWITZ, E.C. Altas habilidades/superdotação, inteligência e criatividade. Campinas: Papirus, 2014. 359 CAPÍTULO 7 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS – CONTRIBUIR PARA A MELHORIA DA QUALIFICAÇÃO DOS DOCENTES DA EDUCAÇÃO BÁSICA Remi Castioni Norivan Lustosa Lisboa Dutra Sidelmar Alves da Silva Kunz 361 SUMÁRIO – CAPÍTULO 7 PROTÓTIPO DE ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS 364 Informações básicas Impactos esperados Apresentação 1. MÉTODO 368 2. FORMAÇÃO DOCENTE NO BRASIL 369 2.1 Interesse pela profissão docente: um dos gargalos da educação brasileira 2.2 Atrair e reter profissionais para a carreira docente: desafios e possibilidades 3. SINGULARIDADE: CRIAÇÃO E MISSÃO DA UNB 385 3.1 Formas de acesso aos cursos de licenciatura: o caso da UnB 3.2 Expansão dos números da UnB: perspectiva geral 3.3 Números da UnB: perspectiva das licenciaturas 3.3.1 Números da UnB: perspectiva das licenciaturas em pedagogia, letras, biologia, matemática, física e química 3.4 Demanda de candidatos aos cursos de licenciaturas da SEDF 4. ALGUNS ACHADOS 399 5. NOTA TÉCNICA 402 5.1 Sumário executivo 5.2 Base legal 5.3 O protótipo 5.4 O público-alvo 5.5 O processo de reconhecimento de competências e habilidades docentes 6. CRONOGRAMA DE ACESSO PAD-CLIC 408 REFERÊNCIAS 410 LISTA DE QUADROS, GRÁFICOS E TABELAS 417 APÊNDICE A 432 APÊNDICE B 437 ANEXO A 438 AGRADECIMENTOS 440 CADERNO DE PESQUISA 2 PROTÓTIPO DE ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS INFORMAÇÕES BÁSICAS Para a construção desse trabalho tomou-se por referência a Lei nº 13.478, de 30 de agosto de 2017, que prevê acesso diferenciado ao ensino superior, para os professores em atuação na educação básica da rede pública municipal, estadual e federal interessados nos cursos de pedagogia e nas licenciaturas em matemática, física, química, biologia e língua portuguesa. Nossos objetivos foram: a) realizar revisão de literatura sobre a formação de professores; b) discutir as formas atuais de ingresso na UnB; c) levantar o quantitativo de docentes da Secretaria de Educação do DF que não são portadores de diploma de graduação; d) apresentar a demanda de acesso diferenciado aos cursos de pedagogia e licenciaturas em diferentes áreas na UnB; e e) apresentar um protótipo de acesso diferenciado ao ensino superior, com foco nos cursos de licenciaturas. Para o estudo foi realizada revisão de literatura relativa à formação de professores. As discussões preliminares renderam duas apresentações orais no congresso científico, VI Congresso Iberoamericano em Lleida – Barcelona, na Espanha, em 2018 e um capítulo de livro de autoria de Norivan Lustosa Lisboa Dutra, Sidelmar Alves da Silva Kunz e Remi Castioni intitulado “Torne-se professor: acesso diferenciado aos cursos de pedagogia e licenciaturas como uma possibilidade a mais”, publicado na obra: Maria Aparecida Alferes. (Org.). Qualidade e políticas públicas na educação, v. 5, p. 274-283. O livro foi publicado no formato e-book (capítulo 29) em: <encurtador.com.br/zKNZ7>. 364 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Realizou-se, também, um estudo quantitativo de professores da Secretaria de Educação do Distrito Federal que não sejam portadores de diploma de graduação, conforme prevê a Lei n° 13.478, de 30 de agosto de 2017, e discussões sobre as formas atuais de ingresso (Enem, PAS e vestibulares tradicionais) utilizados pela Universidade de Brasília, bem como o quantitativo de professores da UnB que atuam com as licenciaturas. Para finalizar, apresentamos uma nota técnica com as descrições de uma proposta de acesso diferenciado aos cursos de licenciaturas. IMPACTOS ESPERADOS O esforço realizado foi o de proporcionar, em certa medida, uma alteração da política de acesso à educação superior, por meio do rearranjo das estratégias de ingresso na educação superior de forma a contemplar os docentes da educação básica e os candidatos aos cursos de pedagogia e de outras licenciaturas. Essa proposta possibilita a otimização do financiamento direto na educação básica como forma de valorização docente, já que se trata de uma proposição de boa gestão dos recursos públicos com aplicação direta na formação dos professores da educação básica. Essa medida impulsiona o acesso dos docentes aos cursos de pedagogia e de outras licenciaturas sem a necessidade de realizar o exame vestibular. Os estudantes (assim como a toda a sociedade) serão os maiores beneficiários, pois poderão contar com profissionais qualificados trabalhando na rede pública de educação básica, ministrando os componentes curriculares que atuam. 365 CADERNO DE PESQUISA 2 APRESENTAÇÃO Este trabalho apresenta o resultado final do Projeto de Pesquisa intitulado “Acesso diferenciado aos cursos de Pedagogia e Licenciaturas – contribuir para a melhoria da qualificação dos docentes da educação básica”, que tem como objetivo propor modelo diferente de acesso ao ensino superior para professores concursados das redes públicas de educação básica. Essa proposta se dá em atendimento às exigências estabelecidas pelo Projeto de Lei (PLS) no 322/2008 convertido na nova Lei nº 13.478, de 30 de agosto de 2017 (Anexo A), que altera a Lei de Diretrizes e Bases da Educação (LDB) nº 9.394, de 20 de dezembro de 1996. Ressalta-se que esse PLS, de autoria do senador Cristovam Buarque (PPS-DF), tramitou no Congresso Nacional por quase uma década, porém somente no dia 28 de junho de 2017 foi aprovado e encaminhado à sanção presidencial. O referido projeto, já convertido na lei supramencionada, prevê acesso diferenciado ao ensino superior para os professores em atuação na educação básica da rede pública municipal, estadual e federal interessados nos cursos de pedagogia e nas licenciaturas em matemática, física, química, biologia e língua portuguesa. Para ser contemplado o docente precisa ser concursado há pelo menos 3 anos e não ser portador de diploma de graduação. A lei estabelece, ainda, que as universidades deverão criar estratégias para atender esse público. A justificativa utilizada pelo senador Cristovam Buarque está nas estatísticas oficiais, que apontam déficit de aproximadamente 400 mil professores na área de ciências. Além disso, também preocupa o fato de que há um quantitativo elevado de docentes sem a formação necessária para o exercício profissional da ordem de 30%. Outra necessidade é a valorização daqueles que já fizeram a opção pela carreira docente, mesmo sem ter a formação adequada. Diante do cenário, o PLS figura como uma medida para a ampliação das fontes de financiamento por meio de ações urgentes com foco específico na formação (BRASIL, 2008). Assim, considerando que esta pesquisa está intrinsecamente ligada às últimas alterações feitas na LDB no que se refere à formação docente foram realizados, ao longo desta investigação, estudos concernentes aos 366 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS desafios da profissão docente, taxas de evasão nos cursos de licenciaturas, o levantamento quantitativo de docentes da secretaria de educação do Distrito Federal que não sejam portadores de diploma de graduação e professores que atuam em disciplinas diferentes daquela para o qual possui habilitação, além do mapeamento das práticas de ingresso (Enem, PAS e vestibulares tradicionais) utilizadas pela Universidade de Brasília (UnB), que não favorecem o acesso especial para os candidatos aos cursos de licenciaturas. Objetivamos nesta pesquisa criar um sistema de ingresso alternativo, nos marcos firmados pela Lei nº 13.478 (vide quadro 1). Optamos por priorizar a UnB, porque ela possui vantagens comparativas em relação às demais universidades, já que utiliza diferentes modalidades de acesso, incluindo o programa de avaliação seriada (PAS). Este programa permite acompanhar o desempenho dos alunos durante todo o período do ensino médio, o que favorece a integração dos professores da rede de educação básica à universidade, como já havia sido realizado pelo então centro de seleção e de promoção de eventos (Cespe), atual centro brasileiro de pesquisa em avaliação e seleção e de promoção de eventos (Cebraspe), com o fórum permanente de professores. Esclarece-se que as discussões teóricas apresentadas ao longo do desenvolvimento da pesquisa serviram de base para a construção da proposta de acesso diferenciado previsto na Lei nº 13.478, de 30 de agosto de 2017, pois entendemos ser importante conhecer a realidade para promover a inovação dos procedimentos de acesso à educação superior. Entre as dificuldades encontradas ao longo dos trabalhos, destacamos que as solicitações e buscas realizadas, no primeiro trimestre, concernentes aos dados sobre os cursos da UnB, não foram devidamente atendidas ou alcançadas. Tal fato demandou o uso de recursos de garimpagem, por parte da equipe executora, que saíram em busca de dados em sinopses e anuários estatísticos publicados e disponibilizados nos sites da instituição, já que a UnB não tinha informações disponíveis, devidamente sistematizadas, referentes aos cursos de licenciatura. Esta busca fez com que tivéssemos que realizar um esforço hercúleo para obter os dados, os quais foram explorados, analisados e apresentados no segundo relatório (segundo trimestre de execução desse trabalho). 367 CADERNO DE PESQUISA 2 Os dados de docentes da SEDF foram obtidos após o pedido de informações à própria SEDF. Os dados de professores da UnB contratados durante o Reuni foram obtidos via pedido de informações na plataforma e-SIC da CGU. No entanto, os dados enviados diferem muito do pedido original formulado, uma vez que o atendimento ao e-SIC por parte da UnB deu-se somente por quantitativos e gênero, não identificando nenhuma informação adicional. 1. MÉTODO Em razão da necessidade de considerar as distintas percepções acerca do nosso objeto de investigação e da heterogeneidade de aspectos envolvidos assume-se que a natureza desta pesquisa é quali-quantitativa, pois envolve métodos procedimentais quantitativos e qualitativos com foco na conquista de uma análise mais aprofundada (BOGDAN; BIKLEN, 2003). Como o objetivo era oferecer proposta alternativa ao ingresso na universidade, em substituição aos tradicionais formatos de acesso como o vestibular e o Enem, utilizou-se, entre outros procedimentos metodológicos, o levantamento do quantitativo de professores sem diploma de graduação da secretaria de educação do Distrito Federal para se obter a demanda de acesso diferenciado aos cursos de pedagogia e às licenciaturas em matemática, física, química, biologia e língua portuguesa para ingresso na UnB. Como fonte de informação, foram obtidos dados junto à subsecretaria de planejamento, acompanhamento e avaliação (SUPLAV) da SEEDF. Esses dados foram somados a outras bases de dados que compõem a pesquisa documental que integra as análises de relatórios estatísticos. Na revisão da literatura, pensando na formação de professores e no cenário das formas de ingresso na UnB, fez-se uso de pesquisa bibliográfica que abordava as limitações e indicava as possibilidades de construção de novas alternativas para o acesso ao ensino superior com ênfase no atendimento das demandas dos professores da educação básica. Além disso, abordaram-se as experiências seminais, como é o caso das universidades criadas a partir do programa de apoio a planos de reestruturação e expansão das universidades federais (Reuni) que, ao adotarem o ingresso por grandes áreas de conhecimento e os bacharelados interdisciplinares (conforme parecer CNE/CES nº 266, de 6 de julho de 2011), servem de inspiração para se construir novos marcos nesse campo, além das discussões 368 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS ocorridas no âmbito da Secretaria de Educação Superior do Ministério da Educação (SESU/MEC), a qual retomou discussão que havia ocorrido quando da implementação do Plano de Reestruturação e Expansão das Universidades Federais (Reuni) para os Bacharelados Interdisciplinares e recentemente o fez para as Licenciaturas Interdisciplinares, com vistas a obter aprovação junto ao Conselho Nacional de Educação (CNE). Para a construção de uma proposta diferenciada de acesso ao ensino superior na UnB, em atendimento às disposições da Lei nº 13.478/2017, partiu-se da análise da literatura internacional, compilação crítica dos dados obtidos ao longo da pesquisa e reflexão com foco na inovação dos procedimentos de acesso à educação superior. 2. FORMAÇÃO DOCENTE NO BRASIL 2.1 INTERESSE PELA PROFISSÃO DOCENTE: UM DOS GARGALOS DA EDUCAÇÃO BRASILEIRA Muito se tem falado, discutido, pesquisado e publicado sobre a formação docente. Eventos científicos, artigos de revistas especializadas, livros de autores renomados1, expressam preocupações em relação ao reconhecimento e valorização do professor, dando, entre outras ações, visibilidade a um dos grandes gargalos da educação brasileira – queda no número de estudantes interessados pela carreira docente – e aos fatores que possivelmente estão relacionados. As preocupações abrangem reflexões sobre as políticas públicas educacionais voltadas para a profissão docente, o papel do professor no processo de ensino e aprendizagem, a estruturação da carreira docente, a formação continuada desses profissionais, a valorização do professor no mercado de trabalho, as condições de trabalho nas escolas e universidades, além do adoecimento docente, entre tantos outros assuntos que giram em torno do mesmo eixo: o professor. É importante destacar que este profissional é o mediador do conhecimento, o artista que se assemelha ao oleiro que toma o barro e faz o pote, que ¹ Como Bernadete Gattini (2011); Valle (2006); Tartuce Nunes, Almeida (2010) Nogueira (2012); Gomes e Palazzo (2017), dentre outros. 369 CADERNO DE PESQUISA 2 ao burilar a argila o deixa ainda mais valioso e mais belo (BRANDÃO, 1989). O professor, no processo ensino e aprendizagem, possibilita ao aluno ver o não visto, fazer descobertas, inventar, reinventar, criar, recriar. Apresenta novos caminhos do saber, novas possibilidades de interrogar o mundo, a sociedade, o homem, a cultura, a educação e a escola, estimula a ir além, questiona, problematiza, ajuda no desenvolvimento da criatividade e, principalmente, da autonomia. Em outras palavras, o professor, em sua atuação didática e pedagógica, é parte primordial na formação do cidadão crítico, reflexivo, capaz de viver na sociedade complexa e contraditória e nela poder interferir. Na concepção do educador Anísio Teixeira, é na escola, a instituição servida pela arte, extremamente complexa, que acontece a “arte de educar e ensinar em todos os níveis da cultura humana” (TEIXEIRA, 2011, p. 158). Como se percebe, a perspectiva de Brandão (1989) dialoga com essa visão manifestada por Anísio Teixeira no que tange ao trabalho do professor comportar a dimensão artesanal e própria. Logo, não há que se pensar em uma política educacional que desconsidere o cuidado com o professor em suas múltiplas dimensões. Considerando as particularidades do fazer docente, é mister que algumas pessoas se sintam inclinadas a escolher a profissão de professor. Muitos ficam encantados pela profissão por entenderem ser esta a oportunidade para exercitar os dons e vocações, pelo desejo de ensinar, de contribuir com a formação de outras pessoas, pelo amor às crianças, aos adolescentes e aos adultos, pelo amor a profissão e ao saber (TARTUCE, NUNES, ALMEIDA, 2010). Acrescentamos a isso o fato de que Gomes e Palazzo (2017) revelam que os fatores associados à atratividade da profissão docente são a gratificação emocional, a aprendizagem recíproca, a maior facilidade para ser empregado e o valor da atividade docente em termos de contribuição para o futuro do país. Entretanto, há de se reconhecer que a escolha da profissão também está associada às mudanças políticas, socioculturais e econômicas do mundo globalizado, à efervescência das tecnologias e das comunicações – que foram intensificadas a partir da década de 1980 e que contribuíram para potencializar as transformações no mundo do trabalho e no estilo de vida, 370 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS no modo de agir e pensar das pessoas, gerando, com isso, novas maneiras de compreensão, escolha da carreira e desenvolvimento profissional. Tartuce, Nunes e Almeida (2010), ao estudarem a atratividade da carreira docente no Brasil sob a perspectiva dos estudantes concluintes do ensino médio, explicitam que é crescente a perda de interesse dos adolescentes pelo magistério. Esse estudo abarcou escolas públicas e particulares de cidades grandes e médias de distintas regiões do país. Segundo as autoras, apenas 2% dos estudantes concluintes do ensino médio declaram ter algum interesse em se candidatar a um curso de pedagogia ou de outra licenciatura. Na mesma linha, o estudo realizado pela Fundação Carlos Chagas2 (FCC), coordenado pela pesquisadora Bernadete Gatti no ano de 2009, indica que muitos estudantes do ensino médio têm o projeto de, em algum momento, fazer um curso de graduação. A certeza do ingresso é manifestada, em maior proporção, pelos estudantes oriundos das escolas particulares, enquanto os de escola pública demonstram limitações e dificuldades para ingressarem numa universidade pública, sendo a instituição privada a única opção. Por meio de reserva de vaga, a Lei de Cotas (Lei nº 12.711, de 29 de agosto de 2012) garantiu o acesso de estudantes de escola pública, negros, pardos e indígenas nas instituições públicas de educação superior. O perfil socioeconômico dos estudantes dos cursos de graduação em instituições públicas brasileiras mudou radicalmente em função das legislações que intensificaram o ingresso por meio de cotas. De acordo com a Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior no Brasil (Andifes) (2016), o número de estudantes negros nas universidades federais triplicou entre 2003 e 2014. A partir dos dados apresentados pela Andifes (2016), nota-se que as universidades federais brasileiras conseguiram avanços importantes no sentido de refletirem a realidade social brasileira no ensino superior. Numa sociedade como a nossa é, no mínimo, estranho não ter a presença expressiva da população parda ou negra na educação superior. Além, é cla² A pesquisa foi realizada pela Fundação Carlos Chagas por demanda da Fundação Victor Civita, no ano de 2009. O estudo contou com a supervisão da professora Bernadete Gatti e pode ser acessado em: www.fvc.org.br/estudos. 371 CADERNO DE PESQUISA 2 ro, dos estudantes das escolas públicas. As alterações no Enem em 2009 somadas à Lei de Cotas em 2013 e a maior adesão ao Sistema de Seleção Unificada (Sisu), provavelmente, influíram nesta tendência de mudança no perfil socioeconômico no ensino superior público. De acordo com essa pesquisa (op. cit.) 51,43% dos estudantes das instituições federais têm renda familiar bruta de até 3 salários mínimos. Esses são dados relativos ao ano de 2014. Segundo o censo escolar do Inep de 2016, a rede privada conta hoje com 1 milhão de alunos no ensino médio – que correspondem a apenas 12,5% do total de alunos matriculados nesta etapa. Como se nota, a participação das escolas particulares no ensino médio é pequena e isso se dá mesmo como a constatação de um crescimento da ordem de 4,5% nos últimos 8 anos. Isso expressa o volume próximo de 90% dos estudantes do ensino médio matriculados na escola pública, sobretudo na rede estadual, que concentra 96,9% dos estudantes da rede pública nessa etapa de escolarização. Ao pensarmos nisso, temos noção do desafio que as universidades precisam enfrentar nos próximos anos para conseguir aproximar a realidade das instituições de ensino superior públicas àquela presente na sociedade, embora se reconheça que alguns passos foram dados nessa direção. Os estudos de Casciano (2016) identificaram que a grande maioria dos estudantes que optaram pela carreira de magistério são egressos do ensino público e realizaram a graduação nas instituições do setor privado, com destaque para o curso de pedagogia. Neste curso sobressai o número de discentes que obtiveram menores médias nos exames, são de famílias com baixa escolaridade e, geralmente, representam a primeira geração a ingressar no ensino superior. Outro ponto a salientar se refere ao hiato existente entre o desejo pessoal e a realidade socioprofissional dos estudantes. Neste caso, diferentes problemas são envolvidos na tomada de decisão do curso pretendido, incluindo desde fatores econômicos, mercado de trabalho, até expectativas dos familiares, que nem sempre estão em acordo com o desejo dos jovens. Marafelli, Rodrigues e Brandão (2017) advertem que pesquisas recentes indicam que muitos estudantes, mesmo tendo condições para aprovação em outras áreas do conhecimento, fazem a opção pelo curso de magistério, 372 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS com a certeza de que não pretendem atuar na profissão. Essa improvável escolha do estudante, gera atitudes e preconceitos bastante arraigados aos alunos, “[...] tendo em vista o desprestígio e as perspectivas salariais e da carreira no contexto brasileiro” (Ibidem, p. 987-988). Segundo Bauer, Cassettari e Oliveira (2017) a profissão é atraente no Brasil, somente para uma parcela da população, pois é uma profissão que tem grande número de postos de trabalho disponíveis, especialmente no setor público – que se apresenta como vantajoso, uma vez que viabiliza a estabilidade no emprego, a aposentadoria integral e, em menor tempo, o maior período de férias e a possibilidade de trabalho em apenas um turno. Assim, ao considerarmos o panorama da profissão docente no Brasil, podese dizer que é dotado da mais alta complexidade, assim como há um nível elevado de cobranças em termos de formação e de envolvimento pessoal. Somados esses aspectos, é notório que a desvalorização pela qual os docentes brasileiros estão passando não encontra justificativa racional, ao se comparar com o tratamento destinado às demais profissões de nível superior com características próximas às exigências do magistério. Foi para evitar esta desvalorização que a meta 17 do plano nacional de educação (Lei nº 13.005/2014), previu que a remuneração dos professores tem de ser equivalente à de outras profissões que têm a mesma exigência na formação superior. Cabe destacar que o monitoramento das metas prevê que até 2020 essa meta seja alcançada. Por hora, o rendimento dos professores não passa a porcentagem de 75% das demais profissões (relatório do 2 ciclo de monitoramento das metas do PNE, 2018). Esse é um dos fatos que potencializam o desinteresse pela carreira, bem como “[...] a insatisfação dos que já estão inseridos no campo da docência e a rejeição daqueles que ainda estão na iminência de se inserir no mercado de trabalho” (TARTUCE, NUNES, ALMEIDA, 2010, p. 459). Essa condição é evidenciada em Gomes e Palazzo (2017) quando dizem que o estudante, ao fazer a escolha pelo curso na área de ensino, não o faz como a sua primeira escolha, mas isso se configura como oportunidade ou única alternativa que sobra à maioria dos alunos de baixa renda para ingressar na educação superior. Outro aspecto relatado diz respeito à visão de muitos estudantes que já entram nos cursos de licenciatura vendo-os como um “trampolim”, para que, no futuro, possam usar o salário de do373 CADERNO DE PESQUISA 2 cente para realizar outra graduação e, aí sim, poder exercer a profissão que pretendem. Tal realidade indica que as escolhas dos candidatos por cursos de licenciatura estão condicionadas às suas trajetórias passadas, assim como à posição do indivíduo na estrutura de classes (NOGUEIRA, 2012; GOMES; PALAZZO, 2017). Nessa perspectiva, fica evidente que: [...] os alunos antecipam o momento da seleção formal e escolhem cursos compatíveis com suas características socioeconômicas e acadêmicas [...] A seleção ocorre com base em uma estimativa a priori de sua capacidade em comparação com o resto dos candidatos e da intensidade da competição para acessar cada uma das carreiras prospectivas (seleção acadêmica), além da seleção automática com base em suas características socioeconômicas e gênero3 (GOMES; PALAZZO, 2017, p. 97). Como se nota, não há que se falar de fato em escolha. O que temos é um processo de reconhecimento dos estudantes, considerando as suas condições de disputa no processo seletivo e a percepção das possibilidades de não ser excluído com grande facilidade. Então entra em ação a autosseleção em função das condições objetivas e reais dos estudantes quanto à concorrência nos vestibulares com os demais candidatos que cursaram trajetórias escolares distintas. Assim, o movimento é de buscar cursos que atraem um perfil de alunos parecidos consigo. E a licenciatura é a área com menor capacidade de atração para os candidatos melhor preparados em termos de domínio de conteúdos e trajetória escolar mais sólida, bem como em termos de formação complementar (inglês, informática, música, dentre outras). A pesquisa da FCC sinalizou que apesar dos jovens reconhecerem a profissão como gratificante e permeada de sentimentos de prazer e satisfação, havia também inúmeras dificuldades, as quais traziam desmotivação que envolvia desde a preocupação com o excesso de trabalho ao pouco ou nenhum reconhecimento da profissão docente. Além disso, é uma profissão que requer paciência, muita dedicação e, em alguns casos, as frustrações ³ No original (Inglês EUA): “[...] the students anticipate the moment of formal selection and choose courses that are compatible with their socioeconomic and academic characteristics [...] The selection occurs on the basis of an a priori estimate of their capacity in comparison with the rest of the candidates and of the intensity of the competition to access each one of the prospective careers (academic auto-selection) in addition to the auto-selection based on their socioeconomic characteristics and gender.” (GOMES; PALAZZO, 2017, p. 97) 374 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS ultrapassam as barreiras da escola. Ademais, a profissão de professor parece ser muito árdua quando comparada aos interesses e necessidades dos jovens. Árdua porque, apesar de transformadora e respeitável, exige uma forma de dedicação e um saber-fazer que ocupam completamente aquele que a ela se dedica, de modo a exigir demais e retribuir de menos. O exercício do magistério aparece como nobre e desejável, há reconhecimento e gratificação, por parte dos alunos, por esse ofício, mas tal sentimento de satisfação se mostra excessivamente intermitente e incontrolável para tornar-se um desejo/realidade por todos almejada ou mesmo suportada (GATTI et al., 2009, p. 65). Se por um lado a profissão docente é árdua, de outro lado ela também pode ser penosa, pois também é permeada por demandas afetivas que estão intrinsecamente ligadas às práticas pedagógicas, cobranças de cumprimento de prazos em meio aos desafios estruturais, incluindo salas abarrotadas, pressões vindas de diferentes setores dos órgãos governamentais, da comunidade e de pais de alunos, além da necessidade de continuar criando, inovando e promovendo ensino e aprendizado com qualidade. Tais situações geram no professor tensões físicas e psicológicas, uma vez que o sentimento de incapacidade diante de tamanhas responsabilidades se manifesta, provocando adoecimento e absenteísmo do profissional. Um dos diagnósticos mais recorrentes é conhecido como a Síndrome de Burnout 4 . Esta patologia, na concepção de LeCompte e Dworkin (1991), está diretamente ligada à alienação: o profissional desenvolve sentimentos de desilusão e impotência em suas atividades laborais, pois não consegue realizar mudanças significativas. O entendimento de que a profissão docente é penosa foi dada, em documento oficial, pelo então Presidente João Goulart, no Decreto nº 53.831, de 25 de março de 1964, que trata da aposentadoria. Vejamos o artigo 2º: “para os efeitos da concessão da aposentadoria especial, serão considerados serviços insalubres, perigosos ou penosos, os constantes do qua⁴ A Síndrome de Burnout é identificada como uma modalidade de stress ocupacional, que geralmente atinge profissionais no desempenho de funções assistenciais/profissionais. 375 CADERNO DE PESQUISA 2 dro 4, em que se estabelece também a correspondência com os prazos referidos no artigo 31 da citada Lei”. Mais especificamente, o artigo 2º se refere ao código 2,1,4, concernente ao campo de aplicação do magistério, serviços e atividades profissionais de “professores”, com classificação de penoso, tempo de serviço de 25 anos e com a observação de jornada normal ou especial fixada em Lei Estadual, GB, 286; RJ, 1.870, de 25-4. Art. 318, da consolidação das leis do trabalho. Apesar do decreto já não mais vigorar, a ideia e a representatividade dos desafios enfrentados pelo docente são fatos que perduram na realidade brasileira. Isso, no entanto, tem se refletido no momento da escolha da profissão e tem se intensificado, especialmente quando são consideradas as mudanças sociais, políticas e econômica das últimas décadas. De acordo com Gatti et al. (2009), os fatores que têm contribuído para isso incluem aspectos de natureza objetiva e subjetiva. Em outras palavras, a carreira docente torna-se cada dia mais instável, uma vez que os contratos dos professores estão sendo substituídos por outros mais flexíveis. Além disso, há de se considerar, o modo como os indivíduos percebem a carreira e como se percebem no mercado de trabalho em meio às transformações sociais, nas relações com o outro, com as novas tecnologias, etc. Na concepção de Valle (2006), ao contrário do que muitos pensam: O destino de uma pessoa não se prende somente às características próprias de sua personalidade – disposição, inteligência, caráter, vocação, aptidão, dons e méritos pessoais, que podem ser cultivados de maneiras diversas –, mas depende principalmente do fato de ter nascido num determinado momento histórico e num certo ambiente sociocultural, definido por elementos estruturais bem precisos: de ordem econômica, política, educacional. Esses elementos pesam sobre as opções de cada um e acabam por prescrever o futuro no mais longo termo, orientando a escolha pessoal e exercendo forte influência sobre o itinerário profissional (VALLE, 2006, p. 179). Com essa elucidação, fica sinalizado que a atratividade da carreira docente tem caído em decorrência de fatores que envolvem, dentre outros, a percepção da família, que investe na formação dos filhos, dedica tempo e recursos financeiros aos estudos durante o período da graduação e, na sequência, na preparação para aprovação em concurso público. Além 376 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS de tudo isso, o futuro da profissão é incerto, os salários oferecidos são aquém do desejável, as possibilidades de ascensão pessoal são limitadas, as condições de trabalho estão cada dia mais precarizadas e o profissional ainda tem que ser versátil (VALLE, 2006). Diante de tal realidade, não é de se estranhar a queda no número de formandos nos cursos de licenciatura. Sobre essa questão Gatti et al. (2009, p. 14) advertem que, entre os anos de “2005 a 2006, houve a redução de 9,3% de alunos formados em licenciatura. A situação é mais complicada em áreas como Letras (queda de 10%), Geografia (menos 9%) e Química (menos 7%)”. Há, também, déficit de professores nas áreas de Física, Matemática, Química e Biologia. Outro ponto abordado pelos autores se refere ao perfil socioeconômico de quem escolhe o magistério, com destaque para os estudantes pertencentes a famílias das classes C e D. Em muitos casos são alunos que apresentam dificuldades com a leitura e a escrita e, consequentemente, na compreensão de texto, sendo na maioria oriundos dos sistemas públicos de ensino. Em geral, são estudantes que: Tiveram dificuldades de diferentes ordens para chegar ao ensino superior. São estudantes que, principalmente pelas restrições financeiras, tiveram poucos recursos para investir em ações que lhes permitissem maior riqueza cultural e acesso a leitura, cinema, teatro, eventos, exposições e viagens. E essa mudança de perfil trouxe implicações para os cursos de licenciatura, que estão tendo de lidar com um novo background cultural dos estudantes (GATTI et al., 2009, p. 15). Na mesma linha Tartuce, Nunes e Almeida (2010) afirmam que mais de 70% dos que optam pela carreira de professor são mulheres e pouco menos de 50% são pardos ou mulatos. Entre os interessados pela profissão, destacam-se outras características: quanto maior o grau de escolaridade dos pais, menor a intenção de ser professor e 87% dos candidatos interessados são oriundos da escola pública. Além disso, cerca de 20% não têm preferência por nenhuma atividade artístico-cultural; possuem baixo envolvimento com o curso de graduação (70% não estão envolvidos em nenhuma atividade acadêmica); usam pouco tempo de estudo para complementar as aulas; utilizam pouco a biblioteca, e têm pequena participação em projetos de pesquisa. 377 CADERNO DE PESQUISA 2 Souza (2010) declara que “[...] os dados revelam hábito cultural preocupante por se tratarem de futuros professores, pouca leitura de uma maneira geral e muitos ainda utilizam a TV para se atualizar [...] em sua maioria com pouco acesso a atividades culturais” (p. 73). Nessa mesma direção, Gomes e Palazzo (2017) mostram que os estudantes dos cursos de licenciatura analisados são oriundos de famílias de baixa renda com escasso conhecimento de línguas estrangeiras, não realizam leituras frequentes de livros ou jornais e contam com apenas uma presença tímida em atividades culturais diversificadas (geralmente restritas ao cinema). A partir da análise de ingressantes, concluintes e egressos de cursos de licenciaturas em matemática e pedagogia, Gomes e Palazzo (2017) apresentam os fatores de atratividade e rejeição da carreira do magistério. Esses autores são contundentes ao afirmar que a falta de atratividade da profissão docente foi confirmada por uma série de pesquisas, assim como pela prática dos gestores nesse campo de atuação. Segundo esses autores, “a falta de professores se faz sentir em certos componentes curriculares e certas regiões do Brasil e, aparentemente, a situação está piorando”5 (Ibidem, p. 93). No contexto nacional as taxas de evasão das universidades federais calculadas pelo fórum nacional de pró-reitores de planejamento e de administração das instituições federais de ensino superior (Forplad), documento publicado em 2017, verifica-se que a taxa média é de 13,41%, e a da UnB é de 14,42%. Destaca-se que essa taxa da UnB contrasta com os resultados bem menores de outras instituições, como a Universidade Federal do Amapá (3,62%), a Fundação Universidade Federal do Tocantins (4,70%) e a Universidade Federal do Pará (4,97%) e com outras com maiores índices: a Fundação Universidade Federal do Pampa – Unipampa (31,94%), a Universidade Federal da Fronteira Sul (29,36%) e a Universidade Federal do Mato Grosso do Sul (24,35%). Esses resultados dão a dimensão dos obstáculos a serem enfrentados para reverter o quadro que resulta numa taxa elevada de evasão. ⁵ Texto no original (Ingles EUA): “The lack of teachers makes itself felt in certain study subjects and certain regions and apparently the situation is currently getting worse”. 378 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Esse quadro é radicalmente transformado ao se verificar as informações relativas aos cursos de licenciatura. No relatório do Forplad (2016), vide tabela 1, a UnB se posiciona com a taxa de evasão mais elevada entre as federais em cursos como Educação Física (32,2%) – bem acima da segunda, a Unifesp, com (25,9%) –, Ciências Biológicas (57,2%) – muito acima da segunda, UFPA, com (18,8%) – e o curso de Pedagogia, com 29,1% de taxa de evasão, bem superior à da segunda, Unifesp, com 21,2%. Gemaque e Souza (2016, p. 92) asseveram que: “adicionalmente às causas externas, o que possivelmente leva à evasão dos alunos nas IES é a deficiência escolar no ensino básico e as repetências em disciplinas da graduação”. Partes consideráveis das repetências são resultantes da necessidade de conciliar vida profissional com os estudos. Esses mesmos autores ponderam que “a temática da evasão e do cálculo do custo por aluno está inserida na questão da gestão das universidades públicas, que se identifica pela origem orçamentária de recursos públicos e pela rigidez da estrutura administrativa e organizacional” (GEMAQUE; SOUZA, 2016, p. 95). Bauer, Cassettari e Oliveira (2017), ao fazerem referências ao relatório da Organização para a Cooperação e Desenvolvimento Econômico – OCDE, destacam que o problema da escassez de professores é, “de maneira geral, maior em áreas remotas e nas periferias das grandes cidades, nas quais residem os estudantes mais vulneráveis, acentuando as desigualdades existentes. Nessas áreas, os professores também tendem a ter menor experiência e qualificação” (p. 946). Na mesma linha seguem as discussões no livro “Profissão professor na América Latina: por que a docência perdeu o prestígio e como recuperá-la?”, no qual os autores colocam em evidência as dificuldades da profissão docente no contexto atual, especialmente no que se refere a atratividade e manutenção dos profissionais na carreira do magistério. Não é demais lembrar que o mundo contemporâneo oferece inúmeras possibilidades de carreira promissoras aos jovens, ao mesmo tempo em que a profissão de professor perde o prestígio em decorrência de alguns fatos, entre eles: 379 CADERNO DE PESQUISA 2 a) com o rápido aumento no número de alunos que ingressaram na vida escolar entre os anos 1960 e 1980, a qualidade da formação pedagógica inicial foi deixada de lado e deterioraram-se as condições de trabalho dos professores, o que contribuiu para a perda do prestígio da profissão. b) como as mulheres passaram a ter acesso a um nível educacional mais elevado e novas oportunidades de trabalho, a docência não conseguiu manter-se atrativa para as candidatas de maior talento (LEVY, 2018, p. XVI). Nesse cenário, torna-se necessário transformar as características e a formação dos professores do futuro para que crianças e jovens atinjam seu pleno potencial. Em outras palavras, é preciso atrair, formar e selecionar pessoas motivadas e com bom desempenho acadêmico, para que cada aluno tenha acesso a um professor eficaz. Mas não é só: os programas de formação inicial devem preparar os professores com todas as ferramentas necessárias para a atuação docente (LEVY, 2018). De acordo com Elaqua et al. (2018), um fator a ser observado para alcançar a eficácia docente é o combate aos altos níveis de absenteísmo entre os profissionais. Entre os anos de 2004 e 2011, a taxa de absenteísmo dos professores foi de cerca de 15% no Equador e em Honduras, 13% no Peru e no Brasil chegou a 8%. Da mesma forma, estima-se que em 2013, na cidade de Buenos Aires, na Argentina, foram registrados mais de 2 milhões de casos de ausência de professores. Conforme sinaliza a pesquisa realizada por Lapo e Bueno (2003), o absenteísmo, inicialmente temporário, geralmente evolui para o afastamento definitivo. Esta prática está relacionada à insatisfação da realização pessoal e profissional do professor e o sentimento de incapacidade para resolver os problemas do dia a dia da profissão docente. Quando o profissional consegue adaptar-se a tais situações, surgem outros desafios: lutar contra seus próprios sentimentos, seus valores e princípios. Outro ponto destacado por Elaqua et al. (2018) é o fato dos professores da América Latina não possuírem boas práticas na sala de aula. Ao citar outros estudos, Elaqua et al. (2018) salientam que a atuação do professor nas atividades de gestão da sala de aula (por exemplo, controlar a participação e apagar a lousa, ou mesmo tarefas não relacionadas à aula), contribuem para elevar o tempo perdido (cerca de 20%) que o professor poderia dedicar ao ensino. Além disso, os professores latino-america380 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS nos usam parcamente as tecnologias de informação e comunicação; têm grande dificuldade em manter o interesse e a participação dos alunos na aprendizagem; utilizam práticas inadequadas em sala de aula e o nível de conhecimento dos docentes se apresenta como insatisfatório, fatos que elevam as possibilidades da baixa eficácia. Embora a América Latina e o Caribe tenham avançado nas políticas docentes, as iniciativas não foram suficientes para superar os entraves que a profissão enfrenta. Isso indica a necessidade de percorremos um longo caminho, especialmente em políticas salariais, na formação e na avaliação dos nossos professores. 2.2 ATRAIR E RETER PROFISSIONAIS PARA A CARREIRA DOCENTE: DESAFIOS E POSSIBILIDADES A complexidade da profissão docente evidencia que um dos grandes desafios é promover ações que possam atrair o estudante para os cursos de licenciatura, ao mesmo tempo, retê-lo nos cursos, e ainda mantê-lo na profissão. Então, o que fazer? No entendimento da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), para atrair e reter o profissional são necessárias ações eficazes, desde o recrutamento a incentivos e motivação em todo o percurso profissional. As principais diretrizes de políticas sugeridas pelas OCDE estão apresentadas no quadro 2. A partir da leitura do quadro construído pela OCDE – com foco em aspectos das políticas voltadas para os professores na Alemanha, Austrália, Áustria, Bélgica, Canadá, Chile, Coréia do Sul, Dinamarca, Eslováquia, Espanha, Estados Unidos, Finlândia, França, Grécia, Holanda, Hungria, Irlanda, Israel, Itália, Japão, México, Noruega, Reino Unido, Suécia e Suíça –, percebe-se a necessidade de se construir estratégias para a profissão docente como um todo, bem como para adequar os ambientes para a realização da formação e do desenvolvimento do trabalho do professor. Além disso, o quadro elucida as estratégias de dar atenção especial a grupos específicos de professores com vistas a atraí-los a determinados espaços escolares. Tudo isso sinaliza a urgência de se colocar as políticas para os professores no nível mais alto das prioridades da agenda nacional, porque é preciso cuidar do professor para frear a queda de qualidade da educação brasileira. 381 CADERNO DE PESQUISA 2 A insuficiente formação do professor é visível, porém é fundamental que se perceba também a desvalorização desse profissional, as precárias condições de trabalho do docente, sobretudo no ensino médio. A ausência de laboratórios equipados e funcionando na maioria das escolas do país também concorre para que os estudantes não tenham o conhecimento ampliado e, consequentemente, melhores desempenhos nas avaliações. Portanto, os docentes são a chave para a nossa democracia (DEMO, 2008). Em análise da situação dos professores da Catalunha6, Prats (2016) afirma que a discussão sobre os docentes é central para se pensar o sistema educacional como um todo. Nesse sentido, aponta que a qualidade de um sistema está diretamente relacionada com a qualidade dos seus professores e ressalta os fatores que têm peso significativo na variação dos resultados acadêmicos, a saber: as condições laborais da docência, os mecanismos de desenvolvimento profissional, o prestígio social do docente e outras tensões próprias do sistema educacional. Assevera que: Per tant, resulta clarament injust menysvalorar els esforços del professorat per mantenir el seu compromís professional en tot moment, malgrat el context d’escassetat de recursos i les desorientacions que provoquen les decisions polítiques. Els resultats en les proves internacionals, com PISA, podrien haver estat molt pitjors sense aquest compromís professional7 (PRATS, 2016, p. 204). A partir desse ponto explicitado por Prats (2016) podemos fazer uma reflexão com o caso brasileiro, em que o sistema educacional tem assumido políticas e posturas que desmoralizam o docente perante a sociedade e passa uma ideia de que não há um esforço por parte dos professores no sentido de reverter o quadro de penúria em que se encontra a nossa educação. A situação do nosso alunado, em termos de aprendizado, só não está pior porque é nítido o esforço de gerações de educadores que se esforçaram na direção de assegurar o compromisso com o futuro do país por intermédio do exercício do magistério. Para esses profissionais, a docência assume uma condição de militância, pois tem a finalidade de empo⁶ Trata-se de uma comunidade espanhola posicionada na porção extrema leste da península ibérica, composta pelas províncias de Barcelona, Girona, Lérida e Tarragona. ⁷ Tradução nossa: “Portanto, é claramente injusto subestimar os esforços dos professores para manter seu compromisso profissional em todos os momentos, apesar do contexto da escassez de recursos e das desorientações que causam decisões políticas. Os resultados em testes internacionais, como o PISA, poderiam ter sido muito piores sem esse compromisso profissional”. 382 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS derar o outro, mesmo nas condições adversas promovidas por uma lógica que não tem como propósito garantir o direito à educação de qualidade. Essa dificuldade em reconhecer, por meio de políticas concretas, a urgência de se alterar o sistema educacional de valorização docente persiste mesmo diante da declaração explicitada no relatório Education at a Glance OECD (2017), que afirma serem os professores a espinha dorsal do sistema de ensino. O relatório é preocupante, dado o fato de a população docente apresentar níveis elevados de envelhecimento. Isso se nota a partir das informações dos países da OCDE, em que 33% dos que atuam na educação primária e secundária possuem mais de 50 anos, ainda em 2015. A participação da mulher na educação é elevada em relação aos homens. Para se ter uma ideia, no nível pré-primário a porcentagem chegou a 97% e no ensino superior elas somam 43%. Outro aspecto que chama atenção são os baixos salários em comparação às demais profissões com formação acadêmica semelhante. Certamente isso se estabelece como um empecilho para os interesses de atuais ou futuros bons profissionais continuarem nessa profissão. Por fim, o relatório é enfático ao afirmar que os salários dos professores ou foram congelados ou reduzidos, sendo que em pelo menos ⅓ dos países os salários dos professores diminuíram após a crise econômica de 2008. No que se refere à formação dos profissionais, desde meados da década de 1990, em especial a partir da aprovação de LDB, o Brasil exige a qualificação superior para atuação nos cursos de licenciatura. Além disso, por meio de políticas educacionais, o país passou a destinar recursos à formação e ao desenvolvimento dos professores, por exemplo o fundo de manutenção e desenvolvimento do ensino fundamental e de valorização do magistério (Fundef), instituído pela emenda constitucional nº 14, de 12 de setembro de 1996 (BRASIL/MEC, 2004) e criado por iniciativa do governo federal, que vinculou 15% do total de impostos à educação fundamental. A lógica do Fundef foi mantida pelo fundo de manutenção e desenvolvimento da educação básica e de valorização dos profissionais da educação (Fundeb) – criado pela emenda constitucional nº 53, de 6 de dezembro de 2006, e regulamentado pela medida provisória nº 339, de 28 de dezembro do mesmo ano, convertida na Lei nº 11.494, de 20 de junho de 2007, e pelos Decretos nº 6.253 e 6.278, de 13 e 29 de novembro de 2007, respectivamen383 CADERNO DE PESQUISA 2 te (BRASIL/FNDE/FUNDEB, 2018) – que ampliou a subvinculação de recursos para toda a educação básica, atendendo aos professores da creche ao ensino médio. Por meio desses fundos foi possível a implementação de: programas como o Pró-Licenciatura, Pró-Letramento, Pró Formação e Rede Nacional de Formação Continuada de Professores, entre outros, foram concebidos pelo governo federal e implementados por estados e municípios com o objetivo de melhorar a qualificação dos profissionais do magistério público brasileiro em todos os níveis de ensino (BAUER; CASSETTARI; OLIVEIRA, 2018, p. 950). Entretanto, apesar das iniciativas e dos avanços na política de formação docente, não podemos negar que ainda há muito para ser feito e superado, “especialmente quando consideradas as diferenças entre as regiões brasileiras e as disciplinas que compõem o currículo da educação básica, que são mais acentuados nas regiões norte e nordeste e nas disciplinas associadas às ciências exatas” (BAUER; CASSETTARI; OLIVEIRA, 2018, p. 951). Diante dos fatos e da realidade brasileira, urge, portanto, a necessidade de se pensar novas possibilidades de políticas públicas educacionais voltadas para a formação docente, para a viabilização do acesso ao ensino superior nos cursos de licenciatura, na valorização desses profissionais. Tais ações refletirão em todos os níveis de ensino, conforme palavras de Pedro Demo: “fica patente que a formação dos professores será o fator mais decisivo da qualidade educativa básica” (DEMO, 2008, p. 23). Assim, o desafio da formação docente é, na prática, o desafio humano da qualidade. Em atenção a essas preocupações, o senador Cristovam Buarque propôs alteração na LDB com vista a atrair e reter os professores nas redes de ensino, o que se deu pela Lei nº 13.478/2017. Essa mudança possibilita às universidades oferecer modalidade de acesso diferenciado aos estudantes interessados nos cursos de pedagogia ou outras licenciaturas, conforme explicitado na nova redação da LDB, no artigo 62-B e seus respectivos parágrafos: 384 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Art. 62-B. O acesso de professores das redes públicas de educação básica a cursos superiores de pedagogia e licenciatura será efetivado por meio de processo seletivo diferenciado. § 1º Terão direito de pleitear o acesso previsto no caput deste artigo os professores das redes públicas municipais, estaduais e federal que ingressaram por concurso público, tenham pelo menos três anos de exercício da profissão e não sejam portadores de diploma de graduação. § 2º As instituições de ensino responsáveis pela oferta de cursos de pedagogia e outras licenciaturas definirão critérios adicionais de seleção sempre que acorrerem aos certames interessados em número superior ao de vagas disponíveis para os respectivos cursos. § 3º Sem prejuízo dos concursos seletivos a serem definidos em regulamento pelas universidades, terão prioridade de ingresso os professores que optarem por cursos de licenciatura em matemática, física, química, biologia ou língua portuguesa. (BRASIL, 2017, Art. 62-B). A alteração na LDB gerou novas demandas para as instituições de ensino superior ofertantes dos cursos de licenciatura, pois terão que repensar as políticas de acesso à universidade para estes cursos, uma vez que as práticas comumente utilizadas estão ancoradas nos tradicionais vestibulares e, mais recentemente, via Sisu/Enem, pelo sistema de cotas e, no caso da Universidade de Brasília (UnB) também pelo programa de avaliação seriado (PAS) e pelo SisUnB. 3. SINGULARIDADE: CRIAÇÃO E MISSÃO DA UNB A autorização para a construção da UnB se deu por meio da Lei nº 3.998, de 15 de dezembro de 1961, que instituiu a Fundação Universidade de Brasília como mantenedora (BRASIL, 1961). No segundo aniversário da nova capital, em 21 de abril de 1962, o sonho de Darcy Ribeiro e Anísio Teixeira se materializou com a inauguração do campus na asa norte de Brasília. Nesta época a UnB ganha destaque no planalto central como a única instituição pública a ofertar de cursos de graduação, mestrado e doutorado. 385 CADERNO DE PESQUISA 2 FIGURA 1 – INSTITUTO CENTRAL DE CIÊNCIAS, O MINHOCÃO, NA DÉCADA DE 1960 Fonte: Foto do Arquivo Cedoc / UnB. (Disponível em: http://www.noticias.unb.br/publicacoes/76-institucional/ 1137-universidade-de-brasilia-completa-55-anos) No plano orientador da Universidade de Brasília (1962), está explicitada a missão da UnB, uma universidade planejada com base nas experiências nacionais e internacionais. Ver mais detalhes no quadro 6. Atualmente, a UnB se posiciona no cenário brasileiro e internacional como uma das instituições com importantes resultados nas avaliações, no plano nacional e no exterior. Esse comportamento em avaliações reflete a qualidade de suas graduações, pós-graduações e a excelência em pesquisa científica. É notória a presença de seus egressos nos mais distintos órgãos da capital federal, assim como em uma plêiade de instituições em todos os entes federados. Sem dúvida, se trata de uma instituição com forte vocação para a formação dos altos cargos da administração pública brasileira, sem negar a sua participação significativa na formação de profissionais para a iniciativa privada. Essas conquistas vêm se consolidando ao longo desse mais de meio século, mesmo enfrentando falta de recursos financeiros e em embates com os poderes da república, que insistem em afrontar a autonomia da universidade. O empenho em dar conta de sua missão é concretizado por intermédio dos seguintes fatores: a) quadro docente da mais alta qualificação; b) estrutura física que contribui para o desenvolvimento dos trabalhos acadêmicos; c) condições administrativas que acumulam um repertório que possibilita a inovação e a criatividade; d) experiências pedagógicas que 386 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS ampliam o aprendizado e as possibilidades de intervenção na vida prática; e e) processo de internacionalização que viabiliza a troca de experiências e elaboração de soluções com base em outras realidades. 3.1 FORMAS DE ACESSO AOS CURSOS DE LICENCIATURA: O CASO DA UNB Atualmente a UnB oferece diferentes modalidades de acesso ao ensino superior, que são distribuídas em: formas de ingresso primário e secundário, por convênio e para acesso de estrangeiros – indicamos a consulta ao quadro sinóptico das formas de acesso primário na UnB, disponibilizado no apêndice desse trabalho. A forma de ingresso secundário abrange a modalidade de acesso aos cursos de graduação em: transferência obrigatória, transferência facultativa e para portador de diploma do curso superior. A primeira é destinada a servidores públicos federais, civis e militares, ou a seus dependentes legais e econômicos, removidos ex officio para o Distrito Federal. O acesso independe da existência de vagas, respeitando a decisão colegiada da UnB, que segue três etapas: 1) análise técnica de documentação pela secretaria de administração acadêmica (SAA); 2) análise do colegiado do curso; 3) homologação pela câmara de ensino de graduação (CEG). A segunda modalidade de acesso secundário é destinada aos estudantes regularmente matriculados em outras instituições de ensino superior (IES), públicas ou particulares, nacionais ou estrangeiras, para prosseguimento de estudos no mesmo curso ou em curso equivalente, visando ao preenchimento de vagas de graduação ociosas da universidade. A terceira modalidade é destinada aos candidatos que já concluíram a graduação, mas desejam fazer um segundo curso. Exige-se que o interessado tenha feito pelo menos um dos três exames do Enem anteriores à publicação do edital. Além das formas de acesso apresentadas, a UnB dispõe de outras modalidades de ingresso ao ensino superior, que pode ser via convênio com órgão nas esferas local ou nacional, como é o caso do governo do Distrito Federal (GDF) para formação de professores, e da Andifes, que possibilita ao estudante regularmente matriculado em outras IFES conveniadas cursar disciplinas de curso de graduação em outra instituição (intercâmbio nacional). 387 CADERNO DE PESQUISA 2 As formas de ingresso para estrangeiros incluem três modalidades. A primeira é por um acordo cultural que se chama programa de estudantes-convênio de graduação (PEC-G). Esta modalidade de acesso é direcionada a cidadãos na idade de 18 a 23 anos de países em desenvolvimento com os quais o Brasil mantém acordos educacionais e culturais. São exigidos dos candidatos a conclusão do ensino médio e a proficiência em língua portuguesa. A segunda modalidade de acesso se dá por meio de convênio interinstitucional internacional, que é a forma de ingresso de aluno amparada por convênio de intercâmbio cultural firmado entre a Universidade de Brasília e universidades estrangeiras. O aluno-intercâmbio é selecionado pela instituição de origem e, na sequência, é apresentado à UnB. O estudante permanecerá na UnB pelo prazo máximo de 2 (dois) períodos e o registro na UnB dependerá de parecer das unidades acadêmicas envolvidas. A terceira modalidade de acesso é a matrícula-cortesia que é concedida aos estudantes de países que assegurem o regime de reciprocidade e que sejam portadores de visto diplomático ou oficial. Os ingressantes não dependem da existência de vagas e nem dos exames de vestibulares. Exige-se, no entanto, a certificação do ensino médio, cópia do passaporte ou identidade diplomática e o comprovante de recolhimento da taxa de registro. Os participantes desta modalidade de acesso devem ser enquadrados como funcionário estrangeiro de missão diplomática, funcionário ou técnico estrangeiro de organismos internacionais e técnico estrangeiro que preste serviço em território nacional no âmbito de acordo de cooperação técnica ou cultural firmado entre o Brasil e seu país de origem, assim como seus dependentes legais. Além dessas possibilidades de acesso ao ensino superior, a UnB criou outra modalidade no ano de 2016, denominado SisUnB que tem o objetivo de permitir ao candidato usar a nota atingida no PAS ou no vestibular para mudar a pré-opção do curso. 3.2 EXPANSÃO DOS NÚMEROS DA UNB: PERSPECTIVA GERAL Tendo em vista a história da UnB, decidimos buscar informações sobre o número de formados entre 1966 a 2016, conforme explicitado na tabela 2. 388 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Nota-se que se contabiliza, no período de 1966 a 2016, um total de 99.730 estudantes formados em cursos de diferentes áreas do conhecimento. Destacamos o período correspondente aos anos de 2003 a 2016, pois esses anos foram os responsáveis pelo maior número de formados na história dessa instituição – 49.842. Entendemos que esse aumento significativo nos últimos anos se justifica pela ampliação de vagas, dada pelas políticas de cota, pela utilização do PAS, Sisu e da implantação do plano de expansão e reestruturação das universidades federais (Reuni), que vigorou entre os anos de 2008 a 2012. O Reuni teve como objetivo “criar condições para a ampliação do acesso e permanência na educação superior, no nível de graduação, pelo melhor aproveitamento da estrutura física e de recursos humanos existentes nas universidades federais” (BRASIL, 2007, Art. 1º). Foi criado pelo Decreto 6.096/2007 e a adesão ao programa era de caráter voluntário. Cada instituição interessada deveria apresentar um plano de estruturação ao Ministério da Educação para validação e, sendo aprovada, a instituição passaria a receber recursos destinados à execução do referido plano. Diante da oportunidade de ampliação da oferta e aumento dos recursos para a estruturação da instituição, a UnB preparou o projeto, encaminhou ao órgão competente e obteve a aprovação. Na sequência, iniciou a implantação – criação de novos cursos, expansão das instalações, melhorias dos laboratórios, contratação de novos professores e técnicos administrativos, ampliação do número de vagas e matrículas e, consequentemente, do número de formados (ver gráfico 1). A partir da interpretação desses dados, nota-se que na transição do ano de 2006 para 2007, como efeito de ações do governo federal, o número de matrículas e de cursos foram impulsionados, com ofertas nos turnos diurno e noturno. Já no gráfico 2, onde a evolução do número de vagas disponibilizadas pela UnB é apresentada, fica perceptível que a oferta se tornou mais intensa após o ano de 2008, época que coincide com a implantação do plano de expansão do Reuni. Foi também nesse período que a UnB registrou elevação no número de servidores, especialmente de docentes, o que pode ser conferido na tabela 3. No período de 2007 a 2017, período de adesão e concretização do Reuni, a UnB passou de 1.469 professores para 2.558, um crescimento de 389 CADERNO DE PESQUISA 2 74%8. Somente nas unidades que atuam com licenciaturas o número de professores passou de 425 para 749, um crescimento de 76%, portanto proporcional ao quantitativo geral de contratados. Enquanto vigorava o Reuni foram contratados 324 novos professores. Há que se considerar que neste período de 10 anos as informações obtidas no e-SIC não permitem identificar se o docente foi contratado devido ao aumento de vagas proporcionada pela expansão ou por conta do BPEQ, o banco de professores equivalentes que autoriza a substituição de professores quando da sua aposentadoria. Neste caso, mantidas as mesmas condições, se todas as aposentadorias foram repostas, trata-se da ampliação da força de trabalho da UnB em mais de três centenas de novos professores. Este aumento deve-se notadamente ao aumento de vagas nas unidades pertencentes ao instituto de humanidades, instituto de letras, FUP (Planaltina), instituto de artes e exatas e em menor número às faculdades de educação e educação física. (ver tabelas 4 e 5, no apêndice deste trabalho). No gráfico 3, aborda-se o total de ingressantes de todos os cursos da UnB em função das formas de acesso, ao longo desses 17 anos contemplados nos gráficos anteriores. Assinalamos que esse período faz a cobertura dos governos de FHC, Lula, Dilma e Temer. Observa-se que a UnB tem realizado um grande esforço na tentativa de construir novas possibilidades para a diversificação do público que ingressa em sua comunidade acadêmica. Toma-se nota das seguintes crescentes de ingressantes pelo vestibular tradicional (a partir de 2005), pelo PAS/UnB e outras vias (a partir de 2008) e ingresso pelo Enem (a partir de 2013). Essas configurações de diversidade de ingresso são positivas, pois comunicam a disponibilidade da instituição para discutir novos formatos para lidar com a ampliação de suas vagas nos anos supracitados (Conferir gráfico 3). ⁸ Os dados solicitados no sistema e-SIC levaram em consideração os docentes existentes em 12/2007 e 12/2017 por gênero e foram informados com a respectiva lotação no departamento. Posteriormente os dados foram agrupados por unidades e separadas as unidades que atuam exclusivamente ou parcialmente com a formação de professores. No caso das licenciaturas foi aplicado um percentual variável entre 15%, 30%, 50% e 100% nas unidades que atuam totalmente com a formação de professores, ou parcialmente, no caso, nos cursos de matemática, ciências sociais, enfermagem e psicologia e química, onde se aplicou o menor percentual. O curso de física e de biologia, 30% e o de computação 50%. Aos demais cursos atribuiu-se o peso de 100%. 390 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Posto isto, no processo expansionista a UnB se utilizou de diferentes modalidades de acesso: vestibular tradicional, PAS, Enem e outras vias – acordo cultural, matrícula cortesia, mudança de cursos, duplo curso e dupla habilitação, mandado judicial e convênios firmados entre a universidade e outras entidades governamentais, tais como a secretaria de educação do Distrito Federal. Se por um lado a UnB ampliou o número de vagas e cursos e diversificou as modalidades de acesso ao ensino superior, por outro lado enfrenta os desafios da evasão acadêmica e suas implicações sociais e econômicas para a sociedade, especialmente nos cursos de licenciatura. De modo mais preciso, apresentamos (vide gráfico 4) os dados de ingressantes e formados na UnB de 1999 a 2016 para que se possa visualizar de modo mais explícito o grau de evasão dos cursos da universidade. Com base nos dados fica evidenciado que o número de ingressantes é superior ao número de formados. A apreciação crítica desses números aponta que, ao longo desses anos, aproximadamente metade dos ingressantes não conseguem concluir a graduação. Então, apesar do crescimento no número de ingressantes, verifica-se uma estagnação ou pequenas variações do número de formados. A tabela 4 aborda essa situação com base nos dados da graduação da UnB. Chama-se a atenção para o período pós-implantação do Reuni, ou seja, após o ano de 2008, quando a UnB contabilizou uma considerável expansão da instituição, cursos e vagas no ensino superior, saindo de 5.397 matrículas em 2007 e chegando em 2014 ao patamar de 10.689 (conferir tabela 6). A evasão de estudantes universitários é um problema complexo e que constitui objeto de investigação em distintos países. As pesquisas apontam uma relativa homogeneidade do comportamento desse fenômeno “em determinadas áreas do saber, apesar das diferenças entre as instituições de ensino e das peculiaridades socioeconômico-culturais de cada país” (GEMAQUE; SOUZA, 2016, p. 86). Sob esse ponto de vista, cabe às instituições entender melhor esses processos e desenhar estratégias para enfrentar esse problema. Não temos dúvida de que esta investigação se insere nesse circuito e colabora para a universidade repensar as suas práticas e consolidar novas ações. 391 CADERNO DE PESQUISA 2 A modificação na quantidade de estudantes e na definição das políticas de vagas é perceptível no gráfico 2 que revela o caso da UnB e possibilita a identificação do aumento substancial de vagas a partir do ano de 2006. Esse fato se faz presente em outras instituições de ensino superior do país que também convivem com taxas altas de evasão. Sobre essas questões, Guimarães e Monsueto (2017, p. 4) advertem que as “políticas que miram na democratização do ensino superior, como o sistema de cotas e a criação de novas universidades, podem não se mostrar eficientes frente aos altos índices de evasão do país”. Ao que parece essa afirmação encontra respaldo nos dados obtidos nesse estudo relativo ao caso da UnB, haja vista que ao examinar a tabela 4 se apura uma elevação da taxa de evasão a partir de 2006, momento em que há um aumento do número de vagas na UnB. A evasão dos estudantes interfere na quantidade de repasses de recursos destinados à instituição e isso repercute no desenvolvimento regional e também nacional. Além do debate sobre recursos financeiros, Gemaque e Souza (2016, p. 84) alertam para o “impacto na própria gestão universitária, pois esta disponibiliza insumos como professores, salas de aula, materiais, dentre outras despesas financeiras, sem resultados positivos, uma vez que o aluno não conclui o curso” (ver tabela 7). Os dados apresentam uma relação entre o número de professores nas unidades impactadas com cursos de licenciatura e o número de ingressantes e de concluintes. A relação entre professores e alunos é quase de 1 para 1 em várias unidades. Isso demonstra o efeito da evasão sobre o fluxo no curso. Estes dados somente reforçam a ideia de que uma ampliação no número de estudantes no fluxo destes cursos não impacta na ampliação da carga horária e nem na contratação de novos professores. Os dados são do primeiro ano de adesão do Reuni e os últimos dados disponíveis em 2017. A baixa conexão ou o fraco relacionamento entre a instituição e o discente por meio de pouco engajamento em atividades de pesquisa e extensão, de uma estrutura curricular desvinculada das atividades práticas relativas ao curso, da ineficiência das ações de monitoria e da precariedade da assistência estudantil para os acadêmicos de baixa renda são aspectos que dificultam o relacionamento e ampliam a evasão. Afinal, estas atividades permitem a visualização, por parte dos estudantes, da relação entre a teoria e a prática no processo de aprendizagem (CUNHA; TUNES; 392 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS SILVA, 2001). Outros fatores associados estão relacionados ao horário de funcionamento dos cursos, assim como a defasagem da proposta curricular que gera um descompasso com as demandas da sociedade. Nesta linha, faz-se necessário colocar à baila a capacidade de atendimento em creches dos filhos dos estudantes e sistema de moradia. 3.3 NÚMEROS DA UNB: PERSPECTIVA DAS LICENCIATURAS O número total de ingressantes nos cursos de licenciatura no período de 1999 a 2016 foi de 41.063 estudantes; desse total, 22.485 conseguiram concluir o curso. Para elucidar o dimensionamento da movimentação de ingressantes e formados, apresentamos o gráfico 5 que trata desse assunto. O exame desses dados sinaliza que 18.485 discentes tiveram problemas no seu percurso acadêmico, que podem estar relacionados a diversos fatores, tais como: jubilamento, falecimento, força de convênio, falta de documentação, anulação de registro, mudança de habilitação, desligamento, decisão judicial, expulsão disciplinar, mudança de curso ou turno etc. Esses fatores podem ainda estar direta ou indiretamente ligados a outras situações (vejamos algumas delas no quadro 7). Os fatores elencados no quadro 7 deixam explícito que a situação é complexa e envolve muita dedicação da universidade para conseguir superar os atuais desafios. Isso porque são questões que envolvem as condições econômicas dos estudantes que estão chegando para a comunidade acadêmica. O padrão de qualidade do ensino médio das escolas não está conseguindo conduzir um debate mínimo com seus estudantes acerca dos cursos para os quais os secundaristas pretendem concorrer, bem como a precária ou inexistente orientação profissional. Soma-se a isso o agravante da necessidade de escolha precoce de uma profissão sem se ter a maturidade necessária. Vale ressaltar que a modalidade de acesso ao sistema de seleção unificada (Sisu)9 leva o candidato a uma situação de escolha de um curso compatível com a pontuação obtida no Exame Nacional do Ensino Médio (Enem). Com efeito, o estudante se vê forçado a assumir a vaga numa universidade e no ⁹ É um programa do Ministério da Educação que visa democratizar e facilitar o acesso às vagas em instituições de ensino superior públicas. Este programa permite que o estudante possa concorrer a vagas em instituições públicas em todo o território nacional. 393 CADERNO DE PESQUISA 2 curso que não era o seu objeto do desejo, mas o que foi possível alcançar ou a opção que sobrou para ingressar no ensino superior. Não é estranho imaginar que a tendência de tal situação seja o desestímulo do discente e o consequente abandono do curso. Segundo Gemaque e Souza (2016), a elevada taxa de evasão nos cursos de licenciatura pode estar relacionada a fatores internos como a infraestrutura, o corpo docente e a assistência socioeducacional, bem como a fatores externos como a vocação, os aspectos socioeconômicos e os problemas de ordem pessoal. Ressalta-se que as infraestruturas que as universidades colocam a disposição dos cursos de licenciatura expõem a desigualdade de tratamento dado aos cursos de licenciatura em relação aos demais cursos. Ao observarmos a configuração espacial e a distribuição de recursos, notamos que é preciso investir na disponibilidade de equipamentos de informática, laboratórios de ensino, parcerias com instituições de educação básica para viabilizar ações articuladas com a prática educativa, manutenção e conservação da qualidade dos espaços físicos, bibliotecas e instalações. Pensamos que existe uma relação entre esses aspectos e o interesse dos estudantes pelo curso escolhido e que isso repercute no rendimento escolar. O estudo de Ribeiro e Moreira (2017) sinaliza que as maiores influências pedagógicas para a evasão correspondem ao professor não responder as dúvidas em tempo hábil (48,39%) e o acadêmico não conseguir acompanhar as leituras (25,81%). Entre as influências sociais, os autores indicam o fato de o estudante conseguir um emprego (25,81%). Os resultados do estudo revelam que a principal motivação para a escolha do curso foi ter uma profissão (48,39%). A partir desses resultados fica evidente que o estudante precisa se sentir acolhido pela instituição para que as taxas de evasão diminuam. Para ilustrar as complexidades que envolvem as políticas institucionais no que tange à evasão na academia, o Forplad (2017, p. 5) relaciona o que segue: “Perfil cultural, escolar e socioeconômico do estudante; preferência, interesse, dedicação e identificação com o curso; perspectivas profissionais do curso; necessidade de ingresso no mercado de trabalho; gastos relativos à permanência”. 394 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Em face desses pontos expostos, importa frisar que a evasão – em especial nos cursos de licenciatura – é uma questão que merece a atenção da universidade pois é dotada de complexidades e demanda um alto grau de planejamento e organização dos gestores que possuem a responsabilidade de intervir na vida acadêmica dos estudantes a fim de assegurar o ensino, a pesquisa e a extensão de qualidade com inclusão. 3.3.1 Números da UnB: perspectiva das licenciaturas em pedagogia, letras, biologia, matemática, física e química Explicitamos que a decisão de discorrer acerca dos cursos de licenciatura em pedagogia, letras, biologia, matemática, física e química sustenta-se na demarcação proveniente da Lei nº 13.478, de 30 de agosto de 2017, que demarca a prioridade para esses cursos. O gráfico 6 está construído de forma a tornar possível a comparação entre os números de vagas, inscritos, ingressantes e formados referentes ao período de 1999 a 2016. Como se pode observar no gráfico 6, entre os cursos retratados, o curso de química (0,8) apresenta a menor concorrência na relação candidato por vaga. O curso de biologia (12,7) é o mais concorrido, seguido pelos cursos de pedagogia (11,9) e matemática (11,8). Com concorrências abaixo de 10 candidatos por vaga temos os cursos de letras (8,6) e física (7). Quando se considera o número de ingressantes e o número de formados, no mesmo período, a diferença chega a 674 no curso de pedagogia; 2.566 no de letras; 387 no de biologia; 954 no de matemática; 625 no de física e 537 no de química (gráfico 6). Essa diferença indica a existência de problemas durante a vida acadêmica do estudante que interferiram no andamento do curso escolhido. Ressalta-se que o curso de pedagogia foi profundamente marcado na primeira década do século XXI pelo convênio da SEEDF com a faculdade de educação da UnB, que permitiu a execução de um cronograma (vide quadro 8) de formação de professores concursados que não possuíam graduação e estavam em desacordo com o que prescreve a LDB de 1996. No gráfico 6 as vagas do curso de letras contabilizam todas as modalidades de licenciatura ofertadas: letras/português, letras/inglês, letras/ espanhol, letras/japonês e letras/francês. Com exceção do curso de pe395 CADERNO DE PESQUISA 2 dagogia, todos os outros tiveram um número de ingressantes menor do que o número de vagas e com significativa queda no número de formados. Tais dados sinalizam a existência de vagas ociosas nos cursos de licenciatura na UnB. 3.4 DEMANDA DE CANDIDATOS AOS CURSOS DE LICENCIATURAS DA SEDF Numa tentativa de potencializar a formação de professores no pós LDB, a secretaria de educação do Distrito Federal firmou convênios com instituições de ensino superior com o intuito de ofertar licenciatura em pedagogia para professores em exercício, em turmas de início de escolarização que possuem formação em nível médio. Nesse sentido, um primeiro convênio foi firmado com a Universidade de Brasília para a oferta, entre os anos de 2001 e 2005, do curso denominado pedagogia para professores em exercício no início de escolarização – PIE, voltado para professores regentes com atuação nos anos iniciais do ensino fundamental sem diploma de graduação, ou seja, em descompasso com a Lei de Diretrizes e Bases (LDB) de 1996, que prevê a exigência de nível superior para atuar nessa etapa. Com metodologia de ensino diversificada e material didático específico, o curso se pautava pela reflexão-ação-reflexão, e se desenvolvia tanto no espaço acadêmico da universidade quanto no lócus de trabalho do professor: a escola. Com a finalização do convênio, encerrado no segundo semestre de 2005, a SEDF realizou um segundo convênio com o centro universitário de Brasília (UniCEUB) por meio do projeto professor nota 10 (SANTOS, 2015; TOLENTINO, 2007). Como resultado das políticas de formação de professores empreendidas no período posterior à LDB, houve redução significativa de professores que atuavam possuindo formação em nível médio, alterando dessa forma o perfil formativo dos professores da rede pública de ensino do Distrito Federal. O perfil formativo da carreira do magistério do DF também tem sido influenciado pela aposentadoria de professores que tinham apenas ensino médio e que se encontravam em final de carreira e pelo fato de, nos últi396 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS mos anos, os processos seletivos abertos na carreira magistério público do Distrito Federal exigirem como titulação mínima curso de licenciatura na área pleiteada, chegando à realidade apresentada no quadro 9. Se por um lado o quadro 9 apresenta apenas 49 professores com o ensino médio na SEDF, de outro lado sinaliza que mais de 300 docentes atuam nas licenciaturas sem a formação exigida pela legislação – sendo a maior porcentagem com atuação no ensino fundamental I. Segundo Bernadete Gatti (2018), esse é um problema grave que afeta diversas regiões do país. Com isso, o Brasil contabiliza um número alarmante de professores que estão atuando em áreas diferentes daquelas para as quais foram preparados. Há exemplo de “[...] professor formado em pedagogia que dá aulas de física no ensino médio. E não dá para depreciar esse professor, afinal ele está fazendo um esforço enorme. Esse é apenas um dos vários indicativos de que faltam professores em algumas áreas do conhecimento” (GATTI, 2018, p. 1). A partir dessa ponderação entendemos que a demanda por professores com formação superior para a atuação na SEEDF pode até parecer reduzida, mas de acordo com a Lei nº 13.478, de 30 de agosto de 2017, a UnB pode, por meio de seus regulamentos, construir alternativas para a formação do quantitativo de professores que até possuem graduação, no entanto estão atuando em áreas distintas de sua formação inicial. Essa consideração não isenta a UnB de agir com prioridade para com aqueles profissionais que não possuem graduação (49 professores) ou que não possuem graduação na licenciatura (317 professores) e com atenção especial para os cursos de pedagogia, letras, biologia, matemática, física e química conforme elencados na lei mencionada. No que se refere a qualificação dos professores concursados na SEDF, quase 7.000 possuem licenciatura, a grande maioria (16.131) buscou a formação continuada nos cursos de especialização. E do total de 24.493 docentes, apenas 902 possuem mestrado, 95 o doutorado e 17 o pós-doutorado. Outra possibilidade de análise dos dados da demanda de professores da secretaria de educação do Distrito Federal é recorrermos aos dados declarados ao censo da educação básica, que foram organizados no indicador de adequação da formação do docente da educação básica divulgado pelo 397 CADERNO DE PESQUISA 2 instituto nacional de estudos e pesquisas educacionais Anísio Teixeira – Inep. Com esse material é possível ter a real dimensão do público que potencialmente pode ser alcançado por políticas voltadas para a formação inicial de professores da rede pública tendo em vista as demandas suscitadas pela alteração na LDB e a possibilidade que as universidades públicas têm de assumir a empreitada de dar uma atenção especial para a formação docente da educação básica pública. Esse indicador tem como foco a discussão acerca da formação inicial, com base nos marcos legais vigentes. A reflexão proposta considera a relação entre a formação acadêmica do docente e a sua compatibilidade com as disciplinas que leciona. Sem desconsiderar as distintas possibilidades de agregação que os dados disponíveis permitem, tomaremos como referência o percentual que consegue atender o que a lei prescreve como exigência para poder lecionar na educação básica. Essa situação de conformidade com a legislação pode ser verificada no enquadramento com a categorização intitulada “grupo 1” do indicador de adequação da formação do docente da educação básica, a saber: “Docentes com formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído” (INEP, 2014, p. 5). Esclarece-se que a nota técnica nº 20 do Inep reconhece 5 grupos, a saber: • Grupo 1: docentes com formação superior de licenciatura na mesma disciplina que lecionam, ou bacharelado na mesma disciplina com curso de complementação pedagógica concluído. • Grupo 2: docentes com formação superior de bacharelado na disciplina correspondente, mas sem licenciatura ou complementação pedagógica. • Grupo 3: docentes com licenciatura em área diferente daquela que leciona, ou com bacharelado nas disciplinas da base curricular comum e complementação pedagógica concluída em área diferente daquela que leciona. • Grupo 4: docentes com outra formação superior não considerada nas categorias anteriores. • Grupo 5: docentes que não possuem curso superior completo. 398 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Para essa análise foram considerados apenas os dados correspondentes ao grupo 1. Os dados utilizados para a construção desse indicador foram obtidos com base no censo escolar da educação básica. Pondera-se que a formação exigida para os professores da educação básica se ancora na Lei de Diretrizes e Bases da Educação Nacional (em seus artigos 62 e 63), no Decreto nº 3.276/1999 (Artigo 2º, II e Artigo 3º, § 4º), no Decreto nº 3.554/2000 (Artigo 3º, § 2) e nas resoluções CNE/CP nº 01 e 02/2002 que instituem as diretrizes curriculares nacionais para a formação de professores da educação básica. Em alinhamento com esses documentos, define-se como adequada a formação em curso superior de licenciatura ou seus equivalentes. Os dados da tabela 8 expressam a adequação dos professores em pelo menos uma das disciplinas ministradas, considerando o cenário da rede federal, distrital e privada do Distrito Federal, categorizadas em total, rural e urbana nas distintas etapas de escolarização. A tabela 9 apresenta os dados correspondentes à adequação dos professores em pelo menos uma das disciplinas ministradas, considerando o quadro de professores que atuam na secretaria de educação do Distrito Federal. As informações estão categorizadas em total, rural e urbana nas distintas etapas de escolarização. Como se percebe a partir da leitura dos dados de 2017, a secretaria de educação do Distrito Federal acumula um quantitativo de professores sem formação adequada que expõe a urgência de ações nesse campo. Mais de 2 a cada 10 professores da rede pública de educação básica não possuem formação superior de licenciatura ou bacharelado com complementação pedagógica na mesma área da disciplina que leciona. 4. ALGUNS ACHADOS Na UnB os estudantes evadidos indicaram como causa a “baixa qualidade das aulas, currículos dos cursos em desacordo com o que esperavam, critérios de avaliação muito rígidos, dificuldades em disciplinas que requerem conhecimentos matemáticos” (HOED, 2016, p. 107). Os resultados da nossa pesquisa ratificam essa afirmação, já que a evasão entre os seis cursos de licenciatura discutidos se manifesta nas seguintes posições: 1º matemática, 2º física, 3º química, 4º biologia, 5º letras e 6º pedagogia. Os 399 CADERNO DE PESQUISA 2 cursos que exigem uma maior compreensão do instrumental matemático figuram com as maiores taxas de evasão. Isso indica uma urgência para a universidade no sentido de construir ações em parceria com a educação básica a fim de contribuir para a superação desse desafio histórico em nossa sociedade. Além disso, o comportamento de evasão e as contradições do ponto de vista pedagógico deixam explícita a necessidade de se repensar os métodos de trabalho utilizados pela instituição, assim como a sua organização e forma de lidar com as dificuldades dos estudantes. É indispensável arquitetar alternativas que tornem a aprendizagem mais prazerosa e viável no ambiente universitário. Afinal, no panorama registrado no gráfico 6, destacamos o curso de matemática, em que num total de 1.458 ingressantes apenas 504 concluíram, bem como o curso de física, com 1.055 ingressantes dos quais somente 430 se formaram. Pontuamos, ainda, o curso de química em que foram 1.029 ingressantes e somente 492 conseguiram finalizar. E esses números de ingressantes já eram bem inferiores aos que a UnB esperava receber em todos esses cursos, uma vez que os números de vagas eram 1.904 para matemática, 1.724 para física e 1.786 para química. No caso da UnB, com base no que foi observado, os baixos rendimentos dos estudantes representam uma das principais causas de abandono de curso. Como os cursos que exigem maior conhecimento matemático são justamente os que expõem os piores desempenhos dos estudantes, entendemos que essa situação pode ser uma das explicações imediatas para cursos como matemática e física (vide gráfico 6) estarem como as maiores evasões dos cursos de licenciatura. Essa nossa interpretação encontra respaldo também no trabalho de Velloso e Cardoso (2008, p. 15), que informa que “alunos com baixo rendimento tendem a se evadir em proporções bem maiores que alunos com rendimento elevado, e que cotistas com pior aproveitamento se evadem menos que não-cotistas”. Constata-se ainda que “no conjunto do alunado da UnB as licenciaturas têm maiores taxas de evasão que os bacharelados, em consonância com resultados de estudos anteriores” (VELLOSO; CARDOSO, 2008, p. 15). 400 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS A situação se manifesta como grave, pois a UnB, por meio de suas formas de ingresso, não tem conseguido preencher as vagas oferecidas, mesmo sendo pública e de qualidade. Somada a esse ponto do não preenchimento, a evasão envolve desperdícios de recursos que precisam ser inibidos, bem como frustrações e impactos na condução das vidas envolvidas. Sendo assim, espera-se que a gestão acadêmica ratifique sua preocupação com sua comunidade acadêmica e com o seu compromisso social, não se furtando a enfrentar esse cenário. O corpo docente da universidade precisa repensar a sua atuação, especialmente durante o primeiro ano do estudante na universidade, já que as taxas de evasão nesse período são duas a três vezes maiores do que nos demais anos dos cursos (GEMAQUE; SOUZA, 2016). Uma abordagem equivocada nesse período tem implicações diretas no número de desistências dos cursos. Nesse sentido, faz-se necessária uma política específica com foco na mudança de postura dos docentes por intermédio do desenvolvimento de novas práticas metodológicas, de forma a constituir e qualificar o vínculo do estudante com a universidade. Para tanto, o conhecimento deve ser revisto sob o ponto de vista do seu significado ou sentido para o cursista. A diminuição da distância entre o saber de um campo de conhecimento e o universo do estudante se apresenta como fundamental; a familiarização com a linguagem acadêmica pode figurar como uma alternativa viável para a edificação de um caminho mais acolhedor e menos excludente. Um achado importante para nossa pesquisa foi feito por Miranda Júnior, Cabello e Hoffmann (2017, p. 1), pois, no caso da UnB, as “evidências do estudo permitiram concluir que o aluno, embora incerto quanto à habilitação, possuiu a área de conhecimento como certa”. Nesse sentido, entendemos que ter o enfoque de ingresso na área de conhecimento como ponto de partida para os dois primeiros semestres do universitário pode ser uma excelente estratégia para romper com o alarmante quadro de evasão na educação superior. Por fim, considerando todas as discussões aqui apresentadas, trazemos à baila nossas sugestões em forma de nota técnica com o objetivo de indicar uma proposta de acesso diferenciado aos cursos de licenciatura para professores efetivos, conforme determinada pela LDB, no Art. 62-B. Cabe 401 CADERNO DE PESQUISA 2 ressaltar que, embora a proposta esteja direcionada a um público específico, ela não se limita somente a este; pelo contrário, é uma porta aberta a outras possibilidades de modalidade de ingresso ao ensino superior. 5. NOTA TÉCNICA 5.1 SUMÁRIO EXECUTIVO Trata-se da apresentação de um protótipo de acesso diferenciado aos cursos de pedagogia e outras licenciaturas na Universidade de Brasília, em atendimento a Lei nº 13.478, de 30 de agosto de 2017 que alterou a Lei de Diretrizes e Bases da Educação brasileira (Lei nº 9394/1996), especificamente no artigo 62-B. 5.2 BASE LEGAL • Artigo 206 da Constituição Federal de 1988 que trata dos princípios em que o ensino será ministrado, com destaque para a valorização dos profissionais de ensino. • Lei de Diretrizes e Bases da Educação (LDB) nº 9.394, de 20 de dezembro de 1996, em especial os seguintes artigos: · Art. 3º, inciso VII – valorização do profissional da educação escolar; · Art. 62 alterado pela Lei nº 13.415, de 16 de fevereiro de 2017, define que a formação de docentes para atuar na educação básica far-se-á em nível superior, em curso de licenciatura plena, admitida, como formação mínima para o exercício do magistério na educação infantil e nos cinco primeiros anos do ensino fundamental, a oferecida em nível médio, na modalidade normal. · Art. 62-B alterada pela Lei nº 13.478, de 30 de agosto de 2017, estabelece o acesso diferenciado de professores das redes públicas de educação básica a cursos superiores de pedagogia e licenciaturas, 402 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS § 1º Terão direito de pleitear o acesso previsto no caput deste artigo os professores das redes públicas municipais, estaduais e federal que ingressaram por concurso público, tenham pelo menos três anos de exercício da profissão e não sejam portadores de diploma de graduação. § 2º As instituições de ensino responsáveis pela oferta de cursos de pedagogia e outras licenciaturas definirão critérios adicionais de seleção sempre que acorrerem aos certames interessados em número superior ao de vagas disponíveis para os respectivos cursos. § 3º Sem prejuízo dos concursos seletivos a serem definidos em regulamento pelas universidades, terão prioridade de ingresso os professores que optarem por cursos de licenciatura em matemática, física, química, biologia e língua portuguesa. (BRASIL, 2017, Art. 62) • Lei nº 13.005/2014 – plano nacional da educação (PNE), em especial as metas 17 e 18, que se referem à valorização dos profissionais da educação da rede pública de educação básica. • Decreto nº 8.752 de maio de 2016, que dispõe sobre a política nacional de formação dos profissionais da educação básica, especialmente os artigos: · Art. 2º, inciso VI – que trata da articulação entre formação inicial e formação continuada, e entre os níveis, as etapas e as modalidades de ensino; • VIII - a compreensão dos profissionais da educação como agentes fundamentais do processo educativo e, como tal, da necessidade de seu acesso permanente a processos formativos, informações, vivência e atualização profissional, visando à melhoria da qualidade da educação básica e à qualificação do ambiente escolar; 403 CADERNO DE PESQUISA 2 • IX - a valorização dos profissionais da educação, traduzida em políticas permanentes de estímulo à profissionalização, à progressão na carreira, à melhoria das condições de remuneração e a garantia de condições dignas de trabalho; · Art. 8º, inciso I – que estabelece a necessidade de assegurar a oferta de vagas em cursos de formação de professores e demais profissionais da educação em conformidade com a demanda regional projetada de novos professores; · Art. 14 – o Ministério da Educação, em colaboração com os estados, o Distrito Federal e os municípios, apoiará programas e cursos de segunda licenciatura e complementação pedagógica para profissionais que atuem em áreas do conhecimento nas quais não possuam formação específica de nível superior. • Resolução nº 2, de 11 de setembro de 2018, do Conselho Nacional de Educação (CNE) que institui diretrizes da educação para o voluntariado na educação básica e superior. 5.3 O PROTÓTIPO A proposta aqui apresentada foi chamada de PAD-CLIC (Programa de Acesso Diferenciado aos Cursos de Licenciatura). Foi criada a partir de uma demanda gerada pela Lei nº 13.478, de 30 de agosto de 2017, que alterou a Lei de Diretrizes e Bases da Educação brasileira (Lei 9.394/1996), especificamente no artigo 62-B, que explicita a necessidade de as Instituições de Ensino Superior (IES) ofertantes de cursos de licenciatura promoverem o acesso diferenciado para os candidatos interessados na profissão do magistério. 404 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS O PAD-CLIC se dará por meio de chamada pública, realizada pela IES, neste caso a Universidade de Brasília (UnB), após o levantamento do número de vagas disponíveis nos cursos de licenciatura, incluindo as vagas ociosas (diurno e noturno), para atender o maior número de candidatos. As IES darão prioridade para os candidatos interessados nos cursos de pedagogia, letras, matemática, química, física e biologia, conforme determina a Lei nº 13.478/2017. 5.4 O PÚBLICO-ALVO Em consonância com a Lei nº 13.478, de 30 de agosto de 2017, terão prioridade ao direito de pleitear o acesso diferenciado os professores que atuam na docência nas redes públicas (municipal, estadual e federal), que ingressaram por concurso público com pelo menos três anos de exercício da profissão, destacando os seguintes grupos: 1. Não são portadores de diploma de graduação; 2. Possuem graduação em licenciatura, mas atuam em disciplina distinta de suas habilitações; 3. Possuem cursos de graduação, mas não são licenciados. 5.5 O PROCESSO DE RECONHECIMENTO DE COMPETÊNCIAS E HABILIDADES DOCENTES A seleção dos candidatos se dará por meio de chamada pública realizada pela IES responsável, considerando os critérios definidos no bloco I, que trata da motivação do candidato para ingressar no curso pretendido, no bloco II, que se refere à atuação docente, e no bloco III, relativo às contribuições docentes ao longo de sua trajetória profissional e acadêmica. 405 CADERNO DE PESQUISA 2 QUADRO 1 - ETAPAS DO PAD-CLIC BLOCO I – MOTIVAÇÃO • Apresentar a motivação para ingresso no curso pretendido; • Apresentar ação em que tenha atuado como voluntário. BLOCO II – ATUAÇÃO DOCENTE • Tempo de atuação como professor (rede pública e privada), máximo 10 anos; • Alinhamento da atuação com os cursos prioritários definidos no artigo 62-B da LDB. Entende-se como cursos prioritários os seguintes: pedagogia, matemática, física, química, letras e biologia; • Ter atuado por pelo menos 6 meses como professor no mesmo componente curricular vinculado ao curso de licenciatura em que pretende se formar (por exemplo: ministrar a disciplina de matemática na educação básica e pretender cursar licenciatura em matemática na IES); • Aos candidatos já graduados, comprovar que a graduação pretendida pertence à mesma área de conhecimento na qual possui graduação. Entende-se por área de conhecimento o que se segue: • Ciências humanas (pedagogia, geografia, história, sociologia e filosofia); • Ciências naturais (biologia, química, física e matemática); • Linguagens (educação física, literatura, teatro, música, artes, português, inglês, espanhol e correlatos). BLOCO III – CONTRIBUIÇÃO DOCENTE NOS ÚLTIMOS 5 ANOS • Projetos educacionais desenvolvidos na escola (declarações comprobatórias emitidas pela chefia do candidato); • Publicação de artigo completo em evento científico (cópia da página do sumário dos anais em que figura o nome do candidato e da primeira página do artigo); • Publicação de livro (cópia da ficha catalográfica que figura com o nome do candidato); • Capítulo de livro (cópia da ficha catalográfica e da primeira página do capítulo em que figura o nome do candidato); • Projeto de pesquisa e/ou extensão. Fonte: Elaborado pelos autores. Optou-se também por organizar uma proposta de integração curricular em 3 áreas. Estas diferem das áreas do Enem e, por conseguinte, do novo ensino médio, uma vez que matemática consta como uma área específica em ambas classificações. Dessa forma, por uma questão meramente visual apresentamos o agrupamento em três áreas: Ciências humanas (pedago406 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS gia, geografia, história, sociologia e filosofia); Ciências naturais (biologia, química, física e matemática) e Linguagens (educação física, literatura, teatro, música, artes, português, inglês, espanhol e correlatos), a proposta é trabalhar de maneira interdisciplinar de modo a integrar as ações, disciplina, discussões e projetos educacionais (pesquisa e extensão), conforme exemplificado na figura abaixo: FIGURA 2 –PROPOSTA DE LICENCIATURA INTERDISCIPLINAR A. Ciências humanas (pedagogia, geografia, história, sociologia e filosofia). B. Ciências naturais (biologia, química, física e matemática). C. Linguagens (educação física, literatura, teatro, música, artes, português, inglês, espanhol e correlatos). Fonte: Elaborado pelos autores. Por meio da figura 2, é possível visualizar as possibilidades de trabalho entre as áreas de conhecimento, podendo, em especial, realizar um trabalho integrado, representado, neste caso, pela simbologia A B C. 407 CADERNO DE PESQUISA 2 6. CRONOGRAMA DE ACESSO PAD-CLIC A proposta de ingresso para o PAD-CLIC se dá em decorrência dos números apresentados ao longo deste trabalho. No entanto, esta não configura como uma possibilidade fechada e acabada. Pelo contrário, torna-se uma possibilidade viável para a perpetuação nas práticas de seleção para o ensino superior, inclusive para outras áreas do saber. QUADRO 2 – ETAPAS DE ACESSO PAD-CLIC 1º ano 2º ano 3º ano Total 50 50 100 200 1º Semestre 2º Semestre 50 50 100 200 Total 100 100 200 400 Fonte: Elaborado pelos autores. Por fim sintetizamos em um quadro sinóptico as características principais do PAD-CLIC, pode ser explorado pela instituição. Vejamos: QUADRO 3 – SÍNTESE DO PAD-CLIC FORMAS DE INGRSSO PAD-CLIC Programa de Acesso Diferenciado aos Cursos de Licenciatura 408 DÚVIDAS RESPOSTAS EXPLICATIVAS Do que se trata? Processo seletivo diferenciado para acesso aos cursos de licenciaturas (sem o uso do vestibular). Como acontece? A seleção dos candidatos se dará por meio de chamada pública realizada pela IES responsável, considerando os critérios definidos no bloco I que trata da motivação do candidato para ingressar no curso pretendido, o bloco II se refere à atuação docente e o bloco III relativo às contribuições do docente ao longo de sua trajetória profissional e acadêmica. Profissionais concursados em rede pública de edQuem pode participar? ucação básica que exercem a docência há mais de três anos. Quando a chamada é publicada? A critério da IES em parceria com o poder público responsável pelas redes públicas de educação básica. Início do curso? Dado que a alteração da LDB, concernente a essa matéria, já está em vigor, entendemos que é razoável a primeira geração iniciar suas atividades em 2019. ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS FORMAS DE INGRSSO PAD-CLIC Programa de Acesso Diferenciado aos Cursos de Licenciatura DÚVIDAS RESPOSTAS EXPLICATIVAS A chamada contempla quais cursos? Cursos de licenciatura presenciais de graduação, distribuídos nos quatro campi da UnB: Darcy Ribeiro, Planaltina, Gama e Ceilândia. Com ênfase para os cursos de pedagogia, letras, matemática, química, física e biologia. Quais sistemas de concorrência são adotados? Sistema universal e sistema de cotas para negros e indígenas. Quantas vagas são disponibilizadas? Caberá a UnB instituir comissão especializada com o propósito de apresentar relatório que delibere acerca da viabilidade de oferta e quantitativo de vagas para cada um dos cursos de licenciatura da instituição. Fonte: Elaborado pelos autores. Entende-se que esta proposta possa ser gradativamente ampliada para o ingresso na UnB e não somente aos que são objeto da lei de acesso diferenciado. Dada a realidade das licenciaturas, a proposta é que se faça o ingresso em um grande bloco temático, como por exemplo “formação de professores” e, posteriormente, se escolha um percurso numa das áreas interdisciplinares. A titulação seria em licenciatura interdisciplinar de modo a certificar o futuro licenciado em uma das áreas de atuação similares àquelas previstas pelo novo ensino médio (Lei 13.415/2017), o que poderia contribuir para uma otimização das vagas, além de reduzir significativamente a evasão e o abandono. Esta proposta piloto, visando o cumprimento da nova norma da LDB, poderia tornar-se significativa e proporcionaria uma melhora no processo de ingresso e permanência na universidade dos que desejam ser professores da educação básica. 409 CADERNO DE PESQUISA 2 REFERÊNCIAS ANDIFES. IV Pesquisa do perfil socioeconômico e cultural dos estudantes de graduação das instituições federais de ensino superior brasileiras (2014). Andifes/Funaprace, Uberlândia-MG, 2016. Disponível em: <http://www.andifes.org.br/wp-content/uploads/2017/11/Pesquisa-de-Perfil-dos-Graduanso-das-IFES_2014.pdf >. Acesso em: 27 dez. 2017. AMARAL, Nelson Cardoso. Autonomia e financiamento das Ifes: desafios e ações. Avaliação, Campinas; Sorocaba, v. 13, n. 3, nov. 2008. p.647-680. BOGDAN, Roberto C.; BIKLEN; KNOPP, Sari. Investigação qualitativa em educação: uma introdução à teoria e aos métodos. 12.ed. Porto: Porto, 2003. BAUER, Adriana; CASSETTARI, Nathalia; OLIVEIRA, Romualdo Portela de. Políticas docentes e qualidade da educação: uma revisão da literatura e indicações de política. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.25, n. 97, out./dez. 2017. p. 943-970. Disponível em: <file:///C:/Users/norivan/Desktop/ 1809-4465-ensaio-S0104-40362017002501010.pdf >. Acesso em: 07 out. 2018. BANCO MUNDIAL. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil. 2017. Disponível em: <http://documents.worldbank.org/ curated/en/884871511196609355/pdf/121480-REVISED-PORTUGUESE-Brazil-Public-Expenditure-Review-Overview-Portuguese-Final-revised.pdf>. Acesso em: 27 dez. 2017. BARBOSA, Andreza. Implicações dos baixos salários para o trabalho dos professores brasileiros. Revista Educação e Políticas em Debate, v. 2, n. 2, jul./ dez. 2012. p. 384-408. Disponível em: <http://www.seer.ufu.br/index.php/revistaeducaopoliticas/article/view/21902/12112>. Acesso em: 05 dez. 2017. BRANDÃO, Carlos Rodrigues. O que é educação.19.ed. São Paulo: Brasiliense, 1989. BRASIL. Projeto de lei do Senado nº 322, de 2008. Disponível em: <http:// www25.senado.leg.br/web/atividade/materias/-/materia/87082>. Acesso em: 11 jul. 2017. 410 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS BRASIL. Lei nº 3.998, de 15 de dezembro de 1961. Disponível em: <https:// www.planalto.gov.br/ccivil_03/leis/1950-1969/l3998.htm>.Acesso em: 03 jul. 2018. BRASIL. Comissão Especial de Estudos sobre a Evasão nas Universidades Públicas Brasileiras. Diplomação, retenção e evasão nos cursos de graduação em instituições de Ensino Superior públicas. Brasília, DF, 1996. Disponível em: <http://www.andifes.org.br/wp-content/files_flutter/Diplomacao_Retencao_Evasao_Graduacao_em_IES_Publicas-1996.pdf>.Acesso em: 10 dez. 2014. BRASIL. Lei nº 13.478, de 30 de agosto de 2017. Disponível em: <https://www. planalto.gov.br/ccivil_03/_ato2015-2018/2017/lei/l13478.htm>. Acesso em: 27 dez. 2017. . Lei de Diretrizes e Bases da Educação - Lei 9394/1996. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/L9394.htm>. Acesso em: 08 jul. 2017. . Reuni - Decreto nº 6.096, 24 abr. 2007. Institui o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais – REUNI. Diário Oficial da União, Brasília, 25. abr. 2007b. . Manual de Orientação Fundef. Ministério da Educação – Brasília, DF, 2004. Disponível em: <file:///C:/Users/norivan/Downloads/Manual_FUNDEF. pdf>.Acesso em: 07 out. 2018. . FNDE. Fundeb. Brasília 2018. Disponível em: <http://www.fnde.gov.br/ financiamento/fundeb/fundeb-apresentacao>. Acesso em: 07 out. 2018. CEZAR, Vanessa. Aumenta número de alunos que abandonam curso na UnB. IESB: portal de jornalismo. 2015. Disponível em: <http://jornalismo.iesb. br/2015/10/03/aumenta-numero-de-alunos-que-abandonam-curso-na-unb/>. Acesso em: 06 mar. 2018. CUNHA, A. M.; TUNES, E.; SILVA, Roberto Ribeiro da. Evasão do curso de química da Universidade de Brasília. Química Nova, São Paulo, v. 24, n. 2, mar./abr. 2001. Disponível em: <http://www.alfaguia.org/alfaguia/files/1341250639_1795.pdf>.Acesso em: 02 mar. 2018. 411 CADERNO DE PESQUISA 2 CASCIANO, Rômulo Loureiro. A profissionalidade docente de professores iniciantes: um estudo com licenciados em Pedagogia e em Biologia. 2016. Dissertação (Mestrado em Educação) – Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2016. Disponível em: <https://www.maxwell.vrac.puc-rio. br/27751/27751.PDF>.Acesso em: 11 dez. 2017. DEMO, Pedro. Formação de formadores básicos. Em Aberto, v. 12, n. 54, 2008. Disponível em: <http://emaberto.inep.gov.br/index.php/emaberto/article/ view/1843/1814>. Acesso em: 11 dez. 2017. DEMO, Pedro. Professor do futuro e reconstrução do conhecimento. Vozes, 2004. DEMO, Pedro. Rupturas urgentes em educação. Ensaio: Avaliação e Políticas Públicas em Educação, Fundação Cesgranrio, Rio de Janeiro, v. 18, n. 69, out./dez. 2010. p. 861-871. Disponível em: <http://www.redalyc.org/articulo. oa?id=399537973011>. Acesso em: 11 dez. 2017. ELAQUA, Gregory et al.; Profissão professor na América Latina: por que a docência perdeu o prestígio e como recuperá-la? Banco Interamericano de Desenvolvimento, 2018. Disponível em: <https://publications.iadb.org/bitstream/ handle/11319/8953/Profissao-Professor-na-America-Latina-Por-que-a-docencia-perdeu-prestigio-e-como-recupera-lo.pdf?sequence=4&isAllowed=y>. Acesso em: 07 out. 2018. FIALHO, Marillia Duarte; PRESTES, Emília M. T. Evasão escolar no curso de pedagogia da UFPB: na compreensão dos gestores educacionais. Gestão & Aprendizagem, João Pessoa-PB v. 3, n. 1, 2014. p. 42-63. FREITAS, Bruno Andrade de; COSTA, Érika Carla Alves da; COSTA, Cláudio Pereira da. Fatores da evasão discente no curso de Engenharia Civil da Universidade Estadual da Paraíba. Revista Principia (Melhores artigos do Congresso Brasileiro de Educação em Engenharia - COBENGE 2016), n. 34, mai. 2017. FORPLAD. Dados comparados sobre evasão nos cursos de graduação em universidades federais - ano de referência 2014. Pro-Reitoria de Graduação da Universidade Federal de São Paulo, 2017. Disponível em: <https://www.unifesp.br/ reitoria/prograd/pro-reitoria-de-graduacao/informacoes-institucionais/graduacao-em-numeros?download=600:evasao-2014>. Acesso em: 01 mar. 2018. 412 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS GATTI, Bernadete. Por uma política de formação de professores. Entrevista dada a Bruno de Pierro - Pesquisa FAPESP 267 - 2018. Disponível em: <http:// revistapesquisa.fapesp.br/wp-content/uploads/2018/05/024-029_Entrev-Bernardete_267.pdf>. Acesso em: 10 jul. 2018. GATTI, Bernadete, Angelina; BARRETO, Elba Siqueira de Sá. Professores: aspectos de sua profissionalização, formação e valorização social. Relatório de Pesquisa, Brasília-DF: UNESCO, 2009. GATTI, Bernadete Angelina et al. Atratividade da carreira docente no Brasil. In: Fundação Victor Civita. Estudos e pesquisas educacionais. São Paulo: FVC, v. 1, n. 1, 2009. Disponível em: <http://www.zerohora.com.br/pdf/15141177.pdf >. Acesso em: 11 dez. 2017. GATTI, Bernardete Angelina; BARRETO, Elba Siqueira de Sá; ANDRÉ, Marli Eliza Dalmazo de Afonso. Políticas docentes no Brasil: um estado da arte. Brasília, DF: Unesco, 2011. Disponível em: <http://unesdoc.unesco.org/images/0021/002121/212183por.pdf >. Acesso em: 11 dez. 2017. . BARRETO, Elba Siqueira de Sá (Coord.) Professores do Brasil: impasses e desafios. Brasília: UNESCO, 2009. GEMAQUE, Lícia Santos Buhaten; SOUZA, Lúcio Gemaque. Diplomação, retenção e evasão: estudo com enfoque na evasão dos cursos de graduação na Universidade Federal do Maranhão no período de 2008 a 2010. Ensino e Multidisciplinaridade, São Luís, v. 2, n. 1, p. 84-105, jan./ jun., 2016. Disponível em: <http://www.periodicoseletronicos.ufma.br/index.php/ens-multidisciplinaridade/article/view/4872>. Acesso em: 01 mar. 2018. GOMES, Candido Alberto e PALAZZO, Janete. Teaching career’s attraction and rejection factors: analysis of students and graduates perceptions in teacher education programs. Ensaio: aval.pol.públ.Educ. v. 25, n. 94, p. 90-113, 2017. Disponível em: <http://www.scielo.br/pdf/ensaio/v25n94/1809-4465-ensaio-25-94-0090.pdf>. Acesso em: 03 dez. 2017. GUIMARÃES, Adriana Moura; MONSUETO, Sandro Eduardo. Determinantes da Evasão nos Cursos de Graduação da FACE-UFG [manuscrito], 2017. (Série de Textos para Discussão do Curso de Ciências Econômicas, n. 061). 413 CADERNO DE PESQUISA 2 HOED, Raphael Magalhães. Análise da evasão em cursos superiores: o caso da evasão em cursos superiores da área de Computação. Dissertação (Mestrado - Mestrado Profissional em Computação Aplicada), Universidade de Brasília, Brasília, 2016. Disponível em: <http://repositorio.unb.br/bitstream/10482/22575/1/2016_RaphaelMagalh%C3%A3esHoed.pdf>. Acesso em: 13 mar. 2018. INEP. Indicador de adequação da formação do docente da educação básica. Nota Técnica nº 020/2014. Brasília, 21 de novembro de 2014. Disponível em: <www.inep.gov.br>. Acesso em: 03 out. 2018. KASSAI, José Roberto et al. Reflexões sobre o nível de evasão e o custo anual per capita das unidades de ensino da USP com base no método inquired balance sheet. In: XXXIV Encontro da ANPAD, Rio de Janeiro (RJ), 2010. LAPO, Flavinês Rebolo; BUENO, Belmira Oliveira. Professores, desencanto com a profissão e abandono do magistério. Cadernos de Pesquisa, São Paulo, n. 118, mar. 2003. p. 65-88. Disponível em: <http://publicacoes.fcc.org.br/ ojs/index.php/cp/article/view/529/531>. Acesso em: 11 dez. 2017. LECOMPTE, Margaret Diane; DWORKIN, Anthony Gary. Giving up on school: students dropouts and theacher burnouts. Newbury Park: Corwin Press, 1991. LÜDKE, Menga; BOING, Luiz Alberto. Caminhos da profissão e da profissionalidade docentes. Educação e Sociedade, Campinas, v. 25, n. 89, 2004. p. 1159-1180. Disponível em: <http://www.scielo.br/pdf/es/v25n89/22616.pdf >. Acesso em: 21 nov. 2017. LOUZANO, Paula et al. Quem quer ser professor? Atratividade, seleção e formação docente no Brasil. Est. Aval. Educ., São Paulo, v. 21, n. 47, p. 543-568, set./dez. 2010. Disponível em: <http://www.fcc.org.br/pesquisa/publicacoes/ eae/arquivos/1608/1608.pdf >. Acesso em: 11 dez. 2017. LEVY, Santiago. Prefácio. In: Profissão professor na América Latina: por que a docência perdeu o prestígio e como recuperá-la? ELAQUA, Gregory et al.Banco Interamericano de Desenvolvimento, 2018. Disponível em: <https://publications.iadb.org/bitstream/handle/11319/8953/Profissao-Professor-na-America-Latina-Por-que-a-docencia-perdeu-prestigio-e-como-recupera-lo. pdf?sequence=4&isAllowed=y >. Acesso em: 07 out. 2018. 414 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS MARAFELLI, Cecilia Maria; RODRIGUES, Priscila Andrade Magalhães; BRANDÃO, Zaia. A formação profissional dos professores: um velho problema sob o outro ângulo. Cadernos de Pesquisa v. 47, n. 165, jul./set., 2017. p. 982-997. Disponível em: <http://www.scielo.br/pdf/cp/v47n165/1980-5314-cp-47-165-00982. pdf >. Acesso em: 11 dez. 2017. MONLEVADE, João Antônio Cabral de. Valorização salarial dos professores: o papel do piso salarial profissional nacional como instrumento de valorização dos professores da educação básica pública. 2000. 315 f. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas, 2000. Disponível em: <http://repositorio.unicamp.br/ jspui/bitstream/REPOSIP/253459/1/Monlevade_JoaoAntonioCabralde_D.pdf >. Acesso em: 11 dez. 2017. MIRANDA JÚNIOR, Newton da Silva; CABELLO, Andrea Felippe; HOFFMANN, Valmir Emil. A evasão aparente entre engenharias sob a ótica da análise de redes sociais. XVII Colóquio Internacional de Gestão Universitária. Mar del Plata, Argentina, 22 a 24 de novembro de 2017. Disponível em: <https://repositorio.ufsc.br/bitstream/handle/123456789/180998/101_00144.pdf?sequence=1>. Acesso em: 19 mar. 2018. NOGUEIRA, Cláudio Martins. Escolha racional ou disposições incorporadas: diferentes referenciais teóricos na análise sociológica do processo de escolha dos estudos superiores. Estudos de Sociologia, v. 2, n. 18, 2012. Disponível em: <http://www.revista.ufpe.br/revsocio/index.php/revista/article/ view/66>. Acesso em: 07 dez. 2017. OCDE - ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Professores são importantes: atraindo, desenvolvendo e retendo professores eficazes. São Paulo: Moderna, 2006. (Relatório de pesquisa). Disponível em: <http://www.keepeek.com/Digital-Asset-Management/oecd/education/ professores-sao-importantes_9789264065529-pt#.Wip9a0qnHIU#page1>. Acesso em: 08 dez. 2017. OCDE. Education at a Glance 2017: OECD Indicators, OECD Publishing, Paris, 2017. Disponível em: <http://dx.doi.org/10.1787/eag-2017-en>. Acesso em: 13 dez. 2017. 415 CADERNO DE PESQUISA 2 PRATS, Enric. Les polítiques de professorat. In: VILALTA, Josep M. (Dir.). Reptes de l'educació a Catalunya. Anuari 2015. p. 201-262, 2016. RUIZ, Antonio Ibañez; RAMOS, Mozart Neves; HINGEL, Murílio . Escassez de professores no Ensino Médio: propostas estruturais e emergenciais. Relatório produzido pela Comissão Especial instituída para estudar medidas que visem superar o déficit docente no Ensino Médio (CNE/CEB), maio 2007. Disponível em: <http://portal.mec.gov.br/cne/arquivos/pdf/escassez1.pdf>. Acesso em: 11 dez. 2017. RIBEIRO, Jefferson Bruno Pereira; MOREIRA, Jonathan Rosa. Fatores sociais e acadêmicos na evasão escolar do Curso Técnico em Segurança do Trabalho do Polo Itapoã do Instituto Federal de Brasília. Revista Eixo, Brasília-DF, v. 6, n. 2, jul./dez., 2017. SANTOS, Valdir Sodré dos. Percepções de docentes de matemática de ensino médio em relação ao processo de avaliação de aprendizagem. Dissertação (Mestrado em Educação), Universidade de Brasília, Brasília, 2015. Disponível em: <http://repositorio.unb.br/bitstream/10482/18348/1/2015_ValdirSodredosSantos.pdf>. Acesso em: 29 mai. 2018. SOUZA, Levi de Oliveira. Motivações para a escolha da Licenciatura em Matemática e Pedagogia: um estudo com alunos da PUC/SP e UFMT. 2010. 104f. Dissertação (Mestrado Profissional em Ensino de Matemática) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2010. Disponível em: <https:// sapientia.pucsp.br/bitstream/handle/10850/1/Levi%20de%20Oliveira%20 Souza.pdf>. Acesso em: 05 dez. 2017. TOLENTINO, Maria Antônia Honório. Educação continuada e trabalho docente no bloco inicial de alfabetização: o caso de uma escola de rede pública do Distrito Federal. Dissertação (Mestrado em Educação), Universidade de Brasília, Brasília, 2007. Disponível em: <http://repositorio.unb.br/bitstream/10482/2922/1/2007_MariaAntoniaHonorioToletino.PDF>. Acesso em: 29 mai. 2018. TARTUCE, Gisela Lobo B. P.; NUNES, Marina M. R. e ALMEIDA, Patrícia Cristina Albieri De. Alunos do ensino médio e atratividade da carreira docente no Brasil. Cad. Pesqui. v. 40, n. 140, 2010. p. 445-477. Disponível em: <http://www. scielo.br/pdf/cp/v40n140/a0840140.pdf>. Acesso em: 03 dez. 2017. 416 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS TEIXEIRA, Anísio. Educação no Brasil. Rio de Janeiro, Editora UFRJ, 2011. UNDIME - União Nacional dos Dirigentes Municipais de Educação. Brasil tem um déficit de quase 300 mil professores de disciplinas básicas. Disponível em: <https://undime.org.br/noticia/brasil-tem-um-deficit-de-quase-300-mil-professores-de-disciplinas-basicas >. Acesso em: 08 jul. 2017. UNB. PIE, Curso de Pedagogia para Professores em Exercício no Início da Escolarização. Disponível em: <http://www.lite.fe.unicamp.br/grupos/formac/ proposta/unb.htm>. Acesso em: 29 jun. 2018. . Plano Orientador da UNB. Brasília: Editora Universidade de Brasília, 1962. Disponível em: <http://www.dpo.unb.br/index.php?option=com_phocadownload&view=category&id=95:1979&Itemid=675>. Acesso em: 03 jul. 2018. . Anuário estatístico na UnB. Disponível em: <http://www.dpo.unb. br/index.php?option=com_phocadownload&view=category&id=56&Itemid=742>. Acesso em: 11 jul. 2018. . Relatório parcial de Autoavaliação Institucional – Ano Base 2017 (Triênio 2017-2019). Brasília, março de 2018. Disponível em: <http://www. cpa.unb.br/images/Relatorio-de-Autoavaliacao-Institucional---2017---FINAL. pdf>. Acesso em: 09 jul. 2018. VELLOSO, Jacques; CARDOSO, Claudete Batista. Evasão na educação superior: alunos cotistas e não-cotistas na Universidade de Brasília. 31ª Reunião Anual da ANPED - Caxambu, GT 11 - Política de Educação Superior. Disponível em: <http://31reuniao.anped.org.br/1trabalho/GT11-4981--Int.pdf>. Acesso em: 19 mar. 2018. VALLE, Ione Ribeiro. Carreira do magistério: uma escolha profissional deliberada? Revista Brasileira de Estudos Pedagógicos, Brasília. v. 87, n. 216, ago., 2006. p. 178-187. Disponível em: <http://rbep.inep.gov.br/index.php/rbep/article/view/792 >. Acesso em: 11 dez. 2017. 417 CADERNO DE PESQUISA 2 LISTA DE QUADROS, GRÁFICOS E TABELAS Ordem de acordo com o texto. QUADRO 4 – MARCOS DA LEI Nº 13.478/2017 a) acesso aos profissionais do magistério a cursos de formação de professores; b) cursos no nível de graduação; c) somente os professores concursados nas redes municipais, estaduais e federal com pelo menos três anos de exercício da profissão terão direito de pleitear o acesso previsto; d) o candidato não pode ser portador de diploma de graduação; e) os critérios adicionais de seleção só devem figurar nos certames que o número de interessados seja maior que o número de vagas disponíveis para os cursos; f) as universidades não estão proibidas de constituir processos seletivos conforme definições em seus regulamentos, entretanto a prioridade de ingresso deverá ser para os professores que optarem pelos cursos de licenciatura em matemática, física, química, biologia e língua portuguesa. Fonte: Elaborado pelos autores. TABELA 1 – TAXA DE EVASÃO POR UNIVERSIDADE FEDERAL (2014) UNIVERSIDADE FEDERAL TAXA DE EVASÃO Universidade Federal do Amapá 3,62% Fundação Universidade Federal do Tocantins 4,70% Universidade Federal do Pará 4,97% Universidade Federal de Minas Gerais 8,10% Universidade Federal do Amazonas 8,32% Universidade Federal de Alagoas 8,97% Universidade Federal de Pernambuco 9,01% Universidade Federal do Maranhão 9,70% Universidade Federal de Juiz De Fora 9,85% Universidade Federal do Rio Grande Do Sul 9,90% Universidade Federal do Espírito Santo 9,93% Universidade Federal de São João Del Rei 10,31% Universidade Federal de Itajubá – Unifei 10,34% Universidade Federal de Goiás 10,45% Universidade Federal de Santa Catarina 10,45% Fundação Universidade Federal de Ciências da Saúde de Porto Alegre 10,72% Universidade Federal Rural do Semi-Árido 11,02% Universidade Federal Rural da Amazônia 11,17% Universidade Federal de Uberlândia 11,26% 418 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS UNIVERSIDADE FEDERAL TAXA DE EVASÃO Universidade Federal do Triângulo Mineiro 11,88% Universidade Federal do Rio De Janeiro 11,90% Universidade Federal de São Carlos 11,97% Universidade Federal de Viçosa 12,32% Universidade Federal de São Paulo 12,80% Universidade Federal da Bahia 13,86% Universidade Federal de Alfenas 13,92% Universidade Federal do Paraná 13,94% Universidade Federal de Santa Maria 14,09% Universidade Federal de Ouro Preto 14,15% Universidade Federal do Ceará 14,15% Universidade Federal do Acre 14,19% Universidade de Brasília 14,42% Fundação Universidade Federal do Abc 14,52% Universidade Federal de Sergipe 14,94% Universidade Federal de Mato Grosso 15,28% Universidade Federal de Lavras 15,32% Universidade Federal Fluminense 15,36% Universidade Federal Rural do Rio De Janeiro 15,55% Universidade Federal dos Vales do Jequitinhonha e Mucuri 16,02% Universidade Federal de Roraima 16,52% Fundação Universidade Federal de Rondônia 16,54% Fundação Universidade Federal do Vale do São Francisco 16,73% Universidade Federal da Integração Latino-Americana 17,09% Universidade Federal do Rio Grande 18,00% Fundação Universidade Federal da Grande Dourados 18,22% Universidade Federal do Recôncavo da Bahia 18,60% Universidade Federal da Paraíba 18,76% Universidade Federal do Estado do Rio de Janeiro 18,95% Universidade Tecnológica Federal do Paraná 19,24% Universidade Federal do Rio Grande do Norte 19,77% Universidade Federal de Campina Grande 20,40% Universidade Federal do Piauí 20,96% Universidade Federal de Pelotas 21,96% Universidade Federal Rural de Pernambuco 24,28% Universidade Federal de Mato Grosso do Sul 24,35% Universidade Federal da Fronteira Sul 29,36% Fundação Universidade Federal do Pampa – Unipampa 31,94% Fonte: Forplad (2016) 419 CADERNO DE PESQUISA 2 QUADRO 5 – IMPLICAÇÕES DE POLÍTICAS Objetivo de Políticas Direcionado à profissão docente como um todo Direcionado a tipos específicos de professores e escolas • Ampliar a oferta de professores potenciais; • Melhorar a imagem e o status da docência; Tornar a docência uma opção de carreira atraente • Melhorar a competitividade salarial da docência; • Melhorar as condições de emprego; • Tirar partido de superabundância de professores. • Tomar os mecanismos de recompensa mais flexíveis; • Melhorar as condições de ingresso de novos professores; • Repensar as vantagens entre relação estudantes/professores e o salário médio do professor. • Desenvolver os perfis dos professores; • Considerar o desenvolvimento do Desenvolver o conhecimento e as habilidades dos professores professor como um processo contínuo; • Tornar a educação do professor mais flexível e mais responsiva; • Aprovar programas para educação de professores; • Integrar o desenvolvimento profis- • Melhorar a seleção para ingresso em programas de educação de professores; • Melhorar experiências práticas; • Conceder certificação a novos professores; • Fortalecer programas de iniciação. sional ao longo da carreira. • Utilizar formas de emprego mais flexível; • Dar às escolas maior responsabiliRecrutar, selecionar e empregar professores dade pelo gerenciamento da equipe docente; • Satisfazer as necessidades de curto prazo da equipe; • Melhorar o fluxo de informações e o monitoramento do mercado de trabalho para professores. 420 • Ampliar os critérios de seleção de professores; • Tornar obrigatório o período de experiência; • Estimular maior mobilidade de professores. ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Objetivo de Políticas Direcionado à profissão docente como um todo Direcionado a tipos específicos de professores e escolas • Avaliar e recompensar o ensino eficaz; Reter nas escolas os professores eficazes • Oferecer • Agir com relação a professomaiores oportunidades para variedade e diversificação de carreira; res ineficazes; • Prover maior apoio a professores iniciantes; • Melhorar a liderança e o ambiente escolar; • Prover horário e condições de trabalho mais flexível. • Melhorar as condições de trabalho. • Envolver os professores no desenvolvimento e na implementação de políticas; Desenvolver e implementar políticas • Desenvolver comunidades para profesaprendizagem profissional; sores de • Melhorar a base de conhecimento em apoio às políticas docentes. Fonte: OCDE (2006, p. 10). QUADRO 6 – MISSÃO DA UNB “[...] órgão complementar indispensável para dar sentido espiritual e assegurar autonomia cultural ao conjunto de instituições que compõem a cidade-capital” (PLANO ORIENTADOR DA UNB, 1962, p. 5). Não se tratava apenas da construção de mais uma universidade, mas enfrentar o desafio de conceber e dar forma a uma universidade em uma nova base que servisse como estímulo e inovação para as demais universidades brasileiras. “[...] assegurar à Capital da República a categoria cultural que ela precisa ter para o franco convívio e a interação com os outros centros culturais do País” (PLANO ORIENTADOR DA UNB, 1962, p. 5). Assessoramento dos poderes públicos, por meio do desenvolvimento científico e de novas técnicas. Com foco na busca de soluções para os grandes problemas enfrentados pela população brasileira. Merecedora de regalias especiais para que consiga exercer a sua liberdade cultural e de saberes que contribuam para a integração nacional em articulação com todos os entes federativos. Centro cultural de Brasília capaz de oferecer a criatividade e o espírito inovador que os empreendimentos nacionais demandam. Fonte: Plano Orientador da UnB (1962). Elaborado pelos autores. 421 CADERNO DE PESQUISA 2 TABELA 2 – EVOLUÇÃO DO NÚMERO DE ALUNOS FORMADOS NA GRADUAÇÃO, 1966 A 2016 ANO GRADUAÇÃO Total (1966 a 1977) 8.283 Total (1978 a 1987) 12.567 1988 1.166 1989 1.114 1990 1.051 1991 1029 1992 1003 1993 1020 1994 1.144 1995 1.464 1996 1.724 1997 1.798 Total (1988 A 1997) 12.513 1998 2.052 1999 2.205 2000 2.332 2001 2.591 2002 2.609 2003 3.935 2004 4.133 2005 3.089 2006 3.276 2007 Total (1998 a 2007) 3.420 29.642 2008 3.513 2009 4.319 2010 4.086 2011 4.319 2012 3.629 2013 3.547 2014 4.022 2015 4.554 2016 4.736 Total (2008 a 2016) 36.725 TOTAL GERAL 99.730 Fonte: Anuário estatístico UnB, 2017 (adaptado). 422 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS GRÁFICO 1 – EVOLUÇÃO NO NÚMERO DE CURSOS NA UNB (1999-2016) 250 200 150 100 50 0 Ano 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 Noturno 15 15 15 15 15 15 15 15 15 18 24 31 32 35 35 31 30 31 Diurno 59 59 60 60 60 60 60 63 71 80 91 103 136 138 161 154 155 155 Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. GRÁFICO 2 – EVOLUÇÃO DO NÚMERO DE VAGAS DISPONIBILIZADAS PELA UNB (1999-2016) 9.000 8.000 8.368 8.069 8.090 8.014 2009 2011 8.098 8.308 8.424 8.424 2014 2015 2016 7.002 7.000 5.711 6.000 4.921 5.000 4.000 3.866 3.904 3.929 3.957 3.985 3.988 4.047 1999 2001 2002 2004 2005 3.000 2.000 1.000 0 2000 2003 2006 2007 2008 2010 2012 2013 ElaFonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. TABELA 3 – CORPO DOCENTE ATIVO NA UNB (2006 A 2016) Qualificação docente Graduação 2006 2010 2012 2016 29 21 20 12 Especialização 11 5 6 8 Mestrado 276 321 317 200 Doutorado 1.129 1.727 2.040 2.272 TOTAL 1.445 2.074 2.383 2.492 Fonte: Anuário Estatístico da UnB (2006, 2010, 2012). 423 CADERNO DE PESQUISA 2 TABELA 4 – NÚMERO DE PROFESSORES NA UNB NO PERÍODO SELECIONADO Gênero/Anos 2007 2017 Fem 598 1.158 Mas 871 1.400 Total Geral 1.469 2.558 Fonte: Elaborado pelos autores em levantamento junto à Universidade de Brasília. Nota: Total de vínculos ativos em 31/12 de cada período. TABELA 5 – NÚMERO DE UNIDADES COM LICENCIATURAS QUE ESTÃO IMPACTADAS Unidades/Anos 2007 2017 Diferença FE 67 80 13 Fem 49 59 10 Mas 18 21 3 FEF 27 42 15 Fem 9 11 2 Mas 18 31 13 FS 2 5 3 Fem 2 4 2 Mas 0 1 1 FUP 14 110 96 Fem 4 50 46 Mas 10 60 50 IB 16 25 9 Fem 9 12 3 Mas 8 13 5 ICS 8 13 5 Fem 4 6 2 Mas 4 7 3 Ida 81 124 43 Fem 42 67 25 Mas 39 57 18 IE 21 32 11 Fem 5 9 4 Mas 16 23 7 IF 27 35 8 Fem 6 7 1 Mas 21 28 8 IH 50 95 45 424 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Unidades/Anos Fem 2007 2017 Diferença 25 31 6 Mas 25 64 39 IL 92 160 68 Fem 60 100 40 Mas 32 60 28 IP 8 11 3 Fem 5 8 3 Mas 3 3 0 IQ 11 18 7 Fem 4 7 2 Mas Total Geral 7 12 5 425 749 324 Fonte: Elaborado pelos autores em levantamento junto à Universidade de Brasília. Nota Aplicou-se um percentual nos vínculos nas Unidades que atuam com Bacharelado/Licenciatura. GRÁFICO 3 – TOTAL DE INGRESSANTES E FORMAS DE ACESSO EM TODOS OS CURSOS DA UNB (1999-2016) 8.000 7.000 6.000 5.000 4.000 3.000 2.000 1.000 19 99 20 00 20 01 20 02 20 03 20 04 20 05 20 06 20 07 20 08 20 09 20 10 20 11 20 12 20 13 20 14 20 15 20 16 0 Vestibular PAS ENEM OUTRAS VIAS Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. 425 CADERNO DE PESQUISA 2 GRÁFICO 4 – INGRESSANTES E FORMADOS EM TODOS OS CURSOS NA UNB (1999-2016) 12.000 10.000 8.000 6.000 4.000 2.000 0 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 Ingressantes 4.226 4.288 6.433 4.405 5.234 4.510 4.451 5.397 7.229 6.628 8.017 8.366 9.892 8.530 8.764 10.689 9.848 9.850 Formados 2.205 2.332 2.591 2.609 3.935 4.133 3.089 3.276 3.431 3.513 4.319 4.202 3.843 3.789 3.616 4.022 4.554 4.736 Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. TABELA 6 – EVOLUÇÃO DAS TAXAS DE EVASÃO E DE SUCESSO (GRADUAÇÃO) Ingresso Evadidos Formados Total Evasão % Sucesso % 2003 1.873 2.721 4.594 40,77 59,23 2006 2.245 3.166 5.411 41,49 58,51 2007 2.940 4.333 7.273 40,42 59,58 2008 2.849 3.873 6.722 42,38 57,62 2009 3.778 4.394 8.172 46,23 53,77 2010 3.576 4.604 8.180 43,72 56,28 2011 4.533 4.282 8.815 51,42 48,58 2012 3.652 3.058 6.710 54,43 45,57 Fonte: UnB - Relatório parcial de Autoavaliação Institucional – Ano Base 2017 (CIG/DAI/DPO, 2018). TABELA 7 – RELAÇÃO PROFESSOR ALUNO, SEGUNDO A CONDIÇÃO NO FLUXO ESCOLAR Unidade/Ano Relação 2008 2017 Relação Ingressantes 12 164 188 2 Concluintes 0 0 73 1 Ingressantes 2 195 422 3 Concluintes 1 71 206 1 FUP IL 426 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Unidade/Ano Relação 2008 2017 Relação Ingressantes 2 Concluintes 2 102 255 3 84 109 1 Ingressantes 4 360 126 1 Concluintes 1 64 100 1 Ingressantes 8 164 183 6 Concluintes 3 58 41 1 Ingressantes 18 491 115 3 Concluintes 2 66 74 2 Ingressantes 4 253 255 3 Concluintes 2 167 194 2 Ingressantes 4 66 121 5 Concluintes 3 52 78 3 Ingressantes 3 25 20 2 Concluintes 3 21 54 4 Ingressantes 0 2 7 1 Concluintes 0 1 5 0 Ingressantes 6 68 29 4 Concluintes 2 20 32 2 Ingressantes 10 19 0 0 Concluintes 2 21 0 0 Total Ingressantes 1.983 1.841 Total Concluintes 662 886 IH Ida IE FEF FE IB ICS IP IG FS Fonte: Elaborado pelos autores em levantamento junto à Universidade de Brasília. 427 CADERNO DE PESQUISA 2 GRÁFICO 5 – EVOLUÇÃO DO NÚMERO DE INGRESSANTES E FORMADOS NOS CURSOS DE LICENCIATURA NA UNB (1999-2016) 4.500 4.000 3.500 3.000 2.500 2.000 1.500 1.000 50 0 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 Ingressos 1.826 1.975 4.002 1.976 2.678 1.981 1.952 2.261 4.188 1.983 2.817 1.561 2.752 1.744 1.782 1.807 1.938 1.841 Formados 1.200 1.119 1.225 1.177 2.267 2.415 1.501 1.481 1.634 662 707 791 920 1.138 1.036 1.131 1.085 996 Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. QUADRO 7 – FATORES ASSOCIADOS AO INSUCESSO ACADÊMICO Condição econômica. Dificuldade de se manter na universidade. Falta de compatibilidade com a profissão previamente escolhida. Falta de conhecimento sobre o curso. Escolha precoce do curso. Fonte: Elaborado pelos autores. GRÁFICO 6 – QUANTITATIVO DE VAGAS, INSCRITOS, INGRESSANTES E FORMADOS DOS CURSOS DE LICENCIATURA EM PEDAGOGIA, LETRAS, BIOLOGIA, MATEMÁTICA, FÍSICA E QUÍMICA DA UNB (1999 A 2016) 10 60.000 50.000 40.000 30.000 20.000 10.000 0 Pegadogia Letras Ciências Biológicas Matemática Física Química Vagas 3.739 6.485 2.496 1.904 1.724 1.786 N. Inscritos 44.557 55.624 31.620 22.436 12.780 1.469 N. ingresso 6.913 4.597 1.502 1.458 1.055 1.029 N. de Formados 6.239 2.566 1.115 504 430 492 Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. Nota: Não foram encontrados os dados referentes aos anos de 2008, 2009, 2011 e 2014. 10 Ver a complementação deste gráfico no Apêndice B 428 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS QUADRO 8 – CRONOGRAMA DE ENTRADA NO CURSO 11 TURMAS A 1º/2001 2º/2001 1º/2002 2º/2002 1º/2003 2º/2003 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 1000 Alunos 5000 4000 3000 2000 1000 B C D E TOTAL DE ALUNOS 1000 2000 3000 4000 5000 2011 4.533 4.282 8.815 51,42 48,58 2012 3.652 3.058 6.710 54,43 45,57 1º/2004 2º/2004 1º/2005 2º/2005 Fonte: Documento-Base do PIE. 12 QUADRO 9 – CENSO ESCOLAR 2017 (REDE PÚBLICA DO DF) ESCOLARIDADE DO PROFESSOR Etapa/Modalidade de Ensino que Atua Médio Completo Superior Completo Com Magistério Com Licenci- Sem Licenciatura atura Pós-Graduação Especialização Creche - Com curso específico 20 Creche - Sem curso específico 8 1 8 Mestrado Doutorado Pós Doutorado 28 Pré-Escola - Com curso específico 1 274 20 777 9 Pré-Escola - Sem curso específico 7 302 39 541 6 30 1.555 228 5.169 68 4 12 2 Ensino Fundamental 9 Anos 1º ao 5º Ano 2 Ensino Fundamental 9 Anos 6º ao 9º Ano 2.013 3.075 209 25 Ensino Médio 1.062 2.058 267 33 7 Educação Especial - Com curso específico 1 254 17 1.401 47 Educação Especial - Sem curso específico 2 12 1 57 1 Educação Especial - Instituições Especializadas 2 217 864 18 3 EJA - 1º Segmento 6 89 318 10 1 315 638 50 2 1 6 1 345 605 96 EJA - 2º Segmento - Presencial EJA - 2º Segmento - EAD EJA - 3º Segmento - Presencial 4 1 7 11 O critério de entrada era o tempo de serviço. O curso tinha duração de 3 anos, começou tendo 1000 alunos e foi subindo até chegar a 5 mil alunos. Como a partir de 2004 não houve novos ingressos, e a cada ano se formavam 1000, os últimos alunos se formaram ao final de 2005. 12 Disponível em: http://www.lite.fe.unicamp.br/grupos/formac/proposta/unb.htm 429 CADERNO DE PESQUISA 2 Etapa/Modalidade de Ensino que Atua Médio Completo Superior Completo Com Magistério Com Licenci- Sem Licenciatura atura EJA - 3º Segmento - EAD Pós-Graduação Especialização Mestrado Doutorado 8 6 1 28 2 149 42 2 EJA Combinada Ed Profissional - Tec Niv Médio Presencial 133 Ed Profissional - Tec Integ Ens Médio Regular 6 4 7 10 Ed Profissional - Tec Integ Ens Médio PROEJA EAD 26 2 Ed Profissional - Integrada à EJA 8 19 2 Ed. Profissional - FIC 40 45 10 1 CIEF, CIL, EP e Escola da Natureza 328 1 301 56 4 6.982 317 16.131 902 95 TOTAL 49 Pós Doutorado 17 Fonte: Subsecretaria de Planejamento, Acompanhamento e Avaliação (março, 2017). Notas 1: Se o professor atua em mais de uma etapa/modalidade, será contado mais de uma vez no total da coluna. Nota 2: É informada a última formação do professor. TABELA 8 – PERCENTUAL DE PROFESSORES DO DISTRITO FEDERAL QUE ESTÃO COM FORMAÇÃO ADEQUADA EM PELO MENOS UMA DAS DISCIPLINAS QUE MINISTRAM Percentual de docentes com formação superior de licenciatura (ou bacharelado com complementação pedagógica) na mesma área da disciplina que leciona (Distrito Federal - 2017) Ensino Fundamental EI Total Anos Iniciais EJA Anos Finais EM EF EM Total Total 49,8 74,2 73,5 75,1 78,5 45,8 72,1 Urbana Total 49,5 74,3 73,6 75,3 78,7 46,9 72,7 Rural Total 61,7 71,7 72,1 71,0 72,6 37,0 63,4 Total Federal -- 97,3 -- 97,3 81,3 -- 77,7 Urbana Federal -- 97,3 -- 97,3 81,5 -- 77,7 Rural Federal -- -- -- -- 79,2 -- -- Total Estadual 71,9 77,5 78,2 76,7 81,0 46,7 74,4 Urbana Estadual 72,3 78,0 78,7 77,0 81,3 48,0 75,2 Rural Estadual 66,9 71,9 72,6 70,5 72,0 37,0 63,4 Total Privada 41,2 66,7 63,9 71,0 73,1 17,4 36,9 Urbana Privada 41,2 66,7 64,0 70,9 73,1 17,4 36,9 Rural Privada 25,0 64,9 29,2 81,6 70,3 -- -- Total Pública 71,9 77,6 78,2 76,8 81,1 46,7 74,5 Urbana Pública 72,3 78,0 78,7 77,2 81,3 48,0 75,2 Rural Pública 66,9 71,9 72,6 70,5 72,7 37,0 63,4 Fonte: Censo da Educação Básica 2017/INEP. Elaborado pelos autores. 430 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS TABELA 9 – PERCENTUAL DE PROFESSORES DA SEEDF QUE ESTÃO COM FORMAÇÃO ADEQUADA EM PELO MENOS UMA DAS DISCIPLINAS QUE MINISTRAM Percentual de docentes com formação superior de licenciatura (ou bacharelado com complementação pedagógica) na mesma área da disciplina que leciona (Distrito Federal - 2017) - SEEDF EI Ensino Fundamental Total Anos Iniciais Anos Finais EM EJA EF EM Total 71,9 77,5 78,2 76,7 81,0 46,7 74,4 Urbana 72,3 78,0 78,7 77,0 81,3 48,0 75,2 Rural 66,9 71,9 72,6 70,5 72,0 37,0 63,4 Fonte: Censo da Educação Básica 2017/INEP. Elaborado pelos autores. 431 CADERNO DE PESQUISA 2 APÊNDICE A QUADRO 10 – QUADRO SINÓPTICO DAS FORMAS DE INGRESSO PRIMÁRIO NA UNB FORMAS DE INGRESSO DÚVIDAS Do que se trata? Como acontece? Programa de Avaliação Seriada (PAS) Quem pode participar? Quando o edital é publicado? RESPOSTAS EXPLICATIVAS Processo seletivo de acesso ao ensino superior, integrado ao Ensino Médio. O PAS acontece em três etapas: uma a cada série do ensino médio. Ao final da 1ª, da 2ª e da 3ª série do ensino médio, aplica-se a prova relativa aos conhecimentos adquiridos naquele ano de estudo. Estudante devidamente matriculado no ensino médio de escola pública ou particular. No segundo semestre letivo. No primeiro e no segundo semestres letivos do ano seguinte ao da aplicação da prova da 3ª etapa. O edital Presenciais de graduação, distribuídos nos quatro contempla quais campi da UnB: Darcy Ribeiro, Planaltina, Gama e cursos? Ceilândia. Quais sistemas de Ampla Concorrência (Sistema Universal), Sistema concorrência são de Cotas para Escolas Públicas e Sistema de Cotas adotados? para Negros. Quantas vagas são São 50% das vagas totais anuais da UnB. disponibilizadas? É o Sistema de Seleção Unificada do Ministério da Educação (Sisu/MEC), para ingresso nas Instituições Federais de Ensino Superior (IFES) de Do que se trata? todo o Brasil que fizerem adesão ao sistema. Esta seleção utiliza as notas obtidas no Exame Nacional do Ensino Médio (Enem). As regras e as condições de seleção dos estudantes pelo Sisu/MEC, bem como os períodos de inscrição Como acontece? e de seleção dos candidatos, são definidos por edital publicado pelo MEC no endereço: sisu.mec.gov.br. Todos os concluintes do ensino médio (ou curso Quem pode equivalente) que tenham participado da última participar? edição do Enem. Quando o edital é Para ingresso na UnB, é publicado o edital de acesso publicado? UnB/Sisu entre os meses de dezembro e janeiro. Início do curso? Sistema de Seleção Unificada do Ministério da Educação (Sisu/ Início do curso? MEC) O edital contempla quais cursos? Quais sistemas de concorrência são adotados? No primeiro semestre letivo. Essa modalidade de ingresso é válida somente para os cursos de graduação da UnB que não exigem a Certificação de Habilidade Específica. Ampla Concorrência (Sistema Universal), Sistema de Cotas para Escolas Públicas e Sistema de Cotas para Negros. Quantas vagas são São 25% das vagas totais anuais dos cursos que não disponibilizadas? exigem a Certificação de Habilidade Específica. 432 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS FORMAS DE INGRESSO DÚVIDAS Do que se trata? Como acontece? Quem pode participar? Vestibular tradicional Sistema de seleção tradicional da UnB; a prova é elaborada pela própria Universidade de Brasília e aplicada apenas para ingresso de estudantes no segundo semestre letivo. A classificação é feita com base no resultado obtido pelo candidato nas provas de conhecimentos e de redação elaboradas pela UnB. O candidato que comprovar a conclusão do ensino médio (ou curso equivalente). O candidato que se inscrever em qualquer um dos cursos que exigem Certificação de Habilidade Específica somente poderá concorrer a esse curso caso possua a referida certificação, dentro do período de validade. Quando o edital é Geralmente o edital é publicado em meados de abril. publicado? Início do curso? O edital contempla quais cursos? Quais sistemas de concorrência são adotados? Quantas vagas são disponibilizadas? Vestibular para vagas remanescentes RESPOSTAS EXPLICATIVAS No segundo semestre letivo. Presenciais de graduação, distribuídos nos quatro campi da UnB: Darcy Ribeiro, Planaltina, Gama e Ceilândia. Ampla Concorrência (Sistema Universal), Sistema de Cotas para Escolas Públicas e Sistema de Cotas para Negros. São 25% das vagas totais anuais. Do que se trata? Processo de seleção destinado ao provimento de vagas remanescentes dos processos seletivos primários (PAS, Sisu, Vestibular) para ingresso na UnB. Como acontece? A seleção compreende a análise das notas obtidas no Enem. Candidato avaliado pelo Exame Nacional do Ensino Médio (Enem) do ano anterior ao vigente e que comprove a conclusão do ensino médio (ou curso Quem pode equivalente). O candidato que se inscrever em participar? qualquer um dos cursos que exigem Certificação de Habilidade Específica somente poderá concorrer a esse curso caso possua a referida certificação, dentro do período de validade. Quando o edital é Duas vezes ao ano, após a seleção dos processos publicado? primários de ingresso. Início do curso? O edital contempla quais cursos? Quais sistemas de concorrência são adotados? No primeiro e no segundo semestres letivos. De graduação que tenham vagas remanescentes do ingresso primário (PAS, Sisu, Vestibular tradicional). Ampla Concorrência (Sistema Universal), Sistema de Cotas para Escolas Públicas e Sistema de Cotas para Negros. O quantitativo é variável e corresponde às vagas de Quantas vagas são ingresso primário (PAS, Sisu, Vestibular tradicional) disponibilizadas? não ocupadas. 433 CADERNO DE PESQUISA 2 FORMAS DE INGRESSO DÚVIDAS Do que se trata? Como acontece? Quem pode participar? Vestibular para cursos que exi- Quando o edital é gem Certificação publicado? de Habilidade Início do curso? Específica (VEST HE) O edital contempla quais cursos? RESPOSTAS EXPLICATIVAS Processo seletivo para cursos de graduação que exigem Certificação de Habilidade Específica. A seleção compreende a análise das notas obtidas no Enem do ano anterior e a comprovação de Certificação de Habilidade Específica para o curso desejado, dentro do período de validade. O candidato que tiver feito o Enem no ano anterior ao processo seletivo e for portador de Certificação de Habilidade Específica para o curso desejado, dentro do período de validade. Em meados de janeiro. No primeiro semestre letivo. Arquitetura e Urbanismo, Artes Cênicas (bacharelado/ licenciatura), Artes Visuais (bacharelado/licenciatura), Design (bacharelado), Música (bacharelado/licenciatura). Quais sistemas de Ampla Concorrência (Sistema Universal), Sistema de concorrência são Cotas para Escolas Públicas e Sistema de Cotas para adotados? Negros. São oferecidas 25% das vagas totais anuais destinaQuantas vagas são das aos cursos de graduação que exigem Certificação disponibilizadas? de Habilidade Específica. Política de ação afirmativa da Universidade; o propósito é promover a inclusão de membros de coDo que se trata? munidades indígenas, por meio de processo seletivo específico. A classificação é feita com base no resultado obtido pelo candidato na prova de conhecimentos elaborada Como acontece? pela UnB. O candidato passa ainda por uma entrevista, etapa eliminatória do processo de seleção. Estudantes indígenas que tenham cursado ou estejam Quem pode parcursando o ensino médio em escola pública ou participar? ticular por meio de bolsa de estudos integral. Vestibular Indí- Quando o edital é Depende do convênio entre a Funai e a UnB. publicado? gena No semestre letivo seguinte ao da aplicação das Início do curso? provas. De graduação em Agronomia, Ciências Biológicas, O edital contemp- Ciências Sociais, Enfermagem, Engenharia Florestal, la quais cursos? Medicina e Nutrição oferecidos pela Universidade de Brasília (UnB). Quais sistemas de concorrência são Não se aplica. adotados? Quantas vagas são Depende do convênio entre a Funai e a UnB, mas, em disponibilizadas? geral, são 2 vagas por curso. 434 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS FORMAS DE INGRESSO DÚVIDAS Do que se trata? Como acontece? Vestibular para Licenciatura em Educação do Campo Quem pode participar? Quando o edital é publicado? RESPOSTAS EXPLICATIVAS Processo seletivo para curso de graduação que visa à formação de professores que atuarão na educação básica em escolas do campo na região do Distrito Federal (DF) e entorno, Goiás (GO) e Minas Gerais (MG). A seleção compreende a análise das notas obtidas em uma das três últimas edições do Exame Nacional de Ensino Médio (Enem). O candidato que tenha, obrigatoriamente, participado de pelo menos uma das três últimas edições do Exame Nacional de Ensino Médio (Enem). O candidato que tenha concluído o ensino médio ou esteja em fase final de conclusão e que não tenha formação em nível superior deve se enquadrar em pelo menos uma das seguintes situações: Ser professor ou outro profissional em exercício nas escolas do campo da rede pública na região do Distrito Federal (DF) e entorno, Goiás (GO) ou Minas Gerais (MG); Residir em comunidade do campo. Em meados de janeiro. Segmentado em duas turmas em regime de alternância. O ingresso da primeira turma é no segundo semestre do ano vigente e o da segunda turma é no primeiro semestre do ano subsequente. O edital contemp- Licenciatura em Educação do Campo na modalidade la quais cursos? presencial. Quais sistemas de Ampla Concorrência (Sistema Universal), Sistema de concorrência são Cotas para Escolas Públicas e Sistema de Cotas para adotados? Negros. Quantas vagas são 120 anuais. disponibilizadas? Seleção para provimento de vagas no curso de graduDo que se trata? ação presencial em Licenciatura em Língua de Sinais Brasileira/Português como Segunda Língua. Compreende avaliação de conhecimentos, mediante aplicação de prova objetiva, de caráter eliminatório e Como acontece? classificatório, e de redação em língua portuguesa, de caráter eliminatório. Quem pode parO candidato que comprovar a conclusão do ensino ticipar? médio (ou curso equivalente). Licenciatura em Língua de Quando o edital é Em meados do segundo semestre. Sinais Brasileira publicado? (Libras) Início do curso? No primeiro semestre letivo. Início do curso? O edital contemp- Licenciatura em Língua de Sinais Brasileira/Português la quais cursos? como Segunda Língua. Ampla Concorrência (Sistema Universal), Sistema de Quais sistemas de Cotas para Escolas Públicas e Sistema de Cotas para concorrência são Negros. Em cada um dos sistemas, há reserva de vaga adotados? para candidatos surdos ou com deficiência auditiva. Quantas vagas são 40 vagas anuais. disponibilizadas? 435 CADERNO DE PESQUISA 2 FORMAS DE INGRESSO DÚVIDAS Do que se trata? Como acontece? Ensino a Distância – Sistema Universidade Quem pode parAberta do Brasil ticipar? Quando o edital é (UAB) publicado? RESPOSTAS EXPLICATIVAS Seleção para provimento de vagas nos cursos de graduação na modalidade a distância, pelo sistema UAB. O Sistema UAB, em parceria com a UnB, provê vagas em cursos de graduação de licenciatura e bacharelado, na modalidade de educação a distância. O Sistema UAB conta com a participação de estados e municípios, que são os polos de apoio presencial para o atendimento aos alunos. Conheça quais cursos são oferecidos em cada polo: www.ead.unb.br. A seleção compreende avaliação de conhecimentos, mediante aplicação de provas objetiva e de redação em língua portuguesa, ambas eliminatórias e classificatórias, e a bonificação por experiência profissional, de caráter classificatório. As provas são realizadas nos polos/municípios e o candidato faz as provas no município do polo de apoio presencial para o qual se inscrever. Candidatos que comprovem a conclusão do ensino médio (ou curso equivalente). Em meados do primeiro ou do segundo semestre. O ingresso ocorre no semestre letivo seguinte à realização das provas. A UnB oferece pelo sistema UAB ingresso aos seguintes cursos: Administração Pública; Artes Visuais; Biologia; Educação Física; Geografia; Letras; Música; O edital contempPedagogia; Teatro; e Especialização em Desenvolvila quais cursos? mento Humano, Educação e Inclusão Escolar. Cada edital destina vagas específicas para alguns polos de apoio e cursos específicos. Quais sistemas de Sistema Universal e Sistema de Cotas para Escolas concorrência são Públicas. adotados? Quantas vagas são Definidas em edital específico. disponibilizadas? Processo para expedição do certificado exigido para ingresso nos cursos de graduação da UnB que requerem habilidades específicas. A Certificação de Habilidade Específica não garante o ingresso na UnB. O candidato que pretende cursar graduação em Arquitetura e Urbanismo, Artes Cênicas (bacharelado/licenciatura), Artes Visuais (bacharelado/licenciatura), Design (bacharelado), Música (bacharelado/licenciatura) na UnB. O processo de certificação é constituído de testes escritos e(ou) práticos para todos os cursos, bem como de apresentação de portfólio para o curso de Artes Plásticas (bacharelado/licenciatura). Início do curso? Certificação de Habilidade Específica Fonte: Elaborado pelos autores, com base nas informações disponibilizadas no site da UnB. 436 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS APÊNDICE B GRÁFICO 7 – NÚMERO DE VAGAS, INSCRITOS, INGRESSANTES E FORMADOS DOS OUTROS CURSOS DE LICENCIATURAS DA UNB (1999 A 2016) Fonte: Elaborado pelos autores a partir dos dados extraídos nos anuários estatísticos da UnB. Nota 1: os dados aparecem como parciais, uma vez que não foi possível coletar as informações na sua integralidade nos anuários estatísticos disponibilizados pela instituição. Nota 2: em alguns cursos as informações/números se misturam (bacharelado/licenciatura) e outros aparecem de maneira confusa. Nota 3: não encontramos os anuários referente aos anos de 2008, 2009, 2011 e 2014. 437 CADERNO DE PESQUISA 2 ANEXO A LEI Nº 13.478, DE 30 DE AGOSTO DE 2017 Altera a Lei nº 9.394, de 20 de dezembro de 1996 (Lei de Diretrizes e Bases da Educação Nacional), para estabelecer direito de acesso aos profissionais do magistério a cursos de formação de professores, por meio de processo seletivo diferenciado. O PRESIDENTE DA CÂMARA DOS DEPUTADOS, no exercício do cargo de PRESIDENTE DA REPÚBLICA, faço saber que o Congresso Nacional decreta e eu sanciono a seguinte Lei: Art. 1º Esta Lei estabelece o direito de ingresso de profissionais do magistério a cursos de formação de professores, em nível de graduação, por meio de processo seletivo especial. Art. 2º A Lei nº 9.394, de 20 de dezembro de 1996 (Lei de Diretrizes e Bases da Educação Nacional), passa a vigorar acrescida do seguinte art. 62-B: “Art. 62-B. O acesso de professores das redes públicas de educação básica a cursos superiores de pedagogia e licenciatura será efetivado por meio de processo seletivo diferenciado. § 1º Terão direito de pleitear o acesso previsto no caput deste artigo os professores das redes públicas municipais, estaduais e federal que ingressaram por concurso público, tenham pelo menos três anos de exercício da profissão e não sejam portadores de diploma de graduação. § 2º As instituições de ensino responsáveis pela oferta de cursos de pedagogia e outras licenciaturas definirão critérios adicionais de seleção sempre que acorrerem aos certames interessados em número superior ao de vagas disponíveis para os respectivos cursos. § 3º Sem prejuízo dos concursos seletivos a serem definidos em regulamento pelas universidades, terão prioridade de ingresso os professores que optarem por cursos de licenciatura em matemática, física, química, biologia e língua portuguesa.” 438 ACESSO DIFERENCIADO AOS CURSOS DE PEDAGOGIA E LICENCIATURAS Art. 3º Esta Lei entra em vigor na data de sua publicação. Brasília, 30 de agosto de 2017; 196° da Independência e 129° da República. RODRIGO MAIA José Mendonça Bezerra Filho Publicação: • Diário Oficial da União - Seção 1 - 31/8/2017, Página 2 (Publicação Original). 439 CADERNO DE PESQUISA 2 AGRADECIMENTOS Agradecemos a todos que contribuíram, direta ou indiretamente, para que tornasse possível a realização deste trabalho, em especial: Ao Cebraspe por ter destinado os recursos com a finalidade de avançar em pesquisas dessa natureza que mesmo sendo relevantes para a educação, ainda são raras no cenário acadêmico. Ao GEPAT por ter sido um espaço importante para a nossa organização e diálogo ao longo das atividades. À SEEDF, ao Inep e a UnB por terem sido parceiros importantes no fornecimento de dados, assim como nos esclarecimentos de questões relativas à temática tratada. 440