Indicadores e procedimentos de monitoramento e avaliação de desempenho complementares aos utilizados pelo sistema de avaliação da Capes : área Ciências Biológicas II
Visualizar/abrir
Data
2019Autor
Orientador
Co-orientador
Nível acadêmico
Doutorado
Tipo
Assunto
Resumo
Os indicadores aplicados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para monitorar e avaliar a qualidade e o desempenho dos Programas de Pós-Graduação brasileiros fornecem importantes informações sobre a produção científica e seu impacto, sobre a formação de recursos humanos e sobre a inserção social. Contudo, constataram-se algumas lacunas do modelo adotado quando se pensa na avaliação da viabilidade e dos impactos de algumas políticas de avaliação e nos seus efei ...
Os indicadores aplicados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para monitorar e avaliar a qualidade e o desempenho dos Programas de Pós-Graduação brasileiros fornecem importantes informações sobre a produção científica e seu impacto, sobre a formação de recursos humanos e sobre a inserção social. Contudo, constataram-se algumas lacunas do modelo adotado quando se pensa na avaliação da viabilidade e dos impactos de algumas políticas de avaliação e nos seus efeitos na Pós-Graduação. Neste contexto, a questão central que norteou este estudo surgiu da necessidade de ampliar as discussões sobre o atual modelo de avaliação adotado pela CAPES, bem como da averiguação de outras formas de monitorar e avaliar o desempenho dos Programas de Pós-Graduação: quais indicadores e procedimentos os PPGS poderiam adotar para monitorar e avaliar o seu desempenho de modo complementar ao modelo do Sistema de Avaliação da CAPES? Para isso, buscou-se, no conjunto dos quesitos avaliados (Quesitos 1 ao 5 e o atributo adicional Internacionalização/Inserção internacional), aplicar indicadores e procedimentos adicionais para avaliar os impactos e a viabilidade de algumas políticas de avaliação e identificar e analisar os efeitos da avaliação nas atividades científicas e na gestão acadêmica. Método: Trata-se de um estudo de caso, descritivo, com uma abordagem qualitativa e quantitativa. Foi necessária a aplicação de métodos mistos: indicadores Bibliométricos/Cientométricos, Análise Documental e Análise de Conteúdo. Tem como objeto de estudo o Programa de Pós-Graduação em Ciências Biológicas: Bioquímica, da Universidade Federal do Rio Grande do Sul, e a Área Ciências Biológicas II (CBII). O período de abrangência do estudo corresponde de 2007 a 2016. Para atingir os objetivos, apresentam-se: um novo indicador científico, indicadores relativizados e quatro procedimentos. Quanto aos indicadores: 1) Indicador de Coautoria Docente/Discente avaliou o impacto e a viabilidade das Portarias (Portarias dos 8) que recomendam no máximo oito orientandos por orientador e 2) Indicadores relativizados (Coautoria nacional e internacional versus Qualis e Produção científica da Área CBII versus Fator de Impacto dos periódicos). Quanto aos procedimentos: 3) Acompanhamento das atividades profissionais dos egressos; 4) Identificação das medidas corretivas implementadas; 5) Impacto da inserção do PPG na Educação Básica. Resultados dos indicadores aplicados: 1) As políticas de avaliação da CAPES devem ser entendidas dentro de questões funcionais particulares. No desfecho produção científica por discente, não é viável limitar o número de orientandos por orientador; 2) A política de internacionalização/inserção internacional, observada através da coautoria internacional, se constitui como importante estratégia de visibilidade às publicações; As cinco subáreas da Área CBII apresentaram diferenças significativas na distribuição dos índices de Fator de Impacto. As peculiaridades de cada subárea devem ser levadas em conta e é necessário, também, que se compreenda mais detalhadamente as distribuições dos índices de FI que constituíram o estrato Qualis A1, pois os resultados sugerem que, devido a amplitude nos índices de FI ≥4,60, os critérios da avaliação da qualidade da produção científica dos PPGs devem ser reavaliados. Resultados dos procedimentos aplicados: 3) A política de inserção social (nucleação) dos Programas deve ser vista sob uma perspectiva mais ampla, para além dos egressos que são incorporados em Instituições de Ensino Superior, dando atenção a demora na inserção no mercado acadêmico e não acadêmico; 4) O Sistema de Avaliação tem efeitos no contexto das atividades científicas e na gestão acadêmica que induz os Programas de Pós-Graduação à intervenções no âmbito interno; 5) A política de inserção dos Programas de Pós-Graduação na Educação Básica se constitui como ação complementar na formação dos discentes. Observa-se que a gestão de informações dos Programas de Pós-Graduação para atender as demandas da avaliação da CAPES deve, também, ser entendida como um processo de construção de conhecimento científico. Apresenta um modelo que pode ser utilizado para monitorar e avaliar outros Programas de Pós-Graduação, indo ao encontro do novo modelo de avaliação que vem sendo discutido pela CAPES e pela comunidade de pesquisadores dos Programas de Pós-Graduação. ...
Abstract
The indicators applied by Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) to monitor and evaluate the quality and performance of Brazilian Graduate Programs provide important information on scientific production and its impact, on human resources training and on the social insertion. However, some shortcomings of the adopted model were found when considering the evaluation of the feasibility and impacts of some evaluation policies and their effects on Graduate Studies. In th ...
The indicators applied by Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) to monitor and evaluate the quality and performance of Brazilian Graduate Programs provide important information on scientific production and its impact, on human resources training and on the social insertion. However, some shortcomings of the adopted model were found when considering the evaluation of the feasibility and impacts of some evaluation policies and their effects on Graduate Studies. In this context, the central question that guided this study arose from the need to broaden the discussions on the current evaluation model adopted by CAPES, as well as to investigate other ways to monitor and evaluate the performance of the Graduate Programs: which indicators and procedures could Graduate Programs adopt, in addition to the CAPES Evaluation System model, to monitor and evaluate its performance? To this end, it was sought, in the set of evaluated items (Questions 1 to 5 and the additional attribute Internationalization / International Insertion), to apply additional indicators and procedures to evaluate the impacts and the viability of some evaluation policies and to identify and analyze the effects. evaluation in scientific activities and academic management. Method: This is a descriptive case study with a qualitative and quantitative approach. It was necessary to apply mixed methods: Bibliometric / Scientometric indicators, Document Analysis and Content Analysis. Its object of study is the Programa de Pós-Graduação em Ciências Biológicas: Bioquímica, da Universidade Federal do Rio Grande do Sul, and the Biological Sciences Area II (CBII). The study coverage period corresponds from 2007 to 2016. To achieve the objectives, we present: a new scientific indicator, relativized indicators and four procedures. Regarding the indicators: 1) Teaching / Student Co-authoring Indicator assessed the impact and feasibility of the Ordinances (Ordinances of 8) recommending at most eight advisors per advisor and 2) Relativized indicators (National and International co-authoring versus Qualis and Scientific Production of the Area). CBII versus Impact Factor of journals). Regarding the procedures: 3) Follow-up of the graduates' professional activities; 4) Identification of corrective measures implemented; 5) Impact of PPG insertion on Basic Education. Results of the indicators applied: 1) CAPES evaluation policies should be understood within particular functional issues. In the outcome scientific production per student, it is not feasible to limit the number of students per advisor; 2) The policy of internationalization / international insertion, observed through international co-authorship, is an important visibility strategy for publications; The five subareas of Area CBII showed significant differences in the distribution of Impact Factor indices. The peculiarities of each subarea should be taken into account and it is also necessary to understand in more detail the distributions of the FI indices that constituted the Qualis A1 stratum, since the results suggest that due to the amplitude of the FI indices ≥4, 60, the criteria for evaluating the quality of scientific production of PPGs should be reevaluated. Results of the procedures applied: 3) The social insertion policy (nucleation) of the Programs should be seen from a broader perspective, in addition to the graduates that are incorporated in Higher Education Institutions, paying attention to the delay in the insertion in the academic market and not academic; 4) The Evaluation System has effects in the context of scientific activities and academic management that induces Graduate Programs to internal interventions; 5) The policy of insertion of the Graduate Programs in Basic Education constitutes a complementary action in the formation of students. It is observed that the information management of the Graduate Programs to meet the demands of CAPES evaluation must also be understood as a research process, which applies scientific method. It presents a model that can be used to monitor and evaluate other Graduate Programs, in line with the new evaluation model that has been discussed by CAPES and the Graduate Program research community. ...
Instituição
Universidade Federal do Rio Grande do Sul. Instituto de Ciências Básicas da Saúde. Programa de Pós-Graduação em Educação em Ciências: Química da Vida e Saúde.
Coleções
-
Multidisciplinar (2517)
Este item está licenciado na Creative Commons License
![](/themes/Mirage2Novo//images/lume/cc.png)