"Utilizar rankings quando a ordenação das instituições universitárias depende tão fortemente da escolha das variáveis é um disparate. E foi um mau serviço prestado aos autores
Quando José Manuel Fernandes publicou generosamente o meu texto crítico sobre os rankings disse que eu devia ter mostrado os erros desses rankings, o que venho fazer, respondendo, também, ao colunista Santana Castilho, que formulou comentários idênticos. Esta crítica não se dirige aos autores dos textos que serviram de base aos rankings, mas à forma leviana como foram instrumentalizados pelo PÚBLICO.
O ranking de 25 de Julho baseou-se num trabalho atribuído a Sousa Lobo e Tiago Santos Pereira. Recordo a Santana Castilho que Tiago Santos Pereira negou qualquer responsabilidade no trabalho e Sousa Lobo teve a amabilidade de me informar que pretendera analisar a evolução da produtividade científica das instituições e não fazer um ranking.
Para além de ser um disparate fazer um ranking de instituições complexas com base num parâmetro único, a metodologia usada, aceitável para estudar a evolução da produtividade de uma mesma instituição, é errada para fazer rankings.
O número de artigos foi dividido pelo número de docentes da carreira universitária, excluindo todos os outros (carreira do politécnico, convidados, visitantes, etc.), beneficiando as instituições com mais baixa percentagem de docentes da carreira universitária. Por exemplo, dos 593,4 docentes (ETI, equivalente a tempo inteiro) da Universidade do Algarve só foram considerados 221 (37,2 por cento), o que deu um valor de 0,87 publicações/docente em vez do valor 0,32 obtido dividindo o número de artigos (193) pela totalidade dos docentes. A Universidade de Aveiro tem escolas politécnicas e usa uma política flexível de gestão de pessoal com maior recurso aos docentes convidados. Nessa universidade foram contabilizados apenas 50,9 por cento dos docentes, contra 78,2 por cento na Universidade de Lisboa. Portanto, considerar apenas os docentes da carreira universitária prejudicou Lisboa em relação a Aveiro, etc., etc.
Só foram contabilizadas as publicações listadas no ISI, deixando de fora a maioria das contribuições das ciências humanas e sociais, como foi salientado em comentários enviados para o PÚBLICO. É evidente que o ranking prejudicou universidades como a de Lisboa, com grandes Faculdades de Letras e Direito e sem uma Faculdade de Engenharia, sendo extremo o caso do ISCTE. É tão válido como comparar dois supermercados em que no cabaz de um se inclui a lagosta, o caviar e o Don Perignon e no do outro se inclui a sardinha, as ovas de bacalhau e o carrascão.
Portanto, o ranking do PÚBLICO usou uma metodologia inadequada que distorceu os resultados e falseou a realidade.
O segundo ranking (1 de Agosto) baseou-se num estudo de António Afonso e Mariana Santos, uma excelente contribuição para aplicação das metodologias "data development analysis" (DEA) aos estudos da eficiência do ensino superior em Portugal. A DEA exige amostras homogéneas, sendo muito sensível à escolha das variáveis, como muito bem salientaram os autores. A forma simplista como o PÚBLICO apresentou o ranking (o seu objectivo último) reduziu um trabalho sério ao nível do panfleto... com o título bombástico (mas errado) na primeira página "Medicina Dentária do Porto é o curso superior com maior sucesso na conclusão de licenciaturas".
António Afonso e Mariana Santos procuraram aumentar a homogeneidade da amostra (universidades misturadas com faculdades), apresentando modelos alternativos só com faculdades. Infelizmente, o PÚBLICO queria incluir as universidades e não optou por estes modelos. Os autores mostraram, ainda que, alterando de uma para duas as variáveis de output (taxa de sucesso+doutoramentos/100 docentes), algumas instituições melhoraram os rankings entre 20 a 37 lugares! António Afonso e Mariana Santos aconselharam cuidado na utilização dos resultados devido ao pequeno número de variáveis; o PÚBLICO perdeu uma boa oportunidade de fazer pedagogia mostrando que variáveis diferentes produzem rankings muito diferentes.
Tentarei explicar. Imaginem duas instituições como Harvard e a Universidade de Pampilhosa da Serra (UPS); se as variáveis forem o custo por aluno e a taxa de sucesso, é evidente que os custos de Harvard e a balda da UPS nos exames levam à conclusão de que esta é mais eficiente!!! Incluindo variáveis como a produção científica, o número de doutoramentos ou a qualificação do pessoal docente, a situação inverte-se.
Utilizar rankings quando a ordenação das instituições depende tão fortemente da escolha das variáveis é um disparate. E foi um mau serviço prestado aos autores.
A Medicina Dentária do Porto apareceu no topo do ranking porque compensa os custos elevados com a melhor taxa de sucesso (mas foram excluídas as Faculdades de Medicina com taxas superiores a 100 por cento). Mas será real? A taxa de sucesso de Lisboa é de 58,67 por cento e a do Porto de 95,92 por cento. Como explicar a diferença? Qualidade? Ambas as Faculdades perdem alunos que se transferem para Medicina, mas no Porto essa perda é compensada transferindo alunos do sector privado (Fernando Pessoa e CESPU), subindo artificialmente a taxa de sucesso! Este é o milagre.
Pode Santana Castilho ficar tranquilo porque não tenho medo dos rankings ou dos indicadores, mas detesto que se engane os leitores e se venda gato por lebre apresentando como credíveis rankings de validade mais do que duvidosa. No texto inicial pretendi mostrar por absurdo a falsidade da afirmação de José Manuel Fernandes "... os números são sempre uma forma simplificada mas objectiva de descrever uma realidade" e admiti que os comentários feitos na sequência da publicação dos rankings já tinham demonstrado a sua fragilidade. Pelos vistos alguns não compreenderam a mensagem, talvez por falta de sentido de humor, de flexibilidade mental ou de conhecimentos. Espero que este texto os convença. Ou estarei de novo enganado? A minha avozinha dizia que a ignorância era muito atrevida... Antigo reitor da Universidade do Porto"
Instituto Superior de Engenharia do Porto