Normas para Avaliação Externa

INTRODUÇÃO

1. A COMISSÃO DE AVALIAÇÃO EXTERNA

1.1. Composição da Comissão

1.2. Código de Ética

1.3. Funções da Comissão de Avaliação Externa

1.4. Preparação da Comissão e Etapas da sua Actividade

1.5. Preparação da Visita

1.6. Informações Gerais

2. A VISITA

2.1. Visita às Infra-Estruturas

2.2. Reunião da Comissão de Avaliação Externa

2.3. Reunião Final

3. O RELATÓRIO DE AVALIAÇÃO EXTERNA

4. O MOMENTO APÓS A AVALIAÇÃO EXTERNA

4.1. Entrega da Versão Provisória do Relatório de Avaliação Externa à Agência

4.2. Divulgação da Versão Final do Relatório de Avaliação Externa

4.3. Cessação das Responsabilidades da Comissão de Avaliação Externa e Apreciação do Trabalho realizado 

INTRODUÇÃO 

Tendo como referência o regime jurídico da avaliação e acreditação do ensino superior, no essencial, constante da Lei n.º 38/2007, de 16 de Agosto, que integra, também, disposições dispersas por outros diplomas legais, designadamente o Decreto-Lei n.º 74/2006, de 24 de Março, alterado pelo DecretoLei n.º 107/2008, de 25 de Junho e pelo Decreto-Lei n.º 230/2009, de 14 de Setembro, a Lei n.º 62/2007, de 10 de Setembro, e o Decreto-Lei n.º 369/2007, de 5 de Novembro, a avaliação da qualidade e a acreditação do Ensino Superior tem por objecto o desempenho dos estabelecimentos de ensino superior, medindo o grau de cumprimento da sua missão através de parâmetros de desempenho relacionados com a respectiva actuação e com os resultados dela decorrentes.

Neste contexto, são objectivos da avaliação da qualidade: 

• A melhoria da qualidade das instituições de ensino superior; 
• A prestação de informação fundamentada à sociedade sobre o desempenho das instituições de ensino superior; 
• O desenvolvimento de uma cultura institucional de garantia de qualidade;
• A garantia do cumprimento dos requisitos que conduziram ao reconhecimento oficial da instituições de ensino superior e dos seus ciclos de estudos.

A prossecução dos objectivos da avaliação da qualidade e da acreditação desenvolve-se através das seguintes formas:

• GARANTIA INTERNA DA QUALIDADE, traduzida na implementação, pelos estabelecimentos de ensino superior, de uma política de garantia da qualidade dos seus ciclos de estudos, bem como dos procedimentos adequados à sua prossecução, designadamente, através da adopção de sistemas internos de garantia da qualidade da sua actividade e pondo em prática uma estratégia para a sua melhoria contínua;
• AUTO-AVALIAÇÃO é o processo desenvolvido pelos estabelecimentos de ensino superior, sustentado na recolha e análise sistemática dos dados da sua actividade, na auscultação dos docentes e demais pessoal ao seu serviço, bem como no questionamento dos estudantes e diplomados, tendo como principal objectivo promover uma reflexão interna colectiva sobre a instituição e as suas actividades. O processo de auto-avaliação antecede, necessariamente, a avaliação externa do estabelecimento de ensino ou seus ciclos de estudos e deve constituir uma oportunidade para a melhoria da qualidade do seu desempenho. 
• AVALIAÇÃO EXTERNA, cujos processos se realizam através de painéis de avaliação que integram peritos independentes, sem relação com o estabelecimento de ensino superior avaliado, e incluem visitas ao estabelecimento de ensino e a audição dos representantes dos seus corpos, bem como de entidades externas, designadamente associações profissionais e outras. Tais processos são da responsabilidade da Agência de Avaliação e Acreditação do Ensino Superior (A3ES), à qual compete nomear os referidos painéis de avaliação (Comissões de Avaliação Externa) e envolvem a análise do relatório de auto-avaliação, a visita ao estabelecimento de ensino e a recolha e análise dos dados e da informação complementar necessária à avaliação da instituição ou de uma sua actividade nuclear, tendo em vista a emissão de uma declaração sobre a sua qualidade.
• ACREDITAÇÃO é o procedimento pelo qual a Agência de Avaliação e Acreditação do Ensino Superior verifica e reconhece formalmente que determinados ciclos de estudos, ou determinada instituição de ensino superior, reúnem as condições de organização e apresentam os padrões de qualidade de desempenho exigidos para essa acreditação. 
• AUDITORIA INSTITUCIONAL é o processo de avaliação externa para verificar se o sistema interno de garantia da qualidade da instituição está em conformidade com os objectivos enunciados, e se é eficaz e adequado ao seu propósito. A auditoria não se debruça sobre objectivos ou resultados operacionais, enquanto tais, mas avalia os procedimentos utilizados pela instituição para gerir e melhorar a qualidade do seu ensino e demais actividades.

Com o objectivo de clarificar o contexto em que a AVALIAÇÃO EXTERNA se processa, o presente documento tem por finalidades:

• Explicitar os passos a serem seguidos pelas Comissões de Avaliação Externa no sentido de levar a cabo o processo de avaliação.
• Apoiar e facilitar o trabalho das Comissões de Avaliação Externa.
• Fornecer linhas de orientação para as Comissões de Avaliação Externa, clarificando o modo como estas se devem preparar e qual deve ser a sua conduta durante as visitas de avaliação externa.
• Contribuir para a homogeneidade do processo de avaliação, no sentido de construir e valorizar critérios e parâmetros de natureza global ou específica, inerentes a diversos domínios do conhecimento científico.

Voltar ao Topo

1. A COMISSÃO DE AVALIAÇÃO EXTERNA

A Comissão de Avaliação Externa é composta por um conjunto de especialistas seleccionados pela Agência com base na experiência e formação detidos no âmbito da avaliação externa. Cada comissão avaliará um ciclo de estudos ou um conjunto de ciclos de estudos num mesmo domínio do conhecimento e é apoiada por um funcionário da Agência, que actua como gestor do procedimento.

Voltar ao Topo

1.1. Composição da Comissão

Os membros da Comissão de Avaliação Externa são seleccionados e nomeados pela Agência. Esta selecção é efectuada com total transparência e é objectivamente baseada na adequação do currículo e do perfil dos indigitados às funções a desempenhar, devendo estar assegurada a independência dos avaliadores em relação aos ciclos de estudos avaliados.

A Comissão de Avaliação Externa é constituída por três a cinco membros, um dos quais será o(a) presidente, devendo, pelo menos um deles, ser recrutado internacionalmente, entre peritos reconhecidos na área académica/científica/profissional relevante.

Voltar ao Topo

1.2. Código de Ética

Os membros das Comissões de Avaliação Externa devem observar, na prossecução das suas funções e actividades, as seguintes normas relativas aos conflitos de interesse, confidencialidade e conduta pessoal:

Conflitos de interesse. Os membros das Comissões de Avaliação Externa:

• não podem ter no momento, ou ter tido nos dois anos anteriores, qualquer relação com a Instituição de Ensino Superior (IES) responsável pelos ciclos de estudos em avaliação; 
• devem conservar o distanciamento adequado face à IES, de modo a salvaguardarem a independência, isenção e imparcialidade do processo de avaliação e, os avaliadores devem, por outro lado, assumir, perante a mesma, uma atitude construtiva, de modo a que este processo se desenvolva com a confiança e abertura propiciadoras de uma verdadeira oportunidade de melhoria;
• na condução do processo de avaliação, os avaliadores devem encarar a IES e os seus interlocutores como parceiros responsáveis e, neste sentido, promover a sua abertura e compromisso, sem procurarem impor modelos de outros cursos/instituições que prejudiquem a diversidade das soluções adoptadas;
• em particular, é estritamente vedado aos avaliadores a utilização de exemplos do seu ciclo de estudos ou instituição como modelo a seguir pelos avaliados;
• os membros da Comissão de Avaliação Externa devem procurar sempre discutir com a Agência quaisquer situações particulares que possam configurar uma situação de conflito de interesses.

Confidencialidade. Na prossecução da sua actividade, os membros das Comissões de Avaliação Externa devem salvaguardar, preservar e respeitar a confidencialidade da informação relativa ao processo de avaliação, designadamente a dos documentos que não são públicos.

Conduta. Na prossecução da sua actividade, os membros das Comissões de Avaliação Externa devem pautar a sua conduta:

• pelo rigor, eficiência e eficácia, empregando os procedimentos mais adequados e ajustados aos processos de tomada de decisão;
• pela independência, isenção, imparcialidade, integridade e objectividade;
• segundo as regras da boa fé, ponderando os valores fundamentais de justiça relevantes em face das situações consideradas;
• pela clareza de propósitos e de actuação e uma postura de abertura e transparência;
• por uma preocupação com a garantia e melhoria da qualidade do ensino superior e pela salvaguarda do interesse público face à mesma.

Voltar ao Topo

1.3.  Funções da Comissão de Avaliação Externa

Comuns a todos os membros da Comissão:

• Ler e analisar estas normas, o Guião para a Avaliação/Acreditação dos Ciclos de Estudos em Funcionamento e os relatórios de auto-avaliação produzidos pela IES.
• Discutir as datas para a visita à IES/ciclos de estudos e participar no esboço do seu agendamento, nos casos em que é prevista uma visita.
• Conduzir a avaliação dos ciclos de estudos, seguindo o Guião para a Avaliação/Acreditação dos Ciclos de Estudos em Funcionamento e demais normas de conduta pertinentes.
• Conduzir, segundo as orientações do(a) Presidente, reuniões com as autoridades académicas, a equipa de auto-avaliação, os actores institucionais e os actores extra institucionais.
• Providenciar, do ponto de vista académico, científico e profissional, uma perspectiva sobre os ciclos de estudos em avaliação.
• Proceder à avaliação de todas as áreas, referentes aos ciclos de estudos avaliados, que integram o Guião para a Avaliação/Acreditação dos Ciclos de Estudos em Funcionamento.
• Discutir os resultados da avaliação externa, elaborar recomendações e propor melhorias, a integrar na redacção dos Relatórios Finais de Avaliação Externa.
• Coadjuvar na elaboração e aprovação dos Relatórios de Avaliação Externa, tanto na sua versão oral, como nas versões escritas, provisória e final.

Específicas do(a) Presidente:

• Representar e liderar a Comissão de Avaliação Externa, coordenando as suas actividades e assumindo a responsabilidade pela avaliação externa.
• Definir o plano de Actividades da Comissão de Avaliação Externa e distribui-las pelos seus membros.
• Definir, por intermédio do Gestor do Procedimento, com a IES responsável pelos ciclos de estudos, as datas e a agenda da visita.
• Orientar as reuniões com as autoridades académicas, os actores institucionais (docentes, estudantes e pessoal não docente) e extra institucionais (graduados dos ciclos de estudos em apreciação, empregadores, representantes da comunidade, etc.).
• Orientar as discussões e debates internos da Comissão de Avaliação Externa, nomeadamente, sobre os resultados da avaliação.
• Coordenar a reunião final com as autoridades académicas e submeter, oralmente, perante as mesmas, os relatórios provisórios de avaliação externa.
• Coordenar a revisão da versão provisória dos Relatórios de Avaliação Externa, bem como a redacção das suas versões definitivas.
• Validar os Relatórios (Finais) de Avaliação Externa e responsabilizar-se pela sua remissão à Agência.

Voltar ao Topo

1.4. Preparação da Comissão e Etapas da sua Actividade

Depois de seleccionados, os membros que compõem a Comissão de Avaliação Externa frequentam uma acção de formação especificamente desenhada e promovida pela Agência.

Além da frequência desta acção de formação, os membros da Comissão de Avaliação Externa devem preparar-se, individualmente, para o desempenho das suas funções mediante a análise e estudo prévios de documentos como estas Normas e o Guião para a Avaliação/Acreditação dos Ciclos de Estudos e, em especial, os Relatórios de Auto-Avaliação correspondentes aos ciclos de estudos em análise.

Organização do Trabalho da Comissão de Avaliação Externa
Adaptado de ANECA, 2007.

Nos casos em que não está prevista uma visita à instituição de ensino superior, o momento 3 consistirá na discussão conjunta dos relatórios de auto-avaliação dos ciclos de estudos.

Voltar ao Topo

1.5. Preparação da Visita

Após a constituição da Comissão de Avaliação Externa, a Agência comunica à IES a sua composição. A IES, através dos seus responsáveis académicos, pode pronunciar-se sobre a composição da Comissão de Avaliação Externa antes da realização da visita e, eventualmente, deduzir oposição à inclusão de algum dos seus membros, com fundamento na existência de alguma incompatibilidade para essa inclusão. Neste último caso, a Agência analisará as razões que sustentam essa oposição e, se tal se justificar, procederá à substituição do(s) membro(s) da Comissão, sobre o(s) qual(is)  tenha sido deduzida fundada oposição.

Assim que a composição da Comissão esteja definitivamente definida, a Agência informa os seus membros e dá início à sua actividade, enviando os Relatórios de Auto-avaliação a cada um dos membros. Estes procederão, então, individualmente, à sua leitura e análise, bem como à apreciação global do procedimento de auto-avaliação. A partir desta análise, realizada tendo por referência o Guião para a Avaliação/Acreditação dos Ciclos de Estudos em Funcionamento, cada um dos membros da Comissão deve decidir sobre:

• A suficiência da informação constante dos relatórios de auto-avaliação.
• A necessidade de clarificar certos pontos dos relatórios de auto-avaliação.
• A necessidade de aceder a informação complementar durante a visita.
• As principais linhas orientadoras das reuniões com os diferentes actores (institucionais e extra institucionais) a ter lugar durante a visita.

Imediatamente antes da visita, tem lugar uma reunião preparatória da Comissão, com a finalidade de discutir, em conjunto, as principais impressões e conclusões retiradas da análise individual dos Relatórios de Auto-avaliação. Constituem, ainda, objectivos específicos desta reunião:

• Identificar a informação complementar necessária a clarificar, apoiar ou suplementar as evidências presentes nos relatórios de auto-avaliação.
• Identificar, ainda que preliminarmente, as principais forças e fraquezas dos ciclos de estudos em avaliação.
• Apreciar, globalmente, o trabalho da comissão de auto-avaliação.
• Explicitar as principais actividades a serem empreendidas durante a visita aos ciclos de estudos, organizá-las (vide calendarização proposta em seguida) e atribuí-las aos diferentes membros da Comissão, tendo por base, nomeadamente, a natureza das suas funções e competências (vide ponto 1.3.).

Voltar ao Topo

1.6. Informações Gerais

A visita será organizada pela Agência, através do Gestor do Procedimento, sob a orientação do Presidente da Comissão de Avaliação Externa. As despesas com a deslocação dos membros da Comissão, incluindo despesas com transporte, alimentação e alojamento, são naturalmente da conta da Agência.

Situações de Emergência. Caberá ao Gestor do Procedimento, sob a orientação do Presidente da Comissão de Avaliação Externa, procurar resolver quaisquer situações anómalas, imprevistas ou urgentes. Para o efeito poderão ser contactados os serviços da Agência.

Telefone da Agência: 21 351 1690

Fax da Agência: 21 351 1691

E-mail da Agência: a3es[arroba]a3es[ponto]pt

Website da Agência: publicações e outros recursos úteis à Comissão de Avaliação Externa e às IES estão disponíveis no sítio de internet da Agência, www.a3es.pt.

Voltar ao Topo

2. A VISITA 

A visita à Instituição de Ensino Superior organiza-se como se exemplifica na tabela seguinte:

Adaptado de ANECA, 2007; CNAVES, 2000; EUA, 2008. 

Voltar ao Topo

2.1. Visita às Infra-Estruturas 

A Comissão de Avaliação Externa deve proceder à visita às instalações e demais infra-estruturas de funcionamento dos ciclos de estudos em avaliação (edifícios, laboratórios e bibliotecas, salas de estudo, etc.). Convém que se indague se as mesmas instalações e demais infra-estruturas correspondem ao local legalmente autorizado para o funcionamento do respectivo estabelecimento de ensino, registando a informação obtida.

Voltar ao Topo

2.2. Reunião da CAE

Antes do termo da visita, a Comissão reúne com o intuito de discutir as conclusões sobre os resultados da avaliação e organizar os itens a integrar nos relatórios de avaliação externa a ser apresentados oralmente. No decurso desta reunião, a Comissão deve chegar a um consenso sobre quais as principais conclusões, baseadas nessas apreciações, passíveis de integrar os relatórios de avaliação externa destinados à apresentação oral. 

Todas as apreciações e actividades da comissão devem apoiar-se, obrigatoriamente:

• Na análise de informação e dos dados disponíveis. As apreciações da Comissão devem ser fundamentadas em informação que lhe é disponibilizada sobre os ciclos de estudos em avaliação (i.e., Relatórios de Auto-avaliação), ou que por ela tenha sido recolhida, nomeadamente, através das reuniões com os diferentes grupos de interlocutores.
• Na observação individual. Constituindo uma das principais incumbências da Comissão, esta observação tem por base o Guião para a Avaliação/Acreditação dos Ciclos de Estudos e visa permitir recolher informação adicional e inacessível de outro modo.
• E, sempre que necessário, na análise de documentação adicional. O objectivo desta análise consiste em obter dados suplementares que facilitem a estruturação de juízos sobre os vários aspectos em avaliação. O acesso a documentação adicional deve ser realizado pela Comissão sempre que esta o julgue necessário e com o propósito de complementar informação já existente.

Voltar ao Topo

2.3. Reunião Final

A realizar com a Autoridade Académica e, no caso das instituições privadas, também com a presença do órgão de administração da Entidade Instituidora.

Nesta reunião, deve proceder-se à discussão, com os responsáveis pelo estabelecimento de ensino, das principais conclusões da avaliação, bem como dos principais itens que compõem os relatórios de avaliação externa a ser apresentados oralmente. Esta reunião destina-se a eliminar eventuais erros de interpretação.

Voltar ao Topo

3. OS RELATÓRIOS PROVISÓRIOS DE AVALIAÇÃO EXTERNA

Com base nas notas colhidas na reunião da Comissão de Avaliação Externa, e usando o formulário electrónico apropriado (Guião de Avaliação/Acreditação de Ciclos de Estudos), a Comissão prepara em linha a versão provisória dos Relatórios. Estes relatórios devem ser aprovados formalmente por todos os membros da Comissão e de seguida submetidos à Agência pelo(a) Presidente da Comissão de Avaliação Externa.

Estes diferentes momentos na redacção dos Relatórios de Avaliação Externa devem ter presente as finalidades do exercício de avaliação em causa: a acreditação, nos termos da lei, dos ciclos de estudos objecto de avaliação e a consequente melhoria das condições do seu funcionamento e da sua qualidade. A redacção dos Relatórios deve observar as seguintes regras:

• Concordância com a sua versão apresentada oralmente aos responsáveis pelo estabelecimento de ensino;
• Observância da confidencialidade:
  
  • ausência de referências explícitas a pessoas, instituições e/ou ciclos de estudos que não os directamente avaliados;
  • cumprimento dos requisitos legais de protecção de dados pessoais, assegurando, nomeadamente, o anonimato das pessoas participantes no processo avaliativo.
• Apresentação de uma conclusão inequívoca e fundamentada sobre a qualidade dos ciclos de estudos.
• As recomendações finais devem:
  
  • basear-se e ser coerentes com os dados e evidência recolhidos durante o processo e fazer referência clara e objectiva aos aspectos avaliados;
  • evitar quaisquer comparações com outros ciclos de estudos/IES;
  • ser claras e coerentes.
• Os relatórios devem incluir um comentário às propostas de melhoria formuladas pela IES responsável pelos ciclos de estudos, oferecendo propostas alternativas ou complementares quando tal seja admissível e justificado. As propostas alternativas devem:
  
  • ser baseadas em critérios claros e objectivos e, se possível, apontar a forma de ultrapassar os problemas detectados, possibilitando o subsequente desenvolvimento de acções de melhoria;
  • ser concordantes com os parâmetros de avaliação;
  • ser orientadas para a ultrapassagem das fraquezas e para o reforço dos aspectos positivos identificados;
  • levar em consideração o contexto específico da IES/ciclos de estudos avaliados.

Voltar ao Topo

4. RELATÓRIO FINAL DE AVALIAÇÃO EXTERNA

4.1. Entrega dos Relatórios de Avaliação Externa à Agência

A versão provisória de cada um dos relatórios é elaborada pelo Presidente da Comissão ou sob a sua supervisão, com base nas considerações apresentadas no relatório oral e nas notas compiladas pelos membros da Comissão, e depois discutida e aprovada em reunião da Comissão.

Cada relatório é depois remetido à instituição de ensino superior para apreciação e eventual pronúncia, no prazo regularmente fixado. A Comissão, face à pronúncia apresentada, poderá rever cada um dos relatórios provisórios, se assim o entender, competindo-lhe aprovar a sua versão final e remetê-la à Agência, que depois a endereça à Instituição de Ensino Superior.

Voltar ao Topo

4.2. Divulgação da Versão Final do Relatório de Avaliação Externa

De acordo com o artigo 16.º da Lei 37/2007, de 16 de Agosto, os resultados da avaliação são públicos. Assim, na elaboração dos relatórios de avaliação externa deve ter-se em consideração a obrigatoriedade dessa divulgação pública, nomeadamente nos sítios da Internet da Agência e da IES/ciclos de estudos avaliados. Também a contradita (pronúncia) aos Relatórios de Avaliação Externa, quando exista, deve ser divulgada juntamente com a versão final dos mesmos relatórios.

Voltar ao Topo

4.3. Cessação das Responsabilidades da Comissão de Avaliação Externa e Apreciação do Trabalho Realizado

A intervenção e responsabilidade da Comissão de Avaliação Externa cessa, quer em relação à IES/Ciclos de Estudos avaliados, quer em relação à Agência, com a entrega do Relatório Final de Avaliação Externa à Agência. Cabe ao Conselho de Administração da Agência proferir decisão final sobre a acreditação da IES/Ciclos de estudos em causa, decisão essa que, de acordo com o previsto legalmente, pode ser concordante ou não com a referida recomendação.

Posteriormente, cada membro da Comissão é informado sobre a conclusão do processo e das eventuais acções a empreender pela Agência face aos resultados da avaliação/acreditação. Quaisquer questões ou dúvidas que possam surgir neste contexto, bem como quaisquer solicitações da comunicação social, devem ser remetidas para a Agência.

Após a cessação da sua actividade, os membros das Comissões de Avaliação Externa são solicitados a fazer uma apreciação crítica sobre o trabalho realizado, através da resposta a um inquérito apropriado, que lhes será distribuído pela Agência.

Voltar ao Topo

Referências:

• Spanish National Agency for Quality Assessment and Accreditation - ANECA (2007). Institutional Assessment Programme - External Assessment Guide 2007. V.1.0 - 31/08/2007. 




• Conselho Nacional de Avaliação do Ensino Superior - CNAVES (2000). Processo de Avaliação Ensino Superior Universitário. Guião para a Avaliação Externa. Aprovado em 13/07/2000 em reunião plenária do CNAVES.




• European University Association - EUA (2008). Institutional Evaluation Programme. Guidelines to the Evaluation Teams. EUA: Brussels, 2008. 

Voltar ao Topo