Fundação Escola de Comércio Álvares Penteado
FECAP - desde 1902
Administração On Line
Prática - Pesquisa - Ensino
ISSN  1517-7912

Volume 2  -  Número 1 (janeiro/fevereiro/março -  2001)

Página inicial  Objetivos  Conselho editorial  Artigos  Submeta um artigo  Seus comentários 

Avaliação do impacto dos anos de graduação sobre os alunos. Estudo exploratório com estudantes do último ano dos cursos de Ciências Contábeis e Administração de uma faculdade particular de São Paulo.

Arilda Schmidt Godoy -  FECAP e da UNESP/Rio Claro

Flávia Cristina dos Santos -  FECAP e Faculdades Radial

João Augusto de Moura -  FECAP -CCAP e  Faculdades Radial

Resumo:

Este estudo descreve as características básicas de um instrumento destinado a avaliar o impacto dos anos de graduação sobre os alunos de dois cursos de graduação de uma faculdade particular de São Paulo. O instrumento denominado Questionário de Avaliação dos Efeitos da Graduação - QUEG - foi submetido a um pré-teste com 58 sujeitos.

O questionário possuia questões abertas e fechadas. As questões fechadas foram submetidas a uma análise fatorial e a um teste de confiabilidade (Alfa, de Cronbach).

Palavras-chave: avaliação da graduação, avaliação de alunos, educação superior.

 

1. Introdução

 

É comum que nos estudos sobre a educação de nível superior uma atenção especial seja dada aos estudantes.

No Brasil, constatamos que os trabalhos que privilegiam o corpo discente estão centrados, fundamentalmente, no que poderíamos denominar "dados de entrada" e "dados de saída" do sistema de ensino superior. Estudos que enfocam os "dados de entrada" geralmente fazem uma análise do perfil socio-econômico dos estudantes logo que eles ingressam no terceiro grau. Os estudos centrados nos "dados de saída" voltam-se para a verificação do êxito do processo ensino-aprendizagem no que se refere à aquisição e à aplicação de conhecimentos e habilidades básicas dos concluintes dos cursos de graduação, sendo o exemplo mais marcante deste tipo de diagnóstico o Exame Nacional de Cursos.

No entanto, se consultarmos a literatura internacional vamos verificar que outros tipos de investigação tem procurado ampliar a análise do corpo discente examinando-o a partir de diferentes perspectivas. Para alguns especialistas da área de avaliação educacional uma das mais importantes finalidades do processo avaliativo diz respeito ao acompanhamento dos estudantes em sua trajetória educacional buscando levantar dados e informações em relação ao desenvolvimento acadêmico e social dos mesmos.

Segundo Hurtado e Navia (1997) dados e informações coletados a partir dos estudantes podem cumprir diferentes funções. A avaliação feita por alunos acerca da eficácia de um programa e/ou currículo pode levar a instituição a tomar decisões sobre a continuação do mesmo, sobre necessidades de reestruturação ou mesmo sobre sua extinção. A avaliação dos estudantes também pode fornecer indicadores que possibilitem a determinação da forma como as instituições estão contribuindo para o alcance das metas nacionais em termos de terceiro grau. Além disso, a avaliação feita pelos alunos pode fornecer subsídios para o exame das alterações ocorridas no corpo discente de uma faculdade ou universidade ao longo dos anos de graduação.

Neste terceiro grupo de preocupações encontram-se os estudos que pretendem examinar o impacto do ensino superior sobre um determinado conjunto de alunos. Este tipo de estudo parte da premissa de que os alunos da graduação passam por um conjunto de experiências curriculares e extra-curriculares que proporcionam alterações ou mudanças em suas características cognitivas e/ou afetivas. Nestes trabalhos o termo "mudança" se refere ao conjunto de alterações (de caráter quantitativo e/ou qualitativo) que acontecem, durante os anos de graduação, nas características (cognitivas e/ou afetivas) dos estudantes. Considera-se ainda que tais mudanças ocorrem tanto em consequência de maturação física e de influências ambientais, como da interação do indivíduo com o meio ambiente. Procura-se, no entanto, dar destaque àquelas mudanças que (direta ou indiretamente) estão associadas à vivência/ experiência do aluno no ensino superior.

De acordo com Pascarella e Terenzini (1997) a literatura educacional, especialmente de língua inglesa, tem nos oferecido uma série de modelos que buscam identificar as variáveis explicativas da mudança operada nos alunos durante os anos de graduação. Um modelo desenvolvido por Pascarella sugere que a mudança operada no estudante universitário - em termos de desenvolvimento cognitivo e de aprendizado – é uma função dos efeitos diretos e indiretos de cinco grandes grupos de variáveis que envolveriam:

  1. o histórico escolar destes alunos, ou seja, as suas experiências educacionais anteriores à universidade;
  2. as características estruturais e organizacionais da instituição universitária que frequentaram;
  3. o ambiente cultural vivenciado na universidade;
  4. os vários tipos de interações dos estudantes com outros agentes socializadores como o corpo docente e os próprios colegas;
  5. a qualidade do esforço dispendido pelo aluno durante os anos de graduação.

Apesar de ter sido elaborado para explicar mudanças no desenvolvimento cognitivo e de aprendizagem o modelo de Pascarella tem sido usado e se mostrado apropriado também para o estudo de resultados de outra natureza, ligados ao desenvolvimento dos estudantes em aspectos afetivos, relativos à aquisição de auto-conceito e de valores humanitários e cívicos.

Grande parte dos estudos do impacto causado pelo ensino superior sobre o alunado busca verificar os efeitos das atividades desenvolvidas em salas de aula, laboratórios, bibliotecas e outros tipos de ambientes formais de ensino. No entanto, muitos autores alertam que tais resultados não representam tudo aquilo que os estudantes aprendem durante os seus cursos de graduação pois ignoram, de certa forma, aquelas aprendizagens que acontecem a partir de outras experiências vivenciadas no ambiente universitário e que não fazem parte do currículo formal. O descaso pelo estudo dos efeitos causados pelas experiências extra-curriculares, segundo Kuh (1997), tem sido apontado por alguns autores, especialmente a partir das décadas de 70 e 80. Segundo estes autores é razoável supor que existem experiências extra-classe que complementam os propósitos educacionais das instituições de ensino superior, contribuindo significativamente para o desenvolvimento pessoal e a aprendizagem dos alunos. Neste sentido é possível imaginar que o ambiente e a cultura da universidade podem encorajar ou dificultar o desenvolvimento pessoal dos alunos, dentro e fora das salas de aula.

Buscando analisar em profundidade a percepção e/ou opinião dos alunos sobre a influência das experiências extra-curriculares na sua aprendizagem e desenvolvimento Kuh realizou uma pesquisa utilizando entrevistas semi-estruturadas desenvolvidas a partir de um roteiro centrado em quatro perguntas básicas:

  1. por que escolheu esta escola e de que maneira ela correspondeu às suas expectativas?
  2. quais as experiências mais significativas que teve nesta instituição?
  3. quais os eventos de maior destaque durante sua passagem por esta instituição (pontos altos e baixos, surpresas e decepções)?
  4. que mudanças você percebe em si mesmo desde que ingressou no curso superior?

Tal roteiro buscava levantar as coisas mais importantes aprendidas pelos alunos durante a graduação envolvendo, além do aproveitamento e desempenho acadêmico, informações a respeito de si mesmo e sobre os outros tais como, relações interpessoais, diferenças culturais, etc. Neste estudo foram realizadas 149 entrevistas envolvendo 12 instituições. Todas as entrevistas foram gravadas e transcritas e os dados analisados a partir de um enfoque multimetodológico. A partir desta análise foi possível identificar 14 categorias de respostas que, ao serem submetidas a uma análise fatorial, foram reduzidas a cinco domínios de resultados que expressam o que os alunos aprenderam e as mudanças que vivenciaram durante o curso superior. Estes domínios foram denominados: competência pessoal, complexidade cognitiva, conhecimentos e habilidades acadêmicas, competência prática, altruísmo e apreciação cultural. Em "competência pessoal" estão incluídos aqueles resultados que dizem respeito a autopercepção, autoconfiança, autonomia e autodirecionamento, noção e clareza de propósitos quanto a objetivos de vida e atividade profissional. O domínio denominado "complexidade cognitiva" inclui aqueles resultados que dizem respeito a aquisição do pensamento reflexivo e da habilidade de aplicar e relacionar os conhecimentos adquiridos. No domínio "conhecimentos e habilidades acadêmicas" estão envolvidos os conteúdos curriculares e das habilidades necessárias para que tal aprendizagem ocorra como, aprender a estudar, a escrever e a pesquisar. No domínio "competência prática" encontramos aqueles resultados que dizem respeito às habilidades organizacionais de administração do tempo e dos recursos disponíveis, assim como a aquisição de posturas e comportamentos ligados a vida profissional pós-universitária. O último domínio relativo ao "altruísmo e apreciação cultural" diz respeito ao aumento de sensibilidade em relação aos outros e o desenvolvimento da capacidade de apreciação de objetos artísticos e de qualidades estéticas.

Levando em consideração os resultados apontados no trabalho de Kuh (1997) procuramos desenvolver um instrumento que nos possibilitasse identificar alguns possíveis efeitos do curso superior sobre os alunos. Do mesmo modo que Kuh (1997), estávamos interessados em identificar aspectos que envolvessem aprendizagens e mudanças não registradas diretamente nas medidas de aproveitamento e desempenho acadêmico. É importante destacar que o instrumento construído tem como objetivo explicitar as opiniões do alunado, coletando informações baseadas em sua vivência e percepção sobre os comportamentos, habilidades e/ou competências que desenvolveram (ou não) por influência dos anos passados na faculdade.

Neste trabalho iremos descrever as características básicas do referido instrumento (denominado, provisoriamente, Questionário de Avaliação dos Efeitos da Graduação - QUEG) e os resultados obtidos a partir de sua aplicação piloto, numa amostra de 58 sujeitos que cursavam (em 2000) o último ano de graduação dos cursos de Ciências Contábeis e Administração, de uma faculdade particular de São Paulo.

 

2. Descrição do instrumento

 

O Questionário de Avaliação dos Efeitos da Graduação - QUEG consta de três partes.

Na primeira parte temos uma breve explicação sobre a finalidade do instrumento seguida de alguns dados de caracterização dos sujeitos (sexo, idade, graduação).

A segunda parte consta de um conjunto de cinco questões abertas. Duas questões buscam identificar os motivos que levaram o aluno a escolher uma determinada faculdade e um específico curso de graduação. Outra questão indaga se o curso realizado atendeu as expectativas do aluno. As duas últimas questões abertas pedem que o respondente descreva algumas experiências significativas e positivas vivenciadas durante a graduação, assim como, algumas experiências consideradas negativas.

A terceira parte consta de 26 itens que deverão ser respondidas através de uma escala tipo Likert. Uma escala Likert, proposta por Rensis Likert em 1932, é uma escala onde os respondentes são solicitados não só a concordarem ou discordarem das afirmações, mas também a informarem qual o seu grau de concordância/discordância. A cada célula de resposta é atribuído um número que reflete a direção da atitude do respondente em relação a cada afirmação. A pontuação total da atitude de cada respondente é dada pela somatória das pontuações obtidas para cada afirmação (Mattar, 1997).

A resposta do aluno a cada item, no caso do QUEG é indicada através de cinco possibilidades:

  1. forte influência dos anos que passei na faculdade/universidade
  2. mediana influência dos anos que passei na faculdade/universidade
  3. pouca influência dos anos que passei na faculdade/universidade
  4. não tiveram qualquer tipo de influência dos anos que passei na faculdade/universidade
  5. não sei

A resposta é marcada no próprio instrumento evitando-se assim possíveis erros no preenchimento de uma folha de respostas.

Efetuou-se a conversão:

  1. = 5
  2. = 4
  3. = 2
  4. = 1
  5. = 3

Os itens foram elaborados a partir das 14 categorias de aprendizagem e desenvolvimento pessoal sugeridas na pesquisa de Kuh (1997) e que expressam o que os alunos aprenderam, bem como as mudanças que vivenciaram durante o curso superior.

A seguir, apresentamos a título de ilustração alguns itens do instrumento:

 

3. Aplicação do instrumento

 

O Questionário de Avaliação dos Efeitos da Graduação - QUEG foi aplicado em uma amostra, não probabilística, de 58 estudantes dos cursos de graduação de Ciências Contábeis e Administração de uma faculdade privada da cidade de São Paulo. O instrumento foi aplicado coletivamente, nas salas de aula dos referidos cursos, nos meses de maio e junho de 2000.

A tabela 01 apresenta os sujeitos da pesquisa distribuídos por sexo e idade.

 

Tabela 01 - Sujeitos por sexo e idade

fonte: respondentes

 

É importante notar nesta tabela a predominância de sujeitos entre 20 e 25 anos. Embora a maioria seja do sexo masculino, a diferença entre os sujeitos, considerando-se a variável sexo é pequena.

 

4. Apresentação e análise dos resultados

 

Relembrando, o Questionário de Avaliação dos Efeitos da Graduação - QUEG - consta de um conjunto de cinco questões abertas e de um conjunto de 26 itens a serem respondidos através de uma escala do tipo Likert. Tomando como referência a própria organização do instrumento, os resultados serão apresentados e analisados a partir de dois grandes blocos: um referente às respostas dos alunos às questões abertas, outro referente às respostas dos alunos às questões fechadas, ou seja, os 26 itens cujas respostas eram assinaladas numa escala Likert.

 

4.1. Análise das questões abertas

 

As respostas dos alunos às questões abertas foram, transcritas e analisadas buscando-se reuni-las em grandes categorias expostas nos quadros apresentados a seguir. Como nos mostra o Quadro 01, ao serem indagados acerca dos motivos pelos quais escolheram fazer esta faculdade, os alunos, na maioria, responderam apontando razões de ordem prática como a localização da escola e o valor da sua mensalidade.

 

Quadro 01 - Motivos de escolha da faculdade

* mais de uma resposta

 

Ao descreverem os motivos que os levaram a optar pelo curso de Ciências Contábeis ou Administração de Empresas a diversidade de respostas aumenta. Isto pode ser verificado no Quadro 02 onde organizamos as respostas encontradas em três grandes categorias:

 

 

Quadro 02 - Motivos de escolha do curso

 

Examinando estas respostas é possível dizer que, também neste caso, os motivos para escolha do curso estão fortemente voltados para razões de ordem prática, inclusive apoiando-se nas oportunidades oferecidas pelo mercado de trabalho nestas áreas.

Quando perguntados se o curso correspondeu às expectativas a maior parte dos alunos apontou a resposta "em parte", como pode ser verificado no Quadro 03.

 

 

 

 

Quadro 03 - Atendimento às expectativas

 

 

Ao justificarem suas respostas os alunos acabam por indicar alguns aspectos positivos e negativos relacionados ao curso e à faculdade. Para apresentar estes dados organizamos o Quadro 04 listando tais aspectos.

 

Quadro 04 - Aspectos positivos e negativos relativos ao curso e à faculdade

 

Duas questões solicitavam que o aluno descrevesse experiências positivas e negativas vivenciadas durante os anos de graduação.

Analisando as respostas relativas as experiências significativas e positivas foi possível organizá-las em três grandes categorias:

 

 

Estas respostas estão apresentadas no Quadro 05.

 

Quadro 05- Experiências positivas e significativas

 

 

Conclui-se que os alunos consideram positivo o uso da teoria aprendida na faculdade em seu trabalho e o fato de desenvolverem novas amizades durante a graduação.

 

Analisando as respostas que relatam as experiências negativas podemos reuni-las em duas grandes categorias de respostas, expostas no Quadro 06.

 

Quadro 06 - Experiências negativas

Os principais problemas foram em relação a professores mal qualificados ou sem conhecimento, laboratórios lotados, ausência de professores e a apresentação de programas desatualizados.

Na parte de problemas curriculares apareceram as seguintes frases:

"Faltaram disciplinas importantes";

"Algumas disciplinas não agregaram nada";

"A área de informática não estava entrosada com o curso";

"A teoria não corresponde à prática";

"Ênfase em análise de sistemas ficou a desejar".

 

 

4.2. Análise das questões fechadas

 

As questões fechadas, organizadas na forma de uma escala Likert, buscavam identificar, segundo a opinião dos alunos, os comportamentos, competências e/ou habilidades que foram influenciados (ou não) pelas atividades e experiências vivenciadas e proporcionadas pela faculdade durante a realização do curso de graduação.

Na verdade, a nossa preocupação maior nesta parte do trabalho foi verificar até que ponto este conjunto de 26 itens era capaz de nos proporcionar uma medida válida e confiável, segundo padrões psicométricos, dos efeitos da graduação sobre os alunos.

Para determinar a confiabilidade utilizamos um método de verificação da consistência interna denominado coeficiente alfa. Este método tem sido bastante usado para estimar a confiabilidade de instrumentos de medida, construídos por professores e pesquisadores educacionais. A preocupação neste caso era com a homogeneidade do instrumento, verificada através da quantidade de correlação entre as respostas de um item dentro do instrumento. O coeficiente alfa é calculado a partir da seguinte fórmula (Cronbach, 1951):

, onde representa a variância dos escores dos sujeitos no item i, retendo os demais símbolos o seu significado.

No caso do QUEG, o cálculo do coeficiente alfa para o conjunto de 26 itens forneceu o valor de 0,92, que julgamos excelente considerando ser este o primeiro pré-teste com o referido instrumento.

Para validar o conjunto dos 26 itens utilizamos a análise fatorial que é uma técnica de análise multivariada, que trata das relações internas de um conjunto de variáveis, no nosso caso, as questões sobre comportamentos, habilidades e/ou competências da pesquisa. Com essa técnica podemos substituir um conjunto inicial de variáveis por um conjunto menor de fatores não correlacionados. Os fatores obtidos na análise fatorial explicam a maior parte da estrutura de correlação do conjunto de variáveis originais.

A análise fatorial foi usada nesta pesquisa com o objetivo de identificar o menor número possível de fatores que contivessem o mesmo grau de informações expressas no conjunto de variáveis. Segundo Fachel (1976) a análise fatorial é uma técnica usada para analisar as intercorrelações entre variáveis relativas a determinados elementos comparáveis.

Cada um dos fatores mostra, através das cargas fatoriais, quais as questões que apresentam maior peso na composição deste, em cada grupo da amostra. Com a rotação dos fatores é possível obter uma matriz com cargas fatoriais mais facilmente interpretáveis ou mais identificáveis com a natureza das variáveis que compõem o nosso teste.

Para analisar cada um dos fatores levamos em consideração a contribuição do coeficiente de correlação (carga fatorial) com que cada pergunta contribuiu na composição do mesmo.

É comum considerar-se apenas os fatores com "valor próprio" (Eigenvalue) superior a 1.0. O valor próprio de um fator é uma quantidade que mede o número médio de variáveis englobadas pelo fator.

As vezes, os fatores não são facilmente interpretáveis, mesmo após a sua rotação. Neste sentido, a interpretação dos fatores acaba tendo um componente de subjetividade, podendo variar de pesquisador para pesquisador numa mesma análise (Fachel, 1976).

No nosso trabalho as respostas dos 58 estudantes foram submetidas à análise fatorial sendo usada a rotação ortogonal (critério Varimax) que permite a extração de dimensões não correlacionadas.

Foram obtidos 8 fatores pelo critério de se considerar os fatores com "eigenvalue" maior que 1,0. Estes fatores, no seu conjunto, respondem por 74,8% da variação total dos dados (Anexo 1).

Um resumo dos resultados da análise fatorial relacionando os oito fatores será apresentado a seguir. Na composição dos fatores consideramos as variáveis com carga fatorial 0,40.

A composição dos fatores e sua nomeação foram as seguintes:

 

Fator 1 - Habilidades pessoais:

 

Fator 2 - Preparação para a profissão:

 

Fator 3 - Complexidade cognitiva:

 

Fator 4 - Habilidades de relacionamento e auto-conhecimento:

 

Fator 5 - Independência intelectual:

 

Fator 6 - Consciência da vida profissional:

 

Fator 7 - Sem interpretação:

 

Fator 8 - Sem interpretação:

 

Apresentados os fatores vamos tecer alguns comentários a respeito deles.

Como podemos observar, o Fator 1 (responsável por 32,7% da variação total dos dados) refere-se à dimensão denominada "Habilidades pessoais". Assim, de acordo com a opinião destes alunos, a faculdade exerceu influência sobre este conjunto de resultados. Segundo estes estudantes a faculdade colaborou no desenvolvimento da capacidade de leitura e redação, da capacidade para o estudo e pesquisa, e na forma como eles administram o tempo.

No Fator 2 estão reunidos aspectos relativos ao preparo do aluno para a vida profissional. Aqui os alunos explicitam que "cursar a faculdade" os auxiliou a ter mais clareza quanto aos seus objetivos de vida e à profissão escolhida. Além disso, possibilitou uma melhor compreensão dos sistemas administrativos e burocráticos que é, evidentemente, um conhecimento fundamental para os que estão se graduando em administração de empresas e ciências contábeis. Estão ainda incorporadas neste fator a frequência a bibliotecas e livrarias e a leitura de livros sobre assuntos genéricos.

No Fator 3 estão incluídos os resultados que evidenciam que, segundo estes alunos, a faculdade exerceu uma influencia positiva sobre sua maneira de raciocinar. Os estudantes mostram, através de suas respostas, que tornaram-se mais críticos, desenvolveram sua capacidade de análise de diferentes pontos de vista e de exame e síntese de vários tipos de informações e experiências.

No Fator 4 aparecem as habilidades de relacionamento e auto-conhecimento. Aqui os alunos ponderam que durante sua estada na faculdade aprenderam mais sobre si mesmo, desenvolvendo um sentimento de auto-estima. Também passaram a se relacionar com outras pessoas e trabalhar em equipe.

O Fator 5 faz referência a independência intelectual. Reúne as opiniões dos alunos que dizem respeito a influência (positiva) da faculdade no que se refere ao desenvolvimento de uma atitude mais autônoma e responsável em relação à própria vida, à aquisição da habilidade de analisar situações e tomar decisões e à aplicação, na vida prática, do que foi aprendido em sala de aula.

O Fator 6 volta a reunir aspectos relacionados à vida profissional destacando a conscientização do estudante em relação à sua aptidão (ou não) para a profissão. Inclui ainda a responsabilização em relação ao próprio aprendizado e a aquisição de tarefas e atividades próprias da profissão escolhida.

 

5. Considerações finais

 

Examinando os resultados encontrados nesta aplicação piloto do QUEG pode-se dizer que o instrumento possibilitou a identificação de alguns efeitos do curso superior sobre os alunos.

Para o conjunto de 26 itens que constituíam as questões fechadas do instrumento foram feitos testes de confiabilidade e validade. Usando a análise fatorial obtivemos 8 fatores, dos quais 6 foram facilmente identificados, o que demonstra que o instrumento possui validade de construto.

É importante destacar que as questões abertas também nos forneceram relevantes informações sobre as motivações e expectativas dos alunos, o que confirma a utilidade e a pertinência da elaboração deste tipo de instrumental, que mescla questões abertas e fechadas.

Embora o número de sujeitos seja pequeno, foi possível, neste estudo, verificar o potencial do QUEG na investigação e análise do impacto dos anos de graduação sobre os alunos. Visando o aprimoramento do instrumento seria importante aplicá-lo a uma amostra maior e mais diversificada, com alunos de outros cursos de graduação e de vários tipos de instituições de ensino superior.

 

6. Referências Bibliográficas

 

CRONBACH, L. J. Coefficient Alpha and the Internal Structure of Tests. Psycometrika. 16 (3): 297-335, 1951.

FACHEL, J. M. G. Análise Fatorial. Dissertação de mestrado. Instituto de Matemática e Estatística da Universidade de São Paulo, 1976.

HURTADO, S.; NAVIA, C. N. Avaliação dos estudantes universitários. In SOUSA, E. C. B. M. de (org.) Curso de Especialização em Avaliação a Distância, v. 4, Acompanhamento e avaliação de alunos. Brasília: Universidade de Brasília, 1997.

KUH, G. D. Em suas próprias palavras: o que os alunos aprendem fora da sala de aula. In: :SOUSA, E. C. B. M. de (org.) Curso de Especialização em Avaliação a Distância, v. 4, Acompanhamento e avaliação de alunos. Leituras Complementares. Brasília: Universidade de Brasília, 1997.

MATTAR, F.. Pesquisa de Marketing. São Paulo: Editora Atlas, 1997.

PASCARELLA, E. T., TERENZINI, P. T. Teorias e modelos de mudanças no estudante universitário. In: SOUSA, E. C. B. M. de (org.) Curso de Especialização em Avaliação a Distância, v. 4, Acompanhamento e avaliação de alunos. L