La importància del feedback en un entorn virtual d'aprenentatge
Existeix un ampli consens en què un dels elements clau per garantir un bon procés d’aprenentatge en un context universitari no presencial és l'existència de processos que pautin i dirigeixin l'aprenentatge, i que permetin als estudiants avaluar periòdicament el seu grau d’assoliment dels coneixement. Una estratègia habitual per facilitar aquesta pauta és l'ús del feeback entre l'estudiant i el professor. Però en entorns amb grups d’estudiants molt grans, la realització d’aquest feedback pot convertir-se en una feina massa laboriosa i no sostenible.
En aquest article presentem els resultats de tres projectes pilot centrats en el context del grau d’Administració i Direcció d’Empreses (ADE) de la UOC, on hem explorat diverses eines TIC (àudio, vídeo i captures de pantalla) i diverses estratègies per a realitzar el feedback amb l'objectiu de fer-lo sostenible en grups grans i millorar l'eficàcia i eficiència del procés de regulació dels aprenentatges.
There is a high consensus in considering regulatory processes of learning as one of the key elements to ensure the knowledge attainment in distance university context, which allows students to periodically evaluate their learning process. In asynchronous learning environments, one of the normal strategies to facilitate this regulation is the use of feedback mechanisms between teacher and students. Though, in an environment with large groups of students, teacher feedback may become a tedious and unsustaianable task.
In this paper, we present the results of three pilot projects centred in the context of the Business degree from UOC, in which we have explored ICT tools (audio, video and screenshots) and differents stretagies to give feedback with the aim of improving the effectiveness and efficiency of the regulatory process of learning.
L'Espai Europeu d'Educació Superior (EEES) ha provocat un canvi en la conceptualització de l'aprenentatge dels estudiants en el context universitari. S'ha passat d'un procés basat en la transmissió directa de coneixement del docent cap a l'estudiant a un on el focus està centrat en el procés d'aprenentatge de l'estudiant. És a dir, l'estudiant passa a ocupar un paper central i actiu en l'adquisició de coneixement. Això està en consonància amb la literatura existent relativa a l'aprenentatge centrat en l'estudiant (Lea, Stephenson et al., , 2003).
En el context d'educació superior en línia, asíncron i basat en el llenguatge escrit, la informació proporcionada pel professor és un element bàsic en el procés d'aprenentatge dels estudiants (Higgins et al., 2002; Laurillard, 2002). És en aquest context que l'aprenentatge centrat en l'estudiant requereix: (1) promoure la capacitat d'autoregulació dels estudiants, (2) aplicar nous enfocaments d'ensenyament i aprenentatge, (3) suport efectiu i (4) focalitzar les estructures d'orientació de la universitat més clarament en l'estudiant. Per tant, la funció de suport i orientació, junt amb una estreta relació entre el docent i l'estudiant, són bàsiques per garantir que cada estudiant pugui assolir els objectius i les competències pròpies de l'assignatura, així com la capacitat d'autoregulació.
Amb relació al que acabem de dir, a l'hora d'obtenir bons resultats d'aprenentatge, el factor individual més potent, en comparació amb altres aspectes de la docència (Black et al., 1998; Hattie, 1987), és el feedback.
Per donar resposta a aquesta qüestió, ens cal primer fer un breu repàs de quins són els criteris més comuns per classificar les diferents tipologies de feedback. Els criteris que proposem són: (1) A qui va adreçat el feedback, (2) en quin moment realitzem el feedback, (3) quin contingut es vol transmetre i (4) quina extensió i format ha de tenir.
Aquesta és la primera pregunta que hem de contestar abans de posar-nos a elaborar el feedback. En funció de qui és o són els destinataris, podrem ajustar el contingut que volem trasmetre. Els destinataris poden ser grups o individus. D'aquesta manera, en funció del grau de personalització del feedback, podem distingir tres categories:
- Feedback per a tot el grup: És el menys personalitzat, es correspon a les solucions enviades després de cada prova d‘avaluació continua (PAC) o a alguns missatges a l'aula, que comenten errors generalitzats de les proves.
- Feedback a un col·lectiu. És un retorn per a un col·lectiu que té alguna cosa en comú, per exemple, tots els estudiants que han obtingut una mateixa qualificació. Molt sovint serveix per orientar sobre algun tipus d'error molt comú o per motivar a un col·lectiu específic.
- Feedback personalitzat. De totes les tipologies de retorn, aquest és el que té un major impacte en el rendiment de l'estudiant
Una segona aproximació per classificar el feedback és el moment en què aquest retorn s'elabora i es transmet. Proporcionar un feedback preventiu, immediat o diferit ha estat objecte de discussió en nombroses recerques sobre aquesta temàtica. Inspirats en la categorització de Dempsey et al.(1988) definim les següents categories:
- Feedback previ o preventiu. Sovint, abans que els estudiants enviïn els exercicis d'avaluació continuada, apareixen dubtes, tant individuals com col·lectius. Aquest feedback orienta prèviament cap a una resposta correcta.
- Feedback immediat. És el que proporciona informació a l'estudiant sobre la resposta correcta i es correspon en aquest entorn a les solucions genèriques de les PAC, que es publiquen un dia després del lliurament de les solucions per part dels estudiants.
- Feedback diferit. En aquest feedback es comenten les errades comeses i es recomanen continguts i estratègies per millorar el procés d'aprenentatge. Molt sovint és personalitzat i dóna valor afegit a la solució de la PAC.
En tercer lloc, podem analitzar el feedback en funció des continguts que transmet. En aquest sentit, trobem quatre tipus de feedback, de menor a major grau de complexitat, que són complementaris entre ells:
- Identificació i correcció d'errors: Aquest feedback informa i corregeix els errors comesos.
- Resposta correcta: el feedback mostra la resposta correcta i dóna la solució adequada.
- Millora de tasques: el feedback recomana continguts i estratègies per tal de millorar el treball o la prova que s'ha presentat.
- Informació en profunditat: el retorn suggereix informació en profunditat per tal de seguir avançant en l'aprenentatge en el futur.
Una altra de les particularitats del feedback en un entorn virtual és la seva extensió. Aquesta extensió està estretament relacionada amb el tipus de coneixement sobre el qual es dóna el feedback (segons sigui més abstracte o conceptual o més aplicat i procedimental). Per tal que el feedback sigui efectiu ha de facilitar prou informació als estudiants perquè assoleixin els objectius d'aprenentatge previstos.
El feedback pot prendre diferents formes: text i/o tecnologies multimèdia (gravacions en àudio i en vídeo, captura de pantalla amb àudio, així com la possibilitat de penjar vídeos comprimits). L'estudiant el rep dins del registre d'avaluació continua, bé mitjançant un fitxer adjunt o bé dins del cos dun missatge.
A més, aquest retorn, a banda de contribuir a millorar el procés d'aprenentatge dels estudiants, esdevé un instrument clau de motivació per tal que no abandonin les assignatures i segueixin el procés d'avaluació continuada.
A continuació, a la Taula 1 es presenten diverses modalitats de feedback segons el moment en què té lloc.
| Moment del feedback | Quins continguts es transmeten | A qui l'adrecem | Actitud del consultor | Format |
|---|---|---|---|---|
| Preventiu. Previ al lliurament de la PAC | Identificació i correcció d'errors | Aula. El docent detecta la necessitat d'aclarir conceptes a tota l'aula. | Proactiva |
|
| Preventiu. Previ al lliurament de la PAC | Identificació i correcció d'errors | Grup específic o individual. Els estudiants plantegen dubtes i el docent respon individualment o fent agrupacions. | Reactiva o proactiva |
|
| Immediat. Després del lliurament de la PAC | Resposta correcta | Aula | Reactiva | Solució escrita de les PAC |
| Diferit. Després del lliurament de la PAC | Millora de tasques | Aula o grup específic. El docent detecta errors generalitzats a les respostes i fa un feedback per millorar futures PAC | Proactiva |
|
| Diferit. Després del lliurament de la PAC | Millora de tasques | Individual. El docent s'adreça als estudiants que necessiten una atenció personalitzada. | Proactiva |
|
Font: Elaboració pròpia
L'elaboració de retorns individualitzats per part dels professors consultors a les solucions lliurades pels estudiants, de quatre o més activitats d'avaluació continuada, amb aules de 70 o més estudiants, és sovint una tasca insostenible pel temps que suposa fer-ho. Cal tenir en compte que la dedicació estimada dels docents col·laboradors de la UOC és d'un màxim d'unes dues hores diàries. Ens calia, per tant, trobar eines i estratègies que permetessin fer retorns el màxim de personalitzats i, a la vegada, no col·lapsar la tasca dels consultors.
Per donar resposta a la pregunta inicial, des dels Estudis d'Economia i Empresa de la UOC hem realizat tres projectes d'innovació per explorar noves formes de feedback amb l'objectiu de fer-lo més proper, més eficient i que generi motivació en l'estudiant. Així mateix, atenent a la gran diversitat de professors consultors que hi participen, diversitat entesa com les diferents procedències, professions i especialment, les diferents capacitats en la transmissió dels coneixements, s'ha investigat sobre les possibilitats de realitzar retorns en formats diversos que les tecnologies actuals posen al nostre abast (àudio, vídeo, captura de pantalles amb àudio, entre d'altres).
Els criteris metodològics que es van utilitzar en els tres pilots van ser: (1) En la primera prova pilot es va optar per fer grups de dimensions reduïdes per cada assignatura (màxim de 35 estudiants), per tal d'assegurar l'adequada dimensió de la tasca del docent. En les proves pilot posteriors, els grups van ser de dimensió normal; (2) es van seleccionar les assignatures en funció del tipus de coneixement i metodologia diversa, (3) es van seleccionar docents amb aptituds diferents, per valorar la transversalitat de l'actuació i la seva possible extensió al conjunt de les assignatures del grau, (4) després de cada prova pilot s'han fet una enquesta als estudiants per saber quina ha estat la seva percepció i utilitat del feedback rebut i, (5) els consultors que hi han participat també han contestat diversos qüestionaris, han anotat sistemàticament el temps emprat en l'experiència i han participat en diferents focus groups presencials per compartir les experiències entre ells.
Les assignatures de les proves pilot calia que abastessin els diferents àmbits de coneixement del grau. Des de l'economia aplicada (Estructura econòmica i Comportament dels agregats econòmics) a assignatures més metodològiques (Fonaments d'estadística), passant per assignatures de comptabilitat (Introducció a la comptabilitat i Anàlisi dels Estats Financers) i d'organització de les empreses (Introducció a l'empresa).
Els resultats obtinguts en les diferents proves pilot mostren que per fer un feedback sostenible s'han de donar les següents condicions:
En primer lloc, amb l'objectiu de fer el feedback multimèdia més eficient i per aprofitar al màxim les seves opcions, els docents necessiten una formació específica, tant tecnològica com pedagògica, així com de desenvolupament de capacitats comunicatives mitjançant vídeo.
En segon lloc, ha quedat comprovat que el feedback personalitzat requereix una important inversió de temps per part del docent. Per tant, convé planificar la intensitat i freqüència amb què es durà a terme el retorn, tant pel que fa als estudiants com a les Proves d'Avaluació Continuada (PAC) i canviar la manera de corregir-les.
En tercer lloc, l'efectivitat del feedback i la idoneïtat d'usar un canal o un altre i un tipus o un altre de feedback depèn de la tipologia de l'assignatura i de les habilitats comunicatives i tècniques dels docents.
Finalment, cal planificar dues estratègies de feedback: (1) per arribar a tots als estudiants que necessitin un feedback més personal, cal poder-los discriminar i saber adaptar el missatge que ha de rebre cadascú, i (2) elaborar un repositori de vídeos, audios o captures de pantalles comentades que ens permetin avançar-nos als dubtes que tradicionalment surten a cada semestre.
A la taula 2 us proposem una estratègia per tal d'elaborar un feedback el màxim d'individualitzat possible alhora que compatible amb la tasca de docent. Us suggerim dur a terme el feedback establint 4 categories d'estudiant.
| Qualificació | Contingut del feedback | A qui l'adrecem | Nivell de personalització |
|---|---|---|---|
| A | Missatge d'ànim i felicitació | Individual. El cos del missatge pot ser semblant, però cal personalitzar-lo, ressaltant allò que és més excel·lent. | Nivell de personalització baix |
| B | Missatge d'ànim i de felicitació + comentar quins errors han comès | Grup específic o individual. Pot fer-se algun missatge a tots els estudiants que han obtingut una mateixa qualificació o de forma individual si la situació ho requereix (especialment C+) | Nivell de personalització mitjà |
| C+, C- i D | Missatge personal d'ànim, comentant els errors més rellevants i explicant alternatives per millorar el nivell de futurs exercicis | Individual. És el més personalitzat de tots, cal donar una resposta personal basada en la prova lliurada per l'estudiant. | Nivell de personalització alt |
| N | Recordatori que són a temps de seguir l'AC | Individual. El cos del missatge pot ser semblant, però cal personalitzar-lo. | Nivell de personalització baix |
Font: Elaboració pròpia
Els resultats obtinguts mostren que els estudiants valoren molt positivament el feedback personal, a més de motivar-los a seguir amb l'assignatura en cas d'obtenir una baixa qualificació o no presentar un exercici. Concretament, de l'experiència volem destacar les quatre idees més rellevants que han manifestat els estudiants sobre la importància i la necessitat que donen al feedback:
En general, els estudiants donen més importància al feedback en un ensenyament en línia que en un ensenyament presencial. Així mateix, mai consideren excessiu o inadequat el feedback rebut.
En segon lloc, els estudiants donen més importància a la qualitat del feedback i al grau de personalització que no pas a la quantitat, la tecnología utilitzada o al moment de rebre'l. En aquest sentit, els estudiants es mostren molt pragmàtics en el sentit que valoren, per sobre de tot, la utilitat del feedback rebut, molt més que no pas el tipus de feedback o el canal (àudio, vídeo, etc.) utilitzat.
En tercer lloc, destaca que el factor més important és el fet de rebre feedback per part del consultor. La comunicació interactiva amb el docent és un element de motivació de primer nivel per als estudiants. Concretament, valoren especialment que els missatges siguin clars i que es concreti molt allò que no han fet bé i per quin motiu.
Finalment, l'estudiant acostuma a adaptar-se a les condicions en què es treballa a cada assignatura. Això fa que, malgrat que les condicions i les eines siguin millorables, sovint no es planteja ni reclama altres opcions o recursos. Ara bé, un cop descobreix (o se li mostra) que pot haver-hi altres eines, com poden ser vídeos, missatges personalitzats, correccions particulars, etc. s'hi acostuma i ho reclama quan no ho troba.
L'adaptació a l'Espai Europeu d'Ensenyament Superior, la necessitat de millorar el procés d'aprenentatge i la motivació dels estudiants –donant un tractament diferenciat a la seva pròpia diversitat– i, en definitiva, la necessitat d'augmentar la seva satisfacció, implica que la realització de retorns personalitzats de qualitat esdevingui un factor clau per continuar garantint la qualitat del model pedagògic de la UOC.
Hem vist que els estudiants valoren molt positivament el feedback personalitzat i que aquest té un efecte facilitador de l'aprenentatge, així com de motivació. Ara bé, d'acord amb les opinions expressades pels estudiants, sembla que valoren més el contingut de la comunicació que no pas el mitjà a través del qual es transmet aquest missatge. Podem afirmar que el feedback personalitzat apropa la relació entre els docents i els estudiants i que té efectes afavoridors per a l'aprenentatge i motivadors en l'estudiant. També és cert que, per contra, aquesta relació més personalitzada entre docent i estudiant va en detriment de la relació grup aula.
També s'ha posat de manifest que la personalització del feedback canvia la manera de corregir les PAC, i, la utilització d'altres maneres de fer feedback, diferents de la textual, no redueix la dedicació dels docents i fa difícil la seva implantació generalitzada en grups de 70 estudiants, sobretot, tenint en compte que a mesura que es fan aquests retorns individuals, els estudiants es tornen més exigents i augmenta la interacció docent-estudiant
Malgrat haver integrat aquests comentaris en el marc del registre d'avaluació continuada (RAC), per tal de minimitzar el cost pel consultor, així com haver-hi incorporat les eines per facilitar l'adopció de diverses respostes multimèdia (gravacions en vídeo, gravacions d'àudio i la possibilitat de penjar vídeos comprimits), es fa imprescindible continuar avançant per assegurar la sostenibilitat d'un retorn personalitzat, establint alguna estrategia de feedback concreta, com la que es fa en aquest article..
Finalment cal destacar que pels estudiants l'element més important del feedback és el que es diu i no el mitjà a través del qual es diu. Tanmateix perquè el feedback sigui realitzat pels docents, cal establir canals per tal d'oferir als consultors formació tècnica, pedagòcia i en comunicació.
ALLAL, L. K. (1979). «Stratégies d'évaluation formative: conceptions psychopédagogiques et modalités d'application». A: L. K. Allal, J. Cardinet, P. Perrenoud (eds.). L'evalutaion formative dans un enseignement différéncié. (6ª. ed., pàgs. 153–185). Institut Romand de recherches et de documentation pedagogiques.
ALLAL, L. K. (1988). «Vers un élargissement de la pédagogie de maîtrisse: Processus de régulation interactive, rétroactive et proactive». A: A. M. Humberman (ed.). Assurer la réussite des apprentissages scolaires? Les propositions de la pédagogie de maîtrisse (pàgs. 86–126). Neuchâtel: Delachaux and Niestlé.
BLACK, P.; WILIAM, D. (1998). «Assessment and Classroom Learning». Assessment in Education: Principles, Policy & Practice. núm. 5, vol. 1, pàgs. 7–74. http://dx.doi.org/10.1080/0969595980050102
ESPASA, A. (2008). El Feedback en el marc de la regulació de l'aprenentatge: caracterització i anàlisi en un entorn formatiu en línia. Universitat Oberta de Catalunya [tesi doctoral en línia]. http://www.tdx.cat/browse?value=Espasa+Roca%2C+Anna&type=author
HATTIE, J. A. (1987). «Identifying the Salient Facets of a Model of Student Learning: A Synthesis of Meta Analyses». International Journal of Educational Research, núm. 11, vol. 2, pàgs. 187–212.
HIGGINS, R., HARTLEY, P., & SKELTON, A. (2002). «The Conscientious Consumer: Reconsidering the role of assessment feedback in student learning». Studies in Higher Education, núm. 27, vol. 1, pàgs. 53–64. http://dx.doi.org/10.1080/03075070120099368
LAURILLARD, D. (2002). Rethinking university teaching: a conversational framework for the effective use of learning technologies. Routledge.
LEA, S. J.; STEPHENSON, D.; TROY, J. (2003). «Higher Education Students' Attitudes to Student-centred Learning: Beyond "educational bulimia"?». Studies in Higher Education, núm. 28, vol. 3, pàgs. 321–334. http://dx.doi.org/doi:10.1080/03075070309293
MARTÍNEZ-ARGÜELLES, M. J.: BADIA-MIRÓ, M.; HINTZMANN, C. [et al.] (2011). Personalized E-Feedback and information and communication technologies (ICT). Presentadat a a Edulearn11. Tercera Conferència Internacional sobre Educació i Noves Tecnologies de l'Aprenentatge, celebrada a Barcelona. http://www.iated.org/edulearn11/
MARTÍNEZ-ARGÜELLES, M. J.; BATALLA, J. M.; NOGUERA, P. [et al.] (2011). Evaluation of Multimedia Tools and e-Feedback in Virtual Learning Environments. Presentated aat the Edulearn11. Tercera Conferència Internacional sobre Educació i Noves Tecnologies de l'Aprenentatge, celebrada a Barcelona.Retrieved from http://www.iated.org/edulearn11/
NARCISS, S. (2004). «The Impact of Informative Tutoring Feedback and Self-Efficacy on Motivation and Achievement in Concept Learning». Experimental Psychology (formerly "Zeitschrift für Experimentelle Psychologie"), núm. 51, vol.3, pàgs. 214–228. http://dx.doi.org/10.1027/1618-3169.51.3.214
PÉREZ CAÑADO, M. L. (2009). «Debunking EHEA Myths: Common ECTS Misconceptions and Why They Are Wrong». International Education Studies, núm. 2, vol. 4, pàg. 15. http://dx.doi.org/10.5539/ies.v2n4P15
Josep-Maria Batalla-BusquetsLlicenciat en Ciències Econòmiques i Empresarials per la Universitat de Barcelona, doctor en Economia per la mateixa universitat. Professor agregat dels Estudis d’Economia i Empresa de la Universitat Oberta de Catalunya. Des del 2012 coordina el grup de recerca Management & e-Learning (MeL), adscrit a l’eLearn Center. Ha dirigit i participat en diversos projectes d’innovació docent finançats per la Universitat Oberta de Catalunya i l’Agència de Gestió d’Ajusts Universitaris i de Recerca de la Generalitat de Catalunya.
Dolors Plana ErtaProfessora de l’àrea de comptabilitat als Estudis d’Economia i Empresa de la Universitat Oberta de Catalunya. Llicenciada en Ciències econòmiques i empresarials per la Universitat Autònoma i actualment realitzant la tesi doctoral al programa de doctorat d’Administració i Direcció d’Empreses de la Universitat Politècnica de Barcelona. Ha participat en diversos projectes d’innovació docent finançats per la Universitat Oberta de Catalunya i l’Agència de Gestió d’Ajusts Universitaris i de Recerca de la Generalitat de Catalunya
María Jesús Martínez ArgüellesProfessora agregada dels Estudis d'Economia i Empresa de la Universitat Oberta de Catalunya (UOC). Directora Estudis d'Economia i Empresa. Investigadora del grup Management & e-Learning (MeL). Els seus interessos d’investigació se centran en la gestió de la qualitat en l'e-learning, el desenvolupament de competències que millorin l'empleabilitat dels graduats, així com l'ús del teletreball com a instrument de conciliació.
