Utvärdering av läroplan och lärare är avgörande för alla högre utbildningsinstitutioner, inklusive medicinska fakulteter. Studentutvärderingar av undervisning (SET) sker vanligtvis i form av anonyma frågeformulär, och även om de ursprungligen utvecklades för att utvärdera kurser och program, har de med tiden också använts för att mäta undervisningseffektivitet och därefter fatta viktiga undervisningsrelaterade beslut. Lärares professionella utveckling. Vissa faktorer och fördomar kan dock påverka SET-poäng och undervisningseffektivitet kan inte mätas objektivt. Även om litteraturen om kurs- och lärarutvärdering i allmän högre utbildning är väl etablerad, finns det farhågor kring att använda samma verktyg för att utvärdera kurser och lärare i medicinska program. I synnerhet kan SET i allmän högre utbildning inte direkt tillämpas på läroplandesign och implementering i medicinska fakulteter. Denna översikt ger en översikt över hur SET kan förbättras på instrument-, lednings- och tolkningsnivå. Dessutom påpekar denna artikel att genom att använda olika metoder som kollegial granskning, fokusgrupper och självbedömning för att samla in och triangulera data från flera källor, inklusive studenter, kamrater, programchefer och självkännedom, kan ett omfattande bedömningssystem konstrueras. Effektivt mäta undervisningens effektivitet, stödja den professionella utvecklingen av medicinska utbildare och förbättra undervisningskvaliteten inom medicinsk utbildning.
Kurs- och programutvärdering är en intern kvalitetskontrollprocess vid alla högre utbildningsinstitutioner, inklusive medicinska fakulteter. Studentutvärdering av undervisning (SET) sker vanligtvis i form av ett anonymt pappers- eller online-frågeformulär med hjälp av en skattningsskala, såsom en Likertskala (vanligtvis fem, sju eller högre), som låter personer ange sin överensstämmelse eller grad av överensstämmelse. Jag håller inte med om specifika påståenden) [1,2,3]. Även om SET ursprungligen utvecklades för att utvärdera kurser och program, har de med tiden också använts för att mäta undervisningseffektivitet [4, 5, 6]. Undervisningseffektivitet anses vara viktig eftersom det antas att det finns ett positivt samband mellan undervisningseffektivitet och studenters lärande [7]. Även om litteraturen inte tydligt definierar utbildningens effektivitet, specificeras den vanligtvis genom specifika egenskaper hos utbildningen, såsom "gruppinteraktion", "förberedelse och organisation", "feedback till studenter" [8].
Information som erhålls från SET kan ge användbar information, till exempel om det finns behov av att justera undervisningsmaterial eller undervisningsmetoder som används i en viss kurs. SET används också för att fatta viktiga beslut relaterade till lärares professionella utveckling [4,5,6]. Lämpligheten av denna metod är dock tveksam när högre utbildningsinstitutioner fattar beslut som rör lärare, såsom befordran till högre akademiska rang (ofta förknippad med senioritet och löneökningar) och viktiga administrativa positioner inom institutionen [4, 9]. Dessutom kräver institutioner ofta att nya lärare inkluderar SET-medlemmar från tidigare institutioner i sina ansökningar till nya tjänster, vilket påverkar inte bara befordringar av lärare inom institutionen, utan även potentiella nya arbetsgivare [10].
Även om litteraturen om läroplaner och lärarutvärdering är väl etablerad inom allmän högre utbildning, är detta inte fallet inom medicin och hälso- och sjukvård [11]. Läroplanen och behoven hos medicinska utbildare skiljer sig från de inom allmän högre utbildning. Till exempel används ofta teaminlärning i integrerade medicinska utbildningskurser. Detta innebär att läkarutbildningens läroplan består av en serie kurser som undervisas av ett antal fakultetsmedlemmar med utbildning och erfarenhet inom olika medicinska discipliner. Även om studenterna drar nytta av den djupgående kunskapen hos experter inom området under denna struktur, står de ofta inför utmaningen att anpassa sig till varje lärares olika undervisningsstilar [1, 12, 13, 14].
Även om det finns skillnader mellan allmän högre utbildning och medicinsk utbildning, används den SET som används i den förra ibland även inom medicin- och hälsovårdskurser. Att implementera SET i allmän högre utbildning medför dock många utmaningar när det gäller läroplan och fakultetsutvärdering inom hälso- och sjukvårdsprogram [11]. I synnerhet, på grund av skillnader i undervisningsmetoder och lärarkvalifikationer, kanske kursutvärderingsresultat inte inkluderar studenternas åsikter om alla lärare eller klasser. Forskning av Uytenhaage och O'Neill (2015) [5] tyder på att det kan vara olämpligt att be studenter att betygsätta alla enskilda lärare i slutet av en kurs eftersom det är nästan omöjligt för studenter att komma ihåg och kommentera flera lärarbetygskategorier. Dessutom är många medicinska lärare också läkare för vilka undervisning bara är en liten del av deras ansvar [15, 16]. Eftersom de främst är involverade i patientvård och i många fall forskning, har de ofta lite tid att utveckla sina undervisningsfärdigheter. Läkare som lärare bör dock få tid, stöd och konstruktiv feedback från sina organisationer [16].
Läkarstudenter tenderar att vara mycket motiverade och hårt arbetande individer som framgångsrikt blir antagna till läkarutbildningen (genom en konkurrenskraftig och krävande process internationellt). Dessutom förväntas läkarstudenter under läkarutbildningen förvärva en stor mängd kunskap och utveckla ett stort antal färdigheter på kort tid, samt klara komplexa interna och omfattande nationella bedömningar [17,18,19,20]. På grund av de höga krav som förväntas på läkarstudenter kan läkarstudenter vara mer kritiska och ha högre förväntningar på högkvalitativ undervisning än studenter inom andra discipliner. Läkarstudenter kan således få lägre betyg från sina professorer jämfört med studenter inom andra discipliner av de skäl som nämns ovan. Intressant nog har tidigare studier visat ett positivt samband mellan studentmotivation och individuella lärarutvärderingar [21]. Dessutom har de flesta läkarutbildningar runt om i världen under de senaste 20 åren blivit vertikalt integrerade [22], så att studenterna exponeras för klinisk praktik från de tidigaste åren av sitt program. Under de senaste åren har läkare därför blivit alltmer involverade i utbildningen av läkarstudenter och redan tidigt i sina program betonat vikten av att utveckla SET-lösningar anpassade till specifika lärargrupper [22].
På grund av den ovan nämnda specifika karaktären hos medicinsk utbildning bör SET-modeller som används för att utvärdera allmänna högskolekurser som undervisas av en enda fakultetsmedlem anpassas för att utvärdera den integrerade läroplanen och den kliniska fakulteten inom medicinska program [14]. Därför finns det ett behov av att utveckla mer effektiva SET-modeller och heltäckande bedömningssystem för en mer effektiv tillämpning inom medicinsk utbildning.
Den aktuella översikten beskriver de senaste framstegen inom användningen av SET inom (allmän) högre utbildning och dess begränsningar, och beskriver sedan de olika behoven av SET för läkarutbildningens kurser och lärare. Denna översikt ger en uppdatering om hur SET kan förbättras på instrumentell, administrativ och tolkningsmässig nivå, och fokuserar på målen att utveckla effektiva SET-modeller och omfattande bedömningssystem som effektivt mäter undervisningens effektivitet, stöder utvecklingen av professionella hälsopedagoger och förbättrar undervisningskvaliteten inom läkarutbildningen.
Denna studie följer studien av Green et al. (2006) [23] för råd och Baumeister (2013) [24] för råd om att skriva narrativa översikter. Vi bestämde oss för att skriva en narrativ översikt om detta ämne eftersom den här typen av översikt bidrar till att presentera ett brett perspektiv på ämnet. Dessutom, eftersom narrativa översikter bygger på metodologiskt olika studier, hjälper de till att besvara bredare frågor. Dessutom kan narrativa kommentarer bidra till att stimulera tankar och diskussioner om ett ämne.
Hur används SET inom medicinsk utbildning och vilka är utmaningarna jämfört med SET som används inom allmän högre utbildning?
Pubmed- och ERIC-databaserna söktes med en kombination av söktermerna "student teaching evaluation", "teaching effectiveness", "medical education", "higher education", "curriculum and faculty evaluation" och, för Peer Review 2000, logiska operatorer. Artiklar publicerade mellan 2021 och 2021. Inklusionskriterier: Inkluderade studier var originalstudier eller översiktsartiklar, och studierna var relevanta för områdena inom de tre huvudsakliga forskningsfrågorna. Exklusionskriterier: Studier som inte var engelskspråkiga eller studier där fulltextartiklar inte kunde hittas eller inte var relevanta för de tre huvudsakliga forskningsfrågorna exkluderades från det aktuella översiktsdokumentet. Efter att ha valt ut publikationer organiserades de i följande ämnen och tillhörande delämnen: (a) Användningen av SET i allmän högre utbildning och dess begränsningar, (b) Användningen av SET i medicinsk utbildning och dess relevans för att hantera frågor relaterade till jämförelse av SET (c) Förbättra SET på instrumentell, ledningsmässig och tolkningsmässig nivå för att utveckla effektiva SET-modeller.
Figur 1 visar ett flödesschema över utvalda artiklar som inkluderats och diskuterats i den aktuella delen av översikten.
SET har traditionellt använts inom högre utbildning och ämnet har studerats väl i litteraturen [10, 21]. Emellertid har ett stort antal studier undersökt deras många begränsningar och ansträngningar att hantera dessa begränsningar.
Forskning visar att det finns många variabler som påverkar SET-poäng [10, 21, 25, 26]. Därför är det viktigt för administratörer och lärare att förstå dessa variabler när de tolkar och använder data. Nästa avsnitt ger en kort översikt över dessa variabler. Figur 2 visar några av de faktorer som påverkar SET-poäng, vilka beskrivs i följande avsnitt.
Under senare år har användningen av online-kit ökat jämfört med papperskit. Emellertid tyder bevis i litteraturen på att online-SET kan genomföras utan att studenterna ägnar nödvändig uppmärksamhet åt genomförandeprocessen. I en intressant studie av Uitdehaage och O'Neill [5] lades icke-existerande lärare till SET och många studenter gav feedback [5]. Dessutom tyder bevis i litteraturen på att studenter ofta tror att genomförande av SET inte leder till förbättrade utbildningsresultat, vilket, i kombination med läkarstudenters hektiska schema, kan resultera i lägre svarsfrekvenser [27]. Även om forskning visar att åsikterna hos studenter som gör testet inte skiljer sig från hela gruppens, kan låga svarsfrekvenser fortfarande leda till att lärare tar resultaten mindre seriöst [28].
De flesta online-SET-prov genomförs anonymt. Tanken är att låta studenterna uttrycka sina åsikter fritt utan antagandet att deras uttryck kommer att påverka deras framtida relationer med lärare. I Alfonso et al.s studie [29] använde forskare anonyma betyg och betyg där bedömarna var tvungna att uppge sina namn (offentliga betyg) för att utvärdera läkarutbildningens undervisningseffektivitet utförd av läkarassistenter och läkarstudenter. Resultaten visade att lärarna generellt sett fick lägre poäng på de anonyma bedömningarna. Författarna menar att studenterna är mer ärliga i anonyma bedömningar på grund av vissa hinder i öppna bedömningar, såsom skadade arbetsrelationer med deltagande lärare [29]. Det bör dock också noteras att den anonymitet som ofta förknippas med online-SET kan leda till att vissa studenter är respektlösa och repressalierande mot läraren om bedömningsresultaten inte uppfyller studenternas förväntningar [30]. Forskning visar dock att studenter sällan ger respektlös feedback, och det senare kan begränsas ytterligare genom att lära studenterna att ge konstruktiv feedback [30].
Flera studier har visat att det finns ett samband mellan elevers SET-poäng, deras förväntningar på testprestationer och deras testnöjdhet [10, 21]. Till exempel rapporterade Strobe (2020) [9] att elever belönar enkla kurser och lärare belönar svaga betyg, vilket kan uppmuntra dålig undervisning och leda till betygsinflation [9]. I en nyligen genomförd studie har Looi et al. (2020) [31] forskare rapporterat att mer gynnsamma SET-poäng är relaterade och lättare att bedöma. Dessutom finns det oroande bevis för att SET är omvänt relaterat till elevernas prestationer i efterföljande kurser: ju högre betyg, desto sämre elevernas prestationer i efterföljande kurser. Cornell et al. (2016) [32] genomförde en studie för att undersöka om högskolestudenter lärde sig relativt mer av lärare vars SET de betygsatte högt. Resultaten visar att när lärande bedöms i slutet av en kurs bidrar lärare med högst betyg också till lärandet för flest elever. Men när lärande mäts genom prestationer i efterföljande relevanta kurser är lärare som får relativt låga betyg de mest effektiva. Forskarna antog att det att göra en kurs mer utmanande på ett produktivt sätt skulle kunna sänka betygen men förbättra lärandet. Studentbedömningar bör därför inte vara den enda grunden för att utvärdera undervisning, utan bör erkännas.
Flera studier visar att SET-prestationer påverkas av själva kursen och dess organisation. Ming och Baozhi [33] fann i sin studie att det fanns signifikanta skillnader i SET-poäng mellan studenter i olika ämnen. Till exempel har kliniska vetenskaper högre SET-poäng än grundvetenskaper. Författarna förklarade att detta beror på att läkarstudenter är intresserade av att bli läkare och därför har ett personligt intresse och högre motivation att delta mer i kliniska vetenskapliga kurser jämfört med grundvetenskapliga kurser [33]. Precis som i fallet med valbara kurser har studenternas motivation för ämnet också en positiv effekt på poängen [21]. Flera andra studier stöder också att kurstyp kan påverka SET-poäng [10, 21].
Dessutom har andra studier visat att ju mindre klassstorleken är, desto högre nivå av SET uppnås av lärarna [10, 33]. En möjlig förklaring är att mindre klassstorlekar ökar möjligheterna till interaktion mellan lärare och elever. Dessutom kan de förhållanden under vilka bedömningen genomförs påverka resultaten. Till exempel verkar SET-poäng påverkas av tid och dag kursen undervisas, samt vilken veckodag SET-poängen slutförs (t.ex. tenderar bedömningar som genomförs på helger att resultera i mer positiva poäng) än bedömningar som genomförs tidigare i veckan. [10].
En intressant studie av Hessler et al. ifrågasätter också effektiviteten av SET. [34]. I denna studie genomfördes en randomiserad kontrollerad studie i en akutmedicinkurs. Läkarstudenter i tredje året tilldelades slumpmässigt antingen en kontrollgrupp eller en grupp som fick gratis chokladkakor (kakgruppen). Alla grupper undervisades av samma lärare, och utbildningsinnehållet och kursmaterialet var identiskt för båda grupperna. Efter kursen ombads alla studenter att slutföra ett set. Resultaten visade att kakgruppen betygsatte lärarna signifikant bättre än kontrollgruppen, vilket ifrågasätter effektiviteten av SET [34].
Bevis i litteraturen stöder också att kön kan påverka SET-poäng [35,36,37,38,39,40,41,42,43,44,45,46]. Till exempel har vissa studier visat ett samband mellan studenters kön och bedömningsresultat: kvinnliga studenter fick högre poäng än manliga studenter [27]. De flesta bevisen bekräftar att studenter skattar kvinnliga lärare lägre än manliga lärare [37, 38, 39, 40]. Till exempel visade Boring et al. [38] att både manliga och kvinnliga studenter trodde att män var mer kunniga och hade starkare ledarskapsförmågor än kvinnor. Det faktum att kön och stereotyper påverkar SET stöds också av studien av MacNell et al. [41], som rapporterade att studenter i hans studie skattade kvinnliga lärare lägre än manliga lärare inom olika aspekter av undervisning [41]. Dessutom gav Morgan et al. [42] bevis för att kvinnliga läkare fick lägre undervisningsbetyg inom fyra större kliniska rotationer (kirurgi, pediatrik, obstetrik och gynekologi samt internmedicin) jämfört med manliga läkare.
I Murray et al.s (2020) studie [43] rapporterade forskarna att lärares attraktivitet och studenternas intresse för kursen var associerat med högre SET-poäng. Omvänt är kursens svårighetsgrad associerad med lägre SET-poäng. Dessutom gav studenter högre SET-poäng till unga vita manliga humanistlärare och till lärare med professurer. Det fanns inga korrelationer mellan utvärderingar av SET-undervisning och resultat från lärarundersökningar. Andra studier bekräftar också den positiva effekten av lärares fysiska attraktivitet på bedömningsresultaten [44].
Clayson et al. (2017) [45] rapporterade att även om det råder allmän enighet om att SET ger tillförlitliga resultat och att klass- och lärargenomsnitten är konsekventa, finns det fortfarande inkonsekvenser i individuella elevers svar. Sammanfattningsvis indikerar resultaten av denna bedömningsrapport att eleverna inte höll med om vad de ombads att utvärdera. Tillförlitlighetsmått som härrör från elevers utvärderingar av undervisningen är otillräckliga för att ge en grund för att fastställa validitet. Därför kan SET ibland ge information om elever snarare än lärare.
SET inom hälsoundervisning skiljer sig från traditionell SET, men lärare använder ofta SET som finns tillgängligt inom allmän högre utbildning snarare än SET som är specifikt för hälso- och sjukvårdsyrken och som rapporterats i litteraturen. Studier som genomförts under årens lopp har dock identifierat flera problem.
Jones et al (1994). [46] genomförde en studie för att fastställa frågan om hur man utvärderar läkarutbildningens lärare ur lärarens och administratörernas perspektiv. Sammantaget var de vanligast nämnda problemen relaterade till undervisningsutvärdering. De vanligaste var allmänna klagomål om otillräckligheten i nuvarande metoder för prestationsbedömning, där respondenterna också framförde specifika klagomål om SET och bristen på erkännande av undervisning i akademiska belöningssystem. Andra rapporterade problem inkluderade inkonsekventa utvärderingsförfaranden och befordringskriterier mellan institutioner, brist på regelbundna utvärderingar och ett misslyckande med att koppla utvärderingsresultat till löner.
Royal et al. (2018) [11] beskriver några av begränsningarna med att använda SET för att utvärdera läroplan och lärare inom hälso- och sjukvårdsprogram inom allmän högre utbildning. Forskare rapporterar att SET inom högre utbildning står inför olika utmaningar eftersom det inte kan tillämpas direkt på läroplandesign och kursundervisning på läkarutbildningar. Vanliga frågor, inklusive frågor om läraren och kursen, kombineras ofta i ett frågeformulär, så studenterna har ofta svårt att skilja mellan dem. Dessutom undervisas kurser inom läkarprogram ofta av flera lärare. Detta väcker frågor om validitet med tanke på det potentiellt begränsade antalet interaktioner mellan studenter och lärare som bedömdes av Royal et al. (2018) [11]. I en studie av Hwang et al. (2017) [14] undersökte forskare konceptet med hur retrospektiva kursutvärderingar på ett heltäckande sätt återspeglar studenternas uppfattningar om olika lärares kurser. Deras resultat tyder på att individualiserad klassbedömning är nödvändig för att hantera flerfakultetskurser inom en integrerad läkarutbildningsplan.
Uitdehaage och O'Neill (2015) [5] undersökte i vilken utsträckning läkarstudenter avsiktligt tog SET i en flerfakultetskurs. Var och en av de två prekliniska kurserna hade en fiktiv lärare. Studenterna måste lämna anonyma betyg till alla lärare (inklusive fiktiva lärare) inom två veckor efter avslutad kurs, men kan avböja att utvärdera läraren. Året därpå hände det igen, men porträttet av den fiktiva läraren inkluderades. Sextiosex procent av studenterna betygsatte den virtuella läraren utan likhet, men färre studenter (49 %) betygsatte den virtuella läraren med likhet. Dessa resultat tyder på att många läkarstudenter genomför SET blint, även när de åtföljs av fotografier, utan noggrant övervägande av vem de bedömer, än mindre lärarens prestationer. Detta hindrar förbättringen av programkvaliteten och kan vara skadligt för lärarnas akademiska framsteg. Forskarna föreslår ett ramverk som erbjuder en radikalt annorlunda metod för SET som aktivt och aktivt engagerar studenterna.
Det finns många andra skillnader i läroplanen för läkarprogrammen jämfört med andra allmänna högskoleutbildningar [11]. Läkarutbildningen, liksom professionell hälsoutbildning, är tydligt inriktad på utveckling av tydligt definierade yrkesroller (klinisk praktik). Som ett resultat blir läroplanerna för läkar- och hälsoprogrammen mer statiska, med begränsade kurs- och fakultetsval. Intressant nog erbjuds läkarutbildningskurser ofta i ett kohortformat, där alla studenter tar samma kurs samtidigt varje termin. Därför kan inskrivning av ett stort antal studenter (vanligtvis n = 100 eller fler) påverka undervisningsformatet såväl som lärar-student-relationen. Dessutom bedöms de psykometriska egenskaperna hos de flesta instrument inte vid första användningen på många läkarutbildningar, och egenskaperna hos de flesta instrument kan förbli okända [11].
Flera studier under de senaste åren har visat att SET kan förbättras genom att ta itu med några viktiga faktorer som kan påverka SET:s effektivitet på instrumentell, administrativ och tolkningsmässig nivå. Figur 3 visar några av de steg som kan användas för att skapa en effektiv SET-modell. Följande avsnitt ger en mer detaljerad beskrivning.
Förbättra SET på instrumentell, ledningsmässig och tolkningsmässig nivå för att utveckla effektiva SET-modeller.
Som tidigare nämnts bekräftar litteraturen att könsbias kan påverka lärares utvärderingar [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] genomförde en studie som undersökte om elevers kön påverkade elevernas svar på insatser för att minska bias. I denna studie administrerades SET till fyra klasser (två undervisade av manliga lärare och två undervisade av kvinnliga lärare). Inom varje kurs tilldelades eleverna slumpmässigt att få ett standardiserat bedömningsverktyg eller samma verktyg men med ett språk utformat för att minska könsbias. Studien fann att elever som använde anti-bias bedömningsverktyg gav kvinnliga lärare signifikant högre SET-poäng än elever som använde standardiserade bedömningsverktyg. Dessutom fanns det inga skillnader i manliga lärares betyg mellan de två grupperna. Resultaten av denna studie är signifikanta och visar hur en relativt enkel språklig intervention kan minska könsbias i elevers utvärderingar av undervisning. Därför är det god praxis att noggrant överväga alla SET och använda språk för att minska könsbias i deras utveckling [40].
För att få användbara resultat från alla SET-undersökningar är det viktigt att noggrant överväga syftet med bedömningen och formuleringen av frågorna i förväg. Även om de flesta SET-undersökningar tydligt anger ett avsnitt om organisatoriska aspekter av kursen, dvs. "Kursutvärdering", och ett avsnitt om lärare, dvs. "Lärarutvärdering", kanske skillnaden i vissa undersökningar inte är uppenbar, eller så kan det råda förvirring bland studenterna om hur man ska bedöma vart och ett av dessa områden individuellt. Därför måste frågeformulärets utformning vara lämplig, förtydliga de två olika delarna av frågeformuläret och göra studenterna medvetna om vad som ska bedömas inom varje område. Dessutom rekommenderas pilottester för att avgöra om studenterna tolkar frågorna på avsett sätt [24]. I en studie av Oermann et al. (2018) [26] sökte och syntetiserade forskarna litteratur som beskriver användningen av SET inom ett brett spektrum av discipliner inom grundutbildning och forskarutbildning för att ge utbildare vägledning om användningen av SET inom omvårdnad och andra hälso- och sjukvårdsprogram. Resultaten tyder på att SET-instrument bör utvärderas före användning, inklusive pilottestning av instrumenten med elever som kanske inte kan tolka SET-instrumentets uppgifter eller frågor som läraren avsett.
Flera studier har undersökt huruvida SET-styrningsmodellen påverkar studenters engagemang.
Daumier et al. (2004) [47] jämförde studenters betyg av instruktörsutbildning som genomförts i klassrummet med betyg som samlats in online genom att jämföra antalet svar och betyg. Forskning visar att online-enkäter vanligtvis har lägre svarsfrekvens än enkäter i klassrummet. Studien fann dock att online-bedömningar inte gav signifikant olika genomsnittliga betyg från traditionella klassrumsbedömningar.
Det rapporterades bristande tvåvägskommunikation mellan studenter och lärare under genomförandet av SET-prov online (men ofta utskrivna), vilket resulterade i bristande möjligheter till förtydligande. Därför är innebörden av SET-frågor, kommentarer eller studentutvärderingar inte alltid tydlig [48]. Vissa institutioner har åtgärdat detta problem genom att samla studenterna i en timme och avsätta en specifik tid för att genomföra SET-provet online (anonymt) [49]. I sin studie höll Malone et al. (2018) [49] flera möten för att diskutera syftet med SET med studenterna, vem som skulle se SET-resultaten och hur resultaten skulle användas, samt eventuella andra frågor som tas upp av studenterna. SET genomförs ungefär som en fokusgrupp: den kollektiva gruppen besvarar öppna frågor genom informell omröstning, debatt och förtydligande. Svarsfrekvensen var över 70–80 %, vilket gav lärare, administratörer och läroplanskommittéer omfattande information [49].
Som nämnts ovan rapporterade forskarna i Uitdehaage och O'Neills studie [5] att studenterna i deras studie bedömde icke-existerande lärare. Som tidigare nämnts är detta ett vanligt problem i läkarutbildningar, där varje kurs kan undervisas av många fakultetsmedlemmar, men studenterna kanske inte kommer ihåg vem som bidrog till varje kurs eller vad varje fakultetsmedlem gjorde. Vissa institutioner har åtgärdat detta problem genom att tillhandahålla ett fotografi av varje föreläsare, hans/hennes namn och ämne/datum som presenterades för att fräscha upp studenternas minne och undvika problem som äventyrar SET:s effektivitet [49].
Det kanske viktigaste problemet med SET är att lärare inte kan tolka kvantitativa och kvalitativa SET-resultat korrekt. Vissa lärare kanske vill göra statistiska jämförelser mellan år, andra kanske ser mindre ökningar/minskningar i medelpoäng som meningsfulla förändringar, vissa vill tro på varje undersökning och andra är direkt skeptiska till alla undersökningar [45, 50, 51].
Underlåtenhet att korrekt tolka resultat eller bearbeta studentfeedback kan påverka lärarnas attityder till undervisning. Resultaten från Lutovac et al. (2017) [52] Stödjande lärarutbildning är nödvändig och fördelaktig för att ge feedback till studenter. Medicinsk utbildning behöver snarast utbildning i korrekt tolkning av SET-resultat. Därför bör läkarutbildningens lärare få utbildning i hur man utvärderar resultat och de viktiga områden som de bör fokusera på [50, 51].
De beskrivna resultaten tyder således på att SET-studier bör utformas, administreras och tolkas noggrant för att säkerställa att SET-resultaten har en meningsfull inverkan på alla relevanta intressenter, inklusive lärare, läkarutbildningsadministratörer och studenter.
På grund av vissa av SET:s begränsningar bör vi fortsätta sträva efter att skapa ett omfattande utvärderingssystem för att minska partiskhet i undervisningens effektivitet och stödja den professionella utvecklingen av medicinska utbildare.
En mer fullständig förståelse av klinisk lärares undervisningskvalitet kan erhållas genom att samla in och triangulera data från flera källor, inklusive studenter, kollegor, programadministratörer och lärares självbedömningar [53, 54, 55, 56, 57]. Följande avsnitt beskriver möjliga andra verktyg/metoder som kan användas utöver effektiv SET för att bidra till att utveckla en mer lämplig och fullständig förståelse av utbildningens effektivitet (Figur 4).
Metoder som kan användas för att utveckla en heltäckande modell av ett system för att bedöma undervisningens effektivitet på en medicinsk fakultet.
En fokusgrupp definieras som "en gruppdiskussion organiserad för att utforska en specifik uppsättning frågor" [58]. Under de senaste åren har medicinska fakulteter skapat fokusgrupper för att få kvalitetsfeedback från studenter och ta itu med några av fallgroparna med online-SET. Dessa studier visar att fokusgrupper är effektiva för att ge kvalitetsfeedback och öka studentnöjdheten [59, 60, 61].
I en studie av Brundle et al. [59] implementerade forskarna en process för studentutvärderingsgrupper som gjorde det möjligt för kursledare och studenter att diskutera kurser i fokusgrupper. Resultaten indikerar att fokusgruppsdiskussioner kompletterar online-bedömningar och ökar studenternas nöjdhet med den övergripande kursbedömningsprocessen. Studenterna värdesätter möjligheten att kommunicera direkt med kursledare och tror att denna process kan bidra till utbildningsförbättringar. De kände också att de kunde förstå kursledarens synvinkel. Förutom studenterna bedömde även kursledare att fokusgrupper underlättade en mer effektiv kommunikation med studenterna [59]. Användningen av fokusgrupper kan således ge läkarutbildningarna en mer fullständig förståelse för kvaliteten på varje kurs och respektive fakultets undervisningseffektivitet. Det bör dock noteras att fokusgrupperna själva har vissa begränsningar, såsom att endast ett litet antal studenter deltar i dem jämfört med det online SET-program som är tillgängligt för alla studenter. Dessutom kan det vara en tidskrävande process för handledare och studenter att genomföra fokusgrupper för olika kurser. Detta innebär betydande begränsningar, särskilt för läkarstudenter som har mycket hektiska scheman och kan genomföra kliniska placeringar på olika geografiska platser. Dessutom kräver fokusgrupper ett stort antal erfarna handledare. Att integrera fokusgrupper i utvärderingsprocessen kan dock ge mer detaljerad och specifik information om utbildningens effektivitet [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] undersökte studenters och lärares uppfattningar om ett nytt verktyg för att bedöma lärares prestationer och studenters läranderesultat vid två tyska medicinska fakulteter. Fokusgruppsdiskussioner och individuella intervjuer genomfördes med lärare och läkarstudenter. Lärare uppskattade den personliga feedback som bedömningsverktyget gav, och studenterna rapporterade att en återkopplingsslinga, inklusive mål och konsekvenser, borde skapas för att uppmuntra rapportering av bedömningsdata. Resultaten av denna studie stöder således vikten av att sluta kommunikationsslingan med studenterna och informera dem om bedömningsresultaten.
Program för peer review of teaching (PRT) är mycket viktiga och har implementerats inom högre utbildning i många år. PRT innebär en samarbetsprocess där man observerar undervisning och ger feedback till observatören för att förbättra undervisningens effektivitet [63]. Dessutom kan självreflektionsövningar, strukturerade uppföljningsdiskussioner och systematisk tilldelning av utbildade kollegor bidra till att förbättra PRT:s effektivitet och institutionens undervisningskultur [64]. Dessa program rapporteras ha många fördelar eftersom de kan hjälpa lärare att få konstruktiv feedback från andra lärare som kan ha haft liknande svårigheter tidigare och kan ge större stöd genom att ge användbara förslag till förbättringar [63]. Dessutom kan peer review, när den används konstruktivt, förbättra kursinnehåll och undervisningsmetoder, och stödja medicinska lärare i att förbättra kvaliteten på sin undervisning [65, 66].
En nyligen genomförd studie av Campbell et al. (2019) [67] visar att modellen med peer support på arbetsplatsen är en acceptabel och effektiv strategi för lärarutveckling för kliniska hälsopedagoger. I en annan studie genomförde Caygill et al. [68] en studie där ett specialutformat frågeformulär skickades till hälsopedagoger vid University of Melbourne för att låta dem dela sina erfarenheter av att använda PRT. Resultaten indikerar att det finns ett uppdämt intresse för PRT bland medicinska pedagoger och att det frivilliga och informativa formatet för peer support anses vara en viktig och värdefull möjlighet till professionell utveckling.
Det är värt att notera att PRT-program måste utformas noggrant för att undvika att skapa en dömande, "ledarmässig" miljö som ofta leder till ökad oro bland observerade lärare [69]. Målet bör därför vara att noggrant utveckla PRT-planer som kompletterar och underlättar skapandet av en säker miljö och ger konstruktiv feedback. Därför behövs särskild utbildning för att utbilda granskare, och PRT-program bör endast involvera verkligt intresserade och erfarna lärare. Detta är särskilt viktigt om informationen som erhålls från PRT:n används i fakultetsbeslut såsom befordringar till högre nivåer, löneökningar och befordringar till viktiga administrativa positioner. Det bör noteras att PRT är tidskrävande och, liksom fokusgrupper, kräver deltagande av ett stort antal erfarna fakultetsmedlemmar, vilket gör denna metod svår att implementera på medicinska skolor med låga resurser.
Newman et al. (2019) [70] beskriver strategier som används före, under och efter utbildning, observationer som lyfter fram bästa praxis och identifierar lösningar på inlärningsproblem. Forskarna gav 12 förslag till granskarna, inklusive: (1) välj dina ord klokt; (2) låt observatören bestämma diskussionens riktning; (3) håll feedback konfidentiell och formaterad; (4) håll feedback konfidentiell och formaterad; Feedback fokuserar på undervisningsförmåga snarare än den enskilda läraren; (5) Lär känna dina kollegor (6) Var hänsynsfull mot dig själv och andra (7) Kom ihåg att pronomen spelar en viktig roll för att ge feedback, (8) Använd frågor för att belysa undervisningsperspektivet, (10) Etablera processer för förtroende och feedback i kamratobservationer, (11) gör observation av lärande till en win-win-situation, (12) skapa en handlingsplan. Forskare utforskar också effekten av partiskhet på observationer och hur processen att lära, observera och diskutera feedback kan ge värdefulla lärandeupplevelser för båda parter, vilket leder till långsiktiga partnerskap och förbättrad utbildningskvalitet. Gomaly et al. (2014) [71] rapporterade att kvaliteten på effektiv feedback bör inkludera (1) förtydligande av uppgiften genom att ge instruktioner, (2) ökad motivation för att uppmuntra till större ansträngning, och (3) mottagarens uppfattning av den som en värdefull process, tillhandahållen av en pålitlig källa.
Även om läkarutbildningens lärare får feedback på PRT, är det viktigt att utbilda läraren i hur man tolkar feedback (i likhet med rekommendationen att få utbildning i SET-tolkning) och att ge läraren tillräckligt med tid för att konstruktivt reflektera över den mottagna feedbacken.
Publiceringstid: 24 november 2023