מיתוסים ועובדות לגבי סקרי הוראה ע"י הסטודנטים

Präsentation zum Thema: "מיתוסים ועובדות לגבי סקרי הוראה ע"י הסטודנטים"—  Präsentation transkript:

1 מיתוסים ועובדות לגבי סקרי הוראה ע"י הסטודנטים
הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים חקר מקרה: הקשר בין הערכת חברי הסגל האקדמי וציוני הסטודנטים במרכז האוניברסיטאי אריאל סיוון, תשס"ט מאי, 2009

2 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
המחקר עוסק בקשר שבין ציוני הסטודנטים בפקולטות ובמחלקות במרכז האוניברסיטאי אריאל לבין ציון ההערכה שנותנים הסטודנטים לסגל האקדמי. שאלת המחקר המרכזית בה עוסק המחקר המתואר במאמר היא האם יש קשר בין הערכת הסטודנטים את חברי הסגל בקורסים לבין ציוניהם בקורסים אלה. בנוסף לכך מנסה המחקר לתת תשובה גם על השאלה האם ישנם משתנים – אישים או מחלקתיים בקורסים. המחקר מבוסס על ניתוח של הערכות של סטודנטים (שאלונים שמילאו התלמידים בשנת הלימודים תשס"ח ובהם התבקשו להעריך את הסגל האקדמי) על 434 מרצים ועל 1033 קורסים, שהועברו על ידי מרצים שונים. המסקנה המרכזית העולה מנתוני המחקר היא שאין קשר סטטיסטי מובהק בין ציוני הסטודנטים בקורסים (ע"פ מחלקה ופקולטה כאחד) לבין ציון ההערכה שמעניקים הסטודנטים לסגל האקדמי שלהם.

3 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
שאלוני הערכת מרצים הוצגו לראשונה באקדמיה בתחילת המאה הקודמת, אולם, עלייה במעמדם וחשיבותם התרחשה בעיקר משנות ה-70 של המאה העשרים. במרוץ השנים קיבלו השאלונים מעמד של כלי יעיל וחסכוני המהווה דרך נוחה להעריך את יעילות ההוראה ואמצעי לגזירת מסקנות אופרטיביות בדבר שיפור איכות הוראה והערכת ביצועיהם של מרצים. השימוש בשאלונים נפוץ ביותר בארה"ב ובקנדה, אשר רואות חשיבות רבה בהפיכת ההוראה למקצוע בעל מעמד פרופסיונאלי ובקביעת אמות מידה נוקשות של ידע ומיומנות בהוראה. שאלוני ההערכה נתפסים כאמצעי להגשמת יעדים אלה, ומובילים גם את מדינות אירופה לאמץ את מתודת ההערכה, על אף המחלוקת הקיימת בדבר השאלונים כמדד תקף לקבלת החלטות יישומיות.

4 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
בשנים הראשונות לשימוש בשאלונים היו הם כלי משוב נטול השלכות מרחיקות לכת, אולם במרוץ השנים התחזק מעמדם של שאלוני הערכה אשר הפכו מכלי משוב גרידא המעניק המלצות לשיפור, לכלי אשר תוצאותיו בעלות היבטים משמעותיים בקריירה האקדמית- מתן קביעות, קידום ומינויי אקדמי. היבטים אלה משפיעים באופן בלתי נמנע על שכר, יוקרה נתפסת ואפשרויות התפתחות הקריירה. תוצאות השאלונים מקבלות חשיבות רבה ומספקות מדד לגורמים הממונים. הדומיננטיות הרבה של שאלוני הערכה, המכונה בפי אחדים כ"מנדט הערכה", מכתיבה וקובעת במידה לא מבוטלת את מסלול התפתחות הקריירה של המרצה.

5 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
השלכות אלו הופכות את השאלונים למקור לביקורת רבה מצד הסגל האקדמי ומושא למחקרים רבים אשר מבקשים לבחון את מהימנות ותקפות השאלונים- את המידה שבה יש להעניק לתפיסותיהם של סטודנטים כוח בהשפעה על הקריירה של אנשי אקדמיה. התפיסות מתפלגות לשני מחנות- תומכים ומתנגדים. יש הטוענים כי זו היא המחלוקת הגדולה ביותר במחקרי ההוראה. נגד - אלה הרואים בעצם קיומו של השאלון כאמצעי שיפוטי הפוגע במעמד האקדמי של המרצה, מציב אותו בעמדת נחיתות ונכפה עליו מבחוץ. תומכי גישה זו חשים עצמם כמי שאמורים "לספק את הסחורה" עבור הסטודנטים, ואלה בתמורה מעניקים להם נקודות זכות. זווית ראייה זו נובעת לרוב בשל העדר דיאלוג ביו מרצים לגורמים ממונים, בין מרצים לבין עצמם ובין מרצים לבין סטודנטים. בעד - הדוגלים בשאלונים ומכירים בחשיבות המשובים כאמצעי לקידום ושיפור איכות ההוראה כמו גם את שביעות רצון הסטודנט-הצרכן.

6 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
הכול מסכימים לדבר חשיבות קידום "הוראה יעילה", שיפור איכות ההוראה והקטנה של מספר הסטודנטים הנושרים מלימודיהם. ממשלות ואוניברסיטאות כאחד מנסות לפתח פרקטיקות ומדיניות שונות על מנת לעודד, לתגמל ולמדוד "הוראה טובה". המחלוקת אינה בדבר הצורך בבקרה אלא באופן שעליה להתבצע ובמידת יעילותה. נשאלת השאלה, האם המידה שבה מסתמכת האקדמיה על שאלוני הערכה היא רבה מידה? האם השאלונים תקפים ומהימנים? או שמא מדובר במניפולציות הדדיות שמבצעים המרצים בסטודנטים על מנת לקבל דירוגים גבוהים והסטודנטים במרצים בכדי לקבל ציונים גבוהים? אנשי סגל רבים טוענים נגד השאלונים בעילה כי אלה האחרונים מוטים מסיבות שונות הכוללות תחומים שאינם בשליטתו של המרצה כמו מאפייני הקורס: דרגת קושי, מסת חומר, מאפייני המרצה (מראה חיצוני, מין, גיל, מוצא אתני); מאפייני הסטודנט (ציפיות אישיות, מין, מוטיבציה, נוכחות), ומאפייני אדמיניסטרציה (גודל כיתה, מספר שעות מערכת).

7 הקשר בין הערכות המרצים על ידי סטודנטים וציוני הקורסים
כל אחד מגורמים אלה נתפס כגורם הטיה פוטנציאלי שעשוי להשפיע על דירוג איכות ההוראה של המרצה מאחר וטיבה של הוראה אינו נטול הקשר ואינו מבודד כישורים, מיומנויות ויכולות של מרצה מגורמים נוספים הפועלים באינטראקציה בין סטודנט- מרצה- כיתה. ניתן למצוא מידה של הגיון בטענתם של אנשי סגל שאינם רואים בהיזון חוזר מטעם סטודנטים כאמצעי יעיל להעריך את איכות עבודתם, קל וחומר אמצעי המכתיב את עתידם. במסגרת המחקר הנוכחי ביקשנו לבחון את המידה שבה יש יסוד של אמת בטענות המרצים בדבר הטיה הנובעת מגורמים חיצוניים שאינם כוללים את איכות הוראתם. ביקשנו לבחון את ההשערה כי יש קורלציה בין דירוגי מרצים לבין ציוני מרצים בקורס, בין דירוגי מרצים, ציון בקורס ומשתני רקע. נושא הערכת מרצים הוא הנושא הנחקר ביותר בתחום של מתודות הערכה. אולם, מרבית המחקרים גנריים ואינם עוסקים בתכונות ספציפיות בקונטקסט ההוראה. על מנת להעניק יתרון למחקר הנוכחי, בחרנו להבחין בין הפקולטות השונות ולנתח את הנתונים בשלוש רמות: הערכות הסטודנטים את המרצים, הערכות המרצה והערכות הקורס שמועבר על ידי מרצה. שיערנו כי נוכל להציג יתרון על מחקרי העבר שהציגו סטטיסטיקה תיאורית פשוטה ורגרסיה רגילה כאמצעי להוכיח קורלציה בין דירוג מרצים לציוני סטודנטים, תוך דחיקה של מורכבות היחסים בין המשתנים.

8 הערכת מרצים וציוני סטודנטים- תיאורית הקשר
אחת הטענות הנפוצות ביותר נגד שאלוני הערכה היא כי דירוגי המרצים אינם אלא שיקוף של מידת שביעות רצונו של סטודנט מן הציון שהוא צופה לקבל. מחקרים רבים ניסו לתת מענה חד- משמעי לטיעונים אלה תוך הצגה של תקפות ומהימנות השאלונים. מחקרים משנות ה-70 ואילך, אינם מעניקים תוצאה חד משמעית בדבר קיומו או העדרו של מתאם בין דירוגי מרצים לציון נתפס של סטודנטים. חוקרים לא הצליחו לקבוע בוודאות כי הגורם למתאם בין ציפיות ציונים של סטודנטים לבין דירוגי מרצים הוא מתאם נטול השפעות מתווכות. ניתן להסביר זאת במונחים של שביעות רצון מרמת ההוראה ועל כן ציפיות ציונים גבוהות או מאידך אפשר לטעון כי ציפיות לציונים גבוהים הובילו לשביעות רצון גבוהה ולדירוג גבוה. d'Appolonia ו- Abrami (2007) טענו כי אמנם קיים מתאם חיובי בין ציונים לדירוגים, אולם אין בכך בכדי להעיד על פיחות הציונים או נדיבות יתר של המרצים כאמצעי להגביר דירוג. לדידם, היחסים בין הציון (של הסטודנט במבחן) -לדירוג (משוב ההוראה של הסטודנט על המרצה) בעיתיים, רק כאשר הם אינם בהלימה עם מידת הלמידה של סטודנטים. החוקרים טוענים כי אם הערכת הסטודנט את המרצה משקפת את מידת הלמידה שלו בקורס, הרי שמתאם זה הוא מתבקש ובלתי נמנע. אולם, אם ההפך הוא הנכון, הרי שמידת ההשקעה בלמידה תהיה מינימאלית והצפיות לציון יהיו גבוהות יותר, אם ניתנו לסטודנט ללא השקעה מצידו.

9 הערכת מרצים וציוני סטודנטים- תיאורית הקשר
גם Bortetz(2004) גורסת כי הערכות סטודנטים אינם גורמת ל"אינפלציה של ציונים" הנובעת מניסיון של מרצים "לשחד" את הסטודנטים בציונים גבוהים בכדי לקבל דירוג גבוה. לדעתה, מושג האינפלציה חדר לאקדמיה שלא בצדק - הסטודנטים אינם לקוחות הדורשים העלאה בציון, אלא חלק אינטגראלי מן המערכת. המתאם בין ציונים לדירוגים הוביל את החוקרת להסיק כי הסטודנטים מצליחים להגיע לציונים גבוהים יותר בשל שיפור בתקשורת בין מרצים וסטודנטים. שיפור זה הוא אחת התוצאות של שאלוני הערכה המאפשרים לשפר את ביצועי המרצים וכפועל יוצא גם את מאמץ הלמידה של התלמידים. Krautman ו- Sander (1999) גם כן מצאו קורלציה חיובית בין ציונים גבוהים לבין הערכות גבוהות של מרצים. ממצאיהם הובילו אותם למסקנה כי המתאם הנ"ל בהכרח מעיד על השאלון כמדד פסול להערכת מרצים. מחקרים רבים נוספים מצאו קורלציה חיובית בין ציפיות ציון של סטודנט לבין דירוג המרצה.

10 הערכת מרצים וציוני סטודנטים- תיאורית הקשר
מחקרים מן העשור וחצי האחרונים מציעים בחינה של מודל רב משתנים בדבר אותם יחסים בין ציון-דירוג. כך למשל Wright ו- Palmer (2006) הציגו שלושה מודלים שונים שמטרתם להסביר את היחסים בין ציוני הערכה לבין ציפיות ציוני סטודנטים. המודל הראשון הוא המודל הפשוט ביותר המציג יחס קווי בין ציפיות ציון לבין הערכות מרצה, מודל שני מציג יחסים בין מידת הלמידה, ציון ודירוג הערכת מרצה ואילו המודל השלישי, הוא המורכב ביותר מסביר את היחסים על ידי הכללה של מוטיבציה, יכולת הסטודנט, מידת למידה וציון גם יחד, כגורמים המשפיעים על הערכת מרצה. כל אחד מן המודלים נבדק אל מול בסיס הנתונים הסטטיסטים.

11 הערכת מרצים וציוני סטודנטים- תיאורית הקשר
החוקרים מצאו כי המודל השלישי והמורכב התאים באופן הטוב ביותר לנתונים והסביר באופן מובהק ביותר את היחסים בין המשתנים. ההתאמה הייתה כה מובהקת עד כי לא ניתן היה לדחות היפותזה. החוקרים הסיקו כי סטודנטים אינם נוטים לדרג מרצים בניקוד גבוה רק משום שהם מאמינים כי יקבלו ציונים גבוהים, אולם, באותה מידה הם לא נוטים לדרג מרצים בניקוד גבוה משום שהם מאמינים כי הרחיבו את אופקיהם בקורס. החוקרים הסיקו כי היחסים בין ציונים לבין הערכת הוראה מציגים מערכת מורכבת של יחסים הכוללת בתוכה אלמנטים של מוטיבציה, יכולת אישית, כמות הלמידה הנתפסת על ידי הסטודנט ומוטיבציה. לעיתים נהוג לחשוב כי הערכת הסטודנטים משמשת כלי ל"נקמה" במרצים המענקים ציונים נמוכים. טענה זו נבדקה במחקרו של Boysen (2008) אשר מצא כי סטודנטים אמנם עשויים להעניק דירוג נמוך למרצים, אולם בעיקר כאשר הם חשים שציוניהם שלהם נמוכים באופן משמעותי משאר הכיתה. אלמנט "הנקמה" כגורם עקבי משפיע, נמצא בלתי משמעותי בהערכת איכות הוראת המרצים.

12 הערכת מרצים וציוני סטודנטים- תיאורית הקשר
הבנת מורכבות היחסים וההשפעות השונות, העשויות להתקיים בבואו של סטודנט לדרג למרצה, העלתה את ההשערות בדבר השפעתם של גורמים נוספים למעט ציונים. גורמים אלה, המכונים מאפייני רקע, הועלו גם כן כגורמים פוטנציאלים להטיית תוצאות השאלונים ולהערכה בלתי תקפה של איכות המרצה. היו שטענו כי נתונים דמוגרפים עשויים באופן תיאורטי גם כן לקחת חלק בהערכת המרצה על ידי הסטודנט.

13 מאפייני רקע והערכת מרצים- בין מיתוס למציאות
 מגדר - במחקר מטא-אנליטי שערכו Jones ו- Dindia (2004), שכלל 32 מחקרים שנדגמו על פני תקופה של 30 שנה, נמצא כי מין הסטודנט משפיע על האינטראקציה בין הסטודנט למרצה ועל תפיסת הסטודנט את המרצה. החוקרות מצאו כי סטודנטים גברים מקיימים יותר אינטראקציות עם מרצים באופן כללי ובנוסף, מקיימים יותר אינטראקציות שליליות עם מרצים ביחס לסטודנטיות. קורלציה נוספת נמצאה בין מין המרצה לבין מידת ההשתתפות של הסטודנטים בשיעור. מרצה-גבר גורם יותר לסטודנטים-גברים להשתתף בשיעור, אולם ההשפעה אינה קיימת כאשר מדובר במרצה-אישה. מתאמים אלה נמצאו במרבית המחקרים המצביעים על קיומה של אינטראקציה בין מין המרצה למין הסטודנט. על אף המתאמים הנחזים, קיים העדר תמימות דעים בדבר השפעת מין הסטודנט/מרצה על הערכת המרצה . יש הטוענים כי האינטראקציה כשלעצמה היא מתונה מאוד ואינה מעידה על השפעת המין על הערכת המרצים. יש הטוענים כי הקושי בקביעות חד משמעית מצוי בבעייתיות של בידוד ונטרול אפקט המין על הערכות מרצים. עם זאת, חוקרים חלוקים בדעותיהם, ויש המציגים ממצאים התומכים בהשפעת מין המרצה על הערכות הסטודנטים.

14 מאפייני רקע והערכת מרצים- בין מיתוס למציאות
ותק, דרגה וגיל המרצה - מחקרי אורך רבים שבוצעו במחלקות השונות מצאו כי איכות ההוראה יורדת כפונקציה של הוותק. המחקרים מצאו כי ללא התערבות חיצונית קיימת ירידה מתונה אך קבועה באיכות ההוראה. החוקרים מדווחים על קורלציה שלילית בין ניסיון בהוראה לבין יעילותה. Feldman (1983), בחן את האופן שבו שלושת המשתנים פועלים בכדי להשפיע על הערכות המרצים. תוצאות המחקר הצביעו על מתאם שלילי בין גיל לבין דירוגי המרצים ובין וותק ודירוגי מרצים. ממצאים אלה נמצאים בהלימה עם מחקרים חדשים יותר שמצאו גם כן מתאמים שליליים ויחס הפוך בין ותק וגיל לבין איכות הוראה. עוד מצא Feldman כי הקורלציה בין דרגה לבין דירוג הערכות מרצים, חיובית, כאשר דרגה גבוהה יותר סיפקה הערכות גבוהות יותר בקרב הסטודנטים. Marsh (2007) ערך מחקר שבו הציג מתודה סטטיסטית חדשה בעזרתה ערך מטא-אנליזה בתוצאות מחקרי הערכה של 195 מרצים ולמעלה מ-6,000 כיתות ונתונים שנאספו על פני 13 שנה. במחקרו נמצא כי מרבית הערכות של מרצים על ידי הסטודנטים נותרו קבועות ומרצים נותרו בקירוב באותה יעילות ורמת הוראה.  מוצא אתני - השפעת המוצא האתני על הערכות סטודנטים הוא תחום שנזנח יחסית למאפייני רקע אחרים. בדרך כלל נבדק משתנה זה יחד עם משתנה המראה החיצוני או ג'נדר. רוב המחקרים בודקים משתנה זה כמשתנה משני לגורמי רקע אחרים הנתפסים כמרכזיים יותר מצאו כי גיל ומוצא אתני גורמים להטיה בהערכות המרצים ומציגים מידה של אפליה בקרב הסטודנטים. המחקרים מוצאים מתאם חיובי אולם הוא לא נבחן מספיק כדי לקבוע את דבר קיומם של השפעות המוצא האתני. נכון לכתיבת שורות אלו לא נמצא מחקר מקיף הבוחן את השפעת המוצא האתני על הערכות מרצים.

15 מאפייני רקע והערכת מרצים- בין מיתוס למציאות
מאפיינים נוספים – למשל, רמת הקושי של הקורס עשויה להשפיע על הערכות המרצים כפונקציה של דירוג רמת המוסד האקדמי. רמת קושי גבוהה מניבה הערכות מרצים נמוכות במוסדות לימוד המדורגים ברמה נמוכה. בארצות הברית היחס ההפוך בין רמת הקושי להערכות מרצים חזק יותר במוסדות לימוד ציבוריים בהשוואה למוסדות פרטיים. סטאטוס העסקה של המרצה עשוי להוות בסיס להטיה של הערכות הסטודנטים כאשר סטאטוס של מרצה רגיל מעניק הערכות גבוהות יותר מסטאטוס של מתרגל. Marsh & Cooper (1981) מצאו במחקרם כי העניין המוקדם של סטודנטים בנושא הנלמד עשוי להשפיע באופן חיובי על הערכת המרצה. היינו, עניין גבוה בנושא הנלמד מספק בסיס לדירוג גבוה של המרצה.

16 מאפייני רקע והערכת מרצים- בין מיתוס למציאות
לסיכום, הספרות המחקרית, מציבה אתגר לחוקרים המבקשים לשרטט אי אלו מסקנות מן הנתונים. אנו רואים שורה של אתגרים העומדים בפני החוקר המבקש לבצע מחקר בעל מסקנות פרטיקולאריות. נראה כי ההיסטוריה המחקרית מציעה לחוקר ללמוד מניסיון העבר על ידי הקפדה על תיקנון השאלונים והבנייה של מודל סטטיסטי בו ניתן לשלוט על המשתנים השונים. שדה המחקר מעלה שלל הטיות פוטנציאליות איתן ניסנו להתמודד במחקר זה תוך ניסיון לבחון אוכלוסייה גדולה שתאפשר רמת מובהקות גבוה. בחרנו להתמודד עם מיתוס זה-הקשר בין ציון – לבין דרוג מרצים, במרכז האוניברסיטאי אריאל בשומרון (מא"א). המחקר מבוסס על הערכות הסטודנטים את המרצים בסמסטר ב' תשס"ח וציוניהם בקורס.

17 שאלות המחקר האם מתקיים יחס ישר בקירוב בין ציוני הסטודנטים בקורס לבין הערכת המרצה על ידם, ויחס הפוך בקירוב, בין רמת הקושי של הקורס לבין הערכת המרצה? האם קיימים משתנים נוספים המשפיעים על גובה דירוג המרצה?

18 אוכלוסיית המחקר המחקר מבוסס על הערכות של סטודנטים, שמולאו במוסד הלימודים בשנת הלימודים האקדמית תשס"ח, על 434 מרצים ועל 1033 קורסים, שהועברו על ידי מרצים שונים. בשל העובדה כי סקרי ההוראה אנונימיים, התיאום בין הדרוג, שהעניק הסטודנט למרצה בקורס לבין הציון אותו קיבל, נעשה ע"י חברה חיצונית ("רנסיס"), שערכה את סקר ההוראה הממוחשב. השימוש בנתונים, היה אנונימי וקולקטיבי, ובאישור הסטודנטים, אשר ידעו כי השימוש שיעשה בנתונים, יוותר חסוי שמית. בשל כמותם הנתונים הגדולה, של מרצים וקורסים נתייחס לתוצאות מובהקות רק מרמת p<.01. בבדיקת ההבדלים או המתאמים. בדקנו את הנתונים תוך התייחסות להערכות הסטודנטים את המרצים (כל סטודנט העריך מרצים שונים בקורסים שונים), התייחסות למרצים (כל מרצה הוערך ע"י קבוצה של סטודנטים בקורסים השונים שהוא מלמד) והתייחסות לקורס שמועבר על ידי מרצה (כל קורס שכל מרצה מלמד הוערך ע"י קבוצה של סטודנטים).ההתייחסות למרצים בפקולטה תהייה רק לגבי אותם מרצים שמלמדים בפקולטת האם.

19 ממצאים לוח 1: התפלגות מספר הערכות הסטודנטים ע"פ הפקולטות במדגם
מספר הערכות משובי ההוראה מספר המרצים המוערכים מספר הקורסים המוערכים הפקולטה/ביה"ס שכיחות אחוז ארכיטקטורה 851 5.2 38 8.8 70 6.8 מדעי הבריאות 2344 14.2 76 17.5 156 15.1 הנדסה 3637 22.1 122 28.1 297 28.8 מדעי החברה והרוח 8805 53.4 180 41.5 435 42.1 מדעי הטבע 847 5.1 18 4.1 75 7.3 סה"כ 16484 100 434 1033

20 לוח 2: ממוצעים וסטיות תקן של הציון בקורס לפי פקולטה
נמצאו הבדלים מובהקים לפי פקולטה, גם ברמת ההערכות מהפקולטה, גם ברמת המרצים השייכים לפקולטה וגם ברמת הקורסים של הפקולטה. נמצא כי הציון גבוה יותר בפקולטה למדעי הבריאות, לאחר מכן בפקולטה למדעי החברה והרוח, בארכיטקטורה, והציונים הנמוכים ביותר הם בפקולטות להנדסה ולמדעי הטבע. הציונים של הסטודנטים מתוך כל אחת מהערכות משובי ההוראה של תלמידי הפקולטה הציונים של הסטודנטים שהעריכו כל אחד מהמרצים הציונים של הסטודנטים שהעריכו את המרצים בכל אחד מהקורסים הפקולטה/ביה"ס ממוצע ס.ת. N ארכיטקטורה 81.04 4.93 851 80.84 1.32 38 80.89 1.81 70 מדעי הבריאות 83.79 5.54 2344 83.97 1.93 76 83.58 2.40 156 הנדסה 79.02 8.54 3637 78.66 3.96 122 78.29 4.69 297 מדעי החברה והרוח 82.61 6.68 8805 82.80 3.43 180 82.49 4.30 435 מדעי הטבע 78.93 10.26 847 77.31 7.03 18 78.73 5.41 75 סה"כ 81.72 7.35 16484 81.44 4.10 434 81.07 4.66 1033

21 ממוצעים וסטיות תקן של משובי ההוראה בקורס לפי פקולטה ברמת ההערכות נמצאו הבדלים מובהקים לפי פקולטה בכל הערכות. ברמת המרצים, נמצאו הבדלים מובהקים בהערכת מבנה וארגון הקורס וביחס המרצים לסטודנטים. ברמת הקורסים נמצאו הבדלים מובהקים בכל הערכות המרצים.באופן כללי, ההערכה הכללית של המרצה בקורס, הערכות מבנה וארגון הקורס, בהירות ההרצאות ויחס המרצה לסטודנטים נמצאו נמוכות יותר בביה"ס לארכיטקטורה וההערכות הגבוהות נמצאו בביה"ס למדעי הבריאות.

22 הקשר בין הערכות המרצים לבין הציון בקורס לא נמצאו מתאמים מובהקים בין הערכת המרצים לבין הציון בקורס, לא ברמת הערכות, לא ברמת המרצים ולא ברמת הקורסים. לא נמצאו מתאמים מובהקים בין הערכת המרצים לבין הציון בקורס, ברוב הפקולטות ברמות ההערכות, המרצים והקורסים.

23 נמצאו מספר מתאמים מובהקים לפי הערכות תלמידי הפקולטה:
בביה"ס למדעי הבריאות נמצא קשר חיובי בין יחס המרצה לסטודנטים לבין הציון בקורס. בפקולטה למדעי החברה והרוח נמצא קשר שלילי בין ההערכה הכללית של המרצה בקורס לבין הציון וכן נמצא קשר שלילי בין הערכת מבנה וארגון הקורס לבין הציון. בפקולטה להנדסה נמצא קשר חיובי בין יחס המרצה לסטודנטים לבין הציון בקורס. בפקולטה למדעי הטבע נמצאו מתאמים שליליים בין ההערכה הכללית של המרצה בקורס, הערכת מבנה וארגון הקורס והערכת בהירות ההרצאות לבין הציון בקורס.

24 הקשר בין הציון בקורס והערכות המרצים ונתוני הרקע של המרצים
מתוך 567 המרצים שבמדגם, 153 הם חברי סגל בכיר ו-414 הם מרצים, מורים מן החוץ. בחלק זה נבדוק את הקשר בין נתוני הרקע של המרצים חברי הסגל לבין הציון בקורסים שלהם והערכות הסטודנטים. תחילה בדקנו האם יש הבדלים בציון ובהערכות לפי נתוני הרקע של המרצים. כמו-כן נבדוק האם הקשר בין הציון להערכות שונה בקטגוריות השונות של נתוני הרקע.

25 לוח 3: ממוצעים וסטיות תקן של הציון בקורס והערכת המרצים לפי מין המרצה ומין הסטודנט
סטודנטיות סטודנטים סה"כ סטודנטיות סה"כ סטודנטים סה"כ מרצים סה"כ מרצות מרצים מרצות N 102 38 140 ציון בקורס ממוצע 80.45 82.68 80.89 82.79 81.05 81.40 80.67 82.74 ס.ת. 4.66 2.39 3.45 3.83 4.27 3.65 הערכת המרצה בקורס 3.93 3.96 3.92 3.95 3.94 0.63 0.72 0.60 0.92 0.65 0.70 מבנה וארגון הקורס 3.82 3.91 3.76 3.89 3.84 3.80 3.79 3.90 0.67 0.62 0.85 0.69 בהירות ההרצאות 3.60 3.86 3.64 3.67 3.71 3.62 3.88 0.82 0.84 0.79 0.76 יחס המרצה לסטודנטים 4.18 4.09 4.16 4.13 4.15 4.17 4.11 0.78 0.80 0.64

26 נמצאו הבדלים ב: ציון בקורס לפי מין המרצה: מרצות נותנות ציונים גבוהים יותר (M=82.74) מאשר המרצים (M=80.67). הערכת בהירות ההרצאות לפי מין המרצה: הסטודנטים מעריכים את בהירות ההרצאות של המרצות גבוה יותר (M=3.88) מאשר של המרצים (M=3.62). לא נמצאו הבדלים מובהקים בהערכות השונות לפי מין המרצה, לא נמצאו הבדלים מובהקים לא בציון ולא בהערכות לפי מין הסטודנט. לא נמצאו אינטראקציות לפי מין המרצה ומין הסטודנט. בקרב המרצות יש קשר חיובי בין הציון לבין הערכת בהירות ההרצאות: ככל שהציון גבוה יותר כך הערכת בהירות ההרצאות גבוהה יותר. לא נמצאו הבדלים מובהקים בציון בקורס לפי גיל המרצה. נמצאו הבדלים בהערכת מבנה וארגון הקורס: חברי סגל בגילאי 60+ מקבלים הערכות נמוכות יותר במבנה וארגון הקורס (M=3.48) מאשר חברי הסגל בגילאי (M=3.96). לא נמצאו הבדלים בהערכות המרצים בגילאי ובגילאי

27 הקשר בין גובה הציון, גובה הערכה לבין ארץ מוצא של המרצה
94 חברי סגל נולדו בישראל, 31 בבריה"מ, 19 בארה"ב ו-9 במקומות אחרים. נמצאו הבדלים בציון בקורס לפי מוצא המרצה. חברי סגל מבריה"מ נותנים ציונים נמוכים יותר (M=79.10) מאשר חברי סגל שנולדו בישראל (M=81.85) ומאשר חברי סגל שנולדו בארה"ב (M=81.56). לא נמצאו הבדלים בציונים לחברי סגל ממוצא אחר (M=80.05). בקרב חברי סגל שנולדו בישראל יש קשר חיובי בין הציון לבין הערכת מבנה וארגון הקורס (r=0.21, p<.05). בקרב חברי סגל מבריה"מ אין קשר בין הציון לבין הערכות. בקרב חברי סגל שנולדו בארה"ב יש שלושה קשרים שליליים: קשר שלילי בין הציון לבין הערכה כללית של המרצה בקורס (r=-0.54, p<.05). קשר שלילי בין הציון לבין הערכת מבנה וארגון הקורס (r=-0.49, p<.05). קשר שלילי בין הציון לבין הערכת בהירות ההרצאות (r=-0.48, p<.05).

28 דרגת חברי הסגל ל-45 חברי סגל דרגת פרופסור, ל- 55 דרגה של מרצה בכיר, ל- 48 דרגת מרצה ול- 5 חברי סגל דרגה של מורה. נמצאו הבדלים בציון בקורס לפי דרגת המרצה. חברי סגל בעלי דרגת פרופ' נותנים ציונים נמוכים יותר (M=79.95) מאשר מרצים בכירים (M=81.70) ומאשר חברי סגל בעלי דרגה של מרצה (M=81.80). לא נמצאו הבדלים בציונים עם חברי סגל בעלי דרגה של מורה (M=79.67).

29 הקשר בין הערכות המרצים והציון בקורס
לבדיקת הקשרים בין הציון בקורס לבין הערכות השונות, ברמות השונות של ניקוד בקריטריוני הצטיינות, נעשו רגרסיות היררכיות בשלבים. בשלב הראשון הוכנסו האפקטים העיקרים של הניקוד והציון בקורס, ובשלב השני, האינטראקציה ביניהם. נעשו רגרסיות עבור כל אחת מארבעת הערכות, עבור סה"כ הניקוד בקריטריוני הצטיינות, ועבור הניקוד בתחומים השונים של מחקר, הוראה, מינהל אקדמי ובלעדיות למוסד. נמצאו שתי רגרסיות מובהקות: רגרסיה של ניקוד בתחום ההוראה והציון בקורס על הערכת בהירות ההרצאות (beta=0.27, p<.05): בקרב בעלי ניקוד נמוך בתחום ההוראה לא נמצא קשר בין הציון בקורס לבין הערכת בהירות ההרצאות (b=0.10) ואילו בקרב בעלי ניקוד גבוה בהוראה נמצא קשר חיובי בין הציון לבין הערכת בהירות ההרצאות (b=0.38). רגרסיה של ניקוד בתחום ההוראה והציון בקורס על הערכת מבנה וארגון הקורס (beta=22, p<.05): בקרב בעלי ניקוד נמוך בתחום ההוראה לא נמצא קשר בין הציון בקורס לבין הערכת מבנה וארגון הקורס  (b=0.02) ואילו בקרב בעלי ניקוד גבוה בהוראה יש קשר חיובי בין הציון לבין הערכת מבנה וארגון הקורס  (b=0.24).

30 השוואה בין המתאם שבין הערכה כללית של המרצה לבין הציון בקורס, במחקר זה לבין הממצאים אותם מציגה פרופ' נירה חטיבה במחקר של חטיבה נבדק הקשר בין הציונים להערכות, ברמת הקורסים, כלומר, עבור כל קורס בנבדק ממוצע הציון וממוצע ההערכות של הסטודנטים עבור 208 קורסים, ונעשה מתאם ביניהם. חטיבה לא מצאה מתאם מובהק בין הציון בקורס לבין הערכת המרצה (r=0.11, p>.05). במחקר הנוכחי, , בדומה למחקר של חטיבה, כשנעשו הניתוחים ברמה של הקרוסים, של המרצים ושל ההערכות, לא נמצאו מתאמים מובהקים בין הציון לבין ההערכות. אולם, כשלוקחים בחשבון את נתוני הרקע של המרצים, עולה כי בהתייחס לנתוני רקע מסוימים של המרצים נמצאו מתאמים מובהקים.

31 הקשר בין ערכות הסטודנטים וגובה הציונים בקורסים
הסטודנטים חולקו ל-4 קטגוריות לפי הציונים בקורסים: חלשים (ציונים עד 69), בינוניים (בין 70 ל- 79) טובים (בין 80 ל- 89) ומצטיינים (בין 90 ל- 100). תחילה נבדק האם קיימים הבדלים בהערכות הסטודנטים את המרצים לפי הציון בקורס. היו 1018 הערכות של סטודנטים חלשים, 4531 הערכות של סטודנטים בינוניים, 8857 הערכות של סטודנטים טובים ו הערכות של סטודנטים מצטיינים. לבדיקה זו, נעשו ניתוחי שונות דו-כיווניים של ההערכות לפי הציון. עבור 3 הערכות לא נמצאו הבדלים מובהקים: הערכה כללית של המרצה בקורס (F(3,16480)=2.57, p>.01), מבנה וארגון הקורס (F(3,16480)=2.67, p>.01) ובהירות ההרצאות (F(3,16480)=0.44, p>.01). נמצאו הבדלים מובהקים בהערכת יחס המרצה לסטודנטים (F(3,16480)=9.45, p<.001). נמצא כי הסטודנטים המצטיינים מעריכים את היחס של המרצים לסטודנטים כגבוה יותר (M=4.35, SD=1.03, N=2078) מאשר הסטודנטים החלשים (M=4.22, SD=1.08, N=1018), הבינוניים (M=4.22, SD=1.13, N=4531) והטובים (M=4.20, SD=1.13, N=8857).

32 כמו-כן, נעשה ניתוח ברמת המרצים
כמו-כן, נעשה ניתוח ברמת המרצים. בכל 4 הקבוצות של הסטודנטים, נבדקו הבדלים בהערכות המרצים לפי נתוני הרקע של המרצים. הבדלים לפי מין המרצה בבדיקת ההבדלים בהערכות לפי מין המרצה בכל קבוצת סטודנטים לפי גובה הציון, נמצאו הבדלים רק בהערכת בהירות ההרצאות בקרב הסטודנטים הטובים (t(83.60)=2.74, p<.01): נמצא כי הסטודנטים הטובים מעריכים את בהירות ההרצאות של המרצות גבוה יותר (M=3.86, SD=0.68, N=39) מאשר את בהירות ההרצאות של המרצים (M=3.49, SD=0.86, N=112). הבדלים לפי ותק המרצה במוסד בבדיקת ההבדלים בהערכות המרצים לפי ותק המרצה בכל קבוצת סטודנטים לפי גובה הציון, בניתוחי שונות חד-כיווניים, לא נמצאו הבדלים עבור אף אחת מההערכות. ה

33 הבדלים לפי קבוצת גיל של המרצה - בבדיקת ההבדלים בהערכות המרצים לפי קבוצת גיל של המרצה בכל קבוצת סטודנטים לפי גובה הציון, נמצאו הבדלים בשלוש הערכות בקרב הסטודנטים הטובים: הערכה כללית של המרצה בקרב סטודנטים טובים נמצא כי הסטודנטים הטובים מעריכים באופן כללי את המרצים בגילאי 60+ נמוך יותר מאשר הערכתם את המרצים בגילאי 35-44, המרצים בגילאי והמרצים בגילאי הערכת מבנה וארגון הקורס בקרב סטודנטים טובים: נמצא כי הסטודנטים הטובים מעריכים את מבנה וארגון הקורס של המרצים בגילאי 60+ נמוך יותר מאשר הערכתם את המרצים בגילאי המרצים בגילאי בהערכת המרצים בגילאי הערכת בהירות ההרצאות בקרב סטודנטים טובים: נמצא כי הסטודנטים הטובים מעריכים את בהירות ההרצאות של המרצים בגילאי 60+ נמוך יותר מאשר הערכותיהם את המרצים בגילאי נמצאו הבדלים בהערכת המרצים בגילאי ולא נמצאו הבדלים בהערכת המרצים בגילאי הבדלים לפי קביעות המרצה - בבדיקת ההבדלים בהערכות לפי קביעות המרצה בכל קבוצת סטודנטים לפי גובה הציון, נמצאו הבדלים רק בהערכה כללית של המרצה, בקרב הסטודנטים הבינוניים נמצא כי הסטודנטים הבינוניים מעריכים את המרצים שיש להם קביעות גבוה יותר מאשר את המרצים שאין להם קביעות. הבדלים לפי ארץ מוצא המרצה - בבדיקת ההבדלים בהערכות המרצים לפי ארץ מוצא המרצה בכל קבוצת סטודנטים לפי גובה הציון, בניתוחי שונות חד-כיווניים, לא נמצאו הבדלים באף אחת מההערכות בקרב אף קבוצה של סטודנטים.

34 ממצאים הבדלים לפי דרגת המרצה - בבדיקת ההבדלים בהערכות המרצים לפי דרגת המרצה בכל קבוצת סטודנטים לפי גובה הציון, בניתוחי שונות חד-כיווניים, נמצאו הבדלים רק בהערכה יחס המרצים לסטודנטים: נמצא כי הסטודנטים הטובים מעריכים את יחס המרצים בדרגת מורה כנמוך יותר מאשר הערכתם את המרצים הבכירים. לא נמצאו הבדלים בהערכת המרצים בדרגת פרופ' ובדרגת מרצה הבדלים בהערכת המרצים לפי קבלת ניקוד בקריטריוני הצטיינות - בבדיקת ההבדלים בהערכות לפי הניקוד בקריטריוני הצטיינות של המרצה, לא נמצאו הבדלים באף אחת מההערכות בקרב אף קבוצה של סטודנטים לפי גובה הציון.

35 סיכום הממצא החשוב העולה ממחקרינו הוא כי לא נמצאו מתאמים מובהקים בין הערכת המרצים לבין הציון בקורס, לא ברמת הערכות, לא ברמת המרצים ולא ברמת הקורסים, ברוב הפקולטות ברמות ההערכות, המרצים והקורסים. חלק מהקשרים המובהקים היו אף שליליים. נמצאו מספר מתאמים מובהקים, במספר פריטים במשוב. כך, למשל, בביה"ס למדעי הבריאות נמצא קשר חיובי בין יחס המרצה לסטודנטים לבין הציון בקורס. גם בפקולטה להנדסה נמצא קשר חיובי בין יחס המרצה לסטודנטים לבין הציון בקורס. לעומת זאת, בפקולטה למדעי הטבע נמצאו מתאמים שליליים בין ההערכה הכללית של המרצה בקורס, הערכת מבנה וארגון הקורס והערכת בהירות ההרצאות לבין הציון בקורס. בבדיקת הקשר בין הציון בקורס והערכות המרצים ונתוני הרקע של המרצים נמצא כי למשתנה המין של המרצה, יש קשר לציונים הסטודנטים: המרצות נותנות ציונים גבוהים יותר מאשר המרצים, אך לא נמצאו הבדלים מובהקים לא בציון ולא בהערכות לפי מין הסטודנט ולא נמצאו אינטראקציות לפי מין המרצה ומין הסטודנט. רק אצל המרצות נמצא קשר חיובי בין הציון לבין הערכת בהירות ההרצאות: ככל שהציון גבוה יותר כך הערכת בהירות ההרצאות גבוהה יותר. באופן כללי, לא נמצאו הבדלים מובהקים בציון בקורס לפי גיל המרצה. רק בקרב חברי סגל בגילאי נמצא קשר חיובי בין הציון בקורס לבין הערכת מבנה וארגון הקורס. נמצאו הבדלים בציון בקורס לפי מוצא המרצה. כך, למשל, חברי סגל מבריה"מ נותנים ציונים נמוכים יותר מאשר חברי סגל שנולדו בישראל ומאשר חברי סגל שנולדו בארה"ב. לא נמצאו הבדלים בציונים לחברי סגל ממוצא אחר.

36 סיכום נמצאו הבדלים בציון בקורס לפי ותק המרצה במוסד. נמצא כי חברי סגל בעלי ותק של 3-5 שנים נותנים ציונים גבוהים יותר מאשר חברי סגל בעלי ותק של 6-10 שנים ומאשר בעלי ותק של 11 שנים ויותר. לא נמצאו הבדלים בציונים עם חברי סגל בעלי ותק של 0-3 שנים. לא נמצא קשר בין ההערכות לבין הציון בקורס גם בקרב חברי סגל שיש להם קביעות וגם בקרב חברי סגל שאין להם קביעות. לא נמצאו הבדלים בציון בקורס לפי דרגת המרצה. בקרב חברי סגל בעלי דרגות שונות (פרופ', מרצה בכיר, מרצה ומורה), לא נמצאו מתאמים בין הציון בקורס לבין ההערכות השונות. לא נמצא קשר בין ההערכות לבין הציון בקורס בין חברי סגל לבין מרצים שהם מורים מן החוץ.

37 סיכום לבדיקת הקשר בין ערכות הסטודנטים וגובה הציונים בקורסים חולקו הסטודנטים ל-4 קטגוריות לפי הציונים בקורסים: חלשים (ציונים עד 69), בינוניים (בין 70 ל- 79) טובים (בין 80 ל- 89) ומצטיינים (בין 90 ל- 100). תחילה בדקנו האם קיימים הבדלים בהערכות הסטודנטים את המרצים לפי הציון בקורס. היו 1018 הערכות של סטודנטים חלשים, 4531 הערכות של סטודנטים בינוניים, 8857 הערכות של סטודנטים טובים ו הערכות של סטודנטים מצטיינים.לא נמצאו הבדלים מובהקים: הערכה כללית של המרצה בקורס, מבנה וארגון הקורס ובהירות ההרצאות. לבסוף, ביצענו במחקר זה רגרסיות של הניקוד בקריטריוני הצטיינות של המרצה בכל תחום והציון של הסטודנט בקורס, על כל אחת מארבעת הערכות המרצה. באופן כללי, לא נמצאו מתאמים בין הציונים בקורסים לבין הערכות המרצים. למרות זאת, בצענו רגרסיות אפשריות, כדי לבדוק את תרומתם האפשרית למחקר. נעשו מספר רגרסיות. נמצא כי רק מין המרצה תורם להסבר השונות של הציון בקורס. תרומתו של המחקר הנוכחי לספרות המחקר הינה בהיקפו ובהתייחס לנתוני הרקע של חברי הסגל. נתוני המחקר מחזקים את הממצאים אותם מציגה פרופ' נירה חטיבה (2008), בדבר העדר קשר בין הציונים להערכות, ברמת הקורסים (208 קורסים).