ביבליומטריקה ותקשורת מדעית: מבוא ועידכונים ד " ר אבישג גורדון מדעי המחשב - הספריה מידענות וספרנות אוניברסיטת חיפה ינואר 2010.

Präsentation zum Thema: "ביבליומטריקה ותקשורת מדעית: מבוא ועידכונים ד " ר אבישג גורדון מדעי המחשב - הספריה מידענות וספרנות אוניברסיטת חיפה ינואר 2010."—  Präsentation transkript:

1 ביבליומטריקה ותקשורת מדעית: מבוא ועידכונים ד " ר אבישג גורדון מדעי המחשב - הספריה מידענות וספרנות אוניברסיטת חיפה ינואר 2010

2 מה היא ביבליומטריקה  מאגרי המידע של הציטוטים SCIENCE CITATION INDEX ומאגר המדרג את כתבי העת לפי האימפקט פקטור שלהם ה -JCR אינם אלא כלי ניתוח שמאחוריהם מדע ותיאוריות.  למדע זה מספר שמות, ביבליומטריקה, סיינטומטריקה אינפורמטריקה ולאחרונה הצטרף לשורה זו גם הוובומטריקה. כל אחד מהתחומים הללו עוסק בניתוח נושאים שונים אך שיטות המחקר של כל התחומים דומות.  המונחים ביבליומטריקה וסיינטומטריקה נטבעו בו זמנית בשנת 1969. חוקר בשם פריצ ' רד הגדיר את הביבליומטריקה כ " שיטות סטטיסטיות ומתמטיות לספרים ומדיה תקשורת אחרת " והחוקרים נלימוב ומוצ ' נקו הגדירו סיינטומטריקה כ " יישום שיטות כמותיות העוסקות בניתוח מדע ומהוות תהליך מידע ".  הגבול בין שני תחומים אלה לא ברור וכיום משתמשים בהם כמונחים נירדפים. האינפורמטריקה נכנס לשימוש בשנת 1988 והתחום עוסק יותר במדיה אלקטרונית, ספריות אלקטרוניות, מודלים של יצרנות מדעית ואספקטים כמותיים של דליית מידע. הוובומטריקה שהצטרף לשורת המונחים לפני מספר שנים עוסק בעיקר בניתוח נתונים הקשורים לאתרי הווב.

3 מערך חקר הציטוטים בתחומים השונים סוציולוגיה של המדע אינפורמטריקה 1988 וובומטריקה 2000 מידע מדעי מדיניות מדע ביבליומטריקה וסיינטומטריקה 1969 מידענות וספרנות

4 הסטוריה מקוצרת  הניתוח הסטטיסטי של ספרות מדעית החל למעשה כבר ב 1926 כאשר החוקר אלפרד א. לוטקה פרסם את מחקרו החלוצי אודות התפלגות יצרנות מדעית המבוסס על ניתוח ה -CHEMICAL ABSTRACT ובו קבע כי מספר מועט של חוקרים אחראי ליצרנות של כ -60% מהמחקר הקיים. ב -1927 גרוס את גרוס קבעו תוצאה דומה בעת שערכו מחקר מבוסס ציטוטים שמטרתו הייתה לסייע להחלטה אילו כתבי עת בכימיה ירכשו עבור ספריית קולג ' קטנה יחסית.  בשנת 1934 פרסם ברדפורד מחקר ובו קבע כי אם כתבי העת מסודרים לפי סדר יורד של יצרנות מדעית הרי הם יוצרים מערך חלוקה שבקצהו העליון גלעין נושא התחום, לאחריו אזור שני שבו אותו מספר מאמרים בערך אך יותר כתבי עת ( פיזור גדול יותר ) ובתחתית קיימת פריפריה של מספר דומה של כתבי עת המפוזר על פני מספר רב מאוד של כתבי עת. היחס המתמטי של מערך זה הוא 1:b:b 2 חוק זה הפך לידוע ביותר בביליומטריקה, וזכה למאמרים וניתוחים רבים.

5 המחשת חוק ברדפורד 500 מאמרים ב -10 כתבי עת כתבי עתב -200 מאמרים 490 ב - 25 כתבי עת 495 מאמרים

6 המשך הסטוריה  לאחר מכן בשנת 1949 קבע החוקר זיפף הכללה של חוקי ברדפורד ולוטקה בתחום הליגוויסטיקה וקבע כי מספר מועט של מלים מופיע בספרות בתדירות גבוהה ומספר רב מאוד של מלים מופיע בתדירות נמוכה, ובהקשר זה הניח את " חוק המאמץ המינימאלי " שלפיו בני אדם שואפים לפתור בעיות מיידיות בהשקעה מינימאלית של עבודה.  בעקבות מאמרו של זיפף התפתחה גישת ה -20/80 שעל פיה 20% מהמדענים אחראי ליצירת 80% מהמדע. חוק זה במקורו ידוע כחוק פרטו בתחום הכלכלה, אך יש לו יישומים גם בביליומטריקה.  יוג ' ין גארפילד הידוע כאבי מאגרי הציטוטים, קבע בשנות ה -70, לאחר בדיקת אלפי כתבי עת כי מתוך כ -100,000 כתבי עת שהיו קיימים באותן שנים, כ -1000 מכסים את המדע כולו, כ -500 כתבי עת נמצאים בליבת המדע.  מדענים חוקרים רבים לא יסכימו עם קביעה זו מטעמים ברורים, וגם מגמת הגידול בכתבי עת במשך השנים מראה כי הכוון הוא גידול ולא צמצום מספרם של כתבי העת.

7 יש ביקורת אך יש המשך-הזיוף האקולוגי  הביקורת שהושמעה כלפי ספירת הציטוטים הייתה כי אינה מעריכה איכויות במדע, ומתייחסת רק לכמויות, אך במשך השנים הפכו השיטות הביבליומטריות למקובלות והן מופיעות במאגרים כמו הספרייה הדיגיטלית ACM באתרי מו " לים ולמדעי המחשב אף יש מאגר ציטוטים משלו ה -CITESEER.  השיטות הביבליומטריות השתכללו במשך הזמן, וכל מיני חסרים בהן זכו לתיקונים. למשל, לפני שנוצר האימפקט פקטור (IF) הבחינו כי ישנו סוג מאמרים שמקבל באופן טבעי יותר ציטוטים, כמו מאמרי סקירה, וישנם כתבי עת המפרסמים מספר רב יותר של מאמרים בכל כתב עת ולכן יצוטטו יותר. על מנת לנרמל מצב זה נוצר האימפקט פקטור המנטרל את מבנה כתב העת והוא מחושב כך :  מספר הציטוטים שמקבל כתב העת בשנתיים האחרונות עד תאריך ב -2007  מחולק במספר המאמרים שהתפרסמו באותו כתב עת בשנתיים שחלפו (2005+2006)  כאשר יצר גארפילד את האימפקט פקטור בשנות ה -70 היו כאלה שביקשו ליצור את אותו אימפקט למאמרים בודדים, אך גארפילד התנגד וטענתו הייתה שהאימפקט פקטור נועד למדוד השפעה ממוצעת של כתב עת ולא של מאמר, כי בדיקת השפעה של מאמר בודד היא כאילו בדיקה של עץ אחד ביער שעל פיה מסיקים על איכות היער כולו וזה יוצר " זיוף אקולוגי ".

8 מגבלות האימפקט פקטור  במשך הזמן התברר כי לאימפקט פקטור שתי מגבלות עיקריות : הוא אינו מודד השפעת המאמר הבודד, וחלון היעד שלו הוא שנתיים בלבד, ובתחומי מחקר מסויימים הציטוט מתחיל רק אחרי שנתיים.  חסרונו זה של האימפקט פקטור מודגם בכתב העת NATURE. כתב עת זה זכה לאחרונה באימפקט גבוה מאוד, יותר מ 32. עורכי כה " ע הביעו שמחתם על אימפקט זה אך ציינו כי הוא נקבע רק לפי חלק מהמאמרים המתפרסמים בו. כתב עת זה הוא בינתחומי, ולדברי העורכים המאמרים בתחום האימונולוגיה והביולוגיה המולקולארית, למשל, מקבלים אימפקט גבוה מאוד לעומת מאמרים במתמטיקה ופיסיקה שהאימפקט שלהם נמוך יחסית.  עוד טוענים העורכים, חלוקה זו לאימפקט גבוה ונמוך מעידה רק על דינאמיקת הציטוטים של התחום ולא על איכות המאמרים.

9 הביבליומטריקה כתחום לימוד  הביבליומטריקה כתחום לימודי מתחלקת להתנהגותית ותיאורית, ההתנהגותית עוסקת בלימוד הציטוטים ומערך היחסים בין כתבי עת ומחברים על פי הציטוטים, ואילו ההתנהגותית עוסקת באיסוף מידע אודות דוקומנטים : מי הם הגופים האחראים להעברת מידע ? מה היא צורת ההעברה ( כתב עת, מאמר, ספר ), נושא המידע והשפה, העיתוי ותדירות העברת המידע, כמות המידע המועבר ומוצאו הגיאוגרפי.

10 תחומי הביבליומטריקה  הביבליומטריקה עוסקת בגידול יידע מדעי, יצרנות מדעית, יחסי מחקר בין חוקרים, בדיקה והערכת מאגרי מידע, נתוני ציטוטים, מוטיבציות לציטוטים, שוני בין תחומי מחקר שונים לפי ציטוטים, הערכה ספציפית של חוקרים, הערכת מוסדות וארגונים, שימושי לשון ושפה, וניתוחים ברמת המקרו לקביעת מדינות מדע לאומית.  כמו כן עוסקת הביבליומטריקה במיפוי שטחי מדע, ביזור וריכוזיות של חומר מדעי, הזדקנות חומר מדעי, סיוע בבניית אוספי ספריה, ובדיקת התפתחות תחומי מחקר שונים.

11 התפתחות תחומי מחקר  דוגמא לבדיקת התפתחות תחומי מחקר היא מחקרו של MULLINS משנת 1971 שבדק את גורלה של קבוצת מחקר בביולוגיה מולקולארית שעסקה בבקטריולוגיה, קבוצת פייג '. במשך מספר שנים התפתח התחום באורח שהבטיח התבססות של תחום מחקר אוטונומי חדש ומבוסס, אך במשך 30 שנה לא הייתה מחויבות של חוקרים לתחום ותמיד תרמו לו מעט והיו חוזרים לתחום מחקרם העיקרי. מצב זה נמשך ככל שניתן ואז פסק התחום מלהתקיים ונבלע בדיסציפלינה רחבה יותר, ביולוגיה מולקולארית. המעקב אחרי התפתחות והעלמות התחום נעשה על ידי בדיקת הפירסומים והציטוטים בו.

12 חוקים ביבליומטריים  במשך השנים נוצרו בתחום זה חוקים המסייעים בניתוחים שונים :  האימפקט פקטור שכבר הוזכר כאן.  זוגיות ביבליוגרפית - שני מחברים המופיעים יחדיו ברפרנס של מאמרים שונים. CO-CITATIONS שני מחברים המצוטטים יחדיו במאמר שלישי ( בדיקת כווני מחקר ) IMMEDIACY INDEX – מדד המופיע ב -JCR ומודד את מידת החדשנות בציטוטים, כמה מבין הציטוטים של כתב עת מסוים הם לחומר של אותה שנה בה הופיע המאמר ? מחצית שנות הציטוטים - החציון שבו 50% מהציטוטים נופל - כמה שנות ציטוט ? ככל שהחציון קטן כך התחום מהיר יותר. חלק מהחוקים הביבליומטרים הם היסטוריים וכלליים יותר, למשל, חוק פרייס הקובע כי כל נושא מדעי קשור באורח מרוחק או קרוב לכל נושא מדעי אחר. החוק של גארפילד משנות ה -70 שקבע כי בתחומי מדע שונים ישנם ליבות מחקר כמספר תחומי המחקר, וכי שולי תחום מדעי אחד נוגעים בתחילתו של נושא מדעי אחר.

13 מוטיבציות לציטוטים  לפני המצאת הדפוס לא היו עבודות מדעיות שייכות לבעליהן אלא למזמיני העבודה, המלך או הפיאודל, ולכן קשה לדבר לגבי התקופה ההיא על ציטוטים המראים בעיקר התייחסות למחברי עבודות קודמות.  עם המצאת הדפוס וריבוי הכתיבה המדעית ופרסומה ובעיקר לאחר שנות ה 70 למאה ה -20 החלו הציטוטים להופיע בכמויות מתרבות ואז החלו להכניסם לקטגוריות שונות כי התברר שהציטוט שבמקורו נועד להתייחסות מדעית רציונאלית עבודות קודמות מופיע לעתים כפונקציה של מוטיבציות שונות. לעתים המוטיבציה לצטט חוקר אחר היא לשם פרסטיזה בלבד, או לשם התחנפות או לשם שלילה וניגוח עבודתו. לעתים הציטוט אוטומטי מבלי לשים לב, ולעתים פשוט משמיטים ציטוט מסיבות של עוינות וקנאה מדעית, ולעתים השמטה זו אינה אלא טעות תמימה. לעתים השמטת ציטוט מצביעה על כך שהתחום שלא צוטט פשוט לא התפתח מספיק עדיין.  ציטוטים רבים הם עניין של נוחות. חוקר הודי בשם פרבה שבדק את נושא הציטוטים טען כי מצא ש -68% מהם היו מאוספים פרטיים של המחברים, ורק 25% היו מאוספי הספרייה.

14 H-INDEX  המדדים החדשים שהוצגו בשנים האחרונות מוכיחים כי מדענים לא היו שבעי רצון מתוצאות בדיקות הציטוטים והאימפקט פקטור, והיו להם השגות רבות עליהם ומדדים כמו ה -H-INDEX הם למעשה שיפורים של המדדים הקודמים או שהם מציגים מימד יחדש של החומר המצוטט. ה - H-Index הוא מדד מצוינות מדעית ברמה של מחברים. הוא הוצג לראשונה ב -2005 על ידי חוקר בשם חורחה הירש מקליפורניה והוכלל בגרסה המורחבת של ה -SCI. לפי מדד זה מחבר שהוא בעל 40 מאמרים שיש להם לפחות 40 יהיה בעל הירש אינדקס 40.  מדד זה הוא תלוי - זמן ודינמי ומשקף מספר פרסומים ומספר ציטוטים של מחבר והוא קל לזכירה, אך הוא בעייתי. יכול להיות מקרה בו יש למדען שלושה מאמרים שיש להם 100 ציטוטים כל אחד, ועוד מאמרים אחרים בעלי פחות ציטוטים ואז הוא בעל הירש אינדקס 3. וכנגדו מדען שיש לו 3 מאמרים שכל אחד קיבל 3 ציטוטים ועוד מאמרים רבים שקיבלו פחות, וגם לו יש הירש אינדקס 3.  לאחרונה קמו מדדים חדשים מתקנים או מתחרים למדד זה ה -G-INDEX, ןה -AR-INDEX שעליהם לא נרחיב כאן את הדיבור. צ " ל כי על ידי חיפוש בגוגל סקולר ניתן להגיע ל H-INDEX של מחברים.

15 Scopus, Google Scholar  בשנת 2004 הציג המו " ל הידוע ELSEVIER את מאגר הפרסומים והציטוטים SCOPUS, שכיום מכיל כ -40 מיליון דוקומנטים והוא גדול מבחינה כמותית יותר מ -SCI, SSCI ן JCR גם יחד. לסקופוס יש מדד אימפקט משלו הידוע בשם SCIMAGO שיש הרואים בו תחליף לאימפקט פקטור של ISI. עקרון החישוב בו דומה לזה של האימפקט המוכר, אך חלון השנים שלו הוא 3 שנים בעוד שאצל ה - IF החלון הוא שנתיים.  מאז שהוכנס מדד חדש זה לשימוש נדרשים מדענים החוקרים בנושא הביבליומטריקה לציין במאמרים לאיזה אימפקט פקטור הם מתכוונים, זה של ה -ISI אן זה של סקופוס.  הגוגל סקולר מציג אף הוא ציטוטים למאמרים בסדר יורד של ציטוטים, אך לא ברורים הקריטריונים להכללת הציטוטים, והציטוט עשוי להיות אפילו מעבודת כתה של תלמיד תיכון, שכן האלגוריתם של הסקולר (PageRank) אוסף את הציטוטים באורח לא סלקטיבי.

16 השוואת תחומי מחקר  אחת הבעיות המרכזיות של הביבליומטריקה היא חוסר היכולת להשוות בין תחומי מחקר שונים. כאשר מציינים את האימפקט פקטור של כתב - עת אז איכותו נבדקת כלפי כתבי עת אחרים שבתחומו הדיסציפלינארי. לכל דיסציפלינה התנהגות ציטוטים אחרת, החל מזה שמדעי הרוח אינם דומים למדעי החברה ולמדעים המדויקים בדינאמיקת הציטוטים, וכלה בכך שמתמטיקה אינה דומה לכימיה או רפואה בקצב הציטוטים. חוקרי הביבליומטריקה ניסו על ידי מדדים שונים להתגבר על בעיית שונות זו והציגו לאחרונה את היחס בין ציטוט קיים לציטוט צפוי של מאמר כמדד העוקף את השונות הדיסציפלינארית. הציטוט הצפוי יהיה החישוב של תדירות ממוצעת של ציטוט הפריט למשך תקופה בז ' ורנל ספציפי ואילו הציטוט הקיים הוא סה " כ הציטוטים של אותו פריט לאותה שנה בה מתקיימת המדידה. כאשר מחלקים את הציטוטים הצפויים באלה הקיימים מקבלים מדד שניתן על פיו להשוות תחומי מחקר שונים.  מדד אחר שמופיע בשנים האחרונות ב -JCR הוא ה -EIGENFACTOR שאף הוא מדד המתחשב בהבדלים דיסציפלינאריים בחישוביו והוא מבוסס על חלון של 5 שנות ציטוט ( בניגוד לשנתיים של האימפקט פקטור ) ניתן ללמוד בהרחבה על מדד זה בקישור EIGENFACTOR.ORG מדד זה טוב למיפוי תחומי מדע.

17 מפת מדעים ומדעי החברה לפי ה- EIGENFACTOR

18 נתונים ביבליומטריים לגבי ישראל  בכנס ביבליומטריקה שנערך באוניברסיטת בר אילן בנובמבר 2008 צוינו מספר סטטיסטיקות פרסומים וציטוטים השוואתיים לגבי מקומה של מדינת ישראל במערך התפוקה והמצוינות המדעית העולמית :  דרוגה של ישראל לפי מספר הציטוטים - מקום 19 בעולם.  לפי ציטוט למאמר - מקום 13 בעולם.  לפי מספר הפרסומים לנפש מקום 4 בעולם. באותו כנס כבר כונתה ישראל מעצמה מדעית אם כי הובעה דאגה ממה שצופן לנו העתיד לנוכח הקיצוצים בתקציבי האוניברסיטאות. הוזכר גם כי קיימת צמיחה מהירה של מרכזי מחקר בסין והודו העלולים לדחוק אותנו ממקומות טובים אלה, וצויין גם כי גילו הממוצע של חוקר אקדמי בישראל הוא 55 ומעבר לגיל התפוקה המדעית האופטימאלית של חוקר בכלל. הוזכר גם כי החוקר המצוטט ביותר בישראל הוא פרופ ' אברהם הרשקו עם 148 פרסומים ו -16,000 ציטוטים.  נראה כי החגיגה על מקומה של ישראל במערך המדע העולמי קצת מוגזמת, וכדאי לזכור כי בשנת 1991 הייתה ישראל במקום הראשון בעולם בחינת מספר הפרסומים לנפש, כך שהמגמה הכללית אינה בדיוק משביעת רצון.

19 האלטרנטיבות לציטוטים שהוצעו  הפרסומים במדע מופיעים אחרי תקופת המתנה ארוכה והאלטרנטיבה בתחומי מחקר שהמשוב המהיר חשוב להם היא להכניס את הפרסום למאגר הפרה - פרינטס, או לאתר המחבר בתור דוח טכני כלשהוא. הציטוטים אף הם מהווים משוב מאוחר, ואפילו מאוחר יותר מאשר המאמר, ברוב התחומים הם מתחילים כשנה או שנתיים אחר הופעת המאמר ׁ ( להוציא אולי את רפואה, כימיה ומדעי המחשב ) ולכן הוצעו אלטרנטיבות של משוב מהיר יותר למחקרים מדעיים.  אחת האלטרנטיבות היא " הערות " על מאמרים מדעיים (COMMENTING ) המופיעות מיד כשהמאמר מופיע. לכתבי העת BMJ וכן PLoS היו פלטפורמות של הערות, אך הן לא זכו להצלחה. הסיבות המדוייקות לא ידועות אך ניתן לשער כי הן חברתיות בעיקר - ראשית, מדענים אינם בטוחים כיצד יש להתייחס להערות פומביות מסוג זה, כי ביקורת על מאמרים מדעיים מושמעת בדרך כלל בחדרי חדרים ובפרטיות. שנית, חוקרים צעירים מהססים לבקר בגלוי מאמרים מדעיים שמא יפגע הדבר בקריירה שלהם, ואם הביקורת היא אנונימית לא מתייחסים אליה כבעלת ערך.  אחד הניסיונות שכן הצליח בתחום זה הוא של ביולוגיה FACULTY 1000 שבו פרופסורים מאוד בכירים קיבלו מעמד של מורים בכירים המעירים הערות על מאמרים שפורסמו.  הצעה נוספת הייתה להתייחס להורדות קבצים (DOWNLOADS) כמדד. יש כאלה העושים זאת ומתייחסים להורדות אלה כמדד, למשל ה -ACM הספרייה הדיגיטלית המזכירה בסוף רשומת המאמר גם נתונים ביבליומטריים וגם מספר הורדות קובץ המאמר. התברר כי מדד זה אינו מדויק, כי לא ברור אם לאחר ההורדה נעשה שימוש במאמר. מה שמעניין היא מידת השפעתו ולא רק כמה חוקרים הורידו אותו.  הצעה נוספת הייתה להשתמש ב ENDNOTES, REFWORKS ו -BIBTEX של חוקרים כדי לקבל מושג על בחירת מאמרים לביבליוגרפיות שלהם, או ב -ZOTERO המציין מי הם החוקרים האחרים שהשתמשו במאמר שבחרת. אך לא כל החוקרים ששים להתחלק במידע זה המציין כווני מחקר שלעתים החוקר מעדיף שלא יהיו גלויים.

20 סיכום האלטרנטיבות  האלטרנטיבות שהוצעו מראות בעיקר כי בהווה, בינתיים, הציטוטים לעבודות אקדמיות, ולמחברים, והמדדים השונים שנוצרו עתידים עוד ללוותנו זמן רב. אנחנו רואים שימוש מתרחב בהם בשיקולי העלאה בדרגה אקדמית במוסדות רבים, בבחירת כתבי עת לפרסום מאמרים, בדרוגיות של מוסדות מחקר, מאגרי מידע, וגם בקביעת מדיניות מדע לאומית - על ידי השוואת פירסומים וציטוטים בין מדינות. מאגרי מידע כמו ה -ACM החלו לציין נתונים ביבליומטריים ברשומות המאמרים, ומו " לים מציינים את האימפקט פקטור באתרי כתבי העת.

21 ומעט מניסיוני  אחד הניסיונות המעניינים באיתור ציטוטים היה כאשר איש סגל במדעי המחשב העוסק גם בנושאי רפואה ועמד לעלות בדרגה ביקש שאשלים לו רשימת ציטוטים שהוא כבר הכין בעצמו, אבל היה בטוח שמכיוון שהוא עוסק במחשוב הקשור לרפואה חייב להיות לו ציטוט גם בכתבי עת רפואיים.  לאחר עבודת איתור מאומצת הגעתי לכתב עת נידח ברפואה פופולארית בסין הרחוקה שציין במשפט קטן את המחבר. אז גם נזכרתי שתוצאת החיפוש שלי הגיונית : מעטים אנשי רפואה המסוגלים לצטט את מדעי המחשב, בדרך כלל הכוון הוא הפוך, מדעי המחשב יצטטו מאמרים ברפואה.  וניסיון מעניין שהיה לפני כשבוע כאשר מרצה מאחת הפקולטות ביקשה שיאתרו לה ציטוטים מכיוון שהגוגל סקולר מראה רק שני ציטוטים למאמריה, והיא משוכנעת שישנם יותר. ב -SCI כלל לא צוינו ציטוטים למאמריה. לנושא עבודותיה אין מאגר ציטוטים ספציפי משלו ולכן ראיתי רק אפשרות אחת להגיע לעוד ציטוטים : כאשר מקישים שם מחבר בגוגל סקולר הוא פותח מספר דפים. בשני המאמרים הראשונים ישנם הציטוטים, אך גם בהמשך, היכן שלא מצוינים ציטוטים במפורש חייב להיות אזכור של המחבר, וזאת מניסיוני עם המאמרים שלי. הצעתי לה, אם כן, לעבור מאמר מאמר בשני דפי הסקולר שנפתחו כאשר הקשתי את שמה, ולבדוק בביבליוגרפיה ובגוף המאמר, היכן שניתן, אם יש אזכור לשמה, כי כל אזכור כזה הוא ציטוט.

22 תודה על ההקשבה