איך להעריך איכות של מאמר?

לא כל המאמרים נבראו שווים. הרבה מאמרים הם איכותיים ומבוססים, אבל יש מאמרים שיכולים להיות פחות איכותיים מכתבה טובה ברשת. כדי לדעת עד כמה אפשר לסמוך על המידע המופיע במאמר, צריך להעריך קריטריונים הקשורים לאיכות המאמר ולאיכות כתב העת בו המאמר התפרסם. למי שקצר בזמן – הקריטריון שבעיני הכי חשוב הוא האחרון ברשימה. אפשר גם לראות סרטון במקום לקרוא.

איכות כתב העת

כשאני כותבת מאמר, אני מנסה לפרסם אותו בכתב העת הכי איכותי שאני יכולה. כך עושים גם חוקרים אחרים, מכיוון שזה המדד החשוב ביותר לקידום שלנו. כתבי העת האיכותיים הם בררניים מאוד, ומקבלים רק אחוזים בודדים מהמאמרים שנשלחים אליהם. כתוצאה מכך, המאמרים הכי טובים מתפרסמים בדרך-כלל בכתבי העת הכי איכותיים. עובדה זו יכולה לעזור לקוראים להעריך את איכות המאמר. ככל שכתב העת איכותי יותר, עולה הסיכוי שגם המאמר איכותי, כי הוא כנראה עבר מסננת ניפוי עדינה ומחמירה.

איך מעריכים את איכות כתב העת? הדרך הכי מקובלת היא לבדוק את האימפקט פקטור impact factor של כתב העת. האימפקט פקטור הוא מדד כמותי המבוסס על מספר האזכורים הממוצע שקיבל מאמר שהתפרסם בתוך כתב העת. אזכור (או בשמות אחרים ציטוט או הפניה) הוא התייחסות של חוקר אחר למאמר קיים בתוך מאמר שהוא כותב.

נתוני האימפקט פקטור מתפרסמים כל שנה ב Journal Citation Report, אך כדי לראות אותם יש צורך במנוי בתשלום. לכן, אי אפשר לחפש את הנתונים ישירות בתוך הדוח. יחד עם זאת, כל כתב עת מפרסם את האימפקט פקטור באתר הבית שלו. אפשר לאתר אותו בקלות יחסית אם מחפשים בגוגל את שם כתב העת יחד עם המילים impact factor. אפשר גם לחפש את שם כתב העת בתוך האתר הזה המסכם את ציון האימפקט של כל כתבי העת.

מה נחשב לאימפקט פקטור גבוה? זה תלוי בתחום. במדעי החברה, אימפקט פקטור של 2 ומעלה נחשב לגבוה, אימפקט פקטור של מעל 1 נחשב לטוב. בתחומים אחרים, כמו ברפואה, המספרים יכולים להיות הרבה יותר גבוהים. אם ניסיתם לחפש את האימפקט פקטור של כתב העת ולא מצאתם כלום, יש סיכוי טוב שלכתב העת הזה אין אימפקט פקטור. את הרשימה המאוד ארוכה של כל כתבי העת שיש להם אימפקט פקטור ניתן לראות באתר של ה Journal Citation Report (אבל לא את הנתונים עצמם).

איכות המאמר

אזכורים

אימפקט פקטור הוא מדד למספר האזכורים (או ציטוטים) שכתב העת מקבל, אבל אפשר גם לבדוק את מספר האזכורים שקיבל המאמר הספציפי שמצאתם. כדי לראות את מספר האזכורים היכנסו למנוע החיפוש גוגל סקולר Google Scholar. בחלון החיפוש כתבו את שם המאמר. חפשו את המאמר בתוצאות החיפוש. שם המאמר יופיע בכחול, מתחתיו תופיע שורה ירוקה עם שמות המחברים ושם כתב העת. לאחר מכן יופיעו כמה שורות שחורות עם טקסט מתוך המאמר ומתחתיהן שורה בה יהיה רשום בין השאר "צוטט על-ידי". המספר הרשום שם מראה לכם כמה פעמים המאמר צוטט על-ידי חוקרים אחרים. קשה לומר מה זה הרבה אזכורים, לרוב המאמרים אין הרבה אזכורים וזה גם תלוי בתחום המחקר. מעל 100 זה יפה מאוד. ראו את הכתבה הזו או את הסרטון הזה להסברים נוספים על עבודה בגוגל סקולר.

שנת פרסום

עוד מדד מספרי לאיכות של מאמר הוא שנת הפרסום. המדע מתקדם מהר מאוד וכל מחקר מתבסס על הידע של המחקרים הקודמים. ככל שהמאמר עדכני יותר – כך עולה הסיכוי שהוא משתמש בכלים איכותיים יותר ומבוסס על מידע מהימן יותר. הקריטריון הזה אינו הקריטריון הכי חשוב, אבל כן יש לו משמעות. חשוב גם להבין שקיים יחס הפוך בין שנת הפרסום למספר האזכורים. ככל שהמאמר ישן יותר – כך יהיו לו יותר אזכורים. אבל עדיף מאמר חדש מכתב עת איכותי, גם אם אין לו עדיין אזכורים רבים.

גודל מדגם

נתון נוסף בעל ערך הוא גודל המדגם עליו נעשה המחקר. אם המחקר נעשה על 100 איש בלבד, זה די דומה להיקף של עבודה סמינריונית של תואר ראשון. ככל שגודל המדגם גדול יותר, והמדגם רחב יותר, כך נשתכנע שהמאמר טוב יותר. כמובן שגודל המדגם תלוי בתחום המחקר. למשל, אם המחקר הוא על אנשים שעוברים סריקות מוחיות, אז אנחנו לא מצפים למדגם גדול.

מאמר סקירה

אם הייתי צריכה לבחור רק קריטריון אחד להערכה של מאמר, הייתי בוחרת בקריטריון הזה. רוב המאמרים מדווחים על מחקר יחיד שהחוקרים ערכו. מחקר יחיד הוא מוגבל, גם אם המדגם שלו היה גדול. בהחלט יכול להיות שהתוצאות שמתפרסמות בו הן מקריות, ושאם היו חוזרים על המחקר שנית – היו מתקבלות תוצאות שונות. מסיבה זו, מומלץ שלא להסתמך על מחקרים בודדים. לדוגמא, נניח שאני אקרא מחקר שמראה ששוקולד מסייע בהורדת משקל. אני לא יכולה להשתמש במחקר הבודד הזה כדי להצדיק אכילת שוקולד מרובה. אם אני באמת רוצה לדעת אם שוקולד מסייע בהורדת משקל, אני צריכה לבדוק מה מצאו מחקרים נוספים שנעשו בתחום ולנסות להבין מה המסקנה הכוללת. אני יכולה לחפש עוד ועוד מחקרים ולקרוא את כולם, אבל הדבר האופטימלי יהיה לחפש מאמר סקירה Review שעשה בשבילי את העבודה וסקר את כל המחקרים בתחום.

יש שני סוגים של מאמרי סקירה. במאמר סקירה רגיל הכותבת קראה את כל המחקרים שהיא מצאה בתחום והיא מסכמת לי אותם ומסבירה לי את המסקנות העולות מהם לפי דעתה. סוג שני של מאמר סקירה נקרא מטא-אנליזה. מטא-אנליזה היא מאמר סקירה כמותי. החוקרת מאתרת את כל המחקרים שבדקו את השאלה בה היא מעוניינת, היא נותנת לכל אחד מהם משקל לפי גודל המדגם שלהם ואז מחשבת את האפקט הסטטיסטי הכללי שעולה מכלל המחקרים. לדוגמא, אני פרסמתי מטא-אנליזהבה בדקתי האם קיים הבדל בין גברים ונשים בתמיכה שהם נותנים ומקבלים ברשתות חברתיות. לצורך כך, ניתחתי 30 מחקרים שכללו ביחד 17,000 נבדקים. המסקנה העולה מתוך מאמר סקירה או מתוך מטא-אנליזה היא יותר מהימנה מאשר זו המתקבלת ממחקר בודד.

סיכום

לסיכום, אם מישהו אומר לכם שהוא קרא ממצא מסוים במאמר מדעי, אתם לא אמורים ישר לקבל את הממצא הזה כזה ראה וקדש. צריך לבדוק הרבה קריטריונים לפני שנשתכנע שהממצא הזה אכן משקף היטב את המציאות. יש מאמרים שעושים זאת טוב יותר ממאמרים אחרים.