وقتی یک مقاله علمی برای داوری دریافت می‌کنیم، معمولاً باید هم‌زمان چند چیز را بررسی کنیم: آیا سؤال پژوهش روشن است؟ روش مطالعه مناسب است؟ تحلیل داده‌ها درست انجام شده؟ نتایج با یافته‌ها سازگار هستند؟ و آیا مقاله واقعاً ارزش علمی یا کاربردی جدیدی دارد؟

این فرایند می‌تواند زمان‌بر باشد. در چنین شرایطی، داوری مقاله علمی با هوش مصنوعی می‌تواند به‌عنوان یک ابزار کمکی بسیار مفید باشد. AI می‌تواند متن را از زوایای مختلف بررسی کند، پرسش‌های مهمی برای داور ایجاد کند و برخی ضعف‌هایی را که ممکن است در مطالعه اولیه از چشم انسان دور بمانند، برجسته کند.

اما یک اصل مهم وجود دارد: هوش مصنوعی نباید جایگزین قضاوت علمی داور شود.

داوری مقاله علمی دقیقاً شامل چه چیزهایی است؟

داوری فقط پیدا کردن غلط‌های نگارشی نیست. یک داور معمولاً مقاله را از چند جنبه بررسی می‌کند؛ از اهمیت و نوآوری مسئله گرفته تا روش تحقیق، تحلیل داده‌ها، تفسیر نتایج، کیفیت منابع و انسجام بحث.

بنابراین اگر فقط از AI بخواهید «این مقاله را بررسی کن»، احتمالاً یک گزارش کلی دریافت می‌کنید که برای داوری تخصصی کافی نیست.

بهتر است فرایند ارزیابی مقاله علمی با هوش مصنوعی را به چند بخش تقسیم کنید و برای هر بخش، معیارهای مشخصی در اختیار AI قرار دهید.

ابتدا مسئله و هدف پژوهش را بررسی کنید

اولین سؤال این است که آیا مقاله مسئله مشخصی را بررسی می‌کند و آیا اهمیت آن به‌خوبی توضیح داده شده است؟

می‌توانید از هوش مصنوعی بخواهید هدف پژوهش، سؤال یا فرضیه‌های اصلی را استخراج کند و سپس بررسی کند که آیا روش و نتایج واقعاً به همان هدف پاسخ می‌دهند یا خیر.

این کار یک مشکل رایج را آشکار می‌کند: گاهی مقاله با یک سؤال شروع می‌شود اما در ادامه مسیر، تحلیل‌ها و نتایج از سؤال اصلی فاصله می‌گیرند.

نوآوری مقاله را با احتیاط ارزیابی کنید

یکی از دشوارترین بخش‌های داوری مقاله با هوش مصنوعی، ارزیابی نوآوری است.

می‌توانید مقاله را در اختیار AI قرار دهید و از آن بخواهید ادعای اصلی مقاله و سهم احتمالی آن در دانش موجود را مشخص کند. سپس از آن بخواهید بگوید آیا مقاله واقعاً یک مسئله جدید، جمعیت جدید، روش جدید یا یافته متفاوتی ارائه می‌کند یا صرفاً پژوهش‌های قبلی را تکرار کرده است.

اما در این بخش باید بسیار محتاط باشید. هوش مصنوعی بدون دسترسی به جست‌وجوی جامع ادبیات نمی‌تواند به‌تنهایی ثابت کند که یک یافته واقعاً جدید است. داور باید ادعاهای مربوط به نوآوری را با منابع و مطالعات قبلی بررسی کند.

روش تحقیق را موشکافانه بررسی کنید

یکی از مفیدترین کاربردهای AI، کمک به بررسی بخش روش‌شناسی است.

می‌توانید از هوش مصنوعی بخواهید مشخص کند طراحی مطالعه چیست، جامعه و نمونه چگونه انتخاب شده‌اند، متغیرها چگونه تعریف شده‌اند، ابزار گردآوری داده‌ها چیست و تحلیل آماری یا کیفی چگونه انجام شده است.

سپس از آن بخواهید تناسب میان سؤال پژوهش و روش انتخاب‌شده را بررسی کند.

برای مثال، اگر پژوهشگر ادعای رابطه علّی دارد اما طراحی مطالعه امکان چنین استنباطی را فراهم نمی‌کند، AI می‌تواند این تناقض احتمالی را به‌عنوان یک مورد نیازمند بررسی مطرح کند.

البته اینجا نیز قضاوت نهایی باید توسط داوری انجام شود که با روش‌شناسی آن حوزه آشناست.

بررسی داده‌ها و نتایج

در مرحله بعد می‌توان از AI خواست نتایج اصلی مقاله را خلاصه کند و بررسی کند آیا نتایج گزارش‌شده با هدف پژوهش هماهنگ هستند یا خیر.

همچنین می‌توان از آن خواست میان متن، جدول‌ها و شکل‌ها مقایسه انجام دهد و مواردی را که ممکن است ناسازگار به نظر برسند مشخص کند.

برای مثال، ممکن است عددی در متن با جدول متفاوت باشد یا نتیجه‌ای در بخش بحث مطرح شود که در نتایج شواهد کافی برای آن ارائه نشده است.

این کاربرد به‌خصوص برای مقاله‌های طولانی می‌تواند به‌عنوان یک بررسی اولیه مقاله پژوهشی با هوش مصنوعی مفید باشد.

به بخش بحث و نتیجه‌گیری توجه ویژه داشته باشید

یکی از جاهایی که گاهی میان داده‌ها و ادعاهای نویسنده فاصله ایجاد می‌شود، بخش Discussion است.

می‌توانید از AI بخواهید مشخص کند کدام ادعاها مستقیماً از نتایج پژوهش پشتیبانی می‌شوند و کدام ادعاها ممکن است فراتر از داده‌های مطالعه باشند.

همچنین می‌توان از آن خواست نتیجه‌گیری مقاله را با یافته‌های واقعی مقایسه کند و مواردی مانند تفسیر بیش از حد، تعمیم ناموجه یا ادعاهای بدون پشتوانه را مشخص کند.

این نوع نقد مقاله علمی با هوش مصنوعی می‌تواند سرنخ‌های خوبی برای داور ایجاد کند.

کیفیت منابع و استنادها را بررسی کنید

هوش مصنوعی می‌تواند به شما کمک کند الگوی استفاده از منابع را بررسی کنید؛ مثلاً آیا ادعاهای اصلی با استناد پشتیبانی شده‌اند، آیا منابع بسیار قدیمی هستند یا آیا بخشی از بحث بدون منبع ارائه شده است.

با این حال، نباید صرفاً به AI برای تأیید صحت منابع اعتماد کرد. وجود یک رفرنس در متن به این معنا نیست که واقعاً ادعای موردنظر را پشتیبانی می‌کند.

برای موارد مهم باید مقاله اصلی و منبع استنادشده بررسی شود. همچنین اطلاعات کتابشناختی، DOI و جزئیات استناد باید با منابع معتبر تطبیق داده شوند.

نگارش علمی را جدا از داوری علمی بررسی کنید

هوش مصنوعی در شناسایی جمله‌های مبهم، تکرار، ضعف انسجام و مشکلات نگارشی عملکرد خوبی دارد. می‌توانید از آن بخواهید کیفیت نگارش مقاله را ارزیابی کند، بدون اینکه محتوای علمی را تغییر دهد.

اما باید میان «ضعف نگارشی» و «ضعف علمی» تفاوت بگذارید. یک مقاله ممکن است از نظر زبان نیاز به ویرایش داشته باشد اما از نظر علمی ارزشمند باشد؛ یا برعکس.

بنابراین بهتر است این دو نوع ارزیابی در گزارش داوری جداگانه دیده شوند.

یک پرامپت حرفه‌ای برای داوری مقاله

می‌توانید از چنین پرامپت داوری مقاله علمی استفاده کنید:

«مقاله زیر را به‌عنوان دستیار داوری علمی بررسی کن. ابتدا هدف، سؤال پژوهش و ادعای اصلی مقاله را خلاصه کن. سپس مقاله را از نظر اهمیت مسئله، نوآوری، تناسب روش تحقیق با سؤال، جامعه و نمونه، متغیرها، روش تحلیل، کیفیت ارائه نتایج، انسجام بحث، اعتبار نتیجه‌گیری و کیفیت منابع بررسی کن. نقاط قوت و ضعف را جداگانه مشخص کن. برای هر ضعف، توضیح بده چرا از نظر علمی مهم است و در صورت امکان پیشنهاد اصلاحی ارائه کن. مواردی را که نیازمند بررسی مستقیم توسط داور هستند مشخص کن. اطلاعاتی را که در مقاله وجود ندارد حدس نزن و میان مشکلات قطعی و موارد مشکوک تفاوت بگذار.»

این ساختار باعث می‌شود خروجی AI بیشتر شبیه یک چک‌لیست تحلیلی باشد تا یک نظر کلی و سطحی.

محرمانگی مقاله را جدی بگیرید

این نکته در استفاده از هوش مصنوعی برای داوری مقاله بسیار مهم است. اگر مقاله برای یک مجله به‌صورت محرمانه برای شما ارسال شده است، نباید بدون بررسی سیاست‌های مجله و ابزار مورد استفاده، متن کامل مقاله را در یک سامانه هوش مصنوعی عمومی بارگذاری کنید.

محرمانگی مقاله، مالکیت فکری نویسندگان و سیاست ناشر باید رعایت شود. در برخی نشریات نیز استفاده از ابزارهای AI در فرایند داوری محدود یا مشروط است.

بنابراین قبل از استفاده، دستورالعمل مجله را بررسی کنید و در صورت وجود محدودیت، آن را بر استفاده شخصی و مجاز از ابزارهای کمکی ترجیح دهید.

گزارش نهایی را خودتان بنویسید

حتی اگر AI در مراحل مختلف مقاله را بررسی کرده باشد، گزارش نهایی داوری باید بر اساس قضاوت خود داور تنظیم شود.

می‌توانید از خروجی AI برای پیدا کردن سؤال، مرتب کردن نکات و شناسایی مواردی که نیاز به بررسی بیشتر دارند استفاده کنید؛ اما توصیه نهایی درباره پذیرش، اصلاحات اساسی یا رد مقاله باید بر مبنای ارزیابی تخصصی شما باشد.

ابزارهایی مانند پرامپت‌ساز هوشمند پرامپت‌نویس نیز می‌توانند به طراحی دستورهای دقیق‌تر برای بررسی جداگانه بخش‌های مقاله کمک کنند.

جمع‌بندی

داوری مقاله علمی با هوش مصنوعی می‌تواند فرایند بررسی را سریع‌تر و نظام‌مندتر کند. AI می‌تواند در استخراج سؤال پژوهش، بررسی روش‌شناسی، مقایسه نتایج با ادعاها، شناسایی ضعف‌های نگارشی و ایجاد یک چک‌لیست داوری به پژوهشگر کمک کند.

اما هوش مصنوعی داور نهایی نیست. نوآوری علمی، اعتبار روش، اهمیت یافته‌ها و تصمیم درباره پذیرش یا رد مقاله به قضاوت تخصصی انسان نیاز دارد. بهترین رویکرد این است که AI را به‌عنوان دستیار داور به کار بگیریم، نه جایگزین داور؛ ابزاری برای بهتر دیدن، بهتر سؤال پرسیدن و منظم‌تر کردن فرایند داوری.