سید محمدعلی موسویان

هدف : این پژوهش به بررسی نقش مدل های بزرگ زبانی در شناسایی مغالطات منطقی در فرایند داوری همتا پرداخته و تأثیر این فناوری ها بر بهبود دقت، شفافیت و قابلیت اطمینان مقالات علمی را مورد ارزیابی قرار می دهد. همچنین، امکان به کارگیری این مدل ها برای کاهش بار کاری داوران انسانی و استانداردسازی ارزیابی ها بررسی شده است. روش پژوهش: سه آزمایش متفاوت در پژوهش حاضر طراحی و اجرا شد که شامل شناسایی و طبقه بندی مغالطات منطقی، حل مسائل استدلالی و ارزیابی متون علمی با طول و پیچیدگی متغیر بود. از مجموعه داده های استاندارد نظیر الک دب60-20 و سؤالات بخش منطق استعداد تحصیلی در آزمون دکتری ایران استفاده شد. مدل های زبانی پیشرفته مانند چت جی پی تی نسخه های o4 وo1  با روش های یادگیری ماشین کلاسیک نظیر ماشین بردار پشتیبان و جنگل تصادفی مقایسه شدند. مدل ها با استفاده از روش های بهینه سازی و یادگیری بدون نمونه برای تحلیل داده ها آماده شدند. یافته ها: نتایج آزمایش ها نشان داد که چت جی پی تی o1 در شناسایی مغالطات منطقی به دقت 98.1 درصد و در حل مسائل منطقی آزمون استعداد تحصیلی کنکور دکتری به دقت 100 درصد دست یافت. در مقایسه، مدل های سنتی یادگیری ماشین، مانند ماشین بردار پشتیبان و جنگل تصادفی، به ترتیب تنها دقت 48 درصد و 49 درصد داشتند. مدل های زبانی میسترال و لاما نیز دقتی بین 76 درصد تا 5/78 درصد در شناسایی مغالطات ارائه کردند. در تحلیل متون طولانی تر، چت جی پی تی o1 دقت 100 درصد را در شناسایی و نام گذاری انواع مغالطات ثبت کرد، در حالی که مدل های دیگر توانایی کمتری نشان دادند. همچنین مدل های زبانی پیشرفته در تحلیل استدلال های پیچیده و ارائه بازخوردهای ساختاریافته بسیار مؤثر بودند. نتیجه گیری: مدل های بزرگ زبانی ، به ویژه چت جی پی تی o1، توانایی بالایی در شناسایی و تحلیل مغالطات منطقی و بهبود فرایند داوری همتا دارند. این مدل ها با کاهش خطاهای انسانی، افزایش سرعت داوری و ارائه تحلیل های دقیق، نقشی کلیدی در بهبود کیفیت مقالات علمی ایفا می کنند. به کارگیری این فناوری ها می تواند به تقویت انسجام و شفافیت در فرایندهای علمی منجر شود، هرچند نظارت نهایی داوران انسانی برای ترکیب تخصص انسانی و هوش مصنوعی ضروری است.