اصغر مینایی

شناسایی عواقب تخطی از مفروضه های مدل های اندازه گیری از دغدغه های اصلی در حوزه روانسنجی است، هدف پژوهش حاضر، مطالعه نقش نقض مفروضه تک بعدی بودن در خطای همترازسازی در نظریه کلاسیک و نظریه سؤال پاسخ بود. روش پژوهش آزمایشی و طرح آن طرح عاملی 3×3 بود. جامعه آماری شامل کلیه داوطلبان گروه ریاضی و فیزیک کنکور سراسری سال های 1396 و 1397 بود. گروه نمونه عبارت از 5000 نفر از داوطلبان بود که به شیوه نمونه گیری تصادفی انتخاب شدند. آزمون مورد همترازسازی آزمون ریاضی (55 سؤالی) کنکور سراسری بود که با استفاده از آن سه نوع داده 20 سؤالی با ساختار متفاوت تک بعدی، دو بعدی و سه بعدی تشکیل شد. داده ها با استفاده از سه روش همصدک، نمره واقعی و نمره مشاهده شده همتراز شدند. برای ارزیابی اثرات بعدیت و روش های همترازسازی از آماره های خطای استاندارد همترازسازی، سوگیری و خطای جذر میانگین مربعات استفاده شد و برای تعیین آماره های خطا، نتایج همترازسازی در هر سه مجموعه داده و سه روش همترازسازی در نمونه های مختلف 20 بار تکرار شد. نتایج تجزیه و تحلیل داده ها نشان داد که تخطی از بعدیت، خطای استاندارد همترازسازی، سوگیری نتایج همترازسازی و میزان خطای جذر میانگین مربعات را افزایش می دهد. سوگیری نتایج همترازسازی در روش های نظریه کلاسیک بیشتر از روش های نظریه سؤال پاسخ است و تأثیر تخطی از بعدیت در خطاهای همترازسازی در مدل های نظریه کلاسیک و نظریه سؤال پاسخ تفاوتی نداشت.

همترازسازی از مهم ترین مسائل در نظام سنجش تربیتی است و عدم برقراری مفروضات آن، اندازه گیری را با چالش های جدی مواجه می کند. در آزمون های چندبعدی، استفاده از روش های تک بعدی همترازسازی، سوگیری نتایج را به دنبال دارد. هدف از اجرای این پژوهش، شناسایی رویکرد بهینه همترازسازی در آزمون های چندبعدی بود. شش روش همترازسازی تک بعدی و چندبعدی مقایسه شدند. روش همصدک به لحاظ مقاوم بودن در برابر مفروضه تک بعدی بودن به عنوان ملاکی برای مقایسه سایر روش ها مدنظر قرار گرفت. جامعه آماری شامل همه داوطلبان گروه علوم ریاضی و فنی کنکور سراسری سال 96 و 97 بود. داده های آزمون ریاضی تعداد 5000 نفر از هر دو سال برای همترازسازی انتخاب شدند. ابعاد آزمون ها با استفاده از نرم افزارهای MPLUS وNOHARM  مشخص شد. برای برآورد پارامترهای تک بعدی از بستهltm  و برای برآورد پارامترهای چندبعدی از بسته mirt در نرم افزار R استفاده شد. همترازسازی نمره مشاهده شده و نمره واقعی تک بعدی IRT با استفاده از نرم افزار PIE و همترازسازی همصدک با استفاده از نرم افزار R بسته equate انجام گرفت. از بسته های mirt، mvnorm و MASS در نرم افزار R نیز برای همترازسازی چندبعدی داده ها استفاده شد. نتایج نشان داد که در همترازسازی آزمون های چندبعدی بهینه ترین روش، همترازسازی چندبعدی کامل است و پس از آن روش نمره مشاهده شده چندبعدیِ تک بعدی شده، روش مناسبی است، اما استفاده از روش های تک بعدی نمره مشاهده شده و نمره واقعی در چنین شرایطی، کارایی مناسبی ندارد. بنابراین پیشنهاد می شود در همترازسازی آزمون هایی که ساختار چندبعدی دارند، از روش همترازسازی نمره مشاهده شده چندبعدی کامل استفاده شود.

هدف از اجرای این پژوهش بررسی افت پارامترهای سؤال (IPD) روند آزمون ریاضیات تیمز پایه هشتم ایران و تأثیر آن بر برآورد پارامتر توانایی دانش آموزان بود. جامعه آماری شامل همه دانش آموزان پایه هشتم شرکت کننده در آزمون ریاضیات تیمز ایران در سال های 2003، 2007 و 2011 بود؛ 1224 نفر (408 نفر در هر دوره) از دانش آموزانی که به 40 سؤال روند موجود در این آزمون پاسخ داده بودند. برای بررسی وجود یا نبود افت از نرم افزار 23SPSS و روش رگرسیون لجستیک استفاده شد. بر اساس نتایج از بین 40 سؤال روند 2 سؤال افت را در پارامترهای خود نشان دادند؛ که هر دو سؤال نیز دارای افت پارامتر یکنواخت بود؛ اما طبق ملاک اندازه اثر جودوین و جیرل هر دو سؤال اندازه اثر ناچیزی داشتند. برای بررسی تأثیر افت پارامترها بر توانایی دانش آموزان، ابتدا توانایی تتا دانش آموزان با حضور کل سؤال ها محاسبه شد و پس از شناسایی و حذف سؤال های دارای افت، بار دیگر پارامتر توانایی تتا با استفاده از نرم افزار BILOG-MG محاسبه شد؛ سپس برای بررسی میزان تفاوت میانگین ها و معنی داری آن از روش آماری t وابسته استفاده شد؛ نتیجه آنکه این میزان افت در برآورد توانایی دانش آموزان تأثیر چشمگیری نداشته است.

هدف: هدف از پژوهش حاضر مطالعه و کاربرد مدل های تشخیصی شناختی در برآورد ویژگی های روانسنجی سؤال های انتشار یافته ریاضی پایه هشتم تیمز 2019 بود. روش پژوهش: روش تحقیق این مطالعه، کمی-کیفی است که با رویکرد ریتروفیت آزمون های موجود انجام شد. جامعه آماری این مطالعه، کلیه دانش آموزان ایرانی، کره ای و امریکایی پایه هشتم شرکت کننده در مطالعه تیمز 2019 بود. حجم جامعه دانش آموزان ایرانی شامل 1095026 دانش آموز از 23895 مدرسه، حجم جامعه دانش آموزان کره جنوبی شامل 465626 دانش آموز از 3006 مدرسه، و حجم جامعه آمریکایی شامل 4059757 دانش آموز از 48557 مدرسه بود. نمونه دانش آموزان پایه هشتم ایرانی، کره ای و آمریکایی شرکت کننده در مطالعه تیمز 2019 است که از طریق روش نمونه گیری خوشه ای دو مرحله ای، 5980 دانش آموز پایه هشتم ایرانی از 220 مدرسه با میانگین سنی 1/14، 3861 دانش آموز پایه هشتم کره ای از 168 مدرسه با میانگین سنی 5/14 و 8698 دانش آموز پایه هشتم آمریکایی از 273 مدرسه با میانگین سنی 2/14 گزارش شده است.یافته ها: با استفاده از روش کیفی 16 مهارت در چهار زمینه حیطه محتوایی، دانش، به کاربستن و استدلال کردن شناسایی و ماتریس کیو تدوین شد. سپس در بخش کمی برازش سه مدل دینا، دینو و جی دینا با داده های حاصل از پاسخ دانش آموزان به سؤالات بخش ریاضی در بلوک های 1، 2، 3 و 5 بررسی شد که مدل جی-دینا تا حدودی دارای برازش بهتری بود. هم چنین، در بلوک 1 براساس روش برآورد بیشینه درستنمایی در همه مهارت ها به جز مهارت R5 (تعمیم دادن) بیش از 50 درصد از آزمودنی ها به حد تسلط رسیده اند.

شرط اصلی استفاده از پرسشنامه ها، روایی و اعتبار آنهاست. در این پژوهش، ویژگی های روان سنجی سؤال های پرسشنامه شیوه های فرزندپروری بر اساس نظریه سؤال- پاسخ بررسی شده است. جامعه پژوهش، 576 نفر از مادران دانش آموزان دوره ابتدایی شهر تهران است که به روش نمونه گیری خوشه ای چندمرحله ای انتخاب شدند. این پژوهش، با توجه به ماهیت موضوع و اهداف آن، تحقیق توصیفی بر اساس روش های روان سنجی است. در برازش مدل های نظریه سؤال- پاسخ با سؤال های پرسشنامه و برآورد سطح دشواری و ضریب تشخیص پرسش ها به تفکیک خرده مقیاس ها، از بسته ltm وeRm در نرم افزار R استفاده شد. یافته ها نشان داد مدل پاسخ مدرج در مقایسه با مدل امتیاز پاره ای، با سؤال های پرسشنامه شیوه های فرزندپروری برازش بهتری داشته است. نتایج برآورد پارامترهای پرسش و منحنی های ویژگی پرسش، نشان داد پرسش های (17، 21 و 24) از شیوه فرزندپروری آزادگذار، پرسش های (4 و 11) از شیوه فرزندپروری اقتدار منطقی و پرسش های (12 و 18) از شیوه فرزندپروری استبدادی دارای میزان مطلوبیت پایینی بوده اند.

بررسی سوگیری و کارکرد افتراقی سؤالات آزمون های مهمی چون ریاضیات در بین گروه های مختلف مورد توجه محقق زیادی در تعلیم و تربیت بوده است؛ اما اغلب آن ها ریاضیات را به عنوان یک سازه کلی مورد بررسی قرار داده اند. در این پژوهش تلاش شد از قابلیت های مدل های تشخیصی شناختی (CDMs) به منظور بررسی دقیق و جزئی تر کارکرد افتراقی سؤالات در آزمون ریاضیات پایه هشتم (سوم راهنمایی) تیمز 2007 و همچنین در بررسی تأثیر سؤال های دارای کارکرد افتراقی بر عملکرد دانش آموزان مورد استفاده قرار گیرد. جامعه آماری پژوهش همان جامعه آماری پایه هشتم در آزمون ریاضی تیمز 2007 است که در سال تحصیلی 1385-1386 به اجرا درآمد. در سال تحصیلی موردنظر تعداد 1475368 دانش آموز سوم راهنمایی در 29956  کلاس، مشغول به تحصیل بودند است. نمونه پژوهش حاضر بخشی از دانش آموزان ایرانی سال سوم راهنمایی شرکت کننده در تیمز 2007 است که به دفترچه های شماره 1، 2، 3 و 14 آزمون تیمز 2007 پاسخ داده اند که تعداد آن ها برابر با 1137 است. برای تحلیل داده ها و پاسخگویی به سؤال های پژوهش از مدل غیر جبرانی DINA که دارای دو پارامتر حدس و لغزش است، استفاده شد. ابتدا ماتریس Q با استفاده از صفات مورد نیاز سوال ها تشکیل شد. برازش داده با مدل و برآورد پارامترها برای دو گروه دختر و پسر انجام شد سپس با استفاده از آزمون والد کارکرد افتراقی سوالات مورد بررسی قرار گرفت. نتایج نشان داد که از 44 سؤال مورد مطالعه، 26 سؤال لنگر و 18 سؤال (40%) سؤال دارای DIF است؛ که در آن از 18 سؤال دارای DIF، 12 سؤال دارای DIF یکنواخت و 6 سؤال غیریکنواخت است. از 18 سؤال داری DIF، 7 سؤال به نفع دانش آموزان دختر و 10 سؤال به نفع دانش آموزان پسر که در صفات موردنیاز برای پاسخگوی صحیح به این سؤالات به تسلط رسیده اند داری کارکرد افتراقی است. در این بین 1 سؤال به نفع هیچ یک  از دانش آموزانی که در صفات موردنیاز به تسلط رسیده اند دارای کارکرد افتراقی نیست این سوال تنها به نفع دانش آموزانی که درصفات به تسلط نرسیدند دارای کارکرد افتراقی است؛ و همین طور از 18 سؤال داری DIF، 9 سؤال به نفع دانش آموزان دختر و 7 سؤال به نفع دانش آموزان پسر که در صفات موردنیاز به تسلط نرسیده اند دارای کارکرد افتراقی است و 2 سؤال به نفع هیچ یک از دانش آموزان  که در صفات موردنیاز به تسلط نرسیده اند کارکرد افتراقی نیست  و تنها به نفع دانش آموزانی که درصفات مورد نیاز به تسلط رسیدن دارای کارکرد افتراقی است. می توان نتیجه گرفت که آزمون والد در چارچوب مدل های (CDM) قادر است علاوه بر آزمون کارکرد افتراقی یکنواخت و غیریکنواخت در شناسایی کارکرد افتراقی در افرادی مسلط و غیر مسلط در صفات به کارگیری شود. آنچه از این نتایج و نتایج پژوهش های در این زمینه بر می آید قالب سؤال می تواند تفاوت های جنسیتی را کاهش یا افزایش دهد، لذا پرورش دهندگان آزمون ها باید تلاش کنند تا سؤال ها را به گونه ای طراحی نمایند که تفاوت های جنسیتی را به حداقل برساند. با شناسی عوامل تأثیرگذار بر تفاوت های جنسیتی، مربیان، معلمان سیاست گزاران تعلیم و تربیت کشور خواهند توانست برنامه های درسی جدید و خلاقانه طراحی و تدوین نمایند و یا برنامه های موجود را بهبود بخشید تا نظام و محیط آموزشی کشورمان بالنده و غنی گردد.

هدف از اجرای این پژوهش، بررسی تغییرناپذیری ساختار عاملی آزمون سراسری و پارامترهای سؤال (بارعاملی و آستانه) در استان ها بود. روش پژوهش توصیفی همبستگی است. برای بررسی هدف پژوهش از هر استان نمونه ای به حجم1000 نفر از شرکت کنندگان در آزمون ریاضی گروه آزمایشی ریاضی وفنی 1396 انتخاب شد. نتایج نشان داد عملکرد آزمودنی ها در تهران، اصفهان، خراسان رضوی، فارس، مازندران، یزد و البرز در بیشتر سؤال ها در مقایسه با سایر استان ها بهتر است. تعداد سؤال های تغییرپذیر در تهران و ایلام از سایر استان ها بیشتر است. روش بهینه سازی ترازبندی نشان داد 5/37% سؤال ها در عامل اول و16% درصد در عامل دوم برای تمامی استان ها دارای تغییرناپذیری تقریبی آستانه ها و83% سؤال ها در عامل اول و 71% در عامل دوم دارای تغییرناپذیری بارهای عاملی است. تعداد سؤال های تغییرپذیر در عامل دوم، بیشتر از عامل اول است، بنابراین برای مقایسه آزمودنی ها در استان ها بهتر است از سؤال های عامل اول استفاده شود. بررسی DIF در تعداد زیادی از گروه ها تنها با روش ترازبندی کافی نیست، اگر گروه خاصی در پژوهش موردنظر باشد لازم است روش های DIF دوگروهی استفاده شود.

هدف: تدوین مدل مفهومی، ساخت ابزار سنجش آگاهی معلمان از ارزشیابی تکوینی، روایی و اعتبارسنجی ابزار روش پژوهش: روش های تحلیل عاملی اکتشافی و تأییدی یافته ها: تبیین جدید و کاربرد طبقه بندی مارزانو و کندال از اهداف آموزشی برای ارزشیابی تکوینی، مؤلفه های مدل مفهومی ارزشیابی تکوینی عبارت اند از: ارائه دانش، سیستم شناختی (بازیابی، درک مطلب، تحلیل، بهره برداری از دانش)، فراشناخت، تفکر نظام شخصی، راهبردهای ارزشیابی تکوینی سنتی و نوین، تدوین پرسش نامه 74 سؤالی نتیجه گیری: استخراج شش مؤلفه و 28 سؤال از پرسش نامه در روش تحلیل عاملی اکتشافی، آلفای کرونباخ کل سازه برابر 0.79 و قابل قبول است. ابزار در تحلیل عاملی تأییدی دارای برازش ضعیف است و با اصلاح مدل برازش آن بهبود یافت.