فرا ارزشیابی تأثیر: معرفی یک فهرست وارسی (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
ارزشیابی تأثیر یکی از ضروری ترین گام ها در فرآیند اجرای طرح ها و برنامه ها و راهبردی ترین شیوه قضاوت درباره کیفیت فعالیت های انجام شده به خصوص در عصر اطلاعات است. با توجه به اهمیت و جایگاه این شیوه ارزشیابی، تدوین و معرفی یک فهرست وارسی دقیق برای ارزیابی کیفیت ارزشیابی های تأثیر (فرا ارزشیابی تأثیر) از ضرورت دوچندانی برخوردار است. در پژوهش حاضر تلاش شده است تا با استفاده از رویکرد آمیخته از نوع اکتشافی و با تلفیق دو روش اَسنادی و مطالعات ارزشیابی، یک فهرست وارسی فرا ارزشیابی تأثیر، طراحی و تدوین شود. در مرحله نخست مطالعه، کدگذاری و تحلیل دقیق 16 سند مبتنی بر راهبرد آلتاید، منجر به شناسایی 35 گویه شد. در مرحله دوم با استفاده از فهرست وارسی تدوین شده، به ارزشیابی 18 پژوهش واجد شرایط اولیه پرداخته شد. در این مرحله، یافته ها نشان دهنده عدم دستیابی پژوهش ها به سطح تسلط در 28/94 درصد از نشانگرها معادل 33 نشانگر از 35 نشانگر (به طور دقیق عدم دستیابی 100 درصد پژوهش های ارزیابی شده به حد تسلط در 71/65 درصد از نشانگرها، عدم دستیابی بیش از 50 درصد پژوهش های ارزیابی شده به حد تسلط در 57/28 درصد از نشانگرها، و عدم دستیابی 50 درصد پژوهش های ارزیابی شده به حد تسلط در 71/5 درصد از نشانگرها) است. بنابراین تحلیل نتایج حاکی از ضعف مفرط مطالعات ارزشیابی تأثیر در رعایت اصول زیربنایی این نوع ارزشیابی از جمله ارائه یک نظریه تغییر، تهیه طرح ارزشیابی، تهیه فهرست وارسی ارزشیابی، تشکیل تیم ارزیابی آموزش دیده و موارد دیگر است که این مسأله کیفیت این مطالعات را با تردید جدی همراه می سازد. همچنین کم توجهی به اصول ارزشیابی تأثیر به عنوان مهم ترین بخش در اجرای برنامه ها، مداخلات و تغییرات، به غفلت از تأثیرات واقعی، بلندمدت و پایدار برنامه ها و توجه به نتایج سطحی، فوری و کوتاه مدت می انجامد، لذا توجه مدیران، ارزشیابان و پژوهشگران در حوزه ارزشیابی تأثیر به اصول اساسی ارزشیابی تأثیر و گویه های مهم ارائه شده در فهرست وارسی پژوهش حاضر و ارزشیابی بر اساس آن ها ضروری است.Impact meta-evaluation: Introducing a checklist
Impact evaluation is one of the most necessary steps in implementing plans and programs, and the most strategic way of judging the quality of the activities, especially in the information age. Based on the importance of this evaluation method, compiling and introducing a detailed checklist for evaluating the quality of impact evaluations (meta-impact evaluation) is an extreme necessity. In the first stage, studying, coding, and detailed analysis of 16 documents based on Altheide's strategy led to the identification of 35 items. Then, in the second stage, 18 initially eligible studies were evaluated using the compiled checklist. At this stage, the findings indicate that the studies did not reach the mastery level in 94.28% of the indicators, equivalent to 33 indicators out of 35 indicators (precisely, 100% of the evaluated studies did not reach the mastery level in 65.71% of the indicators, more than 50% of the evaluated studies did not reach the mastery level in 28.57% of the indicators, and 50% of the evaluated studies did not reach the mastery level in 5.71% of the indicators). Therefore, the analysis of the results indicates the extreme weakness of impact evaluation studies in observing the underlying principles of this type of evaluation, including presenting a theory of change, preparing an evaluation plan, developing an evaluation checklist, forming a trained assessment team, and other key steps, raises serious doubts about the quality of these studies. Also, the lack of attention to the principles of impact evaluation as the most important part of program implementation, interventions, and changes causes neglect of the natural, long-term, and sustainable effects of programs and attention to superficial, immediate, and short-term results. Therefore, the attention of managers, evaluators, and researchers in the field of impact evaluation to the basic principles of impact evaluation and essential items presented in the checklist of the current research and evaluation based on them is necessary.
تبلیغات
