انواع نظارت بر ارزیابی

ارزیابی مفهومی است که تاکنون در مورد آن تعریف دقیقی ارائه نشده است. در واقع می توان گفت که بر اساس مطالعات انجام شده، تعاریف با تفاوت هایی همراه است. به طور کلی می توان گفت که هر تعریف جامع است، روش های خود را دارد و تجزیه و تحلیل آن متفاوت می باشد.

برای مثال دای در سال 1992 بررسی جالب و دقیق در خصوص ارزیابی سیاست ها انجام داده است. این در حالی است که این کار جامعیت ندارد. بر اساس این نظر می توان ارزیابی را اینطور بیان (تعریف) کرد : “بررسی نتایج ها و پیامدهایی که اجرای سیاست های کلان دارد را ارزیابی سیاست ها می گویند.” البته از سوی دای تفاوت هایی برای ارزیابی سیاست و ارزیابی برنامه ذکر شده است. بر اساس این تعریف، به ارزیابی دقیق و جامعی که برای نظام تحت بررسی انجام می شود، ارزیابی برنامه می گویند. البته این تعریف نظام سیاسی را از قلم می اندازد.

آشنایی با مفهوم ارزیابی، نظارت و پایش

برای این که بتوانیم واژه ارزیابی را برای نظارت و پایش بیشتر بررسی کنیم باید به بررسی صاحب نظران بپردازیم. صاحب نظران غیر حرفه ای در این مورد می گویند که ارزیابی بررسی معیارهای مهم از نظر اقتصادی است. در واقع ارزیابی از سوی این افراد به عنوان مرجعی برای تعیین اولویت ها شناخته می شود. این تعریف را از دو بعد می توان مورد بررسی قرار داد:

بر اساس تعریف های دیگری که برای ارزیابی، نظارت و پایش در نظر گرفته شده است. ارزیابی به بررسی پس از اجرای سیاست ها محدودیت می شود. این تعریف به نظر دای نزدیک تر است. این در حالی است که دلیلی برای انجام ارزیابی، نظارت و پایش را به بعد از اجرای سیاست موکول کرد.

برای مثال می توانیم سیاست را پیش از عملی سازی به دیگران پیشنهاد دهیم و بر این اساس ارزیابی، نظارت و پایش انجام دهیم. انجام ارزیابی، نظارت و پایش در دو مرحله طراحی برنامه و انتخاب می تواند اجرایی شود. (بر اساس نظرات هال و مک آرتور سال 1993 و هال 1982.)

به این نکته هم تاکید شده است که ارزیابی، نظارت و پایش به صورت موردی، از لحاظ فنی مورد تایید نیست. در واقع در مرحله ارزیابی باید بتوانیم از نتایج حاصله استفاده داشته باشیم.

چرا باید ارزیابی، نظارت و پایش داشته باشیم؟

با استفاده از ارزیابی می توانیم به مقاصد سیاسی خود و مقاصد اداری و مربوط به مدیریت دست پیدا کنیم. راه برای ایجاد و تدوین برنامه ریزی و تدوین سیاست ها باز می شود. همچنین می توانیم برای سیاست ها توجیه مالی داشته باشیم.

در صورتی که می خواهیم فرآیند ارزیابی، نظارت و پایش به بهترین شکل صورت پذیرد باید به موارد زیر توجه کنیم. قلمرو ما در سیاست و هدفی که دنبال می کنیم را باید مشخص کنیم. همچنین تصمیم ها و اقداماتی که می خواهیم انجام دهیم باید در این فرآیند مشخص شوند.

نظارت بر مجموعه‌ای منظم و روزمره از داده‌ها در طول اجرای پروژه به منظور ایجاد این که آیا یک مداخله به سمت اهداف تعیین‌شده و اهداف پروژه حرکت می‌کند یا خیر، است. در این حالت، داده‌ها در سراسر چرخه حیات پروژه جمع‌آوری می‌شوند. ابزارهای جمع‌آوری داده‌ها معمولاً در فعالیت‌های پروژه گنجانده می‌شوند تا اطمینان حاصل شود که این فرآیند یکپارچه نیست. انواع مختلفی از پایش در M & E وجود دارد و شامل مانیتورینگ فرآیند، نظارت فنی، نظارت بر فرض، نظارت مالی و نظارت بر تاثیر است.

نظارت بر فرآیند / نظارت بر پیشرفت فیزیکی

در پایش فرآیند، داده‌های روتین به منظور تعیین اینکه آیا وظایف و فعالیت‌های پروژه به سمت نتایج پروژه در نظر گرفته می‌شوند، جمع‌آوری و آنالیز می‌شوند. این امر پیشرفت پروژه را در جهت نتایج مورد نظر تایید می‌کند. این نوع نظارت، ورودی‌ها، فعالیت‌ها و خروجی‌های را اندازه‌گیری می‌کند. به عبارت دیگر، پایش فرآیند به سوالات “آنچه تا کنون انجام‌شده و کجا و چگونه انجام شده‌است پاسخ می‌دهد؟”  اغلب داده‌های جمع‌آوری‌شده در طول اجرای پروژه معمولاً به این نوع نظارت خدمت می‌کنند.

نظارت فنی

نظارت فنی شامل ارزیابی راهبردی است که در اجرای پروژه مورد استفاده قرار می‌گیرد تا مشخص شود که آیا دستیابی به نتایج مورد نیاز است یا خیر. این شامل جنبه‌های فنی پروژه مانند فعالیت‌هایی است که باید انجام شود. برای مثال، در یک پروژه آب سالم، نظارت بر پیشرفت فیزیکی ممکن است نشان دهد که جذب کمی یا عدم جذب کلر به عنوان یک استراتژی تصفیه آب وجود ندارد. نظارت فنی ممکن است ایجاد کند که این می‌تواند ناشی از نصب dispensers کلرین در منبع آب باشد و زنان بیش از حد مقید هستند که زمان کافی برای صف کردن کلر از قانون گذار ندارند. این ممکن است باعث تغییر استراتژی شود که در آن ممکن است پروژه توزیع کلرین خانگی را برگزیند.

نظارت بر فرض

هر پروژه فرضیات کاری خود را دارد که باید به طور واضح در چارچوب گزارش پروژه بیان شود. این فرضیات عواملی هستند که می‌توانند موفقیت یا عدم موفقیت پروژه را تعیین کنند، اما پروژه بر آنها کنترل ندارد. نظارت بر فرض شامل اندازه گیری این عوامل بیرونی پروژه است. انجام نظارت بر فرض حائز اهمیت است زیرا ممکن است به توضیح موفقیت یا عدم موفقیت یک پروژه کمک کند. به عنوان مثال، پروژه‌ای که استفاده از قرص های ضد بارداری را ترویج می‌کند، ممکن است متوجه شود که میزان مصرف داروهای ضد بارداری کاهش یافته است. با این حال، کاهش مصرف داروهای ضد بارداری می‌تواند به افزایش مالیات بر واردات وسایل جلوگیری از بارداری در کشور نسبت داده شود که باعث می‌شود آنها گرانتر از خرابی پروژه باشند.

نظارت مالی

همانطور که این نام نشان می‌دهد، نظارت مالی به سادگی به نظارت بر هزینه‌های پروژه / برنامه و مقایسه آن‌ها با بودجه آماده‌شده در مرحله برنامه‌ریزی اشاره می‌کند. استفاده از بودجه در اختیار یک برنامه / پروژه برای اطمینان از اینکه هیچ افراطی وجود ندارد حیاتی است. نظارت مالی نیز برای پاسخگویی و اهداف گزارش دهی نیز مهم است، همچنین برای اندازه‌گیری کارایی مالی (بیشینه‌سازی خروجی‌های با حداقل ورودی‌ها).

نظارت بر تاثیر

پایش تاثیر نوعی نظارت است که تاثیر فعالیت‌های پروژه را به جمعیت هدف ارزیابی می‌کند. در حقیقت، تاثیرات معمولا اثرات بلند مدت یک پروژه هستند. با این حال، برای پروژه‌های با طول عمر طولانی یا برنامه‌ها (برنامه‌هایی که زمانی تعریف نشده اند) نیاز به اندازه‌گیری تغییرات تاثیر به منظور نشان دادن اینکه آیا شرایط عمومی ذینفعان در نظر گرفته‌شده بهبود می‌یابد یا خیر. در این حالت، مدیر از طریق مجموعه از پیش تعیین‌شده از شاخص‌های تاثیر نظارت می‌کند. نظارت بر تاثیرات مثبت و منفی، در نظر گرفته‌شده و اثرات مورد نظر پروژه / برنامه ضروری می‌شود. برای مثال، در برنامه آب و بهداشت، ممکن است نیاز به نظارت بر تغییر در ۵ مرگ و میر در منطقه برنامه در طول زمان وجود داشته باشد. در این مورد، به جای شناسایی به عنوان یک ارزیابی تاثیر، این می‌تواند به عنوان نظارت بر ضربه شناخته شود.

انواع ارزیابی

ارزیابی برنامه:

مشخص کردن اینکه آیا فعالیت‌های برنامه مطابق با هدف اجرا شده‌اند و به خروجی‌های خاصی منتهی شده‌اند یا خیر. شما ممکن است ارزیابی فرآیند را به صورت دوره‌ای در طول عمر برنامه خود انجام دهید و با مرور فعالیت‌ها و مولفه‌های خروجی نظریه تغییر یا مدل منطق شروع کنید.

رویکرد متداول برای جمع‌آوری ارزیابی برنامه براساس معیارهای کلیدی تعریف‌شده برای معیارهای خروجی است. داده‌های خروجی را می‌توان در طیف وسیعی از سیستم‌ها جمع‌آوری کرد.

ارزیابی پیامد:

با ارزیابی پیشرفت در نتایج حاصل از برنامه، اثرات برنامه در جمعیت هدف را ارزیابی می‌کند. برای طراحی یک ارزیابی پیامد، با مرور مولفه‌های خروجی نظریه تغییر یا مدل منطق خود شروع کنید. این نظرسنجی اغلب برای ارزیابی پیامد رایج است. بسته به اینکه کجا جمعیت هدف یا سهام دار وجود دارد، می‌توانید مجموعه داده آنلاین را تعیین کنید.

انواع نظارت

نظارت بر سازمان واحد (برای سازمان سلسله مراتبی)

تکنیک اصلی: مجموع نتیجه برای یک سازمان واحد برای یک هدف داخلی

مناسب برای سازمان: سایز متوسط سازمان‌های غیرانتفاعی

اجرا: راه‌اندازی نسبتا آسان است

TolaData

یک ابزار تاثیر محور (که اعلام می‌کنند شما می‌توانید با SDGs هم تراز شوید)، TolaData مدیریت داده زمان حقیقی، ترکیب ویژگی‌های مجموعه داده توکار و همچنین قابلیت وارد کردن داده‌ها برای مدیریت داده‌ها را ارائه می‌دهد. یک ویژگی چارچوب نتایج ابزار تجزیه و تحلیل را تکمیل می‌کند تا کاربران بتوانند چگونگی انجام آن‌ها در رسیدن به اهداف تاثیر خود را ردیابی کنند.

TolaData توانایی جمع‌آوری نتایج از منابع خارجی را دارد؛ آن بر یکپارچه‌سازی با چند ابزار داده‌های آفلاین شناخته‌شده تمرکز دارد.

چارچوب نظارت و ارزیابی

تمامی موارد بالا، پایگاه نرم‌افزاری M & E براساس چارچوب نتایج بیان شده‌اند. در اواسط دهه ۱۹۹۰، آژانس توسعه بین‌المللی ایالات‌متحده یک رویکرد جدید برای نظارت بر برنامه‌ها در سرتاسر آژانس‌های توسعه بین‌المللی، به عنوان طرح‌های نظارت عملکرد (PMP) را آغاز کرد.

چارچوب نتایج شامل:

• اهداف استراتژیک
• همه نتایج میانی

محدودیت‌های چارچوب نتایج

محدودیت‌های کلید:

• پیوندهای علت و معلولی: چارچوب روش‌هایی را شرح می‌دهد که مداخلات برنامه به نتایج از طریق پیوندهای علت و معلولی کمک می‌کنند. این چارچوب نمی‌تواند قابلیت ردیابی قوی نفوذ و اسناد را داشته باشد
• تعیین کمیت مداخلات بسیاری که نیازمند تغییرات سیاسی هستند، آسان نیست.
• چارچوب ترس غیر ضروری برای عدم رسیدن به نتیجه خاص vh که منجر به محدود کردن یا انتخاب خروجی‌های محدود می‌شود به حداقل می‌رساند.

محدودیت‌های نرم افزار M&E Legacy

بسیاری از نرم افزارهای M&E محدودیت‌هایی هم دارند.

• چارچوب صلب اجازه تعریف زمینه تاثیر اجتماعی مناسب مورد نیاز برای هر طرح منحصر به فرد را نمی‌دهد
• زمان اجرای طولانی و خسته‌کننده. اغلب اجرای نرم‌افزار می‌تواند مدت زیادی طول بکشد تا اجرا شود.
• هزینه بسیار بالا است.
• زمانی که اجرای زمان لازم است، الزامات ممکن است تغییر کند. این باعث ایجاد یک ریسک کنترل تغییر بزرگ می‌شود.
• اکنون مدیریت پروژه می‌تواند به راحتی توسط بسیاری از محصولات مبتنی بر saas آنلاین در جناح هزینه انجام شود.

نظارت و ارزیابی برای سازمان‌های غیر دولتی

بسیاری از سازمان‌های غیر دولتی بین‌المللی از سازمان‌های بین‌المللی سنتی توسعه متفاوت هستند. برخلاف آژانس‌های توسعه، INGO معمولا دارای دفتر مرکزی در کشورهای غربی مثل آمریکا، کانادا یا اروپا است. آن‌ها اغلب به سازمان‌های برنامه در کشورهای مختلف عمل می‌کنند. این دفاتر شهرستانی اغلب به عنوان واحدهای غیر متمرکز عمل می‌کنند که اغلب انواع مختلفی از فرایندها را دارند. چالش اصلی این رویکرد معمولاً به قابلیت دید بسیار سریع‌تر داده نیاز دارد.

• مالی
• اهدا کننده
• عملیاتی
• تاثیر اجتماعی

نرم‌افزار سنتی M & E هیچ گونه پشتیبانی مشابه انبار داده برای ادارات سطح کشور فراهم نمی‌کند. این دفاتر اغلب داده‌ها را به شکل کاغذ، جمع‌آوری داده‌های تلفن همراه آفلاین و یا سیستم‌های فناوری اطلاعات محلی جمع‌آوری می‌کنند. با این حال، همسو کردن الزامات داده بین ادارات مختلف به چالش تبدیل می‌شود. موسسات مالی توسعه سایز بزرگ و میانی اغلب با محدودیت‌های ذاتی طراحی مبتنی بر چارچوب نتایج مواجه هستند. به نظر می‌رسد که این رویکرد فرآیند تاثیر گذاری زمان تجمع داده را بر هم می‌زند.

ابزار و روش‌های ارزیابی پروژه برای جمع آوری داده‌ها

هر فرایند M&E باید پایه و اساس داده‌های کمی قوی داشته باشد. چنین داده‌هایی به مجموعه مقایسه مقدماتی، ارتباط برنامه سنج، تعیین کارایی (یا ناکارآمدی و غیره) کمک می‌کند. معمولاً به دست آوردن داده‌های کمی در مقایسه با کیفی، هزینه کمتری دارد.

در اینجا چند نمونه از ابزارها، رویکردها و منابع داده کمی آورده شده است:

• ابزار بررسی/ پرسشنامه

استفاده از ابزارهایی مانند کاربردهای سادهSMS  می‌تواند یک رویکرد نسبتا سریع و مقرون‌به‌صرفه برای بدست آوردن داده‌های ذی‌نفع باشد.

• مقالات، رسانه‌ها و غیره

همیشه لازم نیست که کار خود را انجام دهید – منابع ثانویه نظیر مقالات پژوهشی در مجلات، مقالات دانشگاهی، کتاب‌ها و … ممکن است در حال حاضر نقاط داده مربوط به متن یک سازمان را داشته باشند. دقت کنید که داده‌ها جاری باشند و با اهداف تاثیر برنامه همسو باشند.

• مشابه، هم‌کار یا سازمان‌های رقیب

آیا سازمان‌های دیگری هم در مورد مسائل مشابه کار می‌کنند؟ به احتمال زیاد وجود دارد. و این احتمال وجود دارد که آن‌ها برخی گزارش تاثیر گذاری کرده‌اند که می‌تواند شامل داده‌های مرتبط باشد.

• حکومت

وب سایت‌های دولتی شامل آمار و گزارش‌های دیگر هستند که می‌توانند داده‌های زمینه‌ای مهمی را برای موضوع اثر برنامه یا منطقه فراهم کنند. با این حال، تنها به این دلیل که یک منبع دولتی است، به این معنا نیست که آن به طور خودکار داده‌های معتبر است. سازمان باید بر کیفیت چنین منبعی قضاوت کند.

محدودیت‌های سیستم اطلاعات نظارت بر پروژه فعلی

سیستم‌های نظارت و ارزیابی برای مدیریت پروژه‌ها برای مدیریت نتایج طراحی شده اند. با این حال، مدیریت نتایج نباید در سنجش تأثیر اجتماعی اشتباه گرفته شود.

چالش‌های متداول بیشتر سوئیت‌های M&E شامل موارد زیر است:

• گران‌قیمت به دست آوردن و استفاده
• آن‌ها زمان زیادی را برای استقرار در نظر می‌گیرند
• ریسک اجرای بالا (به عنوان مثال به دلیل فقدان مهارت‌های سازمانی)
• تبادل اطلاعات (واردات، صادرات و به اشتراک گذاری داده‌ها در سراسر برنامه‌های مختلف می‌تواند منجر به فساد داده‌ها، کاهش داده‌ها، و / یا کاهش در قابلیت اطمینان داده شود).

برنامه آینده بر نرم‌افزار نظارت و ارزیابی

درست کردن نظارت و ارزیابی موفق

اکثر سیستم‌های M& E ۱۰ – ۲۰ سال پیش طراحی شدند. سازمان‌هایی که به استفاده از این سیستم‌های قدیمی ادامه می‌دهند، به دلیل ماهیت دست و پا گیر و عدم سازگاری و قابلیت سازگاری این سیستم‌ها، به مواجهه با چالش‌های فزاینده ادامه خواهند داد.

محدودیت‌های کلید عبارتند از:

• یادگیری تاثیر

این یک چیز برای تجزیه و تحلیل داده‌ها است، دیگری دانستن چگونگی تجزیه و تحلیل آن و استخراج بینش‌های مهم تاثیر از آن داده‌ها است. این بینش می‌تواند مربوط به طراحی برنامه – مرتبط، پیامدها – و غیره باشد که در ابزارهای M &E  تعبیه شده‌اند تا قابلیت ساده کردن این نسل بینش را داشته باشند.

• انبار داده‌ها و جمع آوری داده‌های برنامه

در عصر اطلاعات، ما این توانایی را داریم که اطلاعات بسیار بیشتری به دست آوریم؛ سریع‌تر، بیشتر، و از منابع بیشتر. مدیریت این داده‌ها در میان برنامه‌های مختلف نرم‌افزاری و بین تیم‌ها یکی از بزرگ‌ترین چالش‌هاست که توسط سازمان‌ها در سراسر بخش صورت می‌گیرد.

چیزی که مورد نیاز است، راه‌حل‌های تکنولوژیکی هستند که به افراد حرفه‌ای در خانه کمک می‌کنند و داده‌ها را به طور کامل مدیریت می‌کنند (در دسترس کارگران زمینی، و مدیران و سرمایه گذاران).

• تاثیر اجتماعی بر مدیریت پیامد

مدیریت اثرات تنها در مورد تعیین چیزی نیست که توسط یک برنامه تولید شده‌است، چه چیزی نیست و غیره. این در مورد فراهم کردن ابزار لازم (و تضمین اتخاذ مناسب / اجرایی) است به طوری که استراتژی‌ها را می‌توان ایجاد، پی‌گیری، ردیابی و ارزیابی، بهبود بخشید و گزارش داد. حرکت به سمت برنامه‌های کاربردی مبتنی بر ابر که می‌تواند همه آن چیزها را در یک مکان انجام دهد، به افراد حرفه‌ای اجازه می‌دهد تا همه کارها را در یک مکان مدیریت کنند، هم کارایی و هم در نهایت نتایج را بهبود بخشند.

مثال هایی از نظارت در جهانگردی

نظارت و پایش سیاستگذاری بخش جهانگردی اقدامات فرا قانونی را مشخص می کند. همچنین می تواند نشان دهد که کجا و توسط چه شخصی این اقدامات روی داده است. نشان دادن عدم عملکرد سیاست های اجرا شده قدیمی توسط نظارت و پایش مشخص می گردد. همچنین می توانیم به سیاست های اشتباه این بخش نظارت داشته باشیم. نباید از یاد برد که گاهی فرآیند نظارت و پایش در این بخش می تواند نتیجه های گمراه کننده به همراه داشته باشد. شکست سیاست ها یا موفقیت آن ها می تواند عوامل مختلفی داشته باشد.

زمانی که صحبت از ارزیابی، نظارت و پایش سیاست سخن به میان می آید، می توانیم این پرسش ها را مطرح کنیم.

• ارزیابی چه چیزی باید انجام شود؟
• چه زمانی باید ارزیابی، نظارت و پایش را انجام دهیم؟

سه پرسش مهم پایش سیاست های جهانگردی چیست؟

با توجه به توضیحات بالا برای اینکه بتوانیم ارزیابی، نظارت و پایش دقیقی در سیاست های جهانگردی داشته باشیم، با سه پرسش زیر مواجه خواهیم بود :

• ارزیابی توسط چه کسانی درخواست شده است؟
• دلیل ابراز چنین درخواستی چیست؟
• چطور می توانیم طراحی و توسعه سیاست ها، شیوه اجرا، آثار و نتایج را به دست آورد.

با توجه به این سوالات، ارزیابی، نظارت و پایش باید صورت پذیرد. ارزیابی سیاست های مربوط به جهانگردی، فعالیتی برای به دست آوردن، تجزیه و تحلیل اطلاعات است. از این اطلاعات می توان در راستای طراحی و تدوین سیاست ها استفاده کرد. اجرا و نتایج آن ها از مهم ترین نیازها به شمار می رود.

موارد مهم در خصوص مطالعه پایش سیاست ها

دو تفاوت در ارزیابی، نظارت و پایش وجود دارد که باید مدنظر قرار گیرد. اول تفاوت، تفاوت های میان ارزیابی جامع و ارزیابی سطحی می باشد. در واقع ارزیابی جامع به چهار نکته ای که در قسمت قبل بیان شد اشاره دارد. این در حالی است که هزینه های بالای این ارزیابی باعث می شود اکثرا از ارزیابی سطحی استفاده شود. تفاوت بعدی که وجود دارد، تفاوت میان ارزیابی پایانی و تکوینی (مرحله ای) است.

زمانی که از ارزیابی تکوینی صحبت می شود، منظور ما انجام ارزیابی و بررسی اجزای سیاست به شمار می رود. همچنین ارزیابی، نظارت و پایش پایانی به ما کمک می کند تا بتوانیم در خصوص ادامه دادن یا متوقف کردن سیاست تصمیم بگیریم.

دولت روسیه در سال 1979 ارزیابی، نظارت و پایش در زمینه سیاست های جهانگردی را انجام داد. در نهایت چهار نکته وجود دارد که در این مورد باید بدانیم.

1. نیاز روزافزون در بخش اطلاعات مربوط به سیاست گذاری ها وجود دارد. روند پیشرفت ها و مسائل مربوطه، طرح ها و سیاست ها باید مورد ارزیابی، نظارت و پایش باشند.
2. دستاوردهای هر سیاست گذاری باید مشخص شود.
3. کارایی های مربوط به سیاست جهانگردی و هزینه های مربوط به فرصت ها باید مشخص شوند. در نظر داشته باشیم که سیاست ها باید به گونه ای باشند که از نظر مالی و اجرایی قادر به انجام آن ها باشند.
4. ارزیابی های مربوط به سیاست گذاری جهانگردی، نظارت و پایش آن ها به ندرت قدرت انجام دارند. رقابت بر سر دریافت کمک از سوی دولت بسیار بالاست. بودجه کمی در این خصوص به ارزیابی سیاست ها تخصیص داده می شود. همچنین افراد پر نفوذ بیشتر تصمیم گیری روزمره انجام می دهند نه طراحی استراتژی.

منبع: impact – sopact