ثبات^[۶۲]

قابلیت اعتماد^[۶۳]

قابلیت اطمینان^[۶۴]

بی طرفی^[۶۵]

قابلیت تأیید^[۶۶]

عینیت^[۶۷]

این طرح تفسیری به تشریح برخی از عناصر اصلی که نیاز است تا در ارزیابی کیفیت یک تحقیق کیفی لحاظ شوند، می پردازد.
ترجیحاً لازم است تا برای انتخاب ابزارهای مناسب جهت ارزیابی نقادانه از ابزارهایی استفاده شود که دربرگیرندۀ یک مفهوم چند بعدی از کیفیت در پژوهش باشند.

۳-۹-۴-۲- تکنیک های ارزیابی در تناسب با معیارهای اصلی
تکنیک های ارزیابی متنوعی در تناسب با معیارهای اصلی ارزیابی کیفی وجود دارد که نویسندگان می توانند از آنها در گزارش اصلی خود استفاده کنند. این تکنیک ها موجب تسهیل ارزیابی توسط مرورگر شده و برای طیف گسترده ای از روش های مختلف در تحقیق کیفی قابل اجرا می باشند. این حال، لازم به ذکر است که برخی از این تکنیک ها تنها قائل به یک مجموعه مشخصی از طرح های تحقیق کیفی می باشند.

• معیار اعتبار: با بهره گرفتن از تکنیک های تحلیل مجزای داده توسط بیش از یک محقق، مشاهده پیوسته و بکارگیری حسابرسین خارجی ، یافته ها به درستی بیان گردیده اند؟

• معیار انتقال: با بهره گرفتن از تکنیک های ارزیابی می کند که آیا داده های ارائه شده متناسب با دیدگاه مطالعات وارد شده می باشد یا خیر؟ و اینکه آیا تست ارزش داده در هر یک از گروه های هدف و گردآوری اطلاعات پیش زمینه ای و جزئیات در مورد هر دو طرف گیرنده و فرستنده، ارزیابی می کند که آیا یافته های پژوهش قابل انتقال به وضعیت و موقعیت های خاص دیگری نیز می باشد؟

• معیار قابلیت اعتماد: با بهره گرفتن از تکنیک های گزارشگیری و بررسی دقیق و اجماعِ داده ها در زمینه استفاده از رویکردهای روش شناختی مختلف در خصوص موضوع تحقیق، ارزیابی می کند که آیا فرایند پژوهش به ویژه در مورد روش های انتخاب شده و تصمیمات ساخته شده توسط محققین، منطقی، قابل ردیابی و به طور واضح مستند می باشد؟

• معیار قابلیت تأیید: با بهره گرفتن از تکنیک های بررسی اثر محقق در هر یک از گام های تحقیق، انعطاف پذیری، گردآوری اطلاعات در مورد خود شخص محقق، ارزیابی می کند که تا چه حد یافته های کیفی توسط تجزیه و تحلیل انجام گرفته بر روی داده ها و از طریق بررسی دنباله ممیزی مورد تأیید هستند؟

معیارهای ذکر شده، مفهومی از اینکه چه استاندارد روش شناختی اساسی لازم است تا تحقیق کیفی به آن دست یابد، ایجاد می کند.
۳-۹-۴-۳- گام های ارزیابی تحقیق کیفی
هر یک از ابزارهای معرفی شده در سه گام مختلف به بررسی معیارها و ارزیابی تحقیق کیفی می پردازند: پالایش^[۶۸]، ارزیابی تکنیکی^[۶۹] و ارزیابی نظری^[۷۰].
گام اول به معیارهای ورودی هر نوع مطالعه مربوط می شود و نیازمند تخصص خاصی نیز نخواهد بود. تخصص مورد نیاز برای دو مرحله بعدی از درک اولیه معیارهای کیفی برای ایجاد قابلیت ارزیابی نقادانه مطالعات تا درک پیشرفته تر دانش نظری در رویکردهای های خاص مورد استفاده، متفاوت می شود.
ابزار چک لیست با هدف بررسی میزان توافق بین مرورگران و با رویکردهای اغلب تکنیکی و معیار محور به عنوان ابزاری با مزایای قابل توجه و فراتر از مزایای قضاوت شهودی متخصصین برای ارزیابی کیفیت تحقیق کیفی شناخته شده اند.
۳-۹-۴-۳-۱- گام اول: پالایش
با در نظر گرفتن ارزیابی نقادانه به عنوان یک تمرین فنی و پارادایمی، محدود کردن نوع مطالعات کیفی وارد شده به یک بررسی سیستماتیک ارزشمند خواهد بود. پیشنهاد می شود محدود کردن مطالعات کیفی بر اساس استراتژی نمونه گیری، روش های گردآوری داده و نحوه تجزیه تحلیل داده ها باشد. روش های انتخاب شده باید موجب تسهیل روند سیتماتیک ارزیابی نقادانه شود. در این مرحله مقالات توصیفی، سرمقاله و مقالات اظهار نظری عموماً کنار گذاشته می شوند.
۳-۹-۴-۳-۲- گام دوم: ارزیابی تکنیکی
ابزار ارزیابی نقادانه باید به عنوان یک ابزار فنی برای کمک به ارزیابی مطالعات کیفی در نظر گرفته شود که در جستجوی معیارهایی در روش ها یا مباحث با هدف افزایش سطح درستی روش تحقیق می باشد. اینچنین ارزیابی تکنیکی مشخص می کند که تا چه حد مرورگران به شایستگی محقق در پیش برد تحقیق بر اساس قواعد ایجاد شده اعتماد دارند (Morse, 2002). این معیارها شامل تناسب طرح تحقیق با هدف تحقیق، دقت در جمع آوری داده ها و تحلیل ها، استراتژی نمونه گیری دقیق و روشن، بیان روشن یافته ها، نمایش دقیق شرکت کنندگان، رئوس اصلی اثرات بالقوه محققان، پس زمینه، مفروضات، توجیه نتیجه تحقیق و اینکه آیا این نتیجه از جریان داده، ارزش و انتقال پروژه تحقیقاتی، مستخرج شده یا خیر و … .
این نوع ارزیابی مستلزم درک کلی و درستی از معیارهای کیفی و پیشینه تجربی و کیفی محقق می باشد.
۳-۹-۴-۳-۳- گام سوم: ارزیابی نظری
پس از ارزیابی کامل معیارهای فنی، یک رویکرد پارادایمی جهت قضاوت و با تمرکز بر پارادایم تحقیقی استفاده شده در ارتباط با یافته های تحقیقاتی ارائه شده پیشنهاد می شود. اگر چه برخی از ابزار های ارزیابی نقادانه، معیارهای مربوط به چارچوب های نظری و یا پارادایم ی را ادغام می کنند اما بسیاری از آنها عملگرا هستند. این ارزیابی موجب شناسایی کیفیت تصمیمات اتخاذ شده، منطق پشت آنها و عکس العمل یا حساسیت محقق نسبت به داده ها خواهد شد. بنابراین معیارهای دیگر نیز باید لحاظ شوند مانند ارزیابی انسجام روش یا تجانس بین پارادایم های هدایت کننده پروژه تحقیقاتی و روش های انتخاب شده، موقعیت نظری و موضع تحقیقی فعال، ، پاسخگویی محقق، باز بودن و تأیید، که اشاره به بررسی سیستماتیک و تایید تناسب بین داده های جمع آوری شده و چارچوب مفهومی از تجزیه و تحلیل و تفاسیر دارد (Morse et al, 2002). برای این نوع ارزیابی و قضاوت، درک عمیقی از رویکردهای پژوهش کیفی مورد نیاز است. از اینرو پیشنهاد می شود که یک محقق با تجربه بالا در تحقیقات کیفی جهت هدایت فرایند ارزیابی نقادانه همراه حضور داشته باشد. لازم به ذکر است که رویکرد پارادایمی ممکن است با نوع ترکیب انتخاب شده همبستگی داشته باشد.
روش کوکران مرحله ۳ را در هنگامی که ابزار انتخاب شده برای مرحله ۲ پوشش دهنده رویکرد پارادایمی برای قضاوت نباشد توصیه می کند.
۳-۹-۴-۴- انتخاب ابزار مناسب برای ارزیابی کیفی
طیف وسیعی از ابزارها و چارچوب های مختلف برای استفاده در ارزیابی کیفی تحقیقات کیفی موجود می باشد. برخی از آنها عمومی و قابل اجرا برای تمامی طرح های تحقیق کیفی بوده، درحالیکه برخی دیگر به طور خاص برای استفاده در روشی خاص توسعه یافته اند. این ابزارها همچنین با توجه به معیارهایی که به عنوان راهنمای روند ارزیابی نقادانه درنظر گرفته می شوند متفاوت می شوند. به عنوان مثال برخی از این ابزارها بر جنبه پارادایمی تحقیق کیفی متمرکز هستند در حالیکه برخی دیگر بر کیفیت گزارش دهی بیشتر از پایه نظری تأکید دارند. تقریباً می توان گفت تمامی ابزار به بررسی” اعتبار محتوا” می پردازند. مرورگران نیازمند تصمیم گیری در مورد انتخاب مناسبترین ابزار در تناسب با محتوای مروری هستند.
از جمله ابزار مناسب به منظور ارزیابی نقادانه، ایجاد چک لیست های ارزیابی توسط برنامه های نرم افزاری یا توسط دانشگاهیان به منظور ترکیب خاص شواهد می باشد.
۳-۹-۴-۵- ادغام نتایج ارزیابی نقادانه در یک مرور سیستماتیک
مکاکن(۲۰۰۶) راهنمایی هایی را برای ارزیابی کیفیت مطالعات توسعه داده است که در آن، مطالعات را در سه سطح پایین، متوسط، بالا رده بندی کرده و بدین ترتیب مطالعات سطح پایین از نظر کیفی را حذف می‌کرد. بر این اساس در این پژوهش نیز به منظور دخیل کردن نتایج ارزیابی در مرور سیستماتیک از چک لیستی که شامل معیارهای مختلف برای ارزیابی کیفیت بالا، پایین و متوسط هر یک از مطالعات اولیه می باشد، استفاده می شود. هدف از امتیاز دهی به هر مطالعه، خروج مطالعات با کیفیت پایین از فرایند ترکیب می باشد.
در این تکنیک ارزیابی تنها مطالعات با کیفیت بالا وارد فرایند ترکیب خواهند شد. خطر بالقوه در این روش، خروج نظرات ارزشمند از فرایند ترکیب می باشد. در این مرحله مطالعاتی که به آنها برچسب کیفیت پایین با توجه معیار مورد بررسی تعلق می گیرد از فرایند ترکیب خارج می شوند.

• روش اجرایی گام چهارم در این پژوهش

معیارهای در نظر گرفته شده در چک لیست ارزیابی کیفی این پژوهش بطوریکه شامل معیارهای لازم در گام های پالایش، ارزیابی تکنیکی و پارادایمی باشند، عبارتند از: