تبلیغات
آمار كاربردی - قابلیت اعتماد و اعتبار پرسشنامه

قابلیت اعتماد و اعتبار پرسشنامه

دوشنبه 11 بهمن 1389 09:34 ب.ظ

نویسنده : امید وثوقی
ارسال شده در: مباحث كاربردى ،

قابلیت اعتماد و اعتبار پرسشنامه با دو عامل اساسى ارزیابى میشود:

...

1-قابلیت اعتماد ابزار اندازه گیرى

قابلیت اعتماد كه واژه هایی مانند پایایی، ثبات و اعتبار  برای آن به كار برده می‌شود و معادل انگلیسی آن Reliability است، یكی از ویژگی های ابزار اندازه گیری (پرسشنامه یا مصاحبه یا سایر آزمون های علوم اجتماعی) است. مفهوم یاد شده با این امر سروكار دارد كه ابزار اندازه گیری در شرایط یكسان تا چه اندازه نتایج یكسانی به دست می دهد. از جمله تعریف هایی كه برای قابلیت اعتماد ارائه شده است می توان به تعریف ارائه شده توسط ایبل و فریسبی (1989) اشاره كرد: «همبستگی میان یك مجموعه از نمرات و مجموعه دیگری از نمرات در یك آزمون معادل كه به صورت مستقل بر یك گروه آزمودنی به دست آمده است.»

با توجه به این امر معمولا دامنه ضریب قابلیت از صفر (عدم ارتباط) تا 1+ (ارتباط كامل) است. ضریب قابلیت اعتماد نشانگر آن است كه تا چه اندازه ابزار اندازه گیری ویژگی های با ثبات آزمودنی و یا ویژگی های متغیر و موقتی وی را می سنجد.

لازم به ذكر است كه قابلیت اعتماد در یك آزمون می‌تواند از موقعیتی به موقعیت دیگر و از گروهی به گروه دیگر متفاوت باشد. برای محاسبه ضریب قابلیت اعتماد ابزار اندازه گیری شیوه های مختلفی به كار برده می‌شود. از آن جمله می‌توان به الف) اجرای دوباره (روش بازآزمایی) ، ب) روش موازی (همتا) ، ج) روش تصنیف (دو نیمه كردن)  ، د) روش كودر- ریچاردسون و سایر اشاره كرد.

1- الف) اجرای دوباره آزمون یا روش بازآزمایی

این روش عبارت است از ارائه یك آزمون بیش از یك بار در یك گروه آزمودنی تحت شرایط یكسان. برای محاسبه ضریب قابلیت اعتماد با این روش، ابتدا ابزار اندازه گیری بر روی یك گروه آزمودنی اجرا شده و سپس در فاصله زمانی كوتاهی دوباره در همان شرایط، آزمون بر روی همان گروه اجرا می‌شود. نمرات بدست آمده از دو آزمون مورد نظر قرار گرفته و ضریب همبستگی آنها محاسبه می‌شود. این ضریب نمایانگر قابلیت اعتماد (پایایی) ابزار است. روش بازآزمایی برای ارزیابی ثبات مولفه های یك ابزار اندازه گیری به كار می‌رود ولی با این اشكال نیز روبه رو است كه نتایج حاصله از آزمون مجدد می‌تواند تحت تاثیر تمرین (تجربه) و حافظه آزمودنی قرار گرفته و بنابراین منجر به تغییر در قابلیت اعتماد ابزار اندازه گیری گردد.

1- ب) روش موازی یا استفاده از آزمون های همتا

یكی از روشهای متداول ارزیابی قابلیت اعتماد در اندازه گیری های روانی- تربیتی استفاده از آزمون های همتا است كه شباهت زیادی با یكدیگر دارند ولی كاملا یكسان نیستند.

ضریب قابلیت اعتماد بر اساس همبستگی نمرات دو آزمون همتا به دست می‌آید.  خطاهای اندازه گیری و كمبود یا عدم وجود همسانی میان دو فرم همتای آزمون (تفاوت در سوالات یا محتوای آن‌ها) قابلیت اعتماد را كاهش می‌دهد.

ممكن است فرم های همتا به طور همزمان ارائه نگردد. در این صورت قابلیت اعتماد هم شامل ثبات و همسانی می‌شود. اگر فاصله اجرای فرم های همتا زیاد باشد و تغییراتی در ضریب قابلیت اعتماد مشاهده گردد، ممكن است كه این تغییر مربوط به عوامل فردی (آزمودنی ها)، همتا نبودن آزمون ها و یا تركیبی از هر دو باشد.

1- ج) روش تنصیف (دو نیمه كردن)

این روش برای تعیین هماهنگی درونی یك آزمون به كار می‌رود. برای محاسبه ضریب قابلیت اعتماد با این روش، سوال های (اقلام) یك آزمون را به دو نیمه تقسیم نموده و سپس نمره سوال های نیمه اول و نمره سوال های نیمه دوم را محاسبه می‌كنیم. پس از آن همبستگی بین نمرات این دو نیمه را بدست می‌آوریم. ضریب همبستگی به دست آمده برای ارزیابی قابلیت اعتماد كل آزمون مورد استفاده قرار می‌گیرد. برای محاسبه ضریب قابلیت اعتماد كل آزمون از فرمول -اسپیرمن- براون- برای این مورد استفاده می‌شود:

(1+همبستگی بین دو نیمه)    /    2 * همبستگی بین دو نیمه  = ضریب قابلیت اعتماد كل آزمون

برای مثال آزمونی با 80 سوال به 35 دانشجوی سال اول ارائه شده است. آزمون به دو نیمه (40 سوال) تقسیم شده است. همبستگی میان نمرات دو تست r=0.7  می‌باشد. قابلیت اعتماد كل آزمون به قرار زیر است:

 2*0.7 / (1+0.7) = 0.82 = ضریب قابلیت اعتماد كل آزمون

1- د) روش كودر- ریچاردسون

كودر و ریچاردسون دو فرمول را برای محاسبه هماهنگی درونی آزمون ها ارائه نموده اند. فرمول اول برآوردی از میانگین ضرایب قابلیت اعتماد برای تمام طرق ممكن تنصیف (دو نیمه كردن) را به دست می‌دهد. این ضریب برابر است با:

كه در آن :

n تعداد سوال ها  -  p نسبت پاسخ های صحیح  -  q  نسبت پاسخ های غلط  -  واریانس نمرات كل

فرمول دوم: برای استفاده از فرمول دوم باید سطح دشواری سوال های آزمون یكسان باشد:

كه در آن :

n تعداد سوال ها  -  واریانس نمره های كل   -  میانگین نمرات

برای محاسبه ضریب قابلیت اعتماد با این روش، نیازی به داشتن نسبت پاسخ های صحیح و غلط نیست، بلكه در دست داشتن واریانس نمره های كل و میانگین نمرات كفایت می‌كند.

برای مثال، آزمونی دارای 40 سوال است. این آزمون به گروهی از دانش آموزان داده شده است. میانگین نمره های آزمون 25 و واریانس كل 26 محاسبه شده است. سطح دشواری سوال ها نیز یكسان است. ضریب قابلیت اعتماد این آزمون را محاسبه كنید:

1- ه‍) روش آلفای كرونباخ

یكی دیگر از روشهای محاسبه قابلیت اعتماد استفاده از فرمول كرونباخ است. این روش برای محاسبه هماهنگی درونی ابزار اندازه گیری از جمله پرسشنامه ها یا آزمونهایی كه خصیصه های مختلف را اندازه گیری می كند بكار می رود. در این گونه ابزارها، پاسخ هر سوال می تواند مقادیر عددی مختلف را اختیار كند.

برای محاسبه ضریب آلفای كرونباخ ابتدا باید واریانس نمره های هر زیر مجموعه سوال های پرسشنامه (یا زیر آزمون) و واریانس كل را محاسبه كرد. سپس با استفاده از فرمول زیر مقدار ضریب آلفا را محاسبه كرد.

            

كه در آن:

               تعداد زیر مجموعه سوال های پرسشنامه یا آزمون.

               واریانس زیر آزمون ام.

               واریانس كل آزمون.

برای مثال اگر پرسشنامه دارای سه زیر مجموعه سوال باشد، به طوری كه واریانس هر زیر مجموعه به ترتیب 6 ، 4 و 7  بوده و واریانس كل برابر با 32  باشد، مقدار ضریب آلفای كرونباخ با استفاده از فرمول یاد شده به صورت زیر به دست می‌آید:

مقدار صفر این ضریب نشان دهنده عدم قابلیت اعتماد و 1+ نشان دهنده قابلیت اعتماد كامل است.

در خصوص آزمون آلفای كروبناخ مطالب دیگری نیز در بخش  آزمون كرونباخ آلفا ارائه شده است.

 

1- و) عوامل موثر بر ضریب قابلیت اعتماد

ضریب قابلیت اعتماد یك آزمون تحت تاثیر عوامل مختلفی قرار دارد كه عبارتست از :

1- طول آزمون: علی الاصول آزمون های طولانی تر از قابلیت اعتماد بالاتری در مقایسه با آزمون های كوتاه برخوردارند. برای مثال ضریب قابلیت اعتماد یك آزمون 60  سوالی می‌تواند بیشتر از یك آزمون 40  سوالی باشد.

2- سوال های مشابه از نظر محتوا و با سطح دشواری متوسط، قابلیت اعتماد آزمون را افزایش می‌دهد.

3- ماهیت متغیر اندازه گیری شده نیز ضریب قابلیت اعتماد را تحت تاثیر قرار می‌دهد.

لازم به ذكر است كه ضریب قابلیت اعتماد در تفسیر نتایج مهم بوده و شرط اساسی در انتخاب یك ابزار اندازه گیری است.

2- اعتبار اندازه گیری (روایی) ابزار اندازه گیری

مفهوم اعتبار (روایی) به این سوال پاسخ می‌دهد كه ابزار اندازه گیری تا چه حد خصیصه مورد نظر را می سنجد. بودن آگاهی از اعتبار ابزار اندازه گیری نمی‌توان به دقت داده های حاصل از آن اطمینان داشت. ابزار اندازه گیری ممكن است برای اندازه گیری یك خصیصه ویژه دارای اعتبار باشد، در حالی كه برای سنجش همان خصیصه بر روی جامعه دیگر از هیچ گونه اعتباری برخوردار نباشد.

برای مثال یك آزمون ریاضی ممكن است برای سنجش توانایی ریاضی دانش آموزان پایه پنجم ابتدایی از اعتبار لازم برخوردار باشد اما برای سنجش توانایی ریاضی دانش آموزان پایه سوم راهنمایی فاقد اعبتار باشد. روش های متعددی برای تعیین اعتبار ابزار اندازه گیری وجود دارد كه در این جا به اختصار در مورد هر یك توضیح داده خواهد شد؛

2- الف) اعبتار محتوا

اعتبار محتوا نوعی اعتبار است كه معمولا برای بررسی اجزای تشكیل دهنده یك ابزار اندازه گیری به كار برده می‌شود. به عنوان مثال برای یك آزمون پیشرفت تحصیلی باید اعتبار محتوای آن را مورد نظر قرار داد. اعتبار محتوای یك ابزار اندازه گیری به سوال های تشكیل دهنده آن بستگی دارد. اگر سوال های ابزار معرف وپژگی ها و مهارت های ویژه ای باشد كه محقق قصد اندازه گیری آن‌ها را داشته باشد، آزمون دارای اعتبار محتوا است. برای اطمینان از اعتبار محتوا، باید در موقع ساختن ابزار (مانند طراحی پرسشنامه) چنان عمل كرد كه سوال های تشكیل دهنده ابزار معرف قسمت های محتوای انتخاب شده باشد. بنابراین اعتبار محتوا ویژگی ساختاری ابزار است كه همزمان با تدوین آزمون در آن تنیده می‌شود. اعتبار محتوای یك آزمون معمولا توسط افرادی متخصص در موضوع مورد مطالعه تعیین می‌شود. از این رو اعتبار محتوا به قضاوت داوران بستگی دارد.

2- ب) اعتبار ملاكی

اعتبار ملاكی عبارتست از كارآمدی یك ابزار اندازه گیری در پیش بینی رفتار یك فرد در موقعیت های خاص. برای این منظور عملكرد هر فرد در آزمون با یك ملاك مقایسه می‌شود. به عبارت دیگر اعتبار ملاكی یك ابزار اندازه گیری عبارتست از همبستگی بین نمرات آزمون و نمره ملاك. اعتبار ملاكی بر دو نوع است:

1- اعتبار پیش بین    ،    2- اعتبار همزمان

1-اعتبار پیش بین: در اندازه گیری های روانی- تربیتی، اعتبار پیش بین عبارتست از بررسی رابطه نمره های آزمونی كه برخی ویژگی ها را می سنجد و آن چه ادعای پیش بینی آن را دارد. اعتبار پیش بین می‌تواند به وسیله رابطه عملكرد در یك آزمون با آزمون ملاك رفتاری به دست آید. به عبارت دیگر ضریب همبستگی نمره های حاصل از اجرای آزمون با نمره های متغیر ملاك، نمایانگر اعتبار پیش بین است. برای مثال در یك تحقیق، 882 مرد و زن به یك آزمون رغبت شغلی پاسخ گفته اند. آزمونی ها 12 ساله بودند و در 19 سالگی مجدد مورد بررسی قرار گرفتند. 51 درصد به شغلی كه در آزمون انتخاب كرده بودند اشتغال داشتند. این داده ها اعبتار پیش بین این ابزار را نشان می‌دهد.

2- اعتبار همزمان: اعتبار همزمان در مواردی به كار می‌رود كه داده های حاصله از دو اندازه گیری در یك زمان در دسترس باشد. در این گونه موارد عملكرد در یك آزمون به عملكرد در آزمون دیگر مرتبط می‌گردد. این فرایند اعتبار همزمان نامیده می‌شود. اعتبار همزمان در مواردی محاسبه می‌شود كه هدف جانشین كردن یك ابزار اندازه گیری به جای ابزار دیگری باشد. این امر بیشتر به علت ملاحظات مربوط به سهولت اجرای آزمون یا جانشین كردن یك آزمون كوتاهتر به جای یك آزمون طویل تر است. در این مورد نیز ضریب همبستگی بین نمره های حاصل از اجرای آزمون با نمره های بدست آمده از اجرای آزمون دیگر یا اندازه های حاصل از اندازه گیری دیگری كه همزمان به عمل آمده است به عنوان میزان اعتبار اندازه گیری به كار می‌رود.

2-ج) اعتبار سازه

اعتبار سازه  یك ابزار اندازه گیری نمایانگر آن است كه ابزار اندازه گیری تا چه اندازه یك سازه یا خصیصه ای را كه مبنای  نظری دارد می سنجد. در بررسی اعتبار سازه باید به تدوین فرضیه هایی درباره مفاهیم اندازه گیری شده، آزمودن این فرضیه ها و محاسبه همبستگی نتایج با اندازه گیری اولیه پرداخت. اگر ضریب همبستگی حاصله بالا باشد اعتبار سازه افزایش می‌یابد ولی اگر همبستگی معنی دار نباشد علت را می‌توان به عوامل زیر نسبت داد:

1- جمع آوری داده ها با اشكال همراه بوده است.

2- پیش بینی و فرضیه ها غلط بوده است.

3- ابزار، خصیصه مورد نظر را اندازه گیری نمی‌كند.

اگر چه فرایند برقراری اعتبار سازه امر بی انتهایی است ولی محقق یا سازنده آزمون می‌تواند اعتبار سازه یك آزمون را در موقعیت های خاص نشان دهد.

از جمله شیوه هایی كه برای تعیین اعتبار سازه به كار می‌رود موارد زیر است:

1- تفاوت های گروهی: اگر نظریه ای تفاوتی را بین گروهها (یا هیچ تفاوتی را) در نمرات آزمون پیش بینی كند، آزمونی كه این تفاوت را نشان دهد (یا ندهد) دارای اعتبار سازه است. برای مثال پیش بینی می‌شود كه كودكان و بزرگسالان در بلوغ اجتماعی با هم تفاوت دارند. بنابراین اگر آزمونی كه برای اندازه گیری خصیصه بلوغ اجتماعی ساخته شده باشد، تفاوت معنی داری را بین كودكان و بزرگسالان نشان دهد دارای اعتبار سازه است.

2- تغییرات: چنانچه  نظریه ای پیش بینی كند كه خصیصه مورد اندازه گیری تحت تاثیر زمان یا مداخله آزمایشی قرار می گیرد، اگر نمرات آزمون این تاثیر را نشان دهد داراری اعتبار سازه است.  برای مثال اگر آزمونی مهارت های كلامی را می سنجد باید با افزایش سن آزمودنی ها نمرات افزایش یابد، یا اگر مداخله اجتماعی برای پرورش این مهارت ها صورت گرفته باشد نمرات پیش آزمون و پس آزمون باید تغییرات معنی داری را نشان دهد.

3- اعتبار همگرا و واگرا (تشخیصی): هر گاه یك یا چند خصیصه از طریق دو یا چند روش اندازه گیری شوند همبستگی بین این اندازه گیری ها دو شاخص مهم اعتبار را فراهم می آورد. اگر همبستگی بین نمرات آزمون هایی كه خصیصه واحدی را اندازه گیری می‌كند بالا باشد، آزمون ها دارای اعتبار همگرا می‌باشد. چنانچه همبستگی بین آزمون هایی كه خصیصه های متفاوتی را اندازه گیری می‌كند پایین باشد، آزمون ها دارای اعبتار تشخیصی یا واگرا است.

2-د) اعتبار عاملی

اعتبار عاملی صورتی از اعتبار سازه است كه از طریق تحلیل عاملی به دست می‌آید. یك عامل، یك متغیر فرضی (سازه) است كه نمرات مشاهده شده را در یك یا چند متغیر تحت تاثیر قرار می‌دهد. هر گاه تحلیل عاملی روی یك ماتریس همبستگی صورت گیرد آزمون هایی كه تحت تاثیر عوامل خاصی قرار گرفته دارای بار عاملی بالا در آن عامل است.
راهنمایی بیشتر برای سوالات شما:
www.amarnahad.vcp.ir



دیدگاه ها : نظرات
برچسب ها: پرسشنامه ، پایایی پرسشنامه ، روایی ، اعتبار پرسشنامه ،
آخرین ویرایش: دوشنبه 19 دی 1390 06:46 ب.ظ