مقدمه :

قضاوت در مورد مقاله دانشجویان  تحت تأثیر انواع ویژگی های متن از جمله طول متن است. رابطه بین این گونه جنبه‌های (سطحی) پاسخ‌های نوشتاری و ارزیابی کیفیت متن موضوعی بحث‌برانگیز در حوزه‌های مختلف پژوهش آموزشی بوده است. هم در حوزه اندازه‌گیری آموزشی و هم در زمینه فناوری زبان، طول متن به شدت بر رتبه‌بندی متن توسط ارزیاب‌های انسانی آموزش‌دیده و همچنین الگوریتم‌های رایانه‌ای که برای امتیازدهی خودکار متون استفاده می‌شوند، تأثیر می‌گذارد ( چودورو و برستاین، 2004 ؛ پاورز، 2005 ؛ کوبرین و همکاران .، 2011 ؛ ​​گوو و همکاران، 2013). در زمینه یادگیری و آموزش زبان در کلاس، مطالعات اثرات طول متن را بر قضاوت های تشخیصی معلمان یافته اند (به عنوان مثال، نمرات؛ مارشال، 1967 ؛ اونس، 1995 ؛ بیرکل و بیرکل، 2002 ؛ پولمن-روتر و همکاران، 2016 ) . . در تمام این زمینه‌ها، سؤال اساسی مشابه است: آیا باید طول متن را هنگام قضاوت در مورد نوشته‌های دانشجویان  در نظر گرفت – یا منبعی برای سوگیری قضاوتی است؟ هدف این مقاله بررسی این موضوع است که طول متن تا چه اندازه جنبه مرتبط با سازه از صلاحیت نوشتن است، یا تا چه اندازه به اشتباه قضاوت ها را تحت تاثیر قرار می دهد.

قدرت (2005)روش‌های همبستگی و تجربی را برای تعیین ارتباط طول پاسخ در ارزیابی پاسخ‌های نوشتاری توصیه می‌کند: «اولین برای رد کردن طول پاسخ (و عوامل مختلف دیگر) به‌عنوان دلایل کیفیت پاسخ (به دلیل عدم ارتباط آنها) و دومی برای ایجاد پیوندهای علّی قطعی تر» (ص 7). این مقاله از داده‌های هر دو رویکرد توصیه شده استفاده می‌کند: تحلیل همبستگی یک مجموعه داده در مقیاس بزرگ [MEWS. توسط بنیاد تحقیقات آلمان (Grant Nr. CO 1513/12-1) و بنیاد ملی علوم سوئیس (Grant Nr. 100019L_162675)] بر اساس رتبه‌بندی‌های کیفیت متن خبره از یک سو، و یک مطالعه تجربی با پیش‌خدمت آموزش‌نخورده معلمان از سوی دیگر بنابراین دیدگاه اندازه گیری را با دیدگاه کلاس درس ترکیب می کند. در گذشته، تحقیقات ارزیابی (زبان) در رشته های مختلف انجام شده است که به ندرت یکدیگر را تصدیق می کردند. در حالی که برخی از مسائل ارزیابی فقط برای تست استاندارد در زمینه های بزرگ مرتبط است، برخی دیگر به تحقیق در مورد تدریس و آموزش کلاس درس نیز مربوط می شود. حتی اگر ارزیابی‌های آن‌ها کارکردهای متفاوتی داشته باشند (مثلاً، شکل‌دهنده در مقابل جمع‌بندی یا مخاطرات کم در مقابل بالا)، معلمان باید بتوانند عملکرد دانشجویان  را به‌طور دقیق و همچنین رتبه‌دهندگان حرفه‌ای در متون استاندارد شده ارزیابی کنند. بنابراین، ترکیب این زوایای مختلف رشته ای و نگاه کردن به موضوع طول متن از منظر فرا رشته ای می تواند یک مزیت برای همه رشته های درگیر باشد. در مجموع، هدف این مقاله ارائه تصویری جامع از نقش طول مقاله در نمره‌دهی انسانی و خودکار مقاله است.

پیش زمینه نظری

ارزیابی نوشتاری در مورد شناسایی و ارزیابی ویژگی‌های یک پاسخ کتبی است که کیفیت نوشتار را نشان می‌دهد. به طور کلی، تحقیقات قبلی ارتباط واضح و ثابتی را بین ویژگی‌های زبانی از یک سو و کیفیت و توسعه نوشتار از سوی دیگر نشان داده‌اند. در بررسی ادبیات اخیر، کراسلی (2020) نشان داد که مقالات دارای رتبه بالاتر معمولاً شامل موارد واژگانی پیچیده‌تر، ویژگی‌های نحوی پیچیده‌تر و انسجام بیشتر هستند. نویسندگان در حال توسعه همچنین حرکت هایی را به سمت استفاده از کلمات پیچیده تر و ساختارهای نحوی پیچیده تر نشان می دهند. مطالعات ارائه شده توسط کراسلی (2020)نشانه‌های قوی وجود دارد مبنی بر اینکه ویژگی‌های زبانی در متون می‌توانند بینش‌های مهمی در مورد کیفیت و توسعه نوشتار ارائه دهند. در حالی که ویژگی‌های زبانی معمولاً در ارزیابی کیفیت نوشتار مرتبط با ساختار در نظر گرفته می‌شوند، ویژگی‌های متنی دیگری وجود دارند که ارتباط آنها با ساختار قابل بحث است. اعتبار ارزشیابی شایستگی های دانشجویان  به طور منفی تحت تأثیر عوامل سازه نامربوط است که بر قضاوت ها تأثیر می گذارد ( رضایی و لوورن، 2010).). این امر برای ارزیاب‌های حرفه‌ای در زمینه ارزیابی نوشتاری استاندارد شده در مقیاس بزرگ و همچنین برای قضاوت معلمان در ارزیابی نوشتاری کلاس (چه تکوینی و چه جمعی) صادق است. تخصیص امتیاز به پاسخ های نوشتاری دانشجویان  یک کار چالش برانگیز است زیرا عوامل مختلف ذاتی متن بر دقت قضاوت ارزیابی کنندگان یا معلمان تأثیر می گذارد (به عنوان مثال، دست خط، املا: گراهام و همکاران، 2011 ؛ ​​طول، تنوع واژگانی: ولف و همکاران .، 2016 ). بسته به سازه ای که باید ارزیابی شود، تأثیر این جنبه ها را می توان سوگیری قضاوت در نظر گرفت. یکی از مرتبط ترین و به خوبی تحقیق شده ترین عوامل ذاتی متن مؤثر بر قضاوت انسان، طول متن است. کراسلی (2020)اشاره می کند که بررسی او “طول متن را به عنوان یک ویژگی زبانی در نظر نمی گیرد، در حالی که اذعان می کند که طول متن احتمالا قوی ترین پیش بینی کننده توسعه و کیفیت نوشتار است.” مطالعات متعدد رابطه مثبتی بین طول متن و رتبه‌بندی‌های انسانی از کیفیت متن پیدا کرده‌اند، حتی در هنگام کنترل مهارت زبان ( چنووت و هیز، 2001 ؛ مک‌کاچن و همکاران، 2008 ؛ مک‌نامارا و همکاران، 2015).). با این حال، هنوز مشخص نیست که آیا رابطه بین طول متن و نمرات انسانی رابطه واقعی بین طول متن و کیفیت متن (فرض اکتشافی مناسب) را منعکس می‌کند یا اینکه از یک سوگیری در قضاوت‌های انسانی (فرض سوگیری قضاوت) ناشی می‌شود. اولی نشان می دهد که طول متن یک عامل مرتبط با سازه است و برای ایجاد یک دیدگاه مؤثر در مورد موضوع ارائه شده در اعلان مقاله، به طول معینی نیاز است و این یکی از جنبه هایی است که در امتیازدهی مورد توجه قرار می گیرد ( کوبرین و همکاران، 2007 ؛ کوینلان و همکاران، 2009 ). دومی ادعا می کند که طول متن یا به طور کامل یا تا حدی بی ربط به ساختار مهارت نوشتن است و تأثیر قوی آن بر قضاوت انسان می تواند یک سوگیری در نظر گرفته شود ( پاورز، 2005).). در زمینه ارزیابی نوشتاری در مقیاس بزرگ، وظایف مقاله مبتنی بر فوری اغلب برای اندازه گیری شایستگی نوشتاری دانشجویان  استفاده می شود ( گوو و همکاران، 2013 ). این مقالات معمولاً توسط ارزیاب های حرفه ای آموزش دیده نمره گذاری می شوند. نشان داده شده است که این رتبه‌بندی‌های انسانی به شدت با طول مقاله مرتبط هستند، حتی اگر این معیار در مبحث ارزیابی نشان داده نشود ( چودورو و برستاین، 2004 ؛ کوبرین و همکاران، 2011 ). پاورز (2005) در بررسی مطالعات منتخب که به رابطه بین طول و کیفیت پاسخ های ساخته شده پرداخته است، نشان داد که اکثر مطالعات همبستگی هایی را در محدوده 0.50 = r تا r یافتند .= 0.70. به عنوان مثال، او از مقاله SAT به دلیل تشویق لفظی بودن انتقاد کرد زیرا مقالات طولانی تر امتیاز بیشتری کسب می کنند. کوبرین و همکاران (2007) تعداد کلماتی را برای توضیح 39 درصد از واریانس در نمره مقاله SAT یافت. نویسندگان استدلال می‌کنند که طول مقاله یکی از جنبه‌هایی است که در امتیازدهی مورد توجه قرار می‌گیرد، زیرا برای توسعه یک استدلال به طول معینی نیاز است. به طور مشابه، دین (2013) به نفع در نظر گرفتن روان نوشتن یک عامل مرتبط با سازه استدلال می کند (همچنین به شرمیس، 2014 ؛ مک نامارا و همکاران، 2015 مراجعه کنید). در رتبه بندی تحلیلی کیفیت متن، Hachmeister (2019)می‌توان نشان داد که متون طولانی‌تر معمولاً حاوی دستگاه‌های منسجم بیشتری هستند که تأثیر مثبتی بر رتبه‌بندی کیفیت متن دارد. در زمینه ارزشیابی نوشتاری در دبستان، پولمن-روتر و همکاران. (2016) همبستگی قوی بین طول متن و رتبه بندی های جامع کیفیت متن ( r = 0.62) و همچنین بعد تحلیلی معنایی-عملی ( r = 0.62) یافت. با این حال، آنها هیچ رابطه معناداری بین طول متن و مکانیک زبان پیدا نکردند (یعنی صحت دستوری و املایی؛ r = 0.09).

در مورد نوشتن به زبان خارجی، ممکن است طول متن به خصوص مربوط به ساختار در نظر گرفته شود. به دلیل محدودیت های دانش زبانی محدود، نوشتن به زبان خارجی ممکن است به دلیل نیاز به تمرکز بر زبان به جای محتوا با مشکل مواجه شود ( ویگل، 2003 ). سیلوا (1993) ، در بررسی تفاوت‌های بین نوشتن در زبان اول و دوم، دریافت که نوشتن به زبان دوم نسبت به نوشتن به زبان اول “محدودتر، دشوارتر و کمتر موثرتر” است (ص. 668). زبان لزوم تخصیص منابع شناختی به مسائل زبان ممکن است به این معنا باشد که نمی توان به مسائل درجه بالاتری مانند محتوا یا سازمان توجه زیادی کرد (برای جزئیات این بحث، به Weigle، 2003 مراجعه کنید.، پ. 36 f.). در این زمینه، توانایی نوشتن متون طولانی‌تر ممکن است به طور قانونی به عنوان نشان‌دهنده صلاحیت بالاتر در یک زبان خارجی در نظر گرفته شود، و طول متن را به یک عامل مناسب برای ارزیابی تبدیل می‌کند. برای مثال، روگ و سوگیاما (2010) نشان دادند که پیش‌بینی‌کننده‌های اصلی امتیاز محتوا در مقاله‌های زبان خارجی انگلیسی اول، سازمان و دوم، طول مقاله است.

ارتباط این موضوع بیشتر افزایش یافته است زیرا سیستم های نمره دهی خودکار مقاله (AES) به طور گسترده در ارزیابی نوشتاری مورد استفاده قرار گرفته اند. این سیستم‌ها راه امیدوارکننده‌ای را برای تکمیل رتبه‌بندی‌های انسانی در قضاوت کیفیت متن ارائه می‌دهند ( Deane, 2013 ). با این حال، از آنجایی که الگوریتم‌های امتیازدهی خودکار معمولاً بر اساس رتبه‌بندی‌های انسانی مدل‌سازی می‌شوند، تحت تأثیر تعصب قضاوت انسان نیز قرار می‌گیرند. علاوه بر این، انتقاد شده است که در این مرحله، سیستم‌های امتیازدهی خودکار عمدتاً کلمات را هنگام محاسبه نمرات نوشتن حساب می‌کنند ( پرلمن، 2014 ). برای مثال Chodorow و Burstein (2004) نشان دادند که 53 درصد از واریانس در رتبه‌بندی‌های انسانی را می‌توان با مدل‌های امتیازدهی خودکار توضیح داد که فقط از تعداد کلمات و تعداد کلمات به‌عنوان پیش‌بینی‌کننده استفاده می‌کنند.بن سیمون و بنت (2007) شواهدی از ارزیابی ملی پیشرفت تحصیلی (NAEP) ارائه کردند که نشان می‌دهد مدل‌های ارزیابی الکترونیکی استاندارد و آماری ایجاد شده، طول مقاله را حتی قوی‌تر از ارزیابی‌کنندگان انسانی وزن می‌کنند (همچنین به پرلمن، 2014 مراجعه کنید ).

بجار (2011) پیشنهاد می کند که تمایل احتمالی به پاداش دادن به متون طولانی تر را می توان از طریق آموزش ارزیابی کنندگان با پاسخ هایی در هر سطح نمره که طول آن متفاوت است به حداقل رساند. با این حال، Barkaoui (2010) و Attali (2016) هر دو امتیازدهی کل نمرات ارزیاب های با تجربه را در مقابل تازه کار مقایسه کردند و – برخلاف انتظارات – دریافتند که همبستگی بین طول مقاله و نمرات برای گروه با تجربه کمی قوی تر است. بنابراین، این سؤال که آیا تجربه و آموزش حرفه‌ای با تمایل به ارزش‌گذاری بیش از حد طول متن در امتیازدهی مقابله می‌کند یا حتی تقویت می‌کند، همچنان باز است.

در مقایسه با میزان تحقیق در مورد نقش طول مقاله در نمره‌دهی انسانی و خودکار در زمینه‌های پر خطر، توجه کمی به رابطه طول و کیفیت متن در ارزشیابی تکوینی یا جمع‌بندی توسط معلمان شده است. با توجه به ارتباط این موضوع با صلاحیت حرفه ای معلمان، تعجب آور است: برای ارزیابی کیفیت نوشتار دانشجویان  معلمان باید یا جنبه های مختلف کیفیت متن را در یک ارزیابی جامع پیکربندی کنند یا آنها را در یک ارزیابی تحلیلی از هم جدا نگه دارند. بنابراین، آنها باید مفهومی از کیفیت نوشتار مناسب برای کار داشته باشند و باید از معیارهای مربوط به سازه و معیارهای نامربوط آگاه باشند (ر.ک. مدل لنز؛ برانسویک، 1955).). تا آنجا که ما می دانیم، تنها دو مطالعه تأثیر طول متن را بر قضاوت های کل نگر معلمان بررسی کرده اند، که هر دو نشان دادند که متون طولانی تر نمرات بالاتری دریافت می کنند. بیرکل و بیرکل (2002) اثرات اصلی مهمی از طول متن (طولانی، متوسط، کوتاه) و اشتباهات املایی (تعدادی، کم) بر قضاوت های کل نگر معلمان یافتند. Osnes (1995) اثرات کیفیت دست خط و طول متن بر نمرات را گزارش کرد.

در حالی که تحقیقات در مورد تأثیر طول متن بر ارزشیابی نوشتاری در کلاس درس کمیاب است، تحقیقات قابل توجهی بررسی کرده اند که چگونه سایر ویژگی های متن بر ارزیابی معلمان از متون دانشجویان  تأثیر می گذارد. برای مثال، به خوبی نشان داده شده است که معلمان پیش از خدمت و باتجربه، نمرات پایین تری را به مقالات حاوی خطاهای مکانیکی اختصاص می دهند ( اسکنل و مارشال، 1966 ؛ مارشال، 1967 ؛ کامینگ و همکاران، 2002 ؛ رضایی و لوورن، 2010 ). اسکنل و مارشال (1966) دریافتند که قضاوت معلمان قبل از خدمت تحت تأثیر اشتباهات در نقطه گذاری، دستور زبان و املا است، حتی اگر به صراحت به آنها دستور داده شده بود که فقط بر اساس محتوا نمره دهند. اخیراً، رضایی و لوورن (2010)نشان داد که مقالاتی با کیفیت بالا که حاوی خطاهای ساختاری، مکانیکی، املایی و گرامری بیشتری هستند، حتی در معیارهای صرفاً به محتوا، امتیاز کمتری نسبت به متون بدون خطا دارند. معلمان نتوانستند بین خطاهای رسمی و کیفیت مستقل محتوا در یک مقالهدانشجویان  تمایز قائل شوند. به طور مشابه، Vögelin و همکاران. (2018 ، 2019) دریافتند که ویژگی‌های واژگانی و املا نه تنها بر قضاوت‌های کل‌نگر معلم در مورد نوشته‌های دانشجویان  به زبان انگلیسی به عنوان زبان دوم یا خارجی، بلکه بر ارزیابی آن‌ها از سایر معیارهای تحلیلی (مانند دستور زبان) تأثیر می‌گذارد. اگرچه این مطالعات طول متن را به عنوان منبع بالقوه سوگیری در نظر نمی گیرند، اما نشان می دهند که جنبه های نامربوط سازه بر قضاوت معلمان تأثیر می گذارد.

این تحقیق

در برابر این پیشینه تحقیق، بررسی اینکه آیا رابطه بین طول مقاله و کیفیت متن نشان دهنده یک رابطه واقعی یا یک سوگیری از سوی ارزیاب یا معلم است، ضروری است ( Wolfe et al., 2016 ). اول، یافته‌های مطالعات همبستگی می‌تواند نشانه‌ای از تأثیر طول متن بر رتبه‌بندی‌های انسانی بالاتر و فراتر از متغیرهای مهارت زبان به ما بدهد. دوم، فراتر از یافته‌های همبستگی، نیاز به تحقیقات تجربی وجود دارد که پاسخ‌های مقاله‌ای را در مورد یک موضوع که فقط از نظر طول متفاوت هستند، به منظور ایجاد روابط علی مورد بررسی قرار می‌دهد ( کوبرین و همکاران، 2007 ). پژوهش حاضر هر دوی این رویکردها را گرد هم آورده است.

این مقاله شامل دو مطالعه است که به بررسی نقش طول مقاله در ارزیابی زبان خارجی با استفاده از یک دیدگاه بین رشته‌ای شامل زمینه‌های آموزش زبان خارجی، زبان‌شناسی رایانه، تحقیقات آموزشی و روان‌سنجی می‌پردازد. مطالعه 1 یک تجزیه و تحلیل ثانویه از یک مجموعه داده در مقیاس بزرگ با N ارائه می دهد= 2722 دانشجویان  دبیرستانی در آلمان و سوئیس که در پاسخ به درخواست‌های «نوشتن مستقل» از آزمون آنلاین انگلیسی به عنوان یک زبان خارجی (TOEFL iBT) مقاله نوشتند. این سؤال را بررسی می کند که چگونه چندین شاخص مهارت انگلیسیدانشجویان  (نمره انگلیسی، درک مطلب خواندن و شنیدن، خودپنداره) با طول انشا (تعداد کلمات) آنها مرتبط است. همچنین بررسی می‌کند که آیا طول مقاله واریانس در نمرات کیفیت متن (رتبه‌بندی متخصصان) را حتی در هنگام کنترل مهارت زبان انگلیسی و سایر متغیرها (مانند کشور، جنسیت، توانایی شناختی) به حساب می‌آورد یا خیر. رابطه ضعیف مهارت و طول و همچنین نسبت زیادی از واریانس در کیفیت متن که با طول فراتر از مهارت توضیح داده می‌شود، به نفع فرض سوگیری قضاوت است.

مطالعه 2 روی سوگیری احتمالی طول مقاله در یک محیط آزمایشی متمرکز شد، و تأثیر طول مقاله بر رتبه بندی کیفیت متن را زمانی که (در هر طرح) هیچ رابطه ای بین طول مقاله و نمره کیفیت متن وجود نداشت، بررسی کرد. مقالات از مطالعه 1 توسط N = 84 معلم پیش از خدمت آموزش ندیده، با استفاده از عنوان TOEFL iBT به عنوان ارزیاب های خبره رتبه بندی شدند. از آنجایی که نمرات کیفیت متن در تمام شرایط طول مقاله ثابت بود، هر اثر قابل توجهی از طول مقاله نشان دهنده یک سوگیری قضاوتی است. هر دو مطالعه با جزئیات بیشتر در بخش های بعدی توضیح داده شده اند.

مطالعه 1

این مطالعه به بررسی سوال فرض سوگیری قضاوت در مقابل فرض اکتشافی مناسب در زمینه‌ای در مقیاس بزرگ با رتبه‌دهندگان حرفه‌ای انسانی می‌پردازد. یک رابطه ضعیف بین طول متن و مهارت زبان نشان دهنده فرض اول است، در حالی که یک رابطه قوی از دومی پشتیبانی می کند. علاوه بر این، اگر تأثیر طول متن بر رتبه‌بندی‌های انسانی فراتر از مهارت زبانی قابل‌توجه و قابل توجه بود، ممکن است به جای یک اکتشافی مناسب، یک سوگیری از سوی ارزیاب را نشان دهد. بنابراین، مطالعه 1 با هدف پاسخ به سؤالات تحقیق زیر است:

(1) طول مقاله چگونه با مهارت زبان مرتبط است؟

(2) آیا در زمانی که مهارت زبان انگلیسی از نظر آماری کنترل می شود، طول متن همچنان به دلیل واریانس کیفیت متن است؟

مواد و روش ها

نمونه و رویه

نمونه شامل N = 2722 دانش آموز دبیرستانی (پایه یازدهم؛ 58.1٪ زن) در آلمان ( n = 894) و سوئیس ( n = 1828) از پروژه تحقیقاتی بین رشته ای و بین المللی اندازه گیری نوشتن انگلیسی در سطح متوسطه (MEWS؛ برای یک نگاه کلی به کلر و همکاران، 2020 ). جامعه هدف دانش آموزانی بودند که در مسیر آکادمیک مدارس گرامر آموزش عمومی (ISCED سطح 3a) در ایالت آلمان فدرال شلسویگ-هولشتاین و همچنین در هفت کانتون سوئیس (آرگاو، بازل اشتاد، بازل لند، لوزرن، سنت گالن، شویز) شرکت کردند. ، زوریخ). در یک طرح با اندازه‌گیری‌های مکرر، دانش‌آموزان در ابتدا مورد ارزیابی قرار گرفتند (T1: اوت/سپتامبر 2016؛ _سن M = 17.34;_سن انحراف معیار = 0.87) و در پایان سال تحصیلی (T2: می/ژوئن 2017؛ _سن M = 18.04؛ _سن انحراف معیار = 0.87). دانش‌آموزان آزمون‌های رایانه‌ای را در مورد مهارت‌های نوشتاری، خواندن و شنیدن و همچنین توانایی شناختی عمومی تکمیل کردند. علاوه بر این، آنها پرسشنامه ای را تکمیل کردند که متغیرهای زمینه و ویژگی های فردی را اندازه گیری می کرد.

معیارهای

نوشتن سریع

همه دانش آموزان به دو دستور مقاله نویسی مستقل و دو دستور یکپارچه نویسی آزمون انگلیسی به عنوان یک زبان خارجی مبتنی بر اینترنت (TOEFL iBT®) پاسخ دادند ^.) که توسط سرویس تست آموزشی (ETS) در پرینستون اداره می شود. دستور کار به شرح زیر بود: «در کار نوشتن زیر سؤالی در مورد یک موضوع بحث برانگیز پیدا خواهید کرد. به سوال در یک انشا به زبان انگلیسی پاسخ دهید. استدلال‌ها و استدلال‌های متقابل را فهرست کنید، آنها را توضیح دهید و در نهایت نظر خود را در مورد موضوع مشخص کنید. متن شما با کیفیت های مختلف مورد قضاوت قرار می گیرد. اینها شامل ارائه ایده های شما، سازماندهی مقاله و کیفیت و دقت زبانی است. برای انجام این کار 30 دقیقه فرصت دارید. سعی کنید تا حد امکان از تمام این زمان استفاده کنید.» این دستور کار با دستور انشا دنبال شد. طبق استاندارد رسمی تافل iBT، حداکثر زمان نوشتن 30 دقیقه ^بودروش ارزیابی این مقالات توسط ارزیاب های انسانی آموزش دیده در مقیاس رتبه بندی 6 امتیازی تافل در ETS نمره گذاری شدند. علاوه بر دو رتبه‌بندی انسانی در هر مقاله، ETS همچنین امتیازهایی را از سیستم نمره‌دهی خودکار مقاله خود ارائه کرد (e-rater® ^؛ Burstein et al., 2013 ). برای توضیحات دقیق تر از روش امتیازدهی و دستورات نوشتن به Rupp و همکاران مراجعه کنید. (2019) و کلر و همکاران. (2020) . برای هدف این مطالعه، ما پاسخ‌های دانش‌آموز به اعلان نوشتاری مستقل تافل iBT «معلمان» را انتخاب کردیم که کیفیت‌های اندازه‌گیری خوبی را نشان داد (به Rupp و همکاران، 2019 مراجعه کنید). در مجموع، جمع آوری داده ها در T1 و T2 N به دست آمد= 2389 پاسخ کتبی معتبر به دستور زیر: “توانایی معلم در برقراری ارتباط خوب با دانش آموزان مهمتر از دانش عالی در مورد موضوعی است که تدریس می شود.”

کیفیت و طول متن

رتبه بندی کیفیت متن از طریق امتیازدهی انسان و ماشین توسط ETS انجام شد. تمام مقالات توسط ارزیاب های انسانی بسیار با تجربه در مورد تافل کل نگر عملیاتی iBT از 0 تا 5 امتیاز گرفتند ( چودورو و برستاین، 2004 ). اگر انشاها به خوبی سازماندهی شده بودند و ایده های فردی به خوبی توسعه یافته بودند، اگر از مثال ها و پشتیبانی خاص برای بیان نظر زبان آموزان در مورد موضوع استفاده می کردند، و اگر از زبان انگلیسی به طور دقیق برای بیان ایده های زبان آموزان استفاده می شد، امتیاز بالایی کسب می کرد. در صورتی که مقالات به زبان دیگری نوشته شده باشند، به طور کلی نامفهوم باشند یا متنی وارد نشده باشند، نمره 0 داده می شود.

هر مقاله توسط دو انسان ارزیاب آموزش دیده رتبه بندی مستقلی دریافت کرد. اگر دو رتبه بندی انحراف 1 را نشان می دادند، از میانگین دو امتیاز استفاده می شد. اگر انحراف 2 یا بیشتر را نشان می دادند، با رتبه سوم (قاضی) مشورت می شد. توافق بین ارزیاب‌ها، همانطور که توسط کاپا وزن‌دار درجه دوم (QWK) اندازه‌گیری شد، برای «معلمان» در هر دو نقطه زمانی رضایت‌بخش بود (QWK = 0.67؛ هیز و هچ، 1999 ؛ برای جزئیات بیشتر به روپ و همکاران، 2019 مراجعه کنید). میانگین نمره کیفیت متن M = 3.35 ( SD = 0.72) بود.

برای اندازه گیری طول مقالات از تعداد کلمات استفاده شد. تعداد کلمات توسط موتور امتیازدهی e-Rater محاسبه شد. میانگین تعداد کلمات M = 311.19 ( SD = 81.91) بود و تعداد کلمات از 41 تا 727 متغیر بود. ما از تعداد کلمات به جای سایر معیارهای طول متن (به عنوان مثال، تعداد حروف) استفاده کردیم، زیرا این معیار است. بیشتر در ادبیات استفاده می شود: 9 مورد از 10 مطالعه در مرور تحقیق توسط پاورز (2005) از تعداد کلمات به عنوان معیار استفاده کردند (همچنین به کوبرین و همکاران، 2007 ، 2011 ؛ ​​کراسلی و مک نامارا، 2009 ؛ بارکائوی، 2010 مراجعه کنید . عطالی، 2016 ؛ ولف و همکاران، 2016 ؛ویند و همکاران، 2017 ). این رویکرد تضمین می کند که می توان تحلیل های ما را با تحقیقات قبلی مقایسه کرد.

متغیرهای مهارت و کنترل زبان انگلیسی

مهارت با ترکیبی از متغیرهای مختلف عملیاتی شد: نمره انگلیسی، خودپنداره نوشتاری انگلیسی، خواندن و درک شنیداری به زبان انگلیسی. مهارت های گوش دادن و خواندن با زیر مجموعه ای از آیتم های ارزیابی ملی آلمان سنجیده شد ( Köller et al., 2010 ). این کارها مستلزم درک دقیق متون طولانی و پیچیده خواندنی و شنیداری از جمله عبارات اصطلاحی و ثبت های زبانی مختلف است. این آزمون ها در مجموع شامل 133 مورد برای خواندن و 118 مورد برای گوش دادن بود که در یک طرح چند ماتریسی اجرا شد. هر دانش آموز با دو بلوک چرخشی 15 دقیقه ای در هر دامنه ارزیابی شد. پارامترهای آیتم با استفاده از مدل‌های پاسخ دو پارامتری چند بعدی طولی در نسخه M پلاس 8 برآورد شد (Muthén و Muthén، 1998-2012 ). توانایی‌های دانش‌آموز با استفاده از 15 مقدار معقول (PVs) برای هر فرد برآورد شد. پایایی PV برای درک مطلب 0.92 (T1) و 0.76 (T2) و برای درک شنیداری 0.85 (T1) و 0.72 (T2) بود. برای توصیف دقیق تر از روش مقیاس بندی، Köller et al. (2019) .

توانایی شناختی عمومی در T1 با استفاده از خرده آزمون‌های استدلال مجازی (N2؛ 25 مورد) و استدلال کلامی (V3؛ 20 مورد) آزمون توانایی شناختی (KFT 4-12 + R؛ هلر و پرلث، 2000 ) ارزیابی شد. برای هر مقیاس 15 PV در یک مدل پاسخ آیتم دو بعدی ترسیم شد. برای هدف این مطالعه، دو PV با 15 امتیاز کلی PV با پایایی 0.86 ترکیب شدند.

خودپنداره نوشتاری انگلیسی با مقیاسی متشکل از پنج آیتم سنجیده شد (به عنوان مثال، «من همیشه در نوشتن به زبان انگلیسی خوب بوده‌ام»؛ اکلس و ویگفیلد، 2002 ؛ تراوین و همکاران، 2012 ؛ α = 0.90). علاوه بر این، کشور (آلمان = 0 / سوئیس = 1)، جنسیت (مرد = 0 / زن = 1) و زمان اندازه گیری (T1 = 0؛ T2 = 1) به عنوان متغیرهای کنترل استفاده شد.

تحلیل های آماری

همه تجزیه و تحلیل ها در M پلاس نسخه 8 ( Muthén و Muthén، 1998-2012 ) بر اساس مجموعه داده های 15PV با استفاده از تخمین حداکثر احتمال قوی برای توضیح ساختار داده سلسله مراتبی (یعنی دانش آموزان در کلاس ها، نوع = پیچیده) انجام شد. حداکثر احتمال اطلاعات کامل برای تخمین مقادیر از دست رفته در متغیرهای پس زمینه استفاده شد. با توجه به استفاده از 15PVs، تمام آنالیزها 15 بار اجرا شد و سپس میانگین گیری شد (به Rubin، 1987 مراجعه کنید ).

برای تعیین یک عامل مهارت پنهان از تحلیل عاملی تاییدی استفاده شد. هر چهار متغیر مهارت بارگذاری های قابل توجهی را در یک مدل اندازه گیری تک عاملی نشان دادند (نمره انگلیسی: 0.67؛ خودپنداره نوشتاری: 0.73؛ درک مطلب: 0.42؛ درک شنیداری: 0.51). از آنجایی که درک خواندن و شنیدن در چارچوب ارزیابی یکسانی اندازه‌گیری شد و بنابراین می‌توان انتظار داشت که واریانس متقابل فراتر از عامل پنهان را به اشتراک بگذارد، باقی‌مانده‌های آن‌ها مجاز به همبستگی شدند. تجزیه و تحلیل به همراه داشت یک مدل قابل قبول برازش: χ ² (1) = 3.65، p = 0.06. CFI = 0.998، RMSEA = 0.031، SRMR = 0.006.

رابطه بین طول متن و سایر متغیرهای مستقل با تحلیل همبستگی بررسی شد. برای بررسی روابط بین طول متن، مهارت و کیفیت متن از تحلیل رگرسیون چندگانه با پیش‌بینی‌کننده‌های پنهان و آشکار استفاده شد.

نتایج

همبستگی ضریب مهارت نهفته و طول متن (تعداد کلمات) نسبتاً مثبت بود: r = 0.36، p <0.01. این نشان می دهد که دانش آموزان ماهرتر تمایل به نوشتن متون طولانی تر دارند. همبستگی معنی‌دار با سایر متغیرها نشان داد که دانش‌آموزان تمایل به نوشتن متون طولانی‌تر در T1 داشتند ( r = -0.08، p <0.01)، دختران متن‌های طولانی‌تری نسبت به پسران نوشتند ( r = 0.11، p <0.01)، و توانایی شناختی بالاتر با طولانی‌تر بودن همراه بود. متون ( r = 0.07، p <0.01). با این حال، همه این همبستگی ها به عنوان یک قاعده کلی بسیار ضعیف بودند. ارتباط طول کشور و متن از نظر آماری معنی دار نبود ( r= 0.06-، p = 0.10).

جدول 1 نتایج رگرسیون خطی چندگانه کیفیت متن را بر روی متغیرهای طول متن، مهارت و کنترل ارائه می دهد. تجزیه و تحلیل نشان داد که مهارت و متغیرهای کمکی به تنهایی 38 درصد از واریانس رتبه‌بندی کیفیت متن را توضیح می‌دهند، با فاکتور مهارت پنهان تا حد زیادی قوی‌ترین پیش‌بینی‌کننده (مدل 1). تأثیر طول متن بر نمره کیفیت متن در هنگام گنجاندن متغیرهای کنترلی به همان اندازه قوی بود، اما مهارت در مدل نداشت (مدل 2). زمانی که هم ضریب مهارت پنهان و هم طول متن وارد مدل رگرسیونی شدند (مدل 3)، ضریب طول متن کاهش یافت اما قابل توجه و قابل توجه باقی ماند و 24 درصد بیشتر از واریانس را توضیح داد (ΔR ^{2 ).}= 0.24 از مدل 1 تا مدل 3). بنابراین، طول متن تأثیری فزاینده بر کیفیت متن فراتر از یک عامل مهارت نهفته زبان انگلیسی داشت.

بحث

مطالعه 1 با عملیاتی کردن ساختار مهارت زبان انگلیسی و بررسی چگونگی تأثیر آن بر رابطه طول متن و کیفیت متن به موضوع طول متن نزدیک شد. این می‌تواند به ما ایده بدهد که چگونه طول متن ممکن است بر قضاوت‌های انسان تأثیر بگذارد، حتی اگر به ساختار شایستگی نوشتاری مرتبط تلقی نشود. این تجزیه و تحلیل‌های ثانویه از مجموعه داده‌های موجود در مقیاس بزرگ دو یافته اصلی را به دست آورد: اول، طول متن فقط با مهارت زبان ارتباط متوسطی داشت. دوم، طول متن به شدت بر عملکرد نوشتن فراتر از مهارت تأثیر گذاشت. بنابراین، بر نمره تخصیصی تأثیر داشت که توسط سازه مهارت در نظر گرفته نشد.

نقاط قوت این مطالعه، نمونه انبوه مقالات با موضوع یکسان و حجم وسیعی از اطلاعات پیشینه ای بود که در مورد نویسندگان دانشجو (متغیرهای مهارت و کنترل) جمع آوری شد. با این حال، سه محدودیت عمده وجود داشت: اول، ساختار مهارت جنبه های مختلف شایستگی زبان انگلیسی (درک خواندن و شنیدن، نوشتن خودپنداره، نمره) را در بر می گرفت، اما این عملیاتی سازی جامع نبود. بنابراین، واریانس اضافی توضیح داده شده توسط طول متن ممکن است همچنان به دلیل جنبه‌های دیگری باشد که نمی‌توان آن‌ها را در تحلیل‌ها گنجاند زیرا در داده‌ها نبود. تحقیقات بیشتر با طراحی مشابه (تحلیل اولیه یا ثانویه) باید از متغیرهای اضافی مانند دانش دستور زبان/واژگان یا عملکرد نوشتاری در زبان اول استفاده کند.

محدودیت دوم، طراحی همبستگی بود، که اجازه بررسی علّی تأثیر طول متن بر درجه‌بندی کیفیت متن را نمی‌دهد. استنتاج استنتاج‌هایی که ماهیت علی دارند به یک محیط آزمایشی نیاز دارد که در آن، برای مثال، کیفیت متن برای متون با طول‌های مختلف ثابت نگه داشته شود. به همین دلیل، مطالعه 2 دقیقاً در چنین طرح تحقیقی انجام شد.

آخرین اما نه کم اهمیت، مسئله انتقال پذیری این یافته ها همچنان باز است. فراتر از ارزیابی استاندارد شده در مقیاس بزرگ، تحقیقات میان رشته ای ما را ملزم می کند که از دیدگاه های مختلف به موضوع نگاه کنیم. یافته‌های مربوط به ارزیاب‌های حرفه‌ای ممکن است قابل انتقال به معلمان نباشند، معلمانی که باید نوشته‌های دانش‌آموزان را در زمینه کلاس درس ارزیابی کنند. بنابراین، مطالعه 2 نمونه‌ای از معلمان انگلیسی پیش از خدمت را مورد بررسی قرار داد و نگاهی دقیق‌تر به این داشت که چگونه رتبه‌بندی آنها تحت تأثیر طول متن قرار گرفته است.

مطالعه 2

سوالات تحقیق

در مطالعه 2، ما فرض سوگیری قضاوت را در مقابل فرض اکتشافی مناسب معلمان پیش خدمت بررسی کردیم. همانطور که پاورز (2005) توصیه کرد، ما یک مطالعه تجربی را علاوه بر طرح همبستگی مورد استفاده در مطالعه 1 انجام دادیم. از آنجایی که نمرات کیفیت متن در تمام شرایط طول مقاله ثابت بود، هر اثر قابل توجهی از طول مقاله به نفع قضاوت خواهد بود. فرض سوگیری هدف این پژوهش پاسخگویی به سوالات تحقیق زیر بود:

(1) رتبه بندی معلمان پیش از خدمت چگونه با رتبه بندی کارشناسان مطابقت دارد؟

(2) آیا زمانی که (در هر طرح) هیچ رابطه ای بین طول متن و کیفیت متن (اثر اصلی) وجود ندارد، طول متن بر رتبه بندی کیفیت متن معلمان انگلیسی پیش خدمت تأثیر دارد؟

(3) آیا تأثیر برای سطوح مختلف عملکرد نوشتاری (اثر تعامل) متفاوت است؟

مواد و روش ها

شرکت کنندگان و رویه

این آزمایش با N = 84 معلم پیش از خدمت ( _سن M = 23 سال؛ 80٪ زن) انجام شد که در حال حاضر در یک برنامه تربیت معلم آموزش عالی در دانشگاهی در شمال آلمان ثبت نام کرده بودند. آنها هیچ تجربه رتبه بندی قبلی از این نوع متون یادگیرنده نداشتند. این آزمایش با ابزار پرسشنامه دانشجویی ( Jansen et al., 2019 )، یک ابزار آنلاین برای ارزیابی متون دانش‌آموزان در یک محیط آزمایشی اجرا شد. از شرکت کنندگان خواسته شد تا به مقالات پروژه MEWS (به مطالعه 1 مراجعه کنید) در مورد کل نگر مورد استفاده توسط ارزیاب های انسانی در ETS (0-5؛ https://www.ets.org/s/toefl/pdf/toefl_writing_rubrics.pdf ) امتیاز دهند.). هر شرکت کننده باید 9 مقاله از 45 مقاله را به ترتیب تصادفی ارزیابی می کرد که همه ترکیبات ممکن از کیفیت متن و طول متن را نشان می داد. قبل از شروع فرآیند رتبه‌بندی، به شرکت‌کنندگان اطلاعاتی در مورد مقاله نویسی در زمینه مطالعه MEWS (نوع مدرسه، سال تحصیلی، میانگین سنی دانش‌آموزان، متن آموزشی) داده شد و به عنوان مبنایی برای قضاوت‌هایشان، روبریک نوشتن تافل به آنها ارائه شد. آنها 15 دقیقه فرصت داشتند تا یک نمای کلی از تمام 9 متن داشته باشند، قبل از اینکه از آنها خواسته شود به هر متن در این عنوان امتیاز دهند. در طول فرآیند رتبه بندی، آنها اجازه داشتند قسمت هایی از متون را برجسته کنند.

عملیاتی‌سازی کیفیت متن و طول متن به‌عنوان متغیرهای طبقه‌بندی و همچنین روش انتخاب یک نمونه مقاله مناسب برای مطالعه در ادامه توضیح داده شده است.

طول متن و کیفیت متن

مقالات مورد استفاده در آزمایش بر اساس روش زیر انتخاب شدند که هم کیفیت متن و هم طول متن را به عنوان متغیرهای مستقل در نظر گرفت. اولین متغیر مستقل مقاله (کیفیت کلی متن) از طریق نمرات اختصاص داده شده توسط دو ارزیاب انسانی آموزش دیده از ETS در مقیاس شش نقطه ای کل نگر (0-5؛ مطالعه 1 و ضمیمه A را ببینید) عملیاتی شد. برای اندازه‌گیری متغیر تا حد امکان دقیق، ما فقط مقالاتی را وارد کردیم که هر دو رتبه‌دهنده انسانی امتیاز یکسانی را به آنها اختصاص داده بودند، که در نتیجه نمونه‌ای از N به دست آمد.= 1333 مقاله. در نتیجه، سه درجه بندی کیفیت متن در مطالعه حاضر در نظر گرفته شد: کیفیت پایین (نمره 2)، کیفیت متوسط ​​(نمره 3) و کیفیت بالاتر (نمره 4). مجموعه شامل تنها چند متن (10.4%) با امتیازهای شدید 0، 1 و 5 بود. بنابراین اینها از مجموعه مقالات حذف شدند. بنابراین ما یک طرح فاکتوریل 3 × 3 درون موضوعی را متوجه شدیم. طول متن متغیر مستقل دوم از طریق تعداد کلمات مقالات، محاسبه شده توسط موتور امتیازدهی e-rater (c) اندازه گیری شد. همانند کیفیت متن، این متغیر به سه سطح تقسیم می‌شود: متون نسبتاً کوتاه (s)، متون با طول متوسط ​​(m) و متون طولانی (l). تمام متون موجود با توجه به توزیع تعداد کلمات آنها مورد تجزیه و تحلیل قرار گرفت. نقاط پرت شدید حذف شدند. باقی مانده N= 1308 مقاله به سه گروه زوج تقسیم شدند: پایین (=261 کلمه)، وسط (262-318 کلمه) و یک سوم بالا (=319 کلمه). جدول 2 توزیع مقالات را برای ترکیب های حاصل از طول متن و نمره متن نشان می دهد.

گزیده مقالات

برای هر گروه طول متن (s، m و l)، میانگین تعداد کلمات در هر سه گروه نمره محاسبه شد. سپس گروه نمره (2، 3 یا 4) با کمترین تعداد مقاله در یک گروه طول متن به عنوان مرجع در نظر گرفته شد (مثلاً n = 22 متن کوتاه با کیفیت بالا یا n = 15 متن طولانی با کیفیت پایین). در هر گروه طول متن، پنج مقاله که – از نظر تعداد کلمات – نزدیک‌ترین به میانگین مرجع بودند، برای مطالعه انتخاب شدند. این امر با اکثراً بدون انحراف یا فقط با انحرافات جزئی امکان پذیر بود. در صورت تطابق چندگانه، مقاله به صورت تصادفی انتخاب شد. این روش انتخاب منجر به یک نمونه کلی از 45 مقاله، با پنج مقاله برای هر ترکیبی از گروه نمره (2، 3، 4) و گروه طول (s، m، l) شد.

نتایج

یک ANOVA با اندازه‌گیری‌های مکرر با دو متغیر مستقل (کیفیت متن و طول متن) برای آزمایش دو اثر اصلی و تعامل آنها بر رتبه‌بندی شرکت‌کنندگان انجام شد ( جدول 3 را ببینید ). رتبه‌بندی‌های مقاله به‌عنوان یک عامل درون موضوعی در نظر گرفته می‌شوند که وابستگی‌های رتبه‌بندی‌های تودرتو در درون ارزیاب‌ها را محاسبه می‌کند. تأثیر اصلی نمرات کیفیت متن بر رتبه‌بندی شرکت‌کنندگان، تفاوت معنی‌داری را بین سه شرط کیفیت متن ( کم ، متوسط ، زیاد ) نشان داد که با رتبه‌بندی کارشناسان مطابقت داشت. F (2، 82) = 209.04، p <0.001، d = 4.52. همچنین تأثیر اصلی قابل توجهی برای سه شرط طول مقاله ( کوتاه ،متوسط ، بلند )؛ F (2، 82) = 9.14، p <0.001، d = 0.94. بر خلاف انتظارات، طول مقاله رابطه منفی با رتبه‌بندی شرکت‌کنندگان داشت، به این معنی که متون کوتاه‌تر امتیاز بیشتری نسبت به متون طولانی‌تر دریافت کردند. اثر متقابل کیفیت متن و طول متن نیز تأثیر قابل توجهی داشت. F (4، 80) = 3.93، p <0.01، d = 0.89. آزمایش‌های پس‌آزمون نشان داد که متن‌های با کیفیت پایین به‌ویژه تحت تأثیر طول مقاله به‌صورت منفی هستند ( شکل 1 را ببینید ).

بحث

آزمایشی که در مطالعه 2 انجام شد، یک اثر اصلی مهم بسیار قوی برای کیفیت متن پیدا کرد، که نشان‌دهنده مطابقت بالای رتبه‌بندی‌های معلمان قبل از خدمت با رتبه‌بندی‌های متخصص کیفیت متن است. تأثیر اصلی طول متن نیز معنی‌دار بود، اما با اثر متقابل معنی‌دار کیفیت متن x طول متن واجد شرایط بود، که نشان می‌دهد متون با کیفیت پایین هرچه طولانی‌تر باشند، حتی منفی‌تر ارزیابی می‌شوند. این تأثیر منفی طول متن برخلاف انتظار بود: معلمان پیش از خدمت عموماً تمایل داشتند که نمرات بالاتری را به متون کوتاه‌تر اختصاص دهند. بنابراین، به نظر می‌رسید که آن‌ها به متون کوتاه‌تر به متون طولانی‌تر اهمیت می‌دهند. با این حال، این عمدتا برای متون با کیفیت پایین صادق بود.

این یافته‌ها در برابر پیش‌زمینه تحقیقاتی که نشان می‌دهد متون طولانی‌تر معمولاً با نمرات بالاتری از کیفیت متن همراه هستند، به ویژه در زمینه نوشتن زبان دوم، شگفت‌انگیز بود. بنابراین، بحث در مورد محدودیت‌های طراحی قبل از تفسیر نتایج حتا مهم‌تر است: اول، نمونه شامل معلمان نسبتاً بی‌تجربه قبل از خدمت بود. تحقیقات بیشتری برای نشان دادن اینکه آیا این یافته‌ها به معلمان ضمن خدمت با تجربه معقول در قضاوت در مورد نوشته‌های دانش‌آموزان قابل انتقال هستند یا خیر، مورد نیاز است. علاوه بر این، مطالعات بیشتر می‌تواند از روبریک‌های ارزشیابی استفاده کند که معلمان با آن آشنایی بیشتری دارند، مانند CEFR ( شورای اروپا، 2001 ؛ همچنین رجوع کنید به Fleckenstein و همکاران، 2020).). دوم، فرآیند انتخاب مقالات ممکن است اعتبار اکولوژیکی آزمایش را کاهش داده باشد. از آنجایی که فقط چند متن طولانی با کیفیت پایین و چند متن کوتاه با کیفیت بالا در نمونه واقعی وجود داشت ( جدول 2 را ببینیدانتخاب متون در طرح آزمایشی – تا حدی – مصنوعی بود. این همچنین می‌توانست بر چارچوب مرجع برای معلمان پیش از خدمت تأثیر بگذارد، زیرا توزیع 9 متن با آنچه به طور طبیعی در کلاس درس زبان انگلیسی می‌توان یافت متفاوت بود. ثالثاً، مهم ترین محدودیت این مطالعه، مسئله هنجار مرجع است، نکته ای که به طور کلی در مورد مطالعات ارزیابی نوشتاری صدق می کند. در مطالعه ما، کیفیت نوشتار با استفاده از رتبه‌بندی‌های خبره عملیاتی شد، که نشان داده شده است در بسیاری از تحقیقات و همچنین در مطالعه 1 تحت تأثیر طول متن قرار دارد. اگر رتبه‌بندی‌های متخصص خودشان مغرضانه باشند، یافته‌های این مطالعه ممکن است به عنوان تفسیر شود. معلمان پیش از خدمت (برخلاف رتبه‌دهندگان خبره) اصلاً سوگیری طول متن را نشان نمی‌دهند: اگر کیفیت تعیین شده توسط ارزیاب های خبره ثابت بماند، متون کوتاه تر باید امتیاز بیشتری نسبت به متن های طولانی دریافت کنند. ما این موضوعات را در مورد هنجار مرجع با جزئیات بیشتر در بخش بعدی مورد بحث قرار می دهیم.

هر سه محدودیت ممکن است به نحوی بر رتبه‌بندی تأثیر گذاشته باشد که می‌تواند تأثیر منفی طول متن بر رتبه‌بندی کیفیت متن را تقویت کند. با این حال، از آنجایی که تحقیق در مورد تأثیر طول متن بر قضاوت معلمان کمیاب است، باید این احتمال را در نظر بگیریم که این تأثیر در واقع متفاوت از تأثیر (مثبت) است که معمولاً برای ارزیابی‌کنندگان حرفه‌ای انسان یافت می‌شود. دلایل مختلفی برای فرض تفاوت در فرآیندهای رتبه بندی وجود دارد که در بخش زیر با جزئیات بیشتر مورد بحث قرار می گیرند. علاوه بر این، ما به معنای این موضوع از نظر اعتبار استاندارد طلایی در ارزیابی کتبی خواهیم بود.

بحث عمومی

با ترکیب نتایج هر دو مطالعه، دلیلی داریم که فرض کنیم (الف) طول متن باعث تعصب قضاوت می‌شود و (ب) تأثیر طول متن تا حد زیادی به رتبه‌دهنده و/یا زمینه رتبه‌بندی بستگی دارد. به طور خاص، یافته‌های این دو مطالعه را می‌توان به صورت زیر خلاصه کرد: ارزیابی‌کننده‌های انسانی حرفه‌ای تمایل دارند به متن‌های طولانی‌تر فراتر از رابطه طول متن و مهارت پاداش دهند. در مقایسه با این استاندارد، معلمان انگلیسی بی‌تجربه تمایل دارند که طول متن را کم‌ارزش کنند، به این معنی که متن‌های طولانی‌تر را به‌خصوص زمانی که کیفیت متن پایین است، تأیید می‌کنند. این به نوبه خود ممکن است مبتنی بر یک انتظار ضمنی باشد که عمیقاً در ذهن بسیاری از معلمان زبان انگلیسی ریشه دوانده است: اینکه نوشتن به یک زبان خارجی در درجه اول برای اجتناب از اشتباهات است و اینکه متون طولانی‌تر معمولاً تعداد بیشتری از آنها را نسبت به متن‌های کوتاه‌تر دارند ( کلر، 2016).). معلمان پیش از خدمت ممکن است به خصوص از این دیدگاه از نوشتن رنج ببرند، زیرا آنها آن را به عنوان یادگیرنده از نزدیک و شخصی، نه چندان دور، تجربه می کردند. هر دو یافته به فرض سوگیری قضاوت اشاره می کنند، اما با جهت های مخالف. این یافته‌های به ظاهر متناقض منجر به پرسش‌های پژوهشی جالب و جدیدی می‌شود – هم در زمینه ارزیابی استاندارد نوشتاری و هم در زمینه صلاحیت تشخیصی معلمان.

تنها اگر رتبه‌بندی‌های انسانی حرفه‌ای را به‌عنوان نمرات معیار قابل اعتماد در نظر بگیریم، می‌توانیم استنباط کنیم که رتبه‌بندی‌های معلمان مغرضانه است (به روشی منفی). اگر رتبه‌بندی‌های انسانی حرفه‌ای را خود مغرضانه در نظر بگیریم (به روشی مثبت)، ممکن است قضاوت‌های معلمان پیش‌خدمت بی‌طرفانه به نظر برسد. با این حال، غیرقابل قبول است که فرض کنیم قضاوت های معلمان بی تجربه کمتر از داوران متخصص بسیار آموزش دیده است. حتی اگر رتبه‌بندی‌های انسانی حرفه‌ای خودشان ناقص باشند، بهترین معیار ممکن برای کیفیت نوشتن هستند و حتی برای ابزارهای NLP به عنوان مرجع عمل می‌کنند ( کراسلی، 2020).). بنابراین بسیار منطقی‌تر است که تأثیر مثبت طول متن بر رتبه‌بندی‌های انسانی حرفه‌ای – حداقل تا حدی – یک اکتشافی مناسب در نظر گرفته شود. این بدان معناست که قضاوت معلمان معمولاً از اعمال همان اکتشافی در هنگام ارزیابی نوشتار دانش‌آموزان سود می‌برد، تا زمانی که به یک سوگیری تبدیل نشود.

در بررسی ادبیات خود، کراسلی (2020)وقتی صحبت از تعمیم یافته‌ها در زمینه ارزیابی نوشتاری می‌شود، ماهیت تکلیف نوشتن را یکی از محدودیت‌های اصلی می‌داند. پاسخ‌های کتبی به آزمون‌های استاندارد (مانند تافل) ممکن است ویژگی‌های زبانی ایجاد کند که با نمونه‌های نوشتاری تولید شده در کلاس درس یا سایر محیط‌های نوشتاری معتبرتر متفاوت باشد. علاوه بر این، تفاوت‌های زبانی نیز ممکن است بسته به زمان‌بندی یا عدم زمان‌بندی یک نمونه نوشتاری رخ دهد. نمونه‌های زمان‌بندی‌شده فرصت‌های کمتری را برای برنامه‌ریزی، بازنگری و توسعه ایده‌ها در مقایسه با نمونه‌های بدون زمان فراهم می‌کنند، جایی که دانش‌آموزان احتمال بیشتری برای برنامه‌ریزی، تأمل و اصلاح نوشته‌های خود دارند. این تفاوت‌ها ممکن است در نوشتار زمان‌دار به‌گونه‌ای ظاهر شود که هم از نظر لغوی و هم از نظر نحوی از انسجام کمتر و پیچیدگی کمتری برخوردار باشد.

در تحقیق حاضر، چنین تفاوت‌هایی ممکن است دلیل این یافته باشد که معلمان پیش از خدمت، طول متن را در مقایسه با ارزیاب‌های حرفه‌ای کم‌ارزش می‌دانند. حتی اگر شرکت کنندگان در مطالعه 2 در مورد زمینه ای که نمونه های نوشتاری در آن جمع آوری شده بود مطلع شدند، ممکن است چالش های یک کار نوشتن زمان بندی شده را در قالبی ناآشنا دست کم گرفته باشند. در زمینه کلاس‌های درس خود، دانش‌آموزان به ندرت محدودیت‌های زمانی سختی در هنگام کار بر روی وظایف نوشتاری پیچیده دارند. اگر این کار را انجام دهند، برای مثال، در امتحانی که شامل یک مقاله استدلالی است، معمولاً به 90 دقیقه نزدیک‌تر است تا 30 دقیقه (حداقل در مورد معلمان پیش از خدمت آلمانی که در این مطالعه شرکت کردند). بنابراین، طول متن ممکن است شاخص خوبی برای کیفیت نوشتن در کلاس درس نباشد. برعکس،پنگ و همکاران، 2020 ).

علاوه بر این، طول متن به عنوان معیار کیفیت را نمی توان به طور تصادفی بر انواع متن های مختلف تعمیم داد. ژانرهایی که در دوره‌های EFL تدریس می‌شوند یا در آزمون‌های EFL ارزیابی می‌شوند، با توجه به طول مورد انتظار تفاوت قابل‌توجهی دارند. به عنوان مثال، در مقالات پنج پاراگراف، توسعه یک استدلال نیاز به محدوده و توجه خاصی به جزئیات دارد، به طوری که طول متن یک ویژگی بسیار برجسته برای کیفیت کلی متن است. همین امر ممکن است برای ایمیل نویسی صادق نباشد، ژانری که اغلب در کلاس های درس زبان انگلیسی تدریس می شود ( Fleckenstein و همکاران، در مطبوعات). معمولاً انتظار می‌رود که ایمیل‌ها مختصر و دقیق باشند، به طوری که متن‌های طولانی‌تر ممکن است پیچیده یا پرتحرک به نظر برسند. وقتی نوبت به تفسیر یافته‌های ما می‌رسد، چنین خواسته‌های ویژه وظیفه باید در نظر گرفته شوند. ارزیاب‌های حرفه‌ای که در مطالعه ما به کار گرفته شدند، برای رتبه‌بندی مقالات پنج پاراگرافی، که شامل درک دقیق طول متن به‌عنوان معیار برجسته کیفیت متن بود، آموزش دیدند. همین امر را نمی توان در مورد معلمان کلاس درس گفت، که با طیف وسیع تری از ژانرها در تدریس روزمره خود مواجه می شوند و بنابراین ممکن است تمایل کمتری به در نظر گرفتن طول متن به عنوان یک ویژگی مرتبط داشته باشند. تحقیقات بیشتر باید وظایف نوشتاری متفاوتی را در نظر بگیرد تا بررسی شود که آیا طول متن برای ژانر مقاله استدلالی مهم است یا خیر.

نتایج ما بر اهمیت در نظر گرفتن اینکه آیا طول متن باید برای زمینه‌های مختلف ارزیابی نوشتار در نظر گرفته شود یا خیر، تأکید می‌کند. این برای ارزیابی کلاس درس صادق است، جایی که معلمان باید انتظارات خود را در مورد طول متن صریح بیان کنند، و همچنین مطالعات آینده با ارزیاب های حرفه ای. کراسلی (2020)توجه را به دیدگاه فرا رشته ای این رشته به عنوان منبعی برای پیچیدگی ها جلب می کند: «عوارض ناشی از ماهیت بین رشته ای این نوع تحقیقات است که اغلب رشته های نوشتاری، زبان شناسی، آمار و علوم رایانه را ترکیب می کند. با این همه زمینه درگیر، اغلب به راحتی می توان از عوامل مخدوش کننده چشم پوشی کرد» (ص 428). تحقیق حاضر نشان می دهد که چگونه پاسخ به یک سوال پژوهشی یکسان – طول متن چگونه بر قضاوت انسان تأثیر می گذارد؟ – می تواند از دیدگاه های مختلف و در حوزه های مختلف پژوهش آموزشی بسیار متفاوت باشد. بسته به جمعیت (ارایه دهندگان حرفه ای در مقابل معلمان پیش از خدمت) و روش (تحلیل همبستگی در مقابل طراحی تجربی)، یافته های ما طیف وسیعی از تحقیقات و نتایج ممکن را نشان می دهد. بدین ترتیب، این یک مثال مهم از این است که چرا پژوهش میان رشته ای در آموزش نه تنها مطلوب بلکه ضروری است. بدون رویکرد میان رشته ای، دیدگاه ما از اثر طول متن یک بعدی و پراکنده خواهد بود. تنها ترکیب دیدگاه‌ها و روش‌های مختلف می‌تواند خواسته‌های یک موضوع پیچیده مانند ارزیابی نوشتن، شناسایی شکاف‌های پژوهشی و به چالش کشیدن سنت‌های پژوهشی را برآورده کند. تحقیقات بیشتری برای بررسی عوامل تعیین کننده قدرت و جهت سوگیری مورد نیاز است. برای بررسی شباهت ها و تفاوت ها، لازم است به ترتیب فرآیندهای رتبه بندی معلمان (آموزش ندیده) و ارزیاب (تربیت شده) مورد بررسی دقیق تری قرار گیرد. تحقیقات مربوط به اکتشافی/سوگیری های قضاوت می تواند هم برای آموزش معلم و هم برای آموزش ارزیابی کننده مرتبط باشد. با این حال، نگرانی ها و ویژگی های فردی دو گروه باید در نظر گرفته شود. این را می توان برای مثال با مقایسه مستقیم دو گروه در یک مطالعه تجربی انجام داد. هم در آموزش معلمان و هم در مطالعات ارزیابی متن، ما باید در مورد اینکه چگونه اکتشافی مناسب ارزیاب های خبره می توانند به آموزش معلمان مبتدی و ارزیاب های بی تجربه در تلاش برای کاهش سوگیری قضاوت راه پیدا کنند، بحث جدی داشته باشیم.

بیانیه در دسترس بودن داده ها

داده‌های خام پشتیبان نتیجه‌گیری این مقاله توسط نویسندگان، بدون رزرو بی مورد، در اختیار هر محقق واجد شرایط قرار خواهد گرفت.

بیانیه اخلاق

مطالعات شامل شرکت کنندگان انسانی توسط وزارت آموزش، علوم و امور فرهنگی ایالت آلمان فدرال شلسویگ-هولشتاین بررسی و تایید شد. رضایت کتبی آگاهانه برای شرکت در این مطالعه توسط قیم قانونی/بستگان بعدی شرکت کنندگان ارائه شد.

مشارکت های نویسنده

JF داده ها را تجزیه و تحلیل کرد و دستنوشته را نوشت. TJ و JM داده های تجربی را برای مطالعه 2 جمع آوری کردند و از تجزیه و تحلیل داده ها پشتیبانی کردند. SK و OK مجموعه داده را برای مطالعه 1 ارائه کردند. TJ، JM، SK، و OK بازخوردی را در مورد نسخه ارائه کردند. همه نویسندگان به مقاله کمک کردند و نسخه ارسال شده را تایید کردند.

تضاد منافع

نویسندگان اعلام می کنند که این تحقیق در غیاب هر گونه روابط تجاری یا مالی که می تواند به عنوان تضاد منافع بالقوه تعبیر شود، انجام شده است.

منابع