آموزش مقاله نویسی در روانشناسی

آموزش مقاله نویسی در روانشناسی :آیا یک مقاله طولانی همیشه یک مقاله خوب است؟ تأثیر طول متن مقاله بر ارزشیابی نوشتاری

 

ارزیابی کیفیت متن یک موضوع فرارشته‌ای مربوط به حوزه‌های تحقیقاتی ارزیابی آموزشی، فناوری زبان و آموزش کلاسی است. مشخص شده است که طول متن به شدت بر قضاوت انسان در مورد کیفیت متن تأثیر می گذارد. این سوال که آیا طول متن یک جنبه مرتبط با سازه از صلاحیت نوشتن است یا منبعی برای سوگیری قضاوت، بحث‌برانگیزی مورد بحث قرار گرفته است. این مقاله از دو رویکرد همبستگی و تجربی برای بررسی این سوال استفاده کرده است. تجزیه و تحلیل‌های ثانویه بر روی یک مجموعه داده در مقیاس بزرگ با رتبه‌دهندگان بسیار آموزش‌دیده انجام شد، که تأثیر طول متن فراتر از مهارت زبان را نشان داد. علاوه بر این، یک مطالعه تجربی نشان داد که معلمان پیش از خدمت، در مقایسه با رتبه‌بندی‌های حرفه‌ای، به طول متن کمتر ارزش می‌دهند.

مقدمه :

قضاوت در مورد مقاله دانشجویان  تحت تأثیر انواع ویژگی های متن از جمله طول متن است. رابطه بین این گونه جنبه‌های (سطحی) پاسخ‌های نوشتاری و ارزیابی کیفیت متن موضوعی بحث‌برانگیز در حوزه‌های مختلف پژوهش آموزشی بوده است. هم در حوزه اندازه‌گیری آموزشی و هم در زمینه فناوری زبان، طول متن به شدت بر رتبه‌بندی متن توسط ارزیاب‌های انسانی آموزش‌دیده و همچنین الگوریتم‌های رایانه‌ای که برای امتیازدهی خودکار متون استفاده می‌شوند، تأثیر می‌گذارد ( چودورو و برستاین، 2004 ؛ پاورز، 2005 ؛ کوبرین و همکاران .، 2011 ؛ ​​گوو و همکاران، 2013). در زمینه یادگیری و آموزش زبان در کلاس، مطالعات اثرات طول متن را بر قضاوت های تشخیصی معلمان یافته اند (به عنوان مثال، نمرات؛ مارشال، 1967 ؛ اونس، 1995 ؛ بیرکل و بیرکل، 2002 ؛ پولمن-روتر و همکاران، 2016 ) . . در تمام این زمینه‌ها، سؤال اساسی مشابه است: آیا باید طول متن را هنگام قضاوت در مورد نوشته‌های دانشجویان  در نظر گرفت – یا منبعی برای سوگیری قضاوتی است؟ هدف این مقاله بررسی این موضوع است که طول متن تا چه اندازه جنبه مرتبط با سازه از صلاحیت نوشتن است، یا تا چه اندازه به اشتباه قضاوت ها را تحت تاثیر قرار می دهد.

قدرت (2005)روش‌های همبستگی و تجربی را برای تعیین ارتباط طول پاسخ در ارزیابی پاسخ‌های نوشتاری توصیه می‌کند: «اولین برای رد کردن طول پاسخ (و عوامل مختلف دیگر) به‌عنوان دلایل کیفیت پاسخ (به دلیل عدم ارتباط آنها) و دومی برای ایجاد پیوندهای علّی قطعی تر» (ص 7). این مقاله از داده‌های هر دو رویکرد توصیه شده استفاده می‌کند: تحلیل همبستگی یک مجموعه داده در مقیاس بزرگ [MEWS. توسط بنیاد تحقیقات آلمان (Grant Nr. CO 1513/12-1) و بنیاد ملی علوم سوئیس (Grant Nr. 100019L_162675)] بر اساس رتبه‌بندی‌های کیفیت متن خبره از یک سو، و یک مطالعه تجربی با پیش‌خدمت آموزش‌نخورده معلمان از سوی دیگر بنابراین دیدگاه اندازه گیری را با دیدگاه کلاس درس ترکیب می کند. در گذشته، تحقیقات ارزیابی (زبان) در رشته های مختلف انجام شده است که به ندرت یکدیگر را تصدیق می کردند. در حالی که برخی از مسائل ارزیابی فقط برای تست استاندارد در زمینه های بزرگ مرتبط است، برخی دیگر به تحقیق در مورد تدریس و آموزش کلاس درس نیز مربوط می شود. حتی اگر ارزیابی‌های آن‌ها کارکردهای متفاوتی داشته باشند (مثلاً، شکل‌دهنده در مقابل جمع‌بندی یا مخاطرات کم در مقابل بالا)، معلمان باید بتوانند عملکرد دانشجویان  را به‌طور دقیق و همچنین رتبه‌دهندگان حرفه‌ای در متون استاندارد شده ارزیابی کنند. بنابراین، ترکیب این زوایای مختلف رشته ای و نگاه کردن به موضوع طول متن از منظر فرا رشته ای می تواند یک مزیت برای همه رشته های درگیر باشد. در مجموع، هدف این مقاله ارائه تصویری جامع از نقش طول مقاله در نمره‌دهی انسانی و خودکار مقاله است.

پیش زمینه نظری

ارزیابی نوشتاری در مورد شناسایی و ارزیابی ویژگی‌های یک پاسخ کتبی است که کیفیت نوشتار را نشان می‌دهد. به طور کلی، تحقیقات قبلی ارتباط واضح و ثابتی را بین ویژگی‌های زبانی از یک سو و کیفیت و توسعه نوشتار از سوی دیگر نشان داده‌اند. در بررسی ادبیات اخیر، کراسلی (2020) نشان داد که مقالات دارای رتبه بالاتر معمولاً شامل موارد واژگانی پیچیده‌تر، ویژگی‌های نحوی پیچیده‌تر و انسجام بیشتر هستند. نویسندگان در حال توسعه همچنین حرکت هایی را به سمت استفاده از کلمات پیچیده تر و ساختارهای نحوی پیچیده تر نشان می دهند. مطالعات ارائه شده توسط کراسلی (2020)نشانه‌های قوی وجود دارد مبنی بر اینکه ویژگی‌های زبانی در متون می‌توانند بینش‌های مهمی در مورد کیفیت و توسعه نوشتار ارائه دهند. در حالی که ویژگی‌های زبانی معمولاً در ارزیابی کیفیت نوشتار مرتبط با ساختار در نظر گرفته می‌شوند، ویژگی‌های متنی دیگری وجود دارند که ارتباط آنها با ساختار قابل بحث است. اعتبار ارزشیابی شایستگی های دانشجویان  به طور منفی تحت تأثیر عوامل سازه نامربوط است که بر قضاوت ها تأثیر می گذارد ( رضایی و لوورن، 2010).). این امر برای ارزیاب‌های حرفه‌ای در زمینه ارزیابی نوشتاری استاندارد شده در مقیاس بزرگ و همچنین برای قضاوت معلمان در ارزیابی نوشتاری کلاس (چه تکوینی و چه جمعی) صادق است. تخصیص امتیاز به پاسخ های نوشتاری دانشجویان  یک کار چالش برانگیز است زیرا عوامل مختلف ذاتی متن بر دقت قضاوت ارزیابی کنندگان یا معلمان تأثیر می گذارد (به عنوان مثال، دست خط، املا: گراهام و همکاران، 2011 ؛ ​​طول، تنوع واژگانی: ولف و همکاران .، 2016 ). بسته به سازه ای که باید ارزیابی شود، تأثیر این جنبه ها را می توان سوگیری قضاوت در نظر گرفت. یکی از مرتبط ترین و به خوبی تحقیق شده ترین عوامل ذاتی متن مؤثر بر قضاوت انسان، طول متن است. کراسلی (2020)اشاره می کند که بررسی او “طول متن را به عنوان یک ویژگی زبانی در نظر نمی گیرد، در حالی که اذعان می کند که طول متن احتمالا قوی ترین پیش بینی کننده توسعه و کیفیت نوشتار است.” مطالعات متعدد رابطه مثبتی بین طول متن و رتبه‌بندی‌های انسانی از کیفیت متن پیدا کرده‌اند، حتی در هنگام کنترل مهارت زبان ( چنووت و هیز، 2001 ؛ مک‌کاچن و همکاران، 2008 ؛ مک‌نامارا و همکاران، 2015).). با این حال، هنوز مشخص نیست که آیا رابطه بین طول متن و نمرات انسانی رابطه واقعی بین طول متن و کیفیت متن (فرض اکتشافی مناسب) را منعکس می‌کند یا اینکه از یک سوگیری در قضاوت‌های انسانی (فرض سوگیری قضاوت) ناشی می‌شود. اولی نشان می دهد که طول متن یک عامل مرتبط با سازه است و برای ایجاد یک دیدگاه مؤثر در مورد موضوع ارائه شده در اعلان مقاله، به طول معینی نیاز است و این یکی از جنبه هایی است که در امتیازدهی مورد توجه قرار می گیرد ( کوبرین و همکاران، 2007 ؛ کوینلان و همکاران، 2009 ). دومی ادعا می کند که طول متن یا به طور کامل یا تا حدی بی ربط به ساختار مهارت نوشتن است و تأثیر قوی آن بر قضاوت انسان می تواند یک سوگیری در نظر گرفته شود ( پاورز، 2005).). در زمینه ارزیابی نوشتاری در مقیاس بزرگ، وظایف مقاله مبتنی بر فوری اغلب برای اندازه گیری شایستگی نوشتاری دانشجویان  استفاده می شود ( گوو و همکاران، 2013 ). این مقالات معمولاً توسط ارزیاب های حرفه ای آموزش دیده نمره گذاری می شوند. نشان داده شده است که این رتبه‌بندی‌های انسانی به شدت با طول مقاله مرتبط هستند، حتی اگر این معیار در مبحث ارزیابی نشان داده نشود ( چودورو و برستاین، 2004 ؛ کوبرین و همکاران، 2011 ). پاورز (2005) در بررسی مطالعات منتخب که به رابطه بین طول و کیفیت پاسخ های ساخته شده پرداخته است، نشان داد که اکثر مطالعات همبستگی هایی را در محدوده 0.50 = r تا یافتند .= 0.70. به عنوان مثال، او از مقاله SAT به دلیل تشویق لفظی بودن انتقاد کرد زیرا مقالات طولانی تر امتیاز بیشتری کسب می کنند. کوبرین و همکاران (2007) تعداد کلماتی را برای توضیح 39 درصد از واریانس در نمره مقاله SAT یافت. نویسندگان استدلال می‌کنند که طول مقاله یکی از جنبه‌هایی است که در امتیازدهی مورد توجه قرار می‌گیرد، زیرا برای توسعه یک استدلال به طول معینی نیاز است. به طور مشابه، دین (2013) به نفع در نظر گرفتن روان نوشتن یک عامل مرتبط با سازه استدلال می کند (همچنین به شرمیس، 2014 ؛ مک نامارا و همکاران، 2015 مراجعه کنید). در رتبه بندی تحلیلی کیفیت متن، Hachmeister (2019)می‌توان نشان داد که متون طولانی‌تر معمولاً حاوی دستگاه‌های منسجم بیشتری هستند که تأثیر مثبتی بر رتبه‌بندی کیفیت متن دارد. در زمینه ارزشیابی نوشتاری در دبستان، پولمن-روتر و همکاران. (2016) همبستگی قوی بین طول متن و رتبه بندی های جامع کیفیت متن ( r = 0.62) و همچنین بعد تحلیلی معنایی-عملی ( r = 0.62) یافت. با این حال، آنها هیچ رابطه معناداری بین طول متن و مکانیک زبان پیدا نکردند (یعنی صحت دستوری و املایی؛ r = 0.09).

در مورد نوشتن به زبان خارجی، ممکن است طول متن به خصوص مربوط به ساختار در نظر گرفته شود. به دلیل محدودیت های دانش زبانی محدود، نوشتن به زبان خارجی ممکن است به دلیل نیاز به تمرکز بر زبان به جای محتوا با مشکل مواجه شود ( ویگل، 2003 ). سیلوا (1993) ، در بررسی تفاوت‌های بین نوشتن در زبان اول و دوم، دریافت که نوشتن به زبان دوم نسبت به نوشتن به زبان اول “محدودتر، دشوارتر و کمتر موثرتر” است (ص. 668). زبان لزوم تخصیص منابع شناختی به مسائل زبان ممکن است به این معنا باشد که نمی توان به مسائل درجه بالاتری مانند محتوا یا سازمان توجه زیادی کرد (برای جزئیات این بحث، به Weigle، 2003 مراجعه کنید.، پ. 36 f.). در این زمینه، توانایی نوشتن متون طولانی‌تر ممکن است به طور قانونی به عنوان نشان‌دهنده صلاحیت بالاتر در یک زبان خارجی در نظر گرفته شود، و طول متن را به یک عامل مناسب برای ارزیابی تبدیل می‌کند. برای مثال، روگ و سوگیاما (2010) نشان دادند که پیش‌بینی‌کننده‌های اصلی امتیاز محتوا در مقاله‌های زبان خارجی انگلیسی اول، سازمان و دوم، طول مقاله است.

ارتباط این موضوع بیشتر افزایش یافته است زیرا سیستم های نمره دهی خودکار مقاله (AES) به طور گسترده در ارزیابی نوشتاری مورد استفاده قرار گرفته اند. این سیستم‌ها راه امیدوارکننده‌ای را برای تکمیل رتبه‌بندی‌های انسانی در قضاوت کیفیت متن ارائه می‌دهند ( Deane, 2013 ). با این حال، از آنجایی که الگوریتم‌های امتیازدهی خودکار معمولاً بر اساس رتبه‌بندی‌های انسانی مدل‌سازی می‌شوند، تحت تأثیر تعصب قضاوت انسان نیز قرار می‌گیرند. علاوه بر این، انتقاد شده است که در این مرحله، سیستم‌های امتیازدهی خودکار عمدتاً کلمات را هنگام محاسبه نمرات نوشتن حساب می‌کنند ( پرلمن، 2014 ). برای مثال Chodorow و Burstein (2004) نشان دادند که 53 درصد از واریانس در رتبه‌بندی‌های انسانی را می‌توان با مدل‌های امتیازدهی خودکار توضیح داد که فقط از تعداد کلمات و تعداد کلمات به‌عنوان پیش‌بینی‌کننده استفاده می‌کنند.بن سیمون و بنت (2007) شواهدی از ارزیابی ملی پیشرفت تحصیلی (NAEP) ارائه کردند که نشان می‌دهد مدل‌های ارزیابی الکترونیکی استاندارد و آماری ایجاد شده، طول مقاله را حتی قوی‌تر از ارزیابی‌کنندگان انسانی وزن می‌کنند (همچنین به پرلمن، 2014 مراجعه کنید ).

بجار (2011) پیشنهاد می کند که تمایل احتمالی به پاداش دادن به متون طولانی تر را می توان از طریق آموزش ارزیابی کنندگان با پاسخ هایی در هر سطح نمره که طول آن متفاوت است به حداقل رساند. با این حال، Barkaoui (2010) و Attali (2016) هر دو امتیازدهی کل نمرات ارزیاب های با تجربه را در مقابل تازه کار مقایسه کردند و – برخلاف انتظارات – دریافتند که همبستگی بین طول مقاله و نمرات برای گروه با تجربه کمی قوی تر است. بنابراین، این سؤال که آیا تجربه و آموزش حرفه‌ای با تمایل به ارزش‌گذاری بیش از حد طول متن در امتیازدهی مقابله می‌کند یا حتی تقویت می‌کند، همچنان باز است.

در مقایسه با میزان تحقیق در مورد نقش طول مقاله در نمره‌دهی انسانی و خودکار در زمینه‌های پر خطر، توجه کمی به رابطه طول و کیفیت متن در ارزشیابی تکوینی یا جمع‌بندی توسط معلمان شده است. با توجه به ارتباط این موضوع با صلاحیت حرفه ای معلمان، تعجب آور است: برای ارزیابی کیفیت نوشتار دانشجویان  معلمان باید یا جنبه های مختلف کیفیت متن را در یک ارزیابی جامع پیکربندی کنند یا آنها را در یک ارزیابی تحلیلی از هم جدا نگه دارند. بنابراین، آنها باید مفهومی از کیفیت نوشتار مناسب برای کار داشته باشند و باید از معیارهای مربوط به سازه و معیارهای نامربوط آگاه باشند (ر.ک. مدل لنز؛ برانسویک، 1955).). تا آنجا که ما می دانیم، تنها دو مطالعه تأثیر طول متن را بر قضاوت های کل نگر معلمان بررسی کرده اند، که هر دو نشان دادند که متون طولانی تر نمرات بالاتری دریافت می کنند. بیرکل و بیرکل (2002) اثرات اصلی مهمی از طول متن (طولانی، متوسط، کوتاه) و اشتباهات املایی (تعدادی، کم) بر قضاوت های کل نگر معلمان یافتند. Osnes (1995) اثرات کیفیت دست خط و طول متن بر نمرات را گزارش کرد.

در حالی که تحقیقات در مورد تأثیر طول متن بر ارزشیابی نوشتاری در کلاس درس کمیاب است، تحقیقات قابل توجهی بررسی کرده اند که چگونه سایر ویژگی های متن بر ارزیابی معلمان از متون دانشجویان  تأثیر می گذارد. برای مثال، به خوبی نشان داده شده است که معلمان پیش از خدمت و باتجربه، نمرات پایین تری را به مقالات حاوی خطاهای مکانیکی اختصاص می دهند ( اسکنل و مارشال، 1966 ؛ مارشال، 1967 ؛ کامینگ و همکاران، 2002 ؛ رضایی و لوورن، 2010 ). اسکنل و مارشال (1966) دریافتند که قضاوت معلمان قبل از خدمت تحت تأثیر اشتباهات در نقطه گذاری، دستور زبان و املا است، حتی اگر به صراحت به آنها دستور داده شده بود که فقط بر اساس محتوا نمره دهند. اخیراً، رضایی و لوورن (2010)نشان داد که مقالاتی با کیفیت بالا که حاوی خطاهای ساختاری، مکانیکی، املایی و گرامری بیشتری هستند، حتی در معیارهای صرفاً به محتوا، امتیاز کمتری نسبت به متون بدون خطا دارند. معلمان نتوانستند بین خطاهای رسمی و کیفیت مستقل محتوا در یک مقالهدانشجویان  تمایز قائل شوند. به طور مشابه، Vögelin و همکاران. (2018 ، 2019) دریافتند که ویژگی‌های واژگانی و املا نه تنها بر قضاوت‌های کل‌نگر معلم در مورد نوشته‌های دانشجویان  به زبان انگلیسی به عنوان زبان دوم یا خارجی، بلکه بر ارزیابی آن‌ها از سایر معیارهای تحلیلی (مانند دستور زبان) تأثیر می‌گذارد. اگرچه این مطالعات طول متن را به عنوان منبع بالقوه سوگیری در نظر نمی گیرند، اما نشان می دهند که جنبه های نامربوط سازه بر قضاوت معلمان تأثیر می گذارد.

این تحقیق

در برابر این پیشینه تحقیق، بررسی اینکه آیا رابطه بین طول مقاله و کیفیت متن نشان دهنده یک رابطه واقعی یا یک سوگیری از سوی ارزیاب یا معلم است، ضروری است ( Wolfe et al., 2016 ). اول، یافته‌های مطالعات همبستگی می‌تواند نشانه‌ای از تأثیر طول متن بر رتبه‌بندی‌های انسانی بالاتر و فراتر از متغیرهای مهارت زبان به ما بدهد. دوم، فراتر از یافته‌های همبستگی، نیاز به تحقیقات تجربی وجود دارد که پاسخ‌های مقاله‌ای را در مورد یک موضوع که فقط از نظر طول متفاوت هستند، به منظور ایجاد روابط علی مورد بررسی قرار می‌دهد ( کوبرین و همکاران، 2007 ). پژوهش حاضر هر دوی این رویکردها را گرد هم آورده است.

این مقاله شامل دو مطالعه است که به بررسی نقش طول مقاله در ارزیابی زبان خارجی با استفاده از یک دیدگاه بین رشته‌ای شامل زمینه‌های آموزش زبان خارجی، زبان‌شناسی رایانه، تحقیقات آموزشی و روان‌سنجی می‌پردازد. مطالعه 1 یک تجزیه و تحلیل ثانویه از یک مجموعه داده در مقیاس بزرگ با N ارائه می دهد= 2722 دانشجویان  دبیرستانی در آلمان و سوئیس که در پاسخ به درخواست‌های «نوشتن مستقل» از آزمون آنلاین انگلیسی به عنوان یک زبان خارجی (TOEFL iBT) مقاله نوشتند. این سؤال را بررسی می کند که چگونه چندین شاخص مهارت انگلیسیدانشجویان  (نمره انگلیسی، درک مطلب خواندن و شنیدن، خودپنداره) با طول انشا (تعداد کلمات) آنها مرتبط است. همچنین بررسی می‌کند که آیا طول مقاله واریانس در نمرات کیفیت متن (رتبه‌بندی متخصصان) را حتی در هنگام کنترل مهارت زبان انگلیسی و سایر متغیرها (مانند کشور، جنسیت، توانایی شناختی) به حساب می‌آورد یا خیر. رابطه ضعیف مهارت و طول و همچنین نسبت زیادی از واریانس در کیفیت متن که با طول فراتر از مهارت توضیح داده می‌شود، به نفع فرض سوگیری قضاوت است.

مطالعه 2 روی سوگیری احتمالی طول مقاله در یک محیط آزمایشی متمرکز شد، و تأثیر طول مقاله بر رتبه بندی کیفیت متن را زمانی که (در هر طرح) هیچ رابطه ای بین طول مقاله و نمره کیفیت متن وجود نداشت، بررسی کرد. مقالات از مطالعه 1 توسط N = 84 معلم پیش از خدمت آموزش ندیده، با استفاده از عنوان TOEFL iBT به عنوان ارزیاب های خبره رتبه بندی شدند. از آنجایی که نمرات کیفیت متن در تمام شرایط طول مقاله ثابت بود، هر اثر قابل توجهی از طول مقاله نشان دهنده یک سوگیری قضاوتی است. هر دو مطالعه با جزئیات بیشتر در بخش های بعدی توضیح داده شده اند.

مطالعه 1

این مطالعه به بررسی سوال فرض سوگیری قضاوت در مقابل فرض اکتشافی مناسب در زمینه‌ای در مقیاس بزرگ با رتبه‌دهندگان حرفه‌ای انسانی می‌پردازد. یک رابطه ضعیف بین طول متن و مهارت زبان نشان دهنده فرض اول است، در حالی که یک رابطه قوی از دومی پشتیبانی می کند. علاوه بر این، اگر تأثیر طول متن بر رتبه‌بندی‌های انسانی فراتر از مهارت زبانی قابل‌توجه و قابل توجه بود، ممکن است به جای یک اکتشافی مناسب، یک سوگیری از سوی ارزیاب را نشان دهد. بنابراین، مطالعه 1 با هدف پاسخ به سؤالات تحقیق زیر است:

(1) طول مقاله چگونه با مهارت زبان مرتبط است؟

(2) آیا در زمانی که مهارت زبان انگلیسی از نظر آماری کنترل می شود، طول متن همچنان به دلیل واریانس کیفیت متن است؟

مواد و روش ها

نمونه و رویه

نمونه شامل N = 2722 دانش آموز دبیرستانی (پایه یازدهم؛ 58.1٪ زن) در آلمان ( n = 894) و سوئیس ( n = 1828) از پروژه تحقیقاتی بین رشته ای و بین المللی اندازه گیری نوشتن انگلیسی در سطح متوسطه (MEWS؛ برای یک نگاه کلی به کلر و همکاران، 2020 ). جامعه هدف دانش آموزانی بودند که در مسیر آکادمیک مدارس گرامر آموزش عمومی (ISCED سطح 3a) در ایالت آلمان فدرال شلسویگ-هولشتاین و همچنین در هفت کانتون سوئیس (آرگاو، بازل اشتاد، بازل لند، لوزرن، سنت گالن، شویز) شرکت کردند. ، زوریخ). در یک طرح با اندازه‌گیری‌های مکرر، دانش‌آموزان در ابتدا مورد ارزیابی قرار گرفتند (T1: اوت/سپتامبر 2016؛ سن M = 17.34;سن انحراف معیار = 0.87) و در پایان سال تحصیلی (T2: می/ژوئن 2017؛ سن M = 18.04؛ سن انحراف معیار = 0.87). دانش‌آموزان آزمون‌های رایانه‌ای را در مورد مهارت‌های نوشتاری، خواندن و شنیدن و همچنین توانایی شناختی عمومی تکمیل کردند. علاوه بر این، آنها پرسشنامه ای را تکمیل کردند که متغیرهای زمینه و ویژگی های فردی را اندازه گیری می کرد.

معیارهای

نوشتن سریع

همه دانش آموزان به دو دستور مقاله نویسی مستقل و دو دستور یکپارچه نویسی آزمون انگلیسی به عنوان یک زبان خارجی مبتنی بر اینترنت (TOEFL iBT®) پاسخ دادند .) که توسط سرویس تست آموزشی (ETS) در پرینستون اداره می شود. دستور کار به شرح زیر بود: «در کار نوشتن زیر سؤالی در مورد یک موضوع بحث برانگیز پیدا خواهید کرد. به سوال در یک انشا به زبان انگلیسی پاسخ دهید. استدلال‌ها و استدلال‌های متقابل را فهرست کنید، آنها را توضیح دهید و در نهایت نظر خود را در مورد موضوع مشخص کنید. متن شما با کیفیت های مختلف مورد قضاوت قرار می گیرد. اینها شامل ارائه ایده های شما، سازماندهی مقاله و کیفیت و دقت زبانی است. برای انجام این کار 30 دقیقه فرصت دارید. سعی کنید تا حد امکان از تمام این زمان استفاده کنید.» این دستور کار با دستور انشا دنبال شد. طبق استاندارد رسمی تافل iBT، حداکثر زمان نوشتن 30 دقیقه بودروش ارزیابی این مقالات توسط ارزیاب های انسانی آموزش دیده در مقیاس رتبه بندی 6 امتیازی تافل در ETS نمره گذاری شدند. علاوه بر دو رتبه‌بندی انسانی در هر مقاله، ETS همچنین امتیازهایی را از سیستم نمره‌دهی خودکار مقاله خود ارائه کرد (e-rater® ؛ Burstein et al., 2013 ). برای توضیحات دقیق تر از روش امتیازدهی و دستورات نوشتن به Rupp و همکاران مراجعه کنید. (2019) و کلر و همکاران. (2020) . برای هدف این مطالعه، ما پاسخ‌های دانش‌آموز به اعلان نوشتاری مستقل تافل iBT «معلمان» را انتخاب کردیم که کیفیت‌های اندازه‌گیری خوبی را نشان داد (به Rupp و همکاران، 2019 مراجعه کنید). در مجموع، جمع آوری داده ها در T1 و T2 N به دست آمد= 2389 پاسخ کتبی معتبر به دستور زیر: “توانایی معلم در برقراری ارتباط خوب با دانش آموزان مهمتر از دانش عالی در مورد موضوعی است که تدریس می شود.”

کیفیت و طول متن

رتبه بندی کیفیت متن از طریق امتیازدهی انسان و ماشین توسط ETS انجام شد. تمام مقالات توسط ارزیاب های انسانی بسیار با تجربه در مورد تافل کل نگر عملیاتی iBT از 0 تا 5 امتیاز گرفتند ( چودورو و برستاین، 2004 ). اگر انشاها به خوبی سازماندهی شده بودند و ایده های فردی به خوبی توسعه یافته بودند، اگر از مثال ها و پشتیبانی خاص برای بیان نظر زبان آموزان در مورد موضوع استفاده می کردند، و اگر از زبان انگلیسی به طور دقیق برای بیان ایده های زبان آموزان استفاده می شد، امتیاز بالایی کسب می کرد. در صورتی که مقالات به زبان دیگری نوشته شده باشند، به طور کلی نامفهوم باشند یا متنی وارد نشده باشند، نمره 0 داده می شود.

هر مقاله توسط دو انسان ارزیاب آموزش دیده رتبه بندی مستقلی دریافت کرد. اگر دو رتبه بندی انحراف 1 را نشان می دادند، از میانگین دو امتیاز استفاده می شد. اگر انحراف 2 یا بیشتر را نشان می دادند، با رتبه سوم (قاضی) مشورت می شد. توافق بین ارزیاب‌ها، همانطور که توسط کاپا وزن‌دار درجه دوم (QWK) اندازه‌گیری شد، برای «معلمان» در هر دو نقطه زمانی رضایت‌بخش بود (QWK = 0.67؛ هیز و هچ، 1999 ؛ برای جزئیات بیشتر به روپ و همکاران، 2019 مراجعه کنید). میانگین نمره کیفیت متن M = 3.35 ( SD = 0.72) بود.

برای اندازه گیری طول مقالات از تعداد کلمات استفاده شد. تعداد کلمات توسط موتور امتیازدهی e-Rater محاسبه شد. میانگین تعداد کلمات M = 311.19 ( SD = 81.91) بود و تعداد کلمات از 41 تا 727 متغیر بود. ما از تعداد کلمات به جای سایر معیارهای طول متن (به عنوان مثال، تعداد حروف) استفاده کردیم، زیرا این معیار است. بیشتر در ادبیات استفاده می شود: 9 مورد از 10 مطالعه در مرور تحقیق توسط پاورز (2005) از تعداد کلمات به عنوان معیار استفاده کردند (همچنین به کوبرین و همکاران، 2007 ، 2011 ؛ ​​کراسلی و مک نامارا، 2009 ؛ بارکائوی، 2010 مراجعه کنید . عطالی، 2016 ؛ ولف و همکاران، 2016 ؛ویند و همکاران، 2017 ). این رویکرد تضمین می کند که می توان تحلیل های ما را با تحقیقات قبلی مقایسه کرد.

متغیرهای مهارت و کنترل زبان انگلیسی

مهارت با ترکیبی از متغیرهای مختلف عملیاتی شد: نمره انگلیسی، خودپنداره نوشتاری انگلیسی، خواندن و درک شنیداری به زبان انگلیسی. مهارت های گوش دادن و خواندن با زیر مجموعه ای از آیتم های ارزیابی ملی آلمان سنجیده شد ( Köller et al., 2010 ). این کارها مستلزم درک دقیق متون طولانی و پیچیده خواندنی و شنیداری از جمله عبارات اصطلاحی و ثبت های زبانی مختلف است. این آزمون ها در مجموع شامل 133 مورد برای خواندن و 118 مورد برای گوش دادن بود که در یک طرح چند ماتریسی اجرا شد. هر دانش آموز با دو بلوک چرخشی 15 دقیقه ای در هر دامنه ارزیابی شد. پارامترهای آیتم با استفاده از مدل‌های پاسخ دو پارامتری چند بعدی طولی در نسخه M پلاس 8 برآورد شد (Muthén و Muthén، 1998-2012 ). توانایی‌های دانش‌آموز با استفاده از 15 مقدار معقول (PVs) برای هر فرد برآورد شد. پایایی PV برای درک مطلب 0.92 (T1) و 0.76 (T2) و برای درک شنیداری 0.85 (T1) و 0.72 (T2) بود. برای توصیف دقیق تر از روش مقیاس بندی، Köller et al. (2019) .

توانایی شناختی عمومی در T1 با استفاده از خرده آزمون‌های استدلال مجازی (N2؛ 25 مورد) و استدلال کلامی (V3؛ 20 مورد) آزمون توانایی شناختی (KFT 4-12 + R؛ هلر و پرلث، 2000 ) ارزیابی شد. برای هر مقیاس 15 PV در یک مدل پاسخ آیتم دو بعدی ترسیم شد. برای هدف این مطالعه، دو PV با 15 امتیاز کلی PV با پایایی 0.86 ترکیب شدند.

خودپنداره نوشتاری انگلیسی با مقیاسی متشکل از پنج آیتم سنجیده شد (به عنوان مثال، «من همیشه در نوشتن به زبان انگلیسی خوب بوده‌ام»؛ اکلس و ویگفیلد، 2002 ؛ تراوین و همکاران، 2012 ؛ α = 0.90). علاوه بر این، کشور (آلمان = 0 / سوئیس = 1)، جنسیت (مرد = 0 / زن = 1) و زمان اندازه گیری (T1 = 0؛ T2 = 1) به عنوان متغیرهای کنترل استفاده شد.

تحلیل های آماری

همه تجزیه و تحلیل ها در M پلاس نسخه 8 ( Muthén و Muthén، 1998-2012 ) بر اساس مجموعه داده های 15PV با استفاده از تخمین حداکثر احتمال قوی برای توضیح ساختار داده سلسله مراتبی (یعنی دانش آموزان در کلاس ها، نوع = پیچیده) انجام شد. حداکثر احتمال اطلاعات کامل برای تخمین مقادیر از دست رفته در متغیرهای پس زمینه استفاده شد. با توجه به استفاده از 15PVs، تمام آنالیزها 15 بار اجرا شد و سپس میانگین گیری شد (به Rubin، 1987 مراجعه کنید ).

برای تعیین یک عامل مهارت پنهان از تحلیل عاملی تاییدی استفاده شد. هر چهار متغیر مهارت بارگذاری های قابل توجهی را در یک مدل اندازه گیری تک عاملی نشان دادند (نمره انگلیسی: 0.67؛ خودپنداره نوشتاری: 0.73؛ درک مطلب: 0.42؛ درک شنیداری: 0.51). از آنجایی که درک خواندن و شنیدن در چارچوب ارزیابی یکسانی اندازه‌گیری شد و بنابراین می‌توان انتظار داشت که واریانس متقابل فراتر از عامل پنهان را به اشتراک بگذارد، باقی‌مانده‌های آن‌ها مجاز به همبستگی شدند. تجزیه و تحلیل به همراه داشت یک مدل قابل قبول برازش: χ 2 (1) = 3.65، p = 0.06. CFI = 0.998، RMSEA = 0.031، SRMR = 0.006.

رابطه بین طول متن و سایر متغیرهای مستقل با تحلیل همبستگی بررسی شد. برای بررسی روابط بین طول متن، مهارت و کیفیت متن از تحلیل رگرسیون چندگانه با پیش‌بینی‌کننده‌های پنهان و آشکار استفاده شد.

نتایج

همبستگی ضریب مهارت نهفته و طول متن (تعداد کلمات) نسبتاً مثبت بود: r = 0.36، p <0.01. این نشان می دهد که دانش آموزان ماهرتر تمایل به نوشتن متون طولانی تر دارند. همبستگی معنی‌دار با سایر متغیرها نشان داد که دانش‌آموزان تمایل به نوشتن متون طولانی‌تر در T1 داشتند ( r = -0.08، p <0.01)، دختران متن‌های طولانی‌تری نسبت به پسران نوشتند ( r = 0.11، p <0.01)، و توانایی شناختی بالاتر با طولانی‌تر بودن همراه بود. متون ( r = 0.07، p <0.01). با این حال، همه این همبستگی ها به عنوان یک قاعده کلی بسیار ضعیف بودند. ارتباط طول کشور و متن از نظر آماری معنی دار نبود ( r= 0.06-، p = 0.10).

جدول 1 نتایج رگرسیون خطی چندگانه کیفیت متن را بر روی متغیرهای طول متن، مهارت و کنترل ارائه می دهد. تجزیه و تحلیل نشان داد که مهارت و متغیرهای کمکی به تنهایی 38 درصد از واریانس رتبه‌بندی کیفیت متن را توضیح می‌دهند، با فاکتور مهارت پنهان تا حد زیادی قوی‌ترین پیش‌بینی‌کننده (مدل 1). تأثیر طول متن بر نمره کیفیت متن در هنگام گنجاندن متغیرهای کنترلی به همان اندازه قوی بود، اما مهارت در مدل نداشت (مدل 2). زمانی که هم ضریب مهارت پنهان و هم طول متن وارد مدل رگرسیونی شدند (مدل 3)، ضریب طول متن کاهش یافت اما قابل توجه و قابل توجه باقی ماند و 24 درصد بیشتر از واریانس را توضیح داد (ΔR 2 ).= 0.24 از مدل 1 تا مدل 3). بنابراین، طول متن تأثیری فزاینده بر کیفیت متن فراتر از یک عامل مهارت نهفته زبان انگلیسی داشت.

میز 1

www.frontiersin.orgجدول 1. رگرسیون خطی کیفیت متن بر روی طول متن، مهارت زبان انگلیسی و متغیرهای کنترل: ضرایب رگرسیون استاندارد (β) و خطاهای استاندارد (SE).

بحث

مطالعه 1 با عملیاتی کردن ساختار مهارت زبان انگلیسی و بررسی چگونگی تأثیر آن بر رابطه طول متن و کیفیت متن به موضوع طول متن نزدیک شد. این می‌تواند به ما ایده بدهد که چگونه طول متن ممکن است بر قضاوت‌های انسان تأثیر بگذارد، حتی اگر به ساختار شایستگی نوشتاری مرتبط تلقی نشود. این تجزیه و تحلیل‌های ثانویه از مجموعه داده‌های موجود در مقیاس بزرگ دو یافته اصلی را به دست آورد: اول، طول متن فقط با مهارت زبان ارتباط متوسطی داشت. دوم، طول متن به شدت بر عملکرد نوشتن فراتر از مهارت تأثیر گذاشت. بنابراین، بر نمره تخصیصی تأثیر داشت که توسط سازه مهارت در نظر گرفته نشد.

نقاط قوت این مطالعه، نمونه انبوه مقالات با موضوع یکسان و حجم وسیعی از اطلاعات پیشینه ای بود که در مورد نویسندگان دانشجو (متغیرهای مهارت و کنترل) جمع آوری شد. با این حال، سه محدودیت عمده وجود داشت: اول، ساختار مهارت جنبه های مختلف شایستگی زبان انگلیسی (درک خواندن و شنیدن، نوشتن خودپنداره، نمره) را در بر می گرفت، اما این عملیاتی سازی جامع نبود. بنابراین، واریانس اضافی توضیح داده شده توسط طول متن ممکن است همچنان به دلیل جنبه‌های دیگری باشد که نمی‌توان آن‌ها را در تحلیل‌ها گنجاند زیرا در داده‌ها نبود. تحقیقات بیشتر با طراحی مشابه (تحلیل اولیه یا ثانویه) باید از متغیرهای اضافی مانند دانش دستور زبان/واژگان یا عملکرد نوشتاری در زبان اول استفاده کند.

محدودیت دوم، طراحی همبستگی بود، که اجازه بررسی علّی تأثیر طول متن بر درجه‌بندی کیفیت متن را نمی‌دهد. استنتاج استنتاج‌هایی که ماهیت علی دارند به یک محیط آزمایشی نیاز دارد که در آن، برای مثال، کیفیت متن برای متون با طول‌های مختلف ثابت نگه داشته شود. به همین دلیل، مطالعه 2 دقیقاً در چنین طرح تحقیقی انجام شد.

آخرین اما نه کم اهمیت، مسئله انتقال پذیری این یافته ها همچنان باز است. فراتر از ارزیابی استاندارد شده در مقیاس بزرگ، تحقیقات میان رشته ای ما را ملزم می کند که از دیدگاه های مختلف به موضوع نگاه کنیم. یافته‌های مربوط به ارزیاب‌های حرفه‌ای ممکن است قابل انتقال به معلمان نباشند، معلمانی که باید نوشته‌های دانش‌آموزان را در زمینه کلاس درس ارزیابی کنند. بنابراین، مطالعه 2 نمونه‌ای از معلمان انگلیسی پیش از خدمت را مورد بررسی قرار داد و نگاهی دقیق‌تر به این داشت که چگونه رتبه‌بندی آنها تحت تأثیر طول متن قرار گرفته است.

مطالعه 2

سوالات تحقیق

در مطالعه 2، ما فرض سوگیری قضاوت را در مقابل فرض اکتشافی مناسب معلمان پیش خدمت بررسی کردیم. همانطور که پاورز (2005) توصیه کرد، ما یک مطالعه تجربی را علاوه بر طرح همبستگی مورد استفاده در مطالعه 1 انجام دادیم. از آنجایی که نمرات کیفیت متن در تمام شرایط طول مقاله ثابت بود، هر اثر قابل توجهی از طول مقاله به نفع قضاوت خواهد بود. فرض سوگیری هدف این پژوهش پاسخگویی به سوالات تحقیق زیر بود:

(1) رتبه بندی معلمان پیش از خدمت چگونه با رتبه بندی کارشناسان مطابقت دارد؟

(2) آیا زمانی که (در هر طرح) هیچ رابطه ای بین طول متن و کیفیت متن (اثر اصلی) وجود ندارد، طول متن بر رتبه بندی کیفیت متن معلمان انگلیسی پیش خدمت تأثیر دارد؟

(3) آیا تأثیر برای سطوح مختلف عملکرد نوشتاری (اثر تعامل) متفاوت است؟

مواد و روش ها

شرکت کنندگان و رویه

این آزمایش با N = 84 معلم پیش از خدمت ( سن M = 23 سال؛ 80٪ زن) انجام شد که در حال حاضر در یک برنامه تربیت معلم آموزش عالی در دانشگاهی در شمال آلمان ثبت نام کرده بودند. آنها هیچ تجربه رتبه بندی قبلی از این نوع متون یادگیرنده نداشتند. این آزمایش با ابزار پرسشنامه دانشجویی ( Jansen et al., 2019 )، یک ابزار آنلاین برای ارزیابی متون دانش‌آموزان در یک محیط آزمایشی اجرا شد. از شرکت کنندگان خواسته شد تا به مقالات پروژه MEWS (به مطالعه 1 مراجعه کنید) در مورد کل نگر مورد استفاده توسط ارزیاب های انسانی در ETS (0-5؛ https://www.ets.org/s/toefl/pdf/toefl_writing_rubrics.pdf ) امتیاز دهند.). هر شرکت کننده باید 9 مقاله از 45 مقاله را به ترتیب تصادفی ارزیابی می کرد که همه ترکیبات ممکن از کیفیت متن و طول متن را نشان می داد. قبل از شروع فرآیند رتبه‌بندی، به شرکت‌کنندگان اطلاعاتی در مورد مقاله نویسی در زمینه مطالعه MEWS (نوع مدرسه، سال تحصیلی، میانگین سنی دانش‌آموزان، متن آموزشی) داده شد و به عنوان مبنایی برای قضاوت‌هایشان، روبریک نوشتن تافل به آنها ارائه شد. آنها 15 دقیقه فرصت داشتند تا یک نمای کلی از تمام 9 متن داشته باشند، قبل از اینکه از آنها خواسته شود به هر متن در این عنوان امتیاز دهند. در طول فرآیند رتبه بندی، آنها اجازه داشتند قسمت هایی از متون را برجسته کنند.

عملیاتی‌سازی کیفیت متن و طول متن به‌عنوان متغیرهای طبقه‌بندی و همچنین روش انتخاب یک نمونه مقاله مناسب برای مطالعه در ادامه توضیح داده شده است.

طول متن و کیفیت متن

مقالات مورد استفاده در آزمایش بر اساس روش زیر انتخاب شدند که هم کیفیت متن و هم طول متن را به عنوان متغیرهای مستقل در نظر گرفت. اولین متغیر مستقل مقاله (کیفیت کلی متن) از طریق نمرات اختصاص داده شده توسط دو ارزیاب انسانی آموزش دیده از ETS در مقیاس شش نقطه ای کل نگر (0-5؛ مطالعه 1 و ضمیمه A را ببینید) عملیاتی شد. برای اندازه‌گیری متغیر تا حد امکان دقیق، ما فقط مقالاتی را وارد کردیم که هر دو رتبه‌دهنده انسانی امتیاز یکسانی را به آنها اختصاص داده بودند، که در نتیجه نمونه‌ای از N به دست آمد.= 1333 مقاله. در نتیجه، سه درجه بندی کیفیت متن در مطالعه حاضر در نظر گرفته شد: کیفیت پایین (نمره 2)، کیفیت متوسط ​​(نمره 3) و کیفیت بالاتر (نمره 4). مجموعه شامل تنها چند متن (10.4%) با امتیازهای شدید 0، 1 و 5 بود. بنابراین اینها از مجموعه مقالات حذف شدند. بنابراین ما یک طرح فاکتوریل 3 × 3 درون موضوعی را متوجه شدیم. طول متن متغیر مستقل دوم از طریق تعداد کلمات مقالات، محاسبه شده توسط موتور امتیازدهی e-rater (c) اندازه گیری شد. همانند کیفیت متن، این متغیر به سه سطح تقسیم می‌شود: متون نسبتاً کوتاه (s)، متون با طول متوسط ​​(m) و متون طولانی (l). تمام متون موجود با توجه به توزیع تعداد کلمات آنها مورد تجزیه و تحلیل قرار گرفت. نقاط پرت شدید حذف شدند. باقی مانده N= 1308 مقاله به سه گروه زوج تقسیم شدند: پایین (=261 کلمه)، وسط (262-318 کلمه) و یک سوم بالا (=319 کلمه). جدول 2 توزیع مقالات را برای ترکیب های حاصل از طول متن و نمره متن نشان می دهد.

جدول 2

www.frontiersin.orgجدول 2. توزیع مقالات در نمونه مشروط به کیفیت متن و گروه بندی طول متن.

گزیده مقالات

برای هر گروه طول متن (s، m و l)، میانگین تعداد کلمات در هر سه گروه نمره محاسبه شد. سپس گروه نمره (2، 3 یا 4) با کمترین تعداد مقاله در یک گروه طول متن به عنوان مرجع در نظر گرفته شد (مثلاً n = 22 متن کوتاه با کیفیت بالا یا n = 15 متن طولانی با کیفیت پایین). در هر گروه طول متن، پنج مقاله که – از نظر تعداد کلمات – نزدیک‌ترین به میانگین مرجع بودند، برای مطالعه انتخاب شدند. این امر با اکثراً بدون انحراف یا فقط با انحرافات جزئی امکان پذیر بود. در صورت تطابق چندگانه، مقاله به صورت تصادفی انتخاب شد. این روش انتخاب منجر به یک نمونه کلی از 45 مقاله، با پنج مقاله برای هر ترکیبی از گروه نمره (2، 3، 4) و گروه طول (s، m، l) شد.

نتایج

یک ANOVA با اندازه‌گیری‌های مکرر با دو متغیر مستقل (کیفیت متن و طول متن) برای آزمایش دو اثر اصلی و تعامل آنها بر رتبه‌بندی شرکت‌کنندگان انجام شد ( جدول 3 را ببینید ). رتبه‌بندی‌های مقاله به‌عنوان یک عامل درون موضوعی در نظر گرفته می‌شوند که وابستگی‌های رتبه‌بندی‌های تودرتو در درون ارزیاب‌ها را محاسبه می‌کند. تأثیر اصلی نمرات کیفیت متن بر رتبه‌بندی شرکت‌کنندگان، تفاوت معنی‌داری را بین سه شرط کیفیت متن ( کم ، متوسط ، زیاد ) نشان داد که با رتبه‌بندی کارشناسان مطابقت داشت. F (2، 82) = 209.04، p <0.001، d = 4.52. همچنین تأثیر اصلی قابل توجهی برای سه شرط طول مقاله ( کوتاه ،متوسط ، بلند )؛ F (2، 82) = 9.14، p <0.001، d = 0.94. بر خلاف انتظارات، طول مقاله رابطه منفی با رتبه‌بندی شرکت‌کنندگان داشت، به این معنی که متون کوتاه‌تر امتیاز بیشتری نسبت به متون طولانی‌تر دریافت کردند. اثر متقابل کیفیت متن و طول متن نیز تأثیر قابل توجهی داشت. F (4، 80) = 3.93، p <0.01، d = 0.89. آزمایش‌های پس‌آزمون نشان داد که متن‌های با کیفیت پایین به‌ویژه تحت تأثیر طول مقاله به‌صورت منفی هستند ( شکل 1 را ببینید ).

جدول 3

www.frontiersin.orgجدول 3. رتبه بندی شرکت کنندگان از کیفیت متن: میانگین (M) و انحراف استاندارد (SD).

شکل 1

www.frontiersin.orgشکل 1. تجسم تعامل بین طول متن و کیفیت متن.

بحث

آزمایشی که در مطالعه 2 انجام شد، یک اثر اصلی مهم بسیار قوی برای کیفیت متن پیدا کرد، که نشان‌دهنده مطابقت بالای رتبه‌بندی‌های معلمان قبل از خدمت با رتبه‌بندی‌های متخصص کیفیت متن است. تأثیر اصلی طول متن نیز معنی‌دار بود، اما با اثر متقابل معنی‌دار کیفیت متن x طول متن واجد شرایط بود، که نشان می‌دهد متون با کیفیت پایین هرچه طولانی‌تر باشند، حتی منفی‌تر ارزیابی می‌شوند. این تأثیر منفی طول متن برخلاف انتظار بود: معلمان پیش از خدمت عموماً تمایل داشتند که نمرات بالاتری را به متون کوتاه‌تر اختصاص دهند. بنابراین، به نظر می‌رسید که آن‌ها به متون کوتاه‌تر به متون طولانی‌تر اهمیت می‌دهند. با این حال، این عمدتا برای متون با کیفیت پایین صادق بود.

این یافته‌ها در برابر پیش‌زمینه تحقیقاتی که نشان می‌دهد متون طولانی‌تر معمولاً با نمرات بالاتری از کیفیت متن همراه هستند، به ویژه در زمینه نوشتن زبان دوم، شگفت‌انگیز بود. بنابراین، بحث در مورد محدودیت‌های طراحی قبل از تفسیر نتایج حتا مهم‌تر است: اول، نمونه شامل معلمان نسبتاً بی‌تجربه قبل از خدمت بود. تحقیقات بیشتری برای نشان دادن اینکه آیا این یافته‌ها به معلمان ضمن خدمت با تجربه معقول در قضاوت در مورد نوشته‌های دانش‌آموزان قابل انتقال هستند یا خیر، مورد نیاز است. علاوه بر این، مطالعات بیشتر می‌تواند از روبریک‌های ارزشیابی استفاده کند که معلمان با آن آشنایی بیشتری دارند، مانند CEFR ( شورای اروپا، 2001 ؛ همچنین رجوع کنید به Fleckenstein و همکاران، 2020).). دوم، فرآیند انتخاب مقالات ممکن است اعتبار اکولوژیکی آزمایش را کاهش داده باشد. از آنجایی که فقط چند متن طولانی با کیفیت پایین و چند متن کوتاه با کیفیت بالا در نمونه واقعی وجود داشت ( جدول 2 را ببینیدانتخاب متون در طرح آزمایشی – تا حدی – مصنوعی بود. این همچنین می‌توانست بر چارچوب مرجع برای معلمان پیش از خدمت تأثیر بگذارد، زیرا توزیع 9 متن با آنچه به طور طبیعی در کلاس درس زبان انگلیسی می‌توان یافت متفاوت بود. ثالثاً، مهم ترین محدودیت این مطالعه، مسئله هنجار مرجع است، نکته ای که به طور کلی در مورد مطالعات ارزیابی نوشتاری صدق می کند. در مطالعه ما، کیفیت نوشتار با استفاده از رتبه‌بندی‌های خبره عملیاتی شد، که نشان داده شده است در بسیاری از تحقیقات و همچنین در مطالعه 1 تحت تأثیر طول متن قرار دارد. اگر رتبه‌بندی‌های متخصص خودشان مغرضانه باشند، یافته‌های این مطالعه ممکن است به عنوان تفسیر شود. معلمان پیش از خدمت (برخلاف رتبه‌دهندگان خبره) اصلاً سوگیری طول متن را نشان نمی‌دهند: اگر کیفیت تعیین شده توسط ارزیاب های خبره ثابت بماند، متون کوتاه تر باید امتیاز بیشتری نسبت به متن های طولانی دریافت کنند. ما این موضوعات را در مورد هنجار مرجع با جزئیات بیشتر در بخش بعدی مورد بحث قرار می دهیم.

هر سه محدودیت ممکن است به نحوی بر رتبه‌بندی تأثیر گذاشته باشد که می‌تواند تأثیر منفی طول متن بر رتبه‌بندی کیفیت متن را تقویت کند. با این حال، از آنجایی که تحقیق در مورد تأثیر طول متن بر قضاوت معلمان کمیاب است، باید این احتمال را در نظر بگیریم که این تأثیر در واقع متفاوت از تأثیر (مثبت) است که معمولاً برای ارزیابی‌کنندگان حرفه‌ای انسان یافت می‌شود. دلایل مختلفی برای فرض تفاوت در فرآیندهای رتبه بندی وجود دارد که در بخش زیر با جزئیات بیشتر مورد بحث قرار می گیرند. علاوه بر این، ما به معنای این موضوع از نظر اعتبار استاندارد طلایی در ارزیابی کتبی خواهیم بود.

بحث عمومی

با ترکیب نتایج هر دو مطالعه، دلیلی داریم که فرض کنیم (الف) طول متن باعث تعصب قضاوت می‌شود و (ب) تأثیر طول متن تا حد زیادی به رتبه‌دهنده و/یا زمینه رتبه‌بندی بستگی دارد. به طور خاص، یافته‌های این دو مطالعه را می‌توان به صورت زیر خلاصه کرد: ارزیابی‌کننده‌های انسانی حرفه‌ای تمایل دارند به متن‌های طولانی‌تر فراتر از رابطه طول متن و مهارت پاداش دهند. در مقایسه با این استاندارد، معلمان انگلیسی بی‌تجربه تمایل دارند که طول متن را کم‌ارزش کنند، به این معنی که متن‌های طولانی‌تر را به‌خصوص زمانی که کیفیت متن پایین است، تأیید می‌کنند. این به نوبه خود ممکن است مبتنی بر یک انتظار ضمنی باشد که عمیقاً در ذهن بسیاری از معلمان زبان انگلیسی ریشه دوانده است: اینکه نوشتن به یک زبان خارجی در درجه اول برای اجتناب از اشتباهات است و اینکه متون طولانی‌تر معمولاً تعداد بیشتری از آنها را نسبت به متن‌های کوتاه‌تر دارند ( کلر، 2016).). معلمان پیش از خدمت ممکن است به خصوص از این دیدگاه از نوشتن رنج ببرند، زیرا آنها آن را به عنوان یادگیرنده از نزدیک و شخصی، نه چندان دور، تجربه می کردند. هر دو یافته به فرض سوگیری قضاوت اشاره می کنند، اما با جهت های مخالف. این یافته‌های به ظاهر متناقض منجر به پرسش‌های پژوهشی جالب و جدیدی می‌شود – هم در زمینه ارزیابی استاندارد نوشتاری و هم در زمینه صلاحیت تشخیصی معلمان.

تنها اگر رتبه‌بندی‌های انسانی حرفه‌ای را به‌عنوان نمرات معیار قابل اعتماد در نظر بگیریم، می‌توانیم استنباط کنیم که رتبه‌بندی‌های معلمان مغرضانه است (به روشی منفی). اگر رتبه‌بندی‌های انسانی حرفه‌ای را خود مغرضانه در نظر بگیریم (به روشی مثبت)، ممکن است قضاوت‌های معلمان پیش‌خدمت بی‌طرفانه به نظر برسد. با این حال، غیرقابل قبول است که فرض کنیم قضاوت های معلمان بی تجربه کمتر از داوران متخصص بسیار آموزش دیده است. حتی اگر رتبه‌بندی‌های انسانی حرفه‌ای خودشان ناقص باشند، بهترین معیار ممکن برای کیفیت نوشتن هستند و حتی برای ابزارهای NLP به عنوان مرجع عمل می‌کنند ( کراسلی، 2020).). بنابراین بسیار منطقی‌تر است که تأثیر مثبت طول متن بر رتبه‌بندی‌های انسانی حرفه‌ای – حداقل تا حدی – یک اکتشافی مناسب در نظر گرفته شود. این بدان معناست که قضاوت معلمان معمولاً از اعمال همان اکتشافی در هنگام ارزیابی نوشتار دانش‌آموزان سود می‌برد، تا زمانی که به یک سوگیری تبدیل نشود.

در بررسی ادبیات خود، کراسلی (2020)وقتی صحبت از تعمیم یافته‌ها در زمینه ارزیابی نوشتاری می‌شود، ماهیت تکلیف نوشتن را یکی از محدودیت‌های اصلی می‌داند. پاسخ‌های کتبی به آزمون‌های استاندارد (مانند تافل) ممکن است ویژگی‌های زبانی ایجاد کند که با نمونه‌های نوشتاری تولید شده در کلاس درس یا سایر محیط‌های نوشتاری معتبرتر متفاوت باشد. علاوه بر این، تفاوت‌های زبانی نیز ممکن است بسته به زمان‌بندی یا عدم زمان‌بندی یک نمونه نوشتاری رخ دهد. نمونه‌های زمان‌بندی‌شده فرصت‌های کمتری را برای برنامه‌ریزی، بازنگری و توسعه ایده‌ها در مقایسه با نمونه‌های بدون زمان فراهم می‌کنند، جایی که دانش‌آموزان احتمال بیشتری برای برنامه‌ریزی، تأمل و اصلاح نوشته‌های خود دارند. این تفاوت‌ها ممکن است در نوشتار زمان‌دار به‌گونه‌ای ظاهر شود که هم از نظر لغوی و هم از نظر نحوی از انسجام کمتر و پیچیدگی کمتری برخوردار باشد.

در تحقیق حاضر، چنین تفاوت‌هایی ممکن است دلیل این یافته باشد که معلمان پیش از خدمت، طول متن را در مقایسه با ارزیاب‌های حرفه‌ای کم‌ارزش می‌دانند. حتی اگر شرکت کنندگان در مطالعه 2 در مورد زمینه ای که نمونه های نوشتاری در آن جمع آوری شده بود مطلع شدند، ممکن است چالش های یک کار نوشتن زمان بندی شده را در قالبی ناآشنا دست کم گرفته باشند. در زمینه کلاس‌های درس خود، دانش‌آموزان به ندرت محدودیت‌های زمانی سختی در هنگام کار بر روی وظایف نوشتاری پیچیده دارند. اگر این کار را انجام دهند، برای مثال، در امتحانی که شامل یک مقاله استدلالی است، معمولاً به 90 دقیقه نزدیک‌تر است تا 30 دقیقه (حداقل در مورد معلمان پیش از خدمت آلمانی که در این مطالعه شرکت کردند). بنابراین، طول متن ممکن است شاخص خوبی برای کیفیت نوشتن در کلاس درس نباشد. برعکس،پنگ و همکاران، 2020 ).

علاوه بر این، طول متن به عنوان معیار کیفیت را نمی توان به طور تصادفی بر انواع متن های مختلف تعمیم داد. ژانرهایی که در دوره‌های EFL تدریس می‌شوند یا در آزمون‌های EFL ارزیابی می‌شوند، با توجه به طول مورد انتظار تفاوت قابل‌توجهی دارند. به عنوان مثال، در مقالات پنج پاراگراف، توسعه یک استدلال نیاز به محدوده و توجه خاصی به جزئیات دارد، به طوری که طول متن یک ویژگی بسیار برجسته برای کیفیت کلی متن است. همین امر ممکن است برای ایمیل نویسی صادق نباشد، ژانری که اغلب در کلاس های درس زبان انگلیسی تدریس می شود ( Fleckenstein و همکاران، در مطبوعات). معمولاً انتظار می‌رود که ایمیل‌ها مختصر و دقیق باشند، به طوری که متن‌های طولانی‌تر ممکن است پیچیده یا پرتحرک به نظر برسند. وقتی نوبت به تفسیر یافته‌های ما می‌رسد، چنین خواسته‌های ویژه وظیفه باید در نظر گرفته شوند. ارزیاب‌های حرفه‌ای که در مطالعه ما به کار گرفته شدند، برای رتبه‌بندی مقالات پنج پاراگرافی، که شامل درک دقیق طول متن به‌عنوان معیار برجسته کیفیت متن بود، آموزش دیدند. همین امر را نمی توان در مورد معلمان کلاس درس گفت، که با طیف وسیع تری از ژانرها در تدریس روزمره خود مواجه می شوند و بنابراین ممکن است تمایل کمتری به در نظر گرفتن طول متن به عنوان یک ویژگی مرتبط داشته باشند. تحقیقات بیشتر باید وظایف نوشتاری متفاوتی را در نظر بگیرد تا بررسی شود که آیا طول متن برای ژانر مقاله استدلالی مهم است یا خیر.

نتایج ما بر اهمیت در نظر گرفتن اینکه آیا طول متن باید برای زمینه‌های مختلف ارزیابی نوشتار در نظر گرفته شود یا خیر، تأکید می‌کند. این برای ارزیابی کلاس درس صادق است، جایی که معلمان باید انتظارات خود را در مورد طول متن صریح بیان کنند، و همچنین مطالعات آینده با ارزیاب های حرفه ای. کراسلی (2020)توجه را به دیدگاه فرا رشته ای این رشته به عنوان منبعی برای پیچیدگی ها جلب می کند: «عوارض ناشی از ماهیت بین رشته ای این نوع تحقیقات است که اغلب رشته های نوشتاری، زبان شناسی، آمار و علوم رایانه را ترکیب می کند. با این همه زمینه درگیر، اغلب به راحتی می توان از عوامل مخدوش کننده چشم پوشی کرد» (ص 428). تحقیق حاضر نشان می دهد که چگونه پاسخ به یک سوال پژوهشی یکسان – طول متن چگونه بر قضاوت انسان تأثیر می گذارد؟ – می تواند از دیدگاه های مختلف و در حوزه های مختلف پژوهش آموزشی بسیار متفاوت باشد. بسته به جمعیت (ارایه دهندگان حرفه ای در مقابل معلمان پیش از خدمت) و روش (تحلیل همبستگی در مقابل طراحی تجربی)، یافته های ما طیف وسیعی از تحقیقات و نتایج ممکن را نشان می دهد. بدین ترتیب، این یک مثال مهم از این است که چرا پژوهش میان رشته ای در آموزش نه تنها مطلوب بلکه ضروری است. بدون رویکرد میان رشته ای، دیدگاه ما از اثر طول متن یک بعدی و پراکنده خواهد بود. تنها ترکیب دیدگاه‌ها و روش‌های مختلف می‌تواند خواسته‌های یک موضوع پیچیده مانند ارزیابی نوشتن، شناسایی شکاف‌های پژوهشی و به چالش کشیدن سنت‌های پژوهشی را برآورده کند. تحقیقات بیشتری برای بررسی عوامل تعیین کننده قدرت و جهت سوگیری مورد نیاز است. برای بررسی شباهت ها و تفاوت ها، لازم است به ترتیب فرآیندهای رتبه بندی معلمان (آموزش ندیده) و ارزیاب (تربیت شده) مورد بررسی دقیق تری قرار گیرد. تحقیقات مربوط به اکتشافی/سوگیری های قضاوت می تواند هم برای آموزش معلم و هم برای آموزش ارزیابی کننده مرتبط باشد. با این حال، نگرانی ها و ویژگی های فردی دو گروه باید در نظر گرفته شود. این را می توان برای مثال با مقایسه مستقیم دو گروه در یک مطالعه تجربی انجام داد. هم در آموزش معلمان و هم در مطالعات ارزیابی متن، ما باید در مورد اینکه چگونه اکتشافی مناسب ارزیاب های خبره می توانند به آموزش معلمان مبتدی و ارزیاب های بی تجربه در تلاش برای کاهش سوگیری قضاوت راه پیدا کنند، بحث جدی داشته باشیم.

بیانیه در دسترس بودن داده ها

داده‌های خام پشتیبان نتیجه‌گیری این مقاله توسط نویسندگان، بدون رزرو بی مورد، در اختیار هر محقق واجد شرایط قرار خواهد گرفت.

بیانیه اخلاق

مطالعات شامل شرکت کنندگان انسانی توسط وزارت آموزش، علوم و امور فرهنگی ایالت آلمان فدرال شلسویگ-هولشتاین بررسی و تایید شد. رضایت کتبی آگاهانه برای شرکت در این مطالعه توسط قیم قانونی/بستگان بعدی شرکت کنندگان ارائه شد.

مشارکت های نویسنده

JF داده ها را تجزیه و تحلیل کرد و دستنوشته را نوشت. TJ و JM داده های تجربی را برای مطالعه 2 جمع آوری کردند و از تجزیه و تحلیل داده ها پشتیبانی کردند. SK و OK مجموعه داده را برای مطالعه 1 ارائه کردند. TJ، JM، SK، و OK بازخوردی را در مورد نسخه ارائه کردند. همه نویسندگان به مقاله کمک کردند و نسخه ارسال شده را تایید کردند.

تضاد منافع

نویسندگان اعلام می کنند که این تحقیق در غیاب هر گونه روابط تجاری یا مالی که می تواند به عنوان تضاد منافع بالقوه تعبیر شود، انجام شده است.

منابع

عطالی، ی (1395). مقایسه ارزیاب های تازه آموزش دیده و با تجربه در ارزیابی نوشتاری استاندارد. لنگ تست. 33، 99-115. doi: 10.1177/0265532215582283

متن کامل CrossRef | Google Scholar

برکوئی، ک (1389). توضیح نمرات کل نگر مقاله ESL: رویکرد مدلسازی چند سطحی لنگ تست. 27، 515-535. doi: 10.1177/0265532210368717

متن کامل CrossRef | Google Scholar

بجار، دوم (1390). یک رویکرد مبتنی بر اعتبار برای کنترل کیفیت و تضمین امتیازدهی خودکار. ارزیابی کنید. آموزش. 18، 319-341. doi: 10.1080/0969594x.2011.555329

متن کامل CrossRef | Google Scholar

Ben-Simon، A.، و Bennett، RE (2007). به سمت نمره دهی خودکار مقاله با معنادارتر. جی. تکنول. فرا گرفتن. ارزها. 6، [Epub قبل از چاپ].

Google Scholar

Birkel, P., and Birkel, C. (2002). Wie einig sind sich Lehrer bei der Aufsatzbeurteilung؟ Eine Replikationsstudie zur Untersuchung von Rudolf Weiss. روانی ارزیه. Unterr. 49، 219-224.

Google Scholar

برانسویک، ای. (1955). طراحی نماینده و نظریه احتمالی در روانشناسی کارکردی. روانی Rev. 62, 193-217. doi: 10.1037/h0047470

چکیده PubMed | متن کامل CrossRef | Google Scholar

Burstein, J., Tetreault, J., and Madnani, N. (2013). «سیستم نمره دهی خودکار مقاله E-rater® » ، در کتابچه راهنمای ارزیابی خودکار مقاله ، ویراستاران MD Shermis و J. Burstein (Abingdon: Routledge)، 77-89.

Google Scholar

Chenoweth، NA، و Hayes، JR (2001). تسلط در نوشتن: تولید متن در L1 و L2. اشتراک نوشته شده 18، 80-98. doi: 10.1177/0741088301018001004

متن کامل CrossRef | Google Scholar

Chodorow, M., and Burstein, J. (2004). فراتر از طول مقاله: ارزیابی عملکرد e-rater® در مقالات toefl® . ETS Res. Rep. 2004, i–38. doi: 10.1002/j.2333-8504.2004.tb01931.x

متن کامل CrossRef | Google Scholar

شورای اروپا (2001). چارچوب مرجع مشترک اروپایی برای زبان ها: یادگیری، آموزش و ارزیابی. کمبریج، MA: انتشارات دانشگاه کمبریج.

Google Scholar

کراسلی، اس. (2020). ویژگی های زبانی در کیفیت و توسعه نوشتار: یک مرور کلی ج. نوشتن. Res. 11، 415-443. doi: 10.17239/jowr-2020.11.03.01

متن کامل CrossRef | Google Scholar

کراسلی، SA، و مک نامارا، دی اس (2009). ارزیابی محاسباتی تفاوت های واژگانی در نوشتن L1 و L2. ج. دوم. لنگ بنویسید. 18، 119-135. doi: 10.1016/j.jslw.2009.02.002

متن کامل CrossRef | Google Scholar

کامینگ، آ.، کانتور، آر، و پاورز، دی (2002). تصمیم گیری هنگام رتبه بندی وظایف نوشتاری ESL/EFL: یک چارچوب توصیفی لنگ مدرن ج 86، 67-96. doi: 10.1111/1540-4781.00137

متن کامل CrossRef | Google Scholar

دین، پی (2013). در مورد رابطه بین نمره دهی خودکار مقاله و دیدگاه های مدرن ساختار نوشتاری. ارزیابی کنید. بنویسید. 18، 7-24. doi: 10.1016/j.asw.2012.10.002

متن کامل CrossRef | Google Scholar

Eccles، JS، و Wigfield، A. (2002). باورها، ارزش ها و اهداف انگیزشی. آنو. کشیش روانی. 53، 109-132. doi: 10.1146/annurev.psych.53.100901.135153

چکیده PubMed | متن کامل CrossRef | Google Scholar

Fleckenstein, J., Keller, S., Krüger, M., Tannenbaum, RJ, and Köller, O. (2020). پیوند نمرات تافل iBT® و شواهد اعتبار از یک مطالعه تنظیم استاندارد. ارزیابی کنید. بنویسید. 43:100420. doi: 10.1016/j.asw.2019.100420

متن کامل CrossRef | Google Scholar

Fleckenstein, J., Meyer, J., Jansen, T., Reble, R., Krüger, M., Raubach, E., et al. (در مطبوعات). «آیا بازخورد ماچت مؤثر بود؟ Computerbasierte Leistungsrückmeldung anhand eines Rubrics beim Schreiben in der Fremdsprache Englisch,” in Tagungsband Bildung, Schule und Digitalisierung , eds K. Kaspar, M. Becker-Mrotzek, S. Hofhues, J. König: Wanxman, و

Google Scholar

گراهام، اس.، هریس، KR، و هیبرت، M. (2011). این چیزی بیش از پیام است: تأثیرات ارائه در نوشتن نمره. تمرکز به جز. کودک. 44، 1-12.

Google Scholar

Guo، L.، Crossley، SA، و McNamara، DS (2013). پیش‌بینی قضاوت‌های انسانی در مورد کیفیت مقاله در نمونه‌های نوشتاری زبان دوم یکپارچه و مستقل: یک مطالعه مقایسه. ارزیابی کنید. بنویسید. 18، 218-238. doi: 10.1016/j.asw.2013.05.002

متن کامل CrossRef | Google Scholar

Hachmeister, S. (2019). «Messung von Textqualität in Ereignisberichten»، در Schreibkompetenzen Messen، Beurteilen und Fördern (6. Aufl) ، ویرایش‌های I. Kaplan و I. Petersen (Münster: Waxmann Verlag)، 79–99.

Google Scholar

هیز، جی آر، و هچ، جی (1999). مسائل مربوط به اندازه گیری قابلیت اطمینان: همبستگی در مقابل درصد توافق. رایت اشتراک. 16، 354-367. doi: 10.1177/0741088399016003004

متن کامل CrossRef | Google Scholar

هلر، کا، و پرلث، سی (2000). KFT 4-12+ R Kognitiver Fähigkeitstest für 4. Bis 12. Klassen, Revision. گوتینگن: تست بلتز.

Google Scholar

Jansen، T.، Vögelin، C.، Machts، N.، Keller، SD، و Möller، J. (2019). Das Schülerinventar ASSET zur Beurteilung von Schülerarbeiten im Fach English: Drei experienceelle Studien zu Effekten der Textqualität und der Schülernamen. Psychologie in Erziehung und Unterricht 66, 303-315. doi: 10.2378/peu2019.art21d

متن کامل CrossRef | Google Scholar

کلر، اس (2016). اندازه گیری نوشتن در سطح ثانویه (MEWS). Eine Binationale Study. بابلی 3، 46-48.

Google Scholar

Keller، SD، Fleckenstein، J.، Krüger، M.، Köller، O.، و Rupp، AA (2020). مهارت‌های نوشتاری انگلیسی دانش‌آموزان در دوره متوسطه: نتایج یک مطالعه تجربی در سوئیس و آلمان ج. لنگ دوم. بنویسید. 48:100700. doi: 10.1016/j.jslw.2019.100700

متن کامل CrossRef | Google Scholar

Kobrin، JL، Deng، H.، و Shaw، EJ (2007). آیا کمیت با کیفیت برابری می کند؟ رابطه بین طول پاسخ و نمرات در مقاله SAT. J. Appl. تست. تکنولوژی 8، 1-15. doi: 10.1097/nne.0b013e318276dee0

چکیده PubMed | متن کامل CrossRef | Google Scholar

Kobrin، JL، Deng، H.، و Shaw، EJ (2011). ارتباط بین ویژگی های سریع SAT، ویژگی های پاسخ، و نمرات مقاله. ارزیابی کنید. بنویسید. 16، 154-169. doi: 10.1016/j.asw.2011.01.001

متن کامل CrossRef | Google Scholar

Köller, O., Fleckenstein, J., Meyer, J., Paeske, AL, Krüger, M., Rupp, AA, et al. (2019). Schreibkompetenzen im Fach English in der gymnasialen Oberstufe. Z. Erziehungswiss. 22، 1281-1312. doi: 10.1007/s11618-019-00910-3

متن کامل CrossRef | Google Scholar

Köller, O. Knigge, M. and Tesch B. (eds.) (2010). Sprachliche Kompetenzen im Ländervergleich. آلمان: Waxmann.

Google Scholar

مارشال، جی سی (1967). اشتباهات ترکیبی و نمرات امتحان انشا دوباره بررسی شد. صبح. آموزش. Res. J. 4, 375-385. doi: 10.3102/00028312004004375

متن کامل CrossRef | Google Scholar

McCutchen، D.، Teske، P.، و Bankston، C. (2008). “نوشتن و شناخت: مفاهیم معماری شناختی برای یادگیری نوشتن و نوشتن برای یادگیری”، در کتاب راهنمای تحقیق در مورد نوشتن: تاریخ، جامعه، مدرسه، فرد، متن ، ویرایش. سی. بازرمن (میلتون پارک: گروه تیلور و فرانسیس)، 451–470.

Google Scholar

McNamara، DS، Crossley، SA، Roscoe، RD، Allen، LK، و Dai، J. (2015). یک رویکرد طبقه‌بندی سلسله مراتبی برای امتیازدهی خودکار مقاله ارزیابی کنید. بنویسید. 23، 35-59. doi: 10.1016/j.asw.2014.09.002

متن کامل CrossRef | Google Scholar

Muthén، LK، و Muthén، BO (1998-2012). راهنمای کاربر Mplus. لس آنجلس: Muthén & Muthén.

Google Scholar

Osnes, J. (1995). «Der Einflus von Handschrift und Fehlern auf die Aufsatzbeurteilung» در Die Fragwürdigkeit der Zensurengebung (9. Aufl., S) , ed. K. Ingenkamp (گوتینگن: Beltz)، 131–147.

Google Scholar

پنگ، جی، وانگ، سی، و لو، ایکس (2020). تأثیر پیچیدگی زبانی متن ورودی بر تراز، روانی نوشتاری و دقت نوشتاری در ادامه کار. لانگو آموزش دهید. Res. 24، 364-381. doi: 10.1177/1362168818783341

متن کامل CrossRef | Google Scholar

پرلمن، ال (2014). هنگامی که “وضعیت هنر” در حال شمارش کلمات است. ارزیابی کنید. بنویسید. 21، 104-111. doi: 10.1016/j.asw.2014.05.001

متن کامل CrossRef | Google Scholar

Pohlmann-Rother، S.، Schoreit، E.، و Kürzinger، A. (2016). Schreibkompetenzen von Erstklässlern quantitativ-empirisch erfassen-Herausforderungen und Zugewinn eines analytisch-kriterialen Vorgehens gegenüber einer holistischen Bewertung. جی. آموزش. Res. آنلاین 8، 107–135.

Google Scholar

پاورز، دی (2005). Wordiness”: بررسی انتخابی تأثیر آن، و پیشنهادهایی برای بررسی ارتباط آن در آزمون هایی که نیاز به پاسخ های کتبی گسترده دارند.ETS Res. نماینده i–14.

Google Scholar

کوینلان، تی، هیگینز، دی، و ولف، اس. (2009). ارزیابی ساختار-پوشش موتور امتیازدهی e- rater® .ETS Res. Rep. 2009, i–35. doi: 10.1002/j.2333-8504.2009.tb02158.x

متن کامل CrossRef | Google Scholar

رضایی، آر.، و لوورن، م. (1389). پایایی و اعتبار روبریک ها برای ارزیابی از طریق نوشتن.ارزیابی کنید. بنویسید. 15، 18-39. doi: 10.1016/j.asw.2010.01.003

متن کامل CrossRef | Google Scholar

روبین، دی بی (1987). محاسبه توزیع‌های پسین با افزایش داده‌ها: نظر: نمونه‌برداری غیر تکراری/نمونه‌گیری مجدد اهمیت جایگزین الگوریتم افزایش داده‌ها برای ایجاد چند انتساب زمانی که کسرهای اطلاعات از دست رفته اندک هستند: الگوریتم SIR. مربا. آمار دانشیار82، 543-546. doi: 10.2307/2289460

متن کامل CrossRef | Google Scholar

Ruegg, R., and Sugiyama, Y. (2010). آیا معیارهای تحلیلی محتوا امتیازهای اختصاص داده شده به محتوا را در نوشتن زمان‌بندی شده پیش‌بینی می‌کنند؟مقالات ملبورن در آزمون زبان 15، 70-91.

Google Scholar

Rupp، AA، Casabianca، JM، Krüger، M.، Keller، S.، و Köller، O. (2019). امتیاز دهی خودکار مقاله در مقیاس: مطالعه موردی در سوئیس و آلمان.ETS Res. نماینده سر. 2019، 1–23. doi: 10.1002/ets2.12249

متن کامل CrossRef | Google Scholar

اسکنل، دی پی، و مارشال، جی سی (1966). تأثیر اشتباهات ترکیبی انتخابی بر نمرات تخصیص یافته به امتحانات انشا. صبح. آموزش. Res. جی. 3، 125-130. doi: 10.3102/00028312003002125

متن کامل CrossRef | Google Scholar

شرمیس، دکتر (2014). چالش های تقلید رفتار انسان در ارزیابی نوشتن ارزیابی کنید. بنویسید. 22، 91-99. doi: 10.1016/j.asw.2014.07.002

متن کامل CrossRef | Google Scholar

سیلوا، تی (1993). به سوی درک ماهیت متمایز نوشتن L2: تحقیق ESL و پیامدهای آن.TESOL Q. 27, 657-77. doi: 10.2307/3587400

متن کامل CrossRef | Google Scholar

Trautwein، U.، Marsh، HW، Nagengast، B.، Lüdtke، O.، Nagy، G.، و Jonkmann، K. (2012). کاوش برای عبارت ضربی در نظریه انتظار-ارزش مدرن: مطالعه مدل سازی تعامل نهفته جی. آموزش. روانی104، 763-777. doi: 10.1037/a0027470

متن کامل CrossRef | Google Scholar

Vögelin، C.، Jansen، T.، Keller، SD، Machts، N.، و Möller، J. (2019). تأثیر ویژگی های واژگانی بر قضاوت معلمان مقالات استدلالی ESL. ارزیابی کنید. بنویسید.39، 50-63. doi: 10.1016/j.asw.2018.12.003

متن کامل CrossRef | Google Scholar

Vögelin، C.، Jansen، T.، Keller، SD، و Möller، J. (2018). تأثیر واژگان و املا بر قضاوت مقالات ESL: تجزیه و تحلیل نظرات معلمان. لنگ فرا گرفتن. جی. 1-17. doi: 10.1080/09571736.2018.1522662

متن کامل CrossRef | Google Scholar

ویگل، اس سی (2003). ارزیابی نوشتنکمبریج: انتشارات دانشگاه کمبریج.

Google Scholar

Wind, SA, Stager, C., and Patil, YJ (2017). بررسی رابطه بین ویژگی‌های متنی و کیفیت رتبه‌بندی در ارزیابی‌های نوشتاری با واسطه ارزیاب: تصویری با ارزیابی‌های نوشتاری L1 و L2. ارزیابی کنید. بنویسید.34، 1-15. doi: 10.1016/j.asw.2017.08.003

متن کامل CrossRef | Google Scholar

Wolfe, EW, Song, T., and Jiao, H. (2016). ویژگی های انشاهای با نمره سخت. ارزیابی کنید. بنویسید.27، 1-10. doi: 10.1016/j.asw.2015.06.002

متن کامل CrossRef | Google Scholar

کلمات کلیدی : طول متن، ارزیابی نوشتاری، کیفیت متن، سوگیری قضاوت، انگلیسی به عنوان یک زبان خارجی، ارزیابی‌کننده انسانی، معلمان پیش از خدمت

نقل قول: Fleckenstein J، Meyer J، Jansen T، Keller S and KÖller O (2020) آیا یک مقاله طولانی همیشه یک مقاله خوب است؟ تأثیر طول متن بر ارزشیابی نوشتاری. جلو. روانی 11:562462. doi: 10.3389/fpsyg.2020.562462

 

بیشتر بدانید :

آموزش مقاله نویسی در روانشناسی

تحلیل انتقادی چیست و چرا اهمیت دارد؟

تحلیل انتقادی شامل تفکر در مورد محاسن و معایب مطالبی است که می خوانید. لزوماً به این معنی نیست که آنچه خوانده اید را از هم جدا کنید – همچنین می تواند شامل برجسته کردن کارهایی باشد که یک نویسنده یا محقق به خوبی انجام داده است و در مورد پیامدهای یک مطالعه در حوزه تحقیقاتی گسترده تر فکر کنید.

تجزیه و تحلیل انتقادی در ارزیابی تحقیقات منتشر شده بسیار مهم است: مطالعات روانشناسی اغلب بر اساس محدودیت های دیگران استوار است، و ارزیابی محاسن یک مطالعه قبل از پذیرش نتیجه گیری آن مهم است. علاوه بر این، به عنوان یک دانش آموز، تحلیل انتقادی شما از ادبیات راهی است برای نشان دادن نشانگر شما که با این رشته درگیر بوده اید.

چه چیزی تحلیل انتقادی را در روانشناسی متفاوت می کند، و چگونه می توانم ادبیات را به صورت انتقادی تجزیه و تحلیل کنم؟

در روانشناسی، تحلیل انتقادی معمولاً شامل ارزیابی نظریه و تحقیقات تجربی (یعنی مطالعات علمی) است. هنگام تحلیل انتقادی نظریه ، سؤالات مرتبط عبارتند از:

  • آیا این نظریه منطقی است (یعنی منطقی است)؟
  • آیا این نظریه می‌تواند پدیده‌های روان‌شناختی را توضیح دهد (یعنی آنچه را که ما در واقع بر حسب رفتار افراد مشاهده می‌کنیم)، یا اینکه برخی چیزها را توضیح‌داده نمی‌گذارد؟
  • آیا مطالعاتی انجام شده است که به طور خاص این نظریه را آزمایش کند، و اگر چنین است، چه چیزی را یافته اند؟ آیا می توانیم نتایج این مطالعه را باور کنیم؟

از نظر ارزیابی تحقیقات تجربی ، سوالات مربوطه عبارتند از:

  • آیا سؤال تحقیق مطالعه به طور منطقی از ادبیاتی است که نویسندگان بررسی کرده اند؟
  • آیا مشکلاتی در مورد نمونه شرکت کننده وجود دارد (به عنوان مثال، نماینده جامعه مورد مطالعه نیست)؟
  • آیا معیارها (مثلاً پرسشنامه ها) واقعاً فرآیند مورد علاقه را ارزیابی می کنند؟
  • آیا تحلیل های آماری مناسب انجام شده است؟
  • آیا نویسندگان بر اساس یافته‌های خود نتیجه‌گیری مناسبی می‌کنند یا فراتر از یافته‌های خود می‌روند (یعنی نتایج خود را بیش از حد بیان می‌کنند)؟

قبل از تجزیه و تحلیل انتقادی تحقیق، مهم است که مطمئن شوید که چه چیزی مورد بحث است. ما منابعی داریم که می‌تواند به شما کمک کند تا از مطالعه خود ( راهبردهای خواندن R )، و همچنین برخی از استراتژی‌های یادداشت برداری ( ن یادداشت برداری ) بیشترین بهره را ببرید. روش کرنل ممکن است به ویژه مفید باشد، زیرا شامل یادداشت افکار/عقاید خود در حین مطالعه است، نه صرفاً خلاصه کردن اطلاعات.

با تمرین بیشتر در تجزیه و تحلیل انتقادی ادبیات، متوجه خواهید شد که شروع به احساس طبیعی تر می کند و به چیزی تبدیل می شود که به طور خودکار درگیر آن می شوید. با این حال، همانطور که در حال شروع هستید، فکر کردن عمدی در مورد برخی از سؤالات بخش قبل می تواند به افزودن ساختار به این فرآیند کمک کند.

تحلیل انتقادی چگونه است؟

بعد از اینکه درباره محاسن و معایب یک اثر منتشر شده فکر کردید، چگونه نشان می‌دهید که درگیر تحلیل انتقادی بوده‌اید؟ در زیر چند نمونه از جملاتی که تحلیل انتقادی نشان داده شده است آورده شده است:

  • اگرچه نظریه براون (1995) می تواند [abc] را توضیح دهد، نمی تواند [xyz] را توضیح دهد.
  • این مطالعه با توجه به اینکه اولین مطالعه ای بود که به بررسی آن پرداخته بود، یک مطالعه اساسی در منطقه است.
  • “به منظور روشن شدن نقش [abc]، مطالعه می تواند برای… کنترل کند.”
  • “این مطالعه نسبت به تلاش های قبلی برای بررسی این موضوع پیشرفت قابل توجهی داشت زیرا…”.

وجه اشتراک این عبارات این است که ارزشیابی هستند : آنها نشان می دهند که شما در مورد نظریه یا مطالعه تجربی مورد بحث خود قضاوت می کنید. به طور کلی، نشانگر شما می‌تواند تشخیص دهد که آیا درگیر تحلیل انتقادی بوده‌اید یا خیر.

تحلیل انتقادی در روانشناسی: برخی از دام های رایج

“حجم نمونه مطالعه خیلی کوچک بود.”

نقدهای شما باید شواهدی در پشت خود داشته باشند. بیان چنین اظهاراتی خوب است، تا زمانی که آنها را با استدلال خود دنبال کنید (در این مورد، بر چه اساسی تصمیم گرفته اید که مطالعه شرکت کنندگان کافی نداشته است؟).

” این مطالعه به شرکت کنندگان [این سن/این جنسیت/این گروه قومی] توجه نکرد.”

به طور سنتی، حوزه روانشناسی بر روی افراد عجیب و غریب (سفیدپوست، تحصیل کرده، صنعتی، ثروتمند و دموکراتیک) تمرکز دارد. مسلماً این موضوعی برای تعمیم پذیری یافته های تحقیق است. با این حال، اگر این نوع اظهارات را بیان می کنید، می توانید مهارت های تفکر انتقادی خود را با صحبت در مورد اینکه چرا فکر می کنید این موضوع برای موضوع خاصی که در حال تحقیق آن هستید بیشتر نشان می دهد: برای مثال، چگونه ممکن است نتایج یک مطالعه متفاوت باشد اگر یک نمونه شرکت کننده غیرعجیب به جای آن استخدام شده بود؟

بیش از حد انتقادی بودن

این احتمال وجود دارد که اگر مطالعه ای در منطقه شما بسیار مورد استناد قرار گرفته باشد، احتمالاً دارای مزایایی است (حتی اگر فقط توجه را به موضوع مهمی جلب کرده باشد). شما باید همیشه مراقب نقاط قوت و همچنین محدودیت ها باشید، خواه این محدودیت ها نظری (یعنی یک نظریه منسجم و به خوبی توضیح داده شده) یا تجربی (یعنی یک طرح مطالعه هوشمندانه).

بیشتر بدانید ..

  1. مراحل آسان برای مقاله روانشناسی درجه A شما
  2. نکات کلی نوشتن
  3. چگونه بهترین روش نوشتن را انتخاب کنیم
  4. روال نوشتن موثر شما
  5. استراتژی های جایگزین
  6. 5 مرحله اصلی نوشتن کاغذ
  7. استراتژی خود را برنامه ریزی کنید
  8. تحقیق و تجزیه و تحلیل
  9. ایجاد یک طرح کلی
  10. نوشتن پیش نویس کامل شما
  11. تصحیح و ویرایش

نوشتن یک مقاله روانشناسی برای بسیاری از دانش آموزان بسیار لذت بخش است. سازماندهی و روند نگارش آن مشابه دیگر مقالات است. برای کسب نمرات خوب، حتی قبل از شروع به برنامه ریزی دقیق، تجزیه و تحلیل دقیق، تحقیقات جامع و سایر ابزارهای اصلی نیاز دارید. هنگامی که موضوع خود را انتخاب و تحقیق کردید، می توانید یک طرح کلی ایجاد کنید.

مقاله روانشناسی بخشی از مطالعات رفتار انسان است و هدف اصلی آن توضیح طیفی از عوامل روانشناختی و جنبه های مرتبط با آن است. برای موفقیت کارهای روانشناسان معروف را در نظر داشته باشید. برای خواندن اطلاعات مفید زیر وقت بگذارید.

نکات کلی نوشتن

معرفی مقاله روانشناسی شما نقش مهمی ایفا می کند زیرا توجه خوانندگان را به خود جلب می کند و آنها را به موضوع مورد بحث شما علاقه مند می کند. از آمارهای مرتبط، از جمله تعداد افراد مبتلا به بیماری‌های روانی یا ناتوانی‌های یادگیری استفاده کنید تا احساس فوریت را به خوانندگان اضافه کنید و به تمرکز آنها کمک کنید.

هنگام نوشتن مقاله روانشناسی، ادبیات مربوطه را مرور کنید. روشن کنید که می توانید اطلاعات باکیفیت را به زبان خود بیابید، درک کنید و ارائه دهید، بنابراین تحقیقات ادبیات گسترده خود را برای بهبود ارزش مقاله خود انجام دهید. اگر مهارت‌ها و دانش تحلیلی عالی نشان دهید، نمرات بهتری کسب خواهید کرد. شما می توانید آموزگاران را تحت تأثیر قرار دهید که مقالات نادری را پیدا می کنید.

چگونه بهترین روش نوشتن را انتخاب کنیم

به تعداد صفحاتی که معلم شما درخواست می کند و سایر الزامات کلاس توجه کنید. قبل از اینکه استدلال قوی خود را حول داده های مفید ایجاد کنید، مقاله روانشناسی خود را بر اساس فصل های کتاب و سخنرانی های علمی مرتبط قرار دهید. بهترین رویکرد چیست؟ در حین انجام کار، مقاله خود را در بخش هایی بنویسید و همچنان که حقایق بیشتری را کشف می کنید، مطالب مرتبط را برای اصلاح آن پیدا کنید. این انتخاب به ترجیح شخصی شما بستگی دارد.

کمک حرفه ای بخواهید

روال نوشتن موثر شما

  • درک واضح خود را از آنچه یک سوال تکلیف از شما می پرسد، بدست آورید.
  • با استفاده از کتاب‌های مرتبط و جزوه‌های سخنرانی، اصول اولیه را دریافت کنید تا به یک ایده کلی از موضوع انتخابی خود برسید.
  • بدون نگرانی در مورد ساختار آن، پیش نویس مقاله روانشناسی خود را شروع کنید (سعی کنید اطلاعات خود را در بخش های خاص مرتب کنید).
  • بررسی ادبیات گسترده خود را شروع کنید، مقالات مرتبط را برای به دست آوردن منابع بیشتر بخوانید، و برای کسب اطلاعات بیشتر از کتابخانه های محلی دیدن کنید.
  • مقاله خود را اصلاح کنید، هر داده یا مطالب جدیدی را که ممکن است تغییر کند اضافه کنید، پاراگراف های پایانی و مقدماتی آن را بنویسید.
  • برای خلاص شدن از شر تمام اشتباهات جزئی و نکات نامشخص، آن را چند بار تصحیح کنید، زیرا تشخیص اشتباهات به یکباره دشوار است.

استراتژی های جایگزین

محبوب‌ترین استراتژی نوشتاری جایگزین، خواندن ادبیات در مورد موضوع خود و انجام جستجوهای گسترده قبل از شروع است. این روند باید از قبل شروع شود. این به این دلیل است که شما همیشه مسائل نامشخصی خواهید داشت یا برای توسعه موفقیت آمیز استدلال خود به زمان بیشتری نیاز خواهید داشت. راحت ترین روش را برای نوشتن مقاله روانشناسی خود انتخاب کنید.

از تله ابر استنادی رایج اجتناب کنید زیرا بسیاری از دانش آموزان فکر می کنند که مراجع بیشتر به طور خودکار به معنای نمره بالاتر است، اما آنها اشتباه می کنند. معلمان از شما انتظار خواندن، ارائه، درک و ارزیابی موضوع را دارند. مطمئن شوید که موضوع مناسبی را برای مقاله روانشناسی خود انتخاب کرده اید. شما آزاد هستید که در مورد هر چیزی که می خواهید بنویسید، از جمله زندگی اجتماعی، روابط شخصی، یا محیط اطراف و نحوه تأثیر آنها بر وضعیت روانی، واکنش های شناختی یا رفتار. در مورد این تکلیف مثبت بمانید، حتی اگر پیچیده به نظر برسد.

5 مرحله اصلی نوشتن کاغذ نردبان-موفقیت

مراحل خاصی وجود دارد که باید در نظر بگیرید تا به یک مقاله برنده برسید.

  1. استراتژی نوشتن موثر خود را برنامه ریزی کنید.
  2. تحقیق و تحلیل؛
  3. یک طرح کلی ایجاد کنید؛
  4. تمام بخش ها را بنویسید.
  5. تصحیح و ویرایش کنید.

استراتژی خود را برنامه ریزی کنید

این مرحله با خواندن دقیق تکلیف شما شروع می شود. از اشتباه نگاه کردن سریع به موضوع و انتخاب کلمات کلیدی خودداری کنید. اگر درخواست‌های شما از شما می‌خواهد که یک مقاله روان‌شناختی در مورد پیشایندهای عصبی مختلف مرتبط با اسکیزوفرنی بنویسید، نباید فقط بر روی آنها تمرکز کنید زیرا خطر شکست در هدف قرار دادن و تمرکز مقاله خود بر اساس سؤالات تحقیقاتی را دارید. روش های نوشتاری مؤثر خود را برنامه ریزی کنید و زمان لازم برای تحقیق، تهیه پیش نویس، تجزیه و تحلیل، بازنگری، طرح کلی و سایر مراحل مهم را برنامه ریزی کنید.

تحقیق و تجزیه و تحلیل

موضوع خود را در کتابخانه های محلی تحقیق کنید. برای یافتن منابع مفید اطلاعات و پایگاه‌های اطلاعاتی روانشناسی دانشگاهی، اینترنت را مرور کنید، زیرا آنها می‌توانند به شما امکان دسترسی به چکیده‌ها یا مقالات حرفه‌ای در مورد موضوعات مرتبط را بدهند. از سایت های انجمن حرفه ای که بخش ها یا پیوندهایی با داده های جالب دارند، بازدید کنید. یادداشت بردارید تا بعداً ارجاعات لازم را انجام دهید. به احتمال زیاد هنگام سازماندهی پاراگراف های مقاله روانشناسی خود، این اطلاعات مفید را به خاطر می آورید، بنابراین بر اساس الزامات قالب بندی خاص، آن را برای مراجع مناسب در دسترس قرار دهید.

ایجاد یک طرح کلی

اگر نویسنده با استعدادی هستید، ممکن است از این مرحله بگذرید. در غیر این صورت، ایجاد یک طرح کلی روش کاملاً مؤثری برای سازماندهی مقاله روانشناسی و دریافت یک نقشه راه مفید ارائه می دهد. این تضمین می کند که تمرکز خود را روی یک موضوع خاص حفظ کنید. آماده سازی دقیق شما تضمین می کند که تمام مناطق را به درستی پوشش می دهید. طرح کلی همچنین پر کردن بقیه مقاله را آسانتر و سریعتر می کند زیرا تولید ایده کارآمد شما برای هر پاراگراف در حین ایجاد آنها انجام می شود. تنها کاری که باید انجام دهید تا به یک پیش نویس عالی برسید، دسترسی به منابع مفید و پر کردن اطلاعات بیشتر در مورد نکات مشخص شده است.

نوشتن پیش نویس کامل شما

چگونه می توان به این هدف دست یافت؟ شما باید از ساختار زیر استفاده کنید:

  • معرفی؛
  • سوال پژوهشی؛
  • بررسی ادبیات؛
  • نتیجه.

مقدمه باید شامل ارقام جلب توجه، حقایق و اطلاعات پس زمینه در مورد مشکل انتخابی شما باشد، بنابراین باید تمرکز مقاله خود را ذکر کنید و توضیح دهید که چرا رویکرد شما منحصر به فرد است. فراموش نکنید که بر منطق خود برای نوشتن آن تاکید کنید.

پس از بیان حوزه موضوعی خاص خود، سوال تحقیق خود را بیان کنید. اگر مقاله روانشناسی خود را بر اساس برخی تحقیقات کیفی قرار می دهید، همیشه باید فقط یک سوال تحقیقاتی بپرسید. برای مطالعه کمی خود، یک فرضیه تحقیق بیان کنید.

اکنون مقاله روانشناسی را سفارش دهید!

بررسی ادبیات شما باید از طریق شواهد موجود در ادبیات آکادمیک فعلی، بینش بهتری در مورد سؤال یا موضوع تحقیق شما به خوانندگان ارائه دهد. بحث خود را با خلاصه ای از ادبیات دنبال کنید و در قالب تحلیل انتقادی خود برای نوشتن یک مقاله روانشناسی خوب استناد کنید.

در مورد بخش نتیجه گیری چطور؟ باید همه چیزهایی را که در پاراگراف‌های دیگر ارائه می‌دهید خلاصه کند و بدون سؤال اضافی برای مخاطبان هدف باقی بماند. اگر هنوز سؤالاتی در ذهن خوانندگان وجود دارد یا آنها را به دنبال چیزی بیشتر از مقاله خود رها می کنید، نتوانستید آن را به درستی نتیجه گیری کنید. همه آنها را در اظهارات پایانی خود بکشید.

اکثر معلمان از شما می خواهند که مقاله روانشناسی خود را بر اساس استانداردهای APA قالب بندی کنید، اما سبک های ارجاع رایج دیگری نیز وجود دارد . به الزامات تکلیف خاص توجه زیادی داشته باشید زیرا اگر شما نتوانید همه آنها را برآورده کنید، اکثر اساتید امتیاز را کسر می کنند.

تصحیح و ویرایش

همه دانش آموزان باید مقالات خود را تصحیح کنند. اگر ترجیح می دهید از برنامه های ویژه بررسی املا استفاده کنید، اطمینان حاصل کنید که هنگام بررسی مقاله شما برای خطاهای گرامری یا سایر خطاها، از قوانین به روز شده استفاده می کنند. آن را دوباره بخوانید تا مطمئن شوید که به معنای آن چیزی است که می خواهید. از نوشتن چیزی فقط برای برآورده کردن الزامات تعداد کلمات خودداری کنید زیرا باید هر کلمه را برای خوانندگان معنی دار کنید.

 

 

 

 

بدون نظر

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *