تحلیل محتوای کاربرگ‌های ارزیابی کیفیت مقالات در مجلات علمی ـ پژوهشی هنر

نوع مقاله : مقاله پژوهشی

نویسنده

گروه پژوهش هنر، واحد علی آبادکتول، دانشگاه آزاد اسلامی

چکیده

کاربرگ‌های ارزیابی مجلات علمی مهم‌ترین ابزار ارزیابی کیفیت مقالات علمی‌اند. به نظر می‌رسد، علاوه بر ویژگی‌های خاص پژوهش‌های این حوزه و مشکلاتی همچون میزان تسلط پژوهشگران، به‌ویژه در روش‌شناسی‌ و رویکردهای نظری شاخص‌ها‌ و ملاک‌های ارزیابی مقالات مندرج در کاربرگ‌های داوری مجلات علمی ـ پژوهشی هنر، نقش بسزایی در تأثیر گزارش‌های علمی حوزه هنر در تولید علم کشور خواهد داشت. هدف از این مطالعه، که به روش تحلیل محتوا انجام شد، توصیف عینی و کیفی شاخص‌های کاربرگ‌های ارزیابی مجلات علمی ـ پژوهشی هنر است. لذا، این پرسش به وجود می‌آید که: آیا شاخص‌های موجود در کاربرگ‌های داوری مقالات علمی ـ پژوهشی هنر از کیفیت لازم و کافی برخوردارند؟ بر مبنای شیوه تمام‌شماری، نمونه‌های آماری شامل 9 کاربرگ‌ ارزیابی مجلات تخصصی هنر با رتبۀ علمی ـ پژوهشی بود. گردآوری اطلاعات به دو صورت کتابخانه‌ای و مراجعه به پایگاه‌های استنادی مجلات علمی انجام شد. به‌منظور استخراج وضعیت موجودِ شاخص‌ها از سیاهۀوارسی محقق ساخته و نرم‌افزار اکسل به‌عنوان ابزار پژوهش استفاده شد. داده‌های گردآوری‌شده به‌کمک روش آمار توصیفی برحسب درصد توزیع فراوانی و رسم جدول و نمودار تجزیه‌وتحلیل شد. یافته‌های تحقیق نشان می‌دهند، از مجموع 53 شاخص موجود، شاخص «استفاده از منابع معتبر کافی و جدید (داخلی و خارجی)» با 78/77% بیشترین و 26 شاخص‌دیگر، با 11/11% کمترین درصد فراوانی را دارا می‌باشند. از مجموع 18 مؤلفه ساختاری و مفهومی مقالات علمی 8 مؤلفه در این کاربرگ‌ها لحاظ شده و «اخلاق» و «آیین نگارش» به‌عنوان دو مؤلفه متفاوت از مؤلفه‌های هجده‌گانه در این کاربرگ‌ها قابل‌مشاهده است. نتایج به‌دست‌آمده، حاکی از پراکندگی و توزیع نامتوازن مؤلفه‌ها و شاخص‌های ارزیابی در این کاربرگ‌ها بوده و بازنگری در آن‌ها را ضروری نشان می‌دهد. 

کلیدواژه‌ها


عنوان مقاله [English]

Content Analysis of Quality Evaluation Worksheets in Scientific Journals of Art

نویسنده [English]

  • Gholamreza Hassani
Department of Humanities, Aliabad katoul Branch, Islamic Azad University, Aliabad katoul, Iran
چکیده [English]

The worksheets used for evaluation of scientific journals are the most important evaluative tools for evaluating the quality of scientific articles. It seems that in addition to the specific features of research in this field and problems such as the extent of researchers' proficiency, especially in methodology and theoretical approaches; the indicators and evaluation criteria of the articles included in the worksheets of scientific-research journals of art will play an important role in influencing scientific reports in the field of art production in the country. The worksheets in scientific-research journals in the field of art, like other scientific journals, contain information that is used to review and evaluate scientific articles in the field prior to publication. Importantly, the components and indicators used in each of the evaluation worksheets of art-scientific journals are of varying quantity and quality. Therefore, the question arises: Are the indicators in the worksheets of the scientific-research works of art sufficient? Importance and necessity of this study is due to three reasons: 1) failure to conduct research similar to the present topic; 2) incomplete conformity of existing evaluation indices with the structure and scientific content of articles regarding the country’s science. In fact, the indicators of the quality assessment of scientific articles are the most important tools by which scientific journals present the value and credibility of researchers’ scientific reports.The purpose of this study, which was done through content analysis, is to describe the objective and qualitative features of the worksheets used for the evaluation of scientific research journals in art. On the basis of the census method, statistical samples consisted of nine worksheets for evaluating specialized art journals’ scientific research degree. Data collection was carried out using library research method and referring to scientific journals' citation databases. In order to extract the existing status of the evaluative criteria, a researcher-made checklist was created and Excel software was used as a research tool. The collected data were analyzed by descriptive statistics method in terms of frequency distribution and drawing tables and charts. The research findings show that from the total of 53 existing indicators, the index of "using sufficient and new valid sources (internal and external)" is the largest with 77.78% and the other 26 indicators, with 11.11%, have the lowest percentages. Of the 18 structural and conceptual components of scientific articles, 8 components are included in these worksheets. "Ethics" and "Writing principle" are two different components from among 18 components which can be seen in these worksheets. This suggests that the scientific journals in the arts-related fields, take into consideration the indicator of review articles rather than the indicators related to new knowledge production, which is the result of original research. Also, according to the data analysis, after the components of "title" and "discussion and conclusion", the components of "resources" and "abstract" with the same frequency (77.77%) and "introduction" and "findings" with a similar frequency (55.55%), respectively, have the second and third frequency among the evaluation components.The results indicate the unbalanced dispersion and distribution of components and evaluation indicators in the selected worksheets, as a consequence of which their revision is essential. The content analysis of these worksheets showed that there are significant imbalances and shortcomings in the dispersion and distribution of the components and indicators in the evaluation worksheets utilized for this group of scientific journals which in turn necessitates their revision. Regular and periodic evaluation of the review and assessment tools used for assessing scientific papers, identifying the shortcomings of the evaluation worksheets in the scientific art journals with the help of experts, and revising the existing indicators in the evaluation worksheets, based on the structural and conceptual components of writing scientific articles are among the most important activities suggested for such a revision. In addition to improving the quality of review, the revision will increase the researchers' satisfaction and confidence of the quality of evaluation and maximize the role and contribution of the arts-related research to the science production of the country. Obviously, this review, in addition to promoting the quality of arbitration, will increase the satisfaction and assurance of art scholars of the method and quality of arbitration, and the role and contribution of arts research to the production of national science.

کلیدواژه‌ها [English]

  • Evaluation Worksheets
  • Art Scientific Research Journals
  • Content Analysis
  • Peer Review
افشاری، معصومه، مهرام، بهروز، و نوغانی، محسن. (1392). بررسی و تدوین شاخص‌های ارزیابی کیفیت مقاله‌های علمی ـ پژوهشی در حوزه علوم انسانی مبتنی بر نظریه هنجارهای علم مرتن، فصلنامه علمی ـ پژوهشی سیاست علم و فن‌آوری، سال ششم، شماره 1، 49-66.
ارسطورپور، شعله، (1391)، فرم‌های داوری مقالات در پیایندهای علمی و مسائل مرتبط، کلیات، کتاب ماه اطلاعات، ارتباطات و دانش شناسی، 15 (9):26-31.
ارشاد، فرهنگ، قارانی، معصومه، و میرزایی، سید آیت‌الله. (1384). تحلیل اسناد داوری مقاله‌های مجله جامعه‌شناسی ایران، مجله جامعه‌شناسی ایران، 6 (33): 4-3.
ببی، ارل. (1393). روش‌های تحقیق در علوم اجتماعی، تهران: انتشارات سمت.
 بمانیان، محمدرضا؛ احمدی، فریال؛ اسدپور، علی. (1392). ارزیابی کمی و کیفی مقالات علمی ـ پژوهشی دو فصلنامه مدیریت شهری از شماره 19 تا 29، مجله مدیریت شهری، شماره 32، ص ص. 298-289.
پاشنگ، محمدرضا؛ نورمحمدی، حمزه علی و نوروزی چاکلی، عبدالرضا. (1394). تحلیل سرانه نشریات علوم پزشکی ایران و انطباق آن با تعداد پژوهشگران این حوزه. تحقیقات کتابداری و اطلاع رسانی دانشگاهی, 49 (4): 1-1.
زکی، محمد. (1385). بررسی و تحلیل محتوای گرایش‌های پژوهش در مجلات علمی تخصصی مدیریت، فصلنامۀ دانش مدیریت، 43-74.
زینی وند، جواد. (1387). ISI چیست و شیوۀ ارزیابی مقالات و مجلات چگونه است؟ دسترسی در 22/09/1396
شریفی، مسلم، میردار هریجانی، شادمهر، و عسکری، بابی سان. (1391). تحلیل توصیفی مقاله‌های نشریات علمی پژوهشی تربیت‌بدنی و علوم ورزشی طی سال‌های 1388-1384، مجله مدیریت ورزشی، 12: 61-85.
حافظ نیا، محمدرضا. (1389). مقدمه‌ای بر روش تحقیق در علوم انسانی، تهران: انتشارات سمت.
کریپندورف، کلاس. (1393). تحلیل محتوا، مبانی روش‌شناسی، تهران: نشر نی.
قانعی راد، محمد امین و قاضی پور، فریده. (1381). عوامل هنجاری و سازمانی مؤثر بر میزان بهره‌وری اعضای هیئت‌علمی، فصلنامه پژوهش، 4: 167-206.
منصوریان، یزدان. (1388). صد ویژگی یک مقاله علمی ـ پژوهشی خوب، کلیات، کتاب ماه اطلاعات ارتباطات و دانش شناسی، 66-77.
 
 
European commission, (2008). European Educational Research Quality Indicator (EERQI), Project No. 217549.
Fabes, R.A; Martin, C.L; Hanish; L.D. and Updegraff, K.A. (2000). Criteria for Evaluating the Significance of Developmental Research in the Twenty-First Century: Force and Counterforce, Child Development, 71(1), pp. 212-221.  
Gersten, R. F., Compton, L., Coyne, D., Greenwood, M and ch. Inocenti, M. S., (2005), Quality Indicators for Group Experimental and Quasi – Experimental Research in Special Education, Council for Experimental Children, 71(2), pp. 149-62.
Goldin, I.; & Ashley, K. (2010). Elicting Informative Feedback in Peer Review: Importance of Problem-Specific Scaffolding. "Learning by Reviewing through Peer Feedback Refinement." Proceedings of the Worshop on Computer-Supported Peer Review in Education, 10th International Conference on Intelligent Tutoring Systems. Pittsburgh, USA. Retrieved 16-7-2012 from: http://www.cspred.org/proceedings/2-cspred2010_submission_7.pdf.
Haghani N, Nezhadmasum M. Lingustic and topical analysis of Foreign Language Teaching Journal: From the beginning until now. Foreign Language Teaching Journal 2008; 22(1): 4-9.
Hames, I. (2007). Peer Review and Manuscript Management in Scientific Journals:Guidelines for Good Practice. Malden: Blackwell Publishing.
Quality Criteria for Assessment of Education Research in Different Contexts (2009). Teaching and Learning Research Program. No. 80. Retrieved 16-7-2012 from: http://www.tlrp.org/pub/documents/Oancea%20 RB%2080%20FINAL.pdf.
Rockwell, S. (2005). Ethics of Peer Review: A Guide for Manuscript Reviewers. Retrieved 16-7-2012 from: http//medicine.yale.edu/therapeuticradiology/Images/Ethical_Issues_in_Peer_Review_tcm307-34211.pdf.
Steinke, A. (2003). Peer Review Forms: Getting the Best from Your Reviewers. Science Editor, Vol. 26(5): 158.