汪海鵬 仲旭 任婷婷 李江霞
摘?要：跨專業綜合實訓課程，通過為學生營造虛擬的商業社會環境，給學生身臨其境的感覺，培養學生的創新能力，促進創新創業教育與實驗教學的有效結合。但課程的考核方式目前尚不完善。隨著教育信息化的深入應用，教學大數據的產生為課程的考核提供了新思路，本文圍繞學習態度、專業能力、創新能力三方面構建了考核評價模型，建立考核評價指標。結合專家打分法和AHP層次分析法，使用SPSS數據分析軟件，得到各項指標具體權重，設計了新的考核評價體系。
關鍵詞：考核評價體系；
教學大數據；
評價指標；
權重設計；
AHP層次分析法
中圖分類號：F27?????文獻標識碼：A??????doi：10.19311/j.cnki.16723198.2023.17.025
0?引言
“創新能力顯著提升”被列為是我國“十四五”時期經濟社會發展的重要目標之一，國家的創新需要依靠掌握專業知識和技能的創新型人才，因此對各高校所設課程的評價模式也提出了新的要求?？茖W、有效的評價模式不僅是提升學生專業素養和創新能力的重要抓手，也是提升課堂教學效果的重要手段，尤其是實驗實踐教學類課程的評價模式是否有效對實驗實踐教學效果以及學生能力的提升等方面起到了關鍵性作用。
目前許多高校的實驗實踐教學課程評價體系的改革融入了過程考核、個人考核、團隊考核等內容，考核指標也在逐步從單一化走向多元化，但其中的個人考核部分依然是以考勤和實驗報告為主。如今信息化教學模式愈發成熟、線上線下交互形式愈發多樣，在新環境下可以獲取的學習過程和結果數據變得更加豐富，但大量的教學數據沒有被充分利用和挖掘，并將其融入個人考核評價指標的設計和制定上。鑒于此，本文基于學?！獤|北大學秦皇島分校的跨專業綜合實訓課程，充分挖掘教學過程中產生的大數據信息，圍繞學生的學習態度、專業能力、創新能力等三個方面展開，綜合使用了專家打分法以及AHP層次分析法，對該課程的個人考核指標體系進行了重構，并將其應用于學校800多名經管專業學生，取得了較好的效果，驗證了全新的個人考核指標體系的“指揮棒”作用。
1?現有個人考核評價體系存在的問題
學校開設的跨專業綜合實訓課程屬于典型的創新創業實踐類課程，該課程通過搭建虛擬仿真的業務場景，讓學生在高度仿真的環境中進行角色體驗、企業運營，學會工作、學會思考，在實訓教學中全面考察學生的專業知識、專業技能、創新實踐能力、溝通能力、團隊能力等。目前，該課程的考核評價體系如圖1所示。
圖1?現有的考核評價體系圖
從圖1我們可以看到現有的評價體系注重對學生過程性考核、團隊考核、團隊與個人之間互評等方面多維度考核評價，團隊考核的評價指標是比較成熟和完善的，它考察了學生的溝通能力、團隊協作能力、專業能力、管理決策能力等方面，但個人考核部分則主要以考勤和實驗報告為依據，評價方式相對來說比較片面、單一，它不能反映出學生個人的學習態度、專業能力、創新能力等方面的綜合表現。
經管學科實踐類課程的考核評價評價體系應既注重學生的學習成果也重視學生的學習過程，重點考察學生的專業知識掌握情況，以及學生的創新水平。由于學生的主觀情感也會直接作用于學習效果，因此也將學習態度納入其中。最終本文提出的考核評價體系將學習態度、專業能力、創新能力三個維度作為一級指標，在此基礎上再具體細化出二級指標，并給出具體量化辦法。
2?個人考核評價體系的重構
2.1?學習態度指標的選取
學習態度是學習的動力源，有研究表明，大部分學生的學習效果與投入的時間和精力呈正相關，因此評價學生的學習態度是考核的重要內容之一。社會心理學的有關研究指出：態度包括情感體驗、認知水平和行為傾向三方面，但學生的認知水平和情感體驗難以衡量和量化，因此選擇學生在學習過程中的外顯行為來反映其學習態度。主要通過學生是否參與了課程相關的學習活動來考察，而學生參加的活動又分為教師指定的課程必要活動和學生自主發起的學習活動兩方面。能夠反映學生學習態度的指標有：出勤率、測試完成情況、作業完成情況、參與投票次數、線上資源觀看時長、線上資源訪問次數、提問次數、回答問題次數等，受益于學習通、騰訊課堂等線上教學工具，獲取這些數據非常方便。
2.2?專業能力指標的選取
專業知識是學生的立身之本，傳授專業知識也是高等教育的重要目標，過硬的專業基本功是學生解決問題、創新創業的基礎。本文通過學習通中產生的預習自測成績、課堂測試成績以及最后教師打分的實驗報告成績反映學生的專業知識掌握程度。此外，有研究表明，深入地學習與研究，可以加深學生對專業知識的理解，也可以促進其創新思維和實踐能力的提升，因此本文還對學生的學習深度進行考量，主要通過學生對線上教學資源的訪問質量以及實訓過程中的工作日志深度來體現。
2.3?創新能力指標的選取
培養學生的創新能力是本課程的主要教學目標，檢驗學生的創新實踐能力是否得到提高是考核的重點內容。
首先，考察的是學生的創新意識，提出具有新意的問題是學生創新意識的體現，也是開啟創新實踐的第一步，因此本文會將多人關注并回答，并且得到教師采納的提問作為衡量學生創新意識的重要指標，與之相對，那些被多人贊同的回答也被納入其中。
其次，本次實訓課程需要學生設計多個創新作品，包括企業海報、企業營銷策劃方案、企業戰略規劃方案等，這些創新作品作為學生創新能力的外顯表現被納入考核體系。
最后，還需要考察學生在創新實踐活動中的參與程度，可以通過課程QQ群、學習通空間的熱門動態，以及學生組內評選出的1至3名團隊核心人員等形式來對這一指標進行量化。
綜上，本文提出的改進后的個人考核評價體系如表1所示。
2.4?個人考核評價體系指標權重的確定
確定指標權重有多種方法可以選擇，其中比較主流的有：專家打分法、利用信息濃縮原理的主成分法和因子分析法、利用數字的相對大小信息的AHP層次分析法和優序圖法、利用數據熵值的熵值法等。本文涉及的考核體系比較復雜，僅通過數學計算難以得到合適的決策結果，因此采用專家打分法和AHP層次分析法相結合的形式確定權重，用專業的數據分析軟件SPSS實現，既借鑒了專家豐富的教育教學經驗，又輔之以嚴密的數學計算，可以在一定程度上規避專家打分的主觀因素，使評價結果相對客觀、科學。AHP層次分析法由以下四步完成：
步驟1?確定標度、構造判斷矩陣
通過兩兩比較同一層級的指標，按照重要程度賦值，結合專家打分結果得到判斷矩陣表格。此過程判斷各指標重要程度時的依據如表2所示，例如，假設指標x比指標y重要，則量化值為相應的整數，反之，y比x重要則為相對應的倒數。例如，x比y強烈重要則量化為7，y比x強烈重要則為1/7，即0.1429。
步驟2?特征向量、特征根計算和權重計算
計算各項指標的權重首先需要計算特征向量值，SPSS軟件會提供特征向量指標，得到最大特征根值，即CI，CI值會在接下來一致性驗證分析時被進一步使用。
步驟3?一致性驗證分析
在構建判斷矩陣時，可能會出現邏輯性錯誤，比如指標i比指標j重要，指標j比指標k重要，但卻又出現k比i重要的矛盾結果。為了避免該問題，需要進行一致性檢驗，一致性檢驗的原理是使用CR值進行檢測，如果CR值小于0.1，表示可以通過一致性檢驗，反之則說明專家意見存在較大分歧，CR的具體計算公式為：CR=CI/RI。其中CI值在步驟2已經得到，RI的具體含義是隨機一致性指標，RI的具體數值和判斷矩陣的階數有關，一般來說，判斷矩陣的階數越高，出現一致性隨即偏離的幾率也越高，相對應的RI值也就越大。具體值可以直接查表得出，見表3。
步驟4?分析結論
如果每一份專家投票的結果CR值均滿足一致性檢驗，可由此得出最終的指標權重結果。
根據上述步驟，本文設計并發放有關考核評價指標的調查問卷，調研對象包含跨專業綜合實踐課程任課教師、經管學院教學研究人員、以及學校教務管理人員三類，每一類人員各6人，共發放問卷18份，回收問卷17份。對其中的無效問卷進行清理后，共得到16份專家問卷，利用數據分析工具SPSS對問卷數據進行數據分析，經驗證，所有專家打分數據均通過一致性檢驗，其CR值都小于0.1，成功得到各考核評價指標的具體權重結果，見表4。
3?新的考核評價體系實施效果
本文提出的大數據視角下的考核評價體系是面向實訓課程全過程的，既可以激發學生的創新熱情，樂于討論，勇于嘗試不同的方案，又可以幫助教師借助過程性和結果性考核，對學生的創新創業能力做出全面的評價，學生在整個實訓課程中的精神狀態、活躍程度與往屆相比都有顯著的提升。過去的實訓課程中，有個別小組僅有少數的幾名學生完成企業經營業務，其余學生對團隊的貢獻較少，僅在臨近結束時突擊完成實驗報告，在此情況下學生的專業素養和創新能力都很難得到提升。在新的評價體系的要求下，“躺平式”的學習方式會直接影響學生的個人成績，倒逼學生全程主動、積極地參與到課程中來。
新的個人考核評價體系重視學生與學生之間，學生與教師之間的討論和溝通，進一步促進了課程的教學模式由“教師教、學生學”的被動教學模式變為以任務為驅動的“學生為主體，教師為主導”的雙主模式。學生在實訓過程中能夠充分利用線上教學資源，遇到問題時可以隨時查詢線上授課錄像，也可以在線上討論組向其他同學或教師求助，學生的專業知識和創新能力都得到了很大程度的提高。
此外，本文提出的考核評價體系，其數據支撐均來自于教學過程中產生的大數據，數據源真實可靠，數據獲取方便，并且評價模型的擴展性強。大多數結構化數據可以從系統中一鍵導出，非結構化數據可以設計簡單的爬蟲自動獲取，經處理后轉化成結構化數據。后續教研過程中可以對這些數據進行更加深入的挖掘，進一步完善該課程的考核方式。
4?結束語
本文以客觀、真實的教學大數據為支撐，以學習態度、專業能力、創新能力三個角度作為一級指標構建了跨專業綜合實踐課程新的考核評價體系，并對各項指標賦予科學的權重。本文提出的評價體系能夠科學、系統、全面地評價創新創業教育成果，即學生是否具備創新意識和能力。也為同類型的電子商務創業、ERP沙盤模擬等其他創新創業類課程提供了借鑒和參考。本課題的研究還存在一定的不足，接下來還需要更深入的研究和完善。
（1）目前的評價體系中用到的學生的行為數據大多從線上獲取，很少涉及線下數據，后續的研究過程中應逐步擴大數據采集的范圍，挖掘線下數據的價值，繼續豐富和完善課程的考核體系。
（2）學生作為獨立存在的學習個體，具體的學習效果可能受到其個人的學習風格、學習習慣、認知方式的影響，本文提出的評價體系對這些因素的考慮相對較少，后續研究中應在評價指標中引入更多的學生個性化的元素，并且對其提出合理的量化方法。
參考文獻
［1］趙楊，仲旭，李江霞，等.VBSE跨專業虛擬仿真綜合實訓實踐教學評價體系的建立與實踐[J].黑龍江科學，2022，13（03）：3233.
[2]李金玲，張濤，馬海群，等.大學生學習態度對數據素養效果影響因素研究——基于SEM的量化分析[J].文獻與數據學報，2022，4（04）：6881.
[3]沈一丹，汪慧蓉，阮珊珊，等.基于ABC模型的非英語系大學生英語態度研究[J].海外英語，2021，452（16）：1213.
[4]姚佳佳，李艷，潘金晶，等.同伴對話反饋對大學生在線深度學習的影響研究[J].華東師范大學學報（教育科學版），2022，40（03）：112126.
[5]馬玉瑩.基于網絡層次分析法的高職混合教學評價指標權重計算[J].電腦與信息技術，2021，29（06）：4142+46.
[6]劉雙.基于“學習通+騰訊會議”雙平臺的線上教學模式研究——以“SPSS統計軟件應用”為例[J].現代信息科技，2023，7（02）：195198.
[7]余新橋.基于表達式的AHP群決策在教學質量評價中的應用[J].信息技術與信息化，2022，271（10）：111114.
[8]陳彬，張世良，鄒文景，等.非結構化數據特征建模與存儲方法研究[J].電子設計工程，2021，29（22）：4750.
猜你喜歡 考核評價體系評價指標 旅游產業與文化產業融合理論與實證分析科學與管理(2016年5期)2016-12-01基于UML的高校思想政治教育工作評價系統的分析與研究中小企業管理與科技·上旬刊(2016年10期)2016-11-15職業院校商務英語專業“雙師結構”教學團隊建設研究考試周刊(2016年80期)2016-10-24