Maschinelles Lernen mit Aussagen zur Modellkompetenz
- PDF / 550,023 Bytes
- 16 Pages / 612.419 x 808.052 pts Page_size
- 113 Downloads / 167 Views
ORIGINAL PAPER
Maschinelles Lernen mit Aussagen zur Modellkompetenz Dirk Krüger1
· Moritz Krell1
Eingegangen: 11. Februar 2020 / Angenommen: 12. September 2020 © Der/die Autor(en) 2020
Zusammenfassung Verfahren des maschinellen Lernens können dazu beitragen, Aussagen in Aufgaben im offenen Format in großen Stichproben zu analysieren. Am Beispiel von Aussagen von Biologielehrkräften, Biologie-Lehramtsstudierenden und Fachdidaktiker*innen zu den fünf Teilkompetenzen von Modellkompetenz (NTraining = 456; NKlassifikation = 260) wird die Qualität maschinellen Lernens mit vier Algorithmen (naïve Bayes, logistic regression, support vector machines und decision trees) untersucht. Evidenz für die Validität der Interpretation der Kodierungen einzelner Algorithmen liegt mit zufriedenstellender bis guter Übereinstimmung zwischen menschlicher und computerbasierter Kodierung beim Training (345–607 Aussagen je nach Teilkompetenz) vor, bei der Klassifikation (157–260 Aussagen je nach Teilkompetenz) reduziert sich dies auf eine moderate Übereinstimmung. Positive Korrelationen zwischen dem kodierten Niveau und dem externen Kriterium Antwortlänge weisen darauf hin, dass die Kodierung mit naïve Bayes keine gültigen Ergebnisse liefert. Bedeutsame Attribute, die die Algorithmen bei der Klassifikation nutzen, entsprechen relevanten Begriffen der Niveaufestlegungen im zugrunde liegenden Kodierleitfaden. Abschließend wird diskutiert, inwieweit maschinelles Lernen mit den eingesetzten Algorithmen bei Aussagen zur Modellkompetenz die Qualität einer menschlichen Kodierung erreicht und damit für Zweitkodierungen oder in Vermittlungssituationen genutzt werden könnte.
Schlüsselwörter Kompetenzerfassung · Offenes Antwortformat · Computerbasierte Kodierung · Algorithmen · Evidenz für Validität
Machine Learning with Responses Related to Modeling Competence Abstract Computer-automated scoring can help to analyse responses to open-ended questions in large samples. For such purposes, the quality of computer-automated scoring must be evaluated. Using responses related to five aspects of modeling competence from biology teachers, pre-service biology teachers and science education experts (Ntraining = 456; Nclassification = 260) as an exemplary case, the quality of computer-automated scoring is examined with four algorithms (naïve Bayes, logistic regression, support vector machines and decision trees). Evidence for the validity of the interpretation of the coding with these algorithms is available with satisfactory to good agreement between human and computer-automated scoring in training (345–607 statements depending on the aspect of modeling competence). In classification (157–260 statements depending on the aspect of modeling competence) this agreement is only moderate. Positive correlations between the identified level of modeling competence and the external criterion ‘response length’ indicates that coding with naïve Bayes does not provide valid results. Significant attributes that were used by the algorithms for classification correspond to r
Data Loading...
