Διεξάγεται συστηματική έρευνα με βάση
δεδομένα που συλλέγονται ή προκύπτουν από την διενέργεια των εξετάσεων
του ΚΠΓ στα Αγγλικά. Πιο συγκεκριμένα, η έρευνα αφορά τους:
Διεξάγεται επίσης έρευνα για τα παρακάτω:
ΕΞΕΤΑΣΤΕΣ ΠΡΟΦΟΡΙΚΟΥ ΛΟΓΟΥ
Η στάση των εξεταστών σε
σχέση με την εξέταση και τις συγκεκριμένες δραστηριότητες διερευνώνται
μέσα από ερωτηματολόγια που διανέμονται στους εξεταστές σε όλα τα
εξεταστικά κέντρα την ημέρα των εξετάσεων. Αυτά τα ερωτηματολόγια
περιλαμβάνουν ερωτήσεις σχετικά με την διαδικασία των προφορικών
εξετάσεων, την συμπεριφορά του εξεταστή, την μορφή της εξέτασης, το
περιεχόμενο των δραστηριοτήτων καθώς επίσης και τις στρατηγικές που
απαιτούνται.
ΒΑΘΜΟΛΟΓΗΤΕΣ (ΠΑΡΑΓΩΓΗΣ) ΓΡΑΠΤΟΥ ΛΟΓΟΥ
Ερωτηματολόγια
χρησιμοποιούνται για να διερευνηθούν οι απόψεις των βαθμολογητών γραπτού
λόγου για την ίδια την διαδικασία της βαθμολόγησης, για το
πρόγραμμα
εκπαίδευσής τους ως βαθμολογητές, για τα εργαλεία βαθμολόγησης και για
την εμπειρία τους ως βαθμολογητές. Τα ερωτηματολόγια αυτά συμπληρώνονται
πάντα στο τέλος της διαδικασίας της βαθμολόγησης.
ΥΠΟΨΗΦΙΟΙ
Οι απόψεις των υποψηφίων
του ΚΠΓ απέναντι στα θέματα των εξετάσεων διερευνώνται μέσα από ειδικά
σχεδιασμένα ερωτηματολόγια που τους διανέμονται σε κάθε εξεταστική
περίοδο. Σκοπός της έρευνας είναι να καταδείξει ποιες δραστηριότητες
παρουσιάζουν δυσκολίες για τους υποψηφίους, ποιοι παράγοντες πιστεύουν
ότι επηρεάζουν την απόδοσή τους, τι είδους στρατηγικές χρησιμοποιούν
για να βελτιώσουν την απόδοσή τους ή τι είδους θεματικές τους κεντρίζουν
περισσότερο το ενδιαφέρον. Τα δεδομένα αυτά αναλύονται μέσω ειδικών
στατιστικών πακέτων, π.χ. SPSS και τα αποτελέσματα της ανάλυσης
αξιοποιούνται για περαιτέρω έρευνα. Κατά το τελευταίο στάδιο της έρευνας
συντάσσονται ειδικές αναφορές (reports) με τα πορίσματα που προκύπτουν.
ΑΝΑΛΥΣΗ ΕΡΩΤΗΜΑΤΩΝ (ITEM ANALYSIS)
Οι απαντήσεις των
υποψηφίων στα ερωτήματα κατανόησης γραπτού και προφορικού λόγου
μελετώνται προκειμένου να διερευνηθεί: α) ο βαθμός αξιοπιστίας της
εξέτασης (Cronbach’s Alpha), β) ο βαθμός ευκολίας του κάθε ερωτήματος
της εξέτασης (difficulty index), γ) κατά πόσο συνέβαλε το κάθε ερώτημα
στη διάκριση των υποψηφίων βάσει του βαθμού κατοχής της ικανότητας ή της
γνώσης που μετριέται μέσω της εξέτασης (discrimination indices), και δ)
κατά πόσο ο κάθε παραπλανητής (distractor) -εφόσον πρόκειται για
ερώτημα που περιλαμβάνει παραπλανητές- συνέβαλε στη δυσκολία του
ερωτήματος, παραπλανώντας όχι μόνο τους υποψήφιους που δεν κατείχαν τη
γνώση ή την ικανότητα, αλλά και όσους αναμενόταν ότι την κατείχαν (distractor
analysis). Μια σειρά πιο περίπλοκων αναλύσεων συνοδεύει τις παραπάνω
στατιστικές μετρήσεις αποσκοπώντας στην εξασφάλιση της αξιοπιστίας και
εγκυρότητας των εξετάσεων του Κρατικού Πιστοποιητικού Γλωσσομάθειας στην
Αγγλική γλώσσα.
ΑΝΑΛΥΣΗ ΔΙΑΒΑΘΜΟΛΟΓΙΚΗΣ ΑΞΙΟΠΙΣΤΙΑΣ
Η ανάλυση της
διαβαθμολογικής αξιοπιστίας στοχεύει στην αξιολόγηση της ποιότητας
βαθμολόγησης των γραπτών καθώς και της αποτελεσματικότητας των
χρησιμοποιούμενων κατά τη διαδικασία της βαθμολόγησης οργάνων, τα οποία
είναι: (α) η Σχάρα/Πλέγμα Αξιολόγησης–Κριτήρια Αξιολόγησης, (β) το
Εκπαιδευτικό Υλικό & Εκπαιδευτικά Σεμινάρια και (γ) η συμβουλευτική
καθοδήγηση κατά την διάρκεια της βαθμολόγησης. Τα δεδομένα συλλέγονται
από τυχαίο δείγμα γραπτών από κάθε εξεταστική περίοδο για τα επίπεδα
Α1/Α2, B1/B2 και Γ1 σε αριθμό που ανέρχεται σε τουλάχιστον 40% του
συνόλου.
ΔΙΕΡΕΥΝΗΣΗ ΣΤΡΑΤΗΓΙΚΩΝ ΑΝΤΙΜΕΤΩΠΙΣΗΣ ΤΩΝ ΘΕΜΑΤΩΝ ΤΟΥ ΚΠΓ
Πρόκειται για έρευνα που διεξάγεται στο
Κέντρο Έρευνας για τη
Διδασκαλία Ηένων Γλωσσών και Αξιολόγηση Γλωσσομάθειας και αφορά στη διερεύνηση των στρατηγικών
(test-taking strategies) που χρησιμοποιούν οι υποψήφιοι των
επιπέδων Β1/Β2 και
Γ1 για να αντιμετωπίσουν τις δραστηριότητες των εξετάσεων του ΚΠΓ στην Αγγλική γλώσσα. Στόχος της συγκεκριμένης έρευνας είναι να
καθορίσει τις επιτυχημένες στρατηγικές για την αντιμετώπιση των θεμάτων
του ΚΠΓ και αν αυτές μπορούν επιτυχώς να διδαχθούν. Ειδικά
ερωτηματολόγια (κλειστού και ανοιχτού τύπου) σχεδιάστηκαν για την κάθε
ενότητα των εξετάσεων ώστε να εξαχθούν χρήσιμα συμπεράσματα σχετικά με
τις στρατηγικές που χρησιμοποιούν οι υποψήφιοι όταν καλούνται να
ανταποκριθούν στις διάφορες γραπτές και προφορικές δραστηριότητες.
Το
«προφίλ» του Έλληνα μαθητή των ξένων γλωσσών
Σκοπός του έργου
είναι ο προσδιορισμός του «γλωσσικού προφίλ» του Έλληνα μαθητή/χρήστη
των ξένων γλωσσών οι οποίες περιλαμβάνονται στο Εθνικό Πρόγραμμα
Σπουδών. Το έργο αποτελεί την αναγκαία επιστημονική και ερευνητική βάση
για τη διαρκή ενημέρωση του Ενιαίου Προγράμματος Σπουδών για τις Ξένες
Γλώσσες (ΕΠΣ-ΞΓ) καθώς και για την ανάπτυξη νέου διδακτικού-μαθησιακού
υλικού, προτυποποιημένων κριτηρίων και σταθμισμένων προδιαγραφών
αξιολόγησης της γλωσσομάθειας, προσαρμοσμένων στο μαθητή με πρώτη γλώσσα
την Ελληνική. Για το σκοπό αυτό, περιγράφεται γλωσσολογικά και
τεκμηριώνεται συστηματικά, βάσει εκτεταμένων γλωσσικών δεδομένων από
σώματα κειμένων ομιλητών, η κοινωνικά προσδιορισμένη χρήση της ξένης
γλώσσας σε ποικίλα επικοινωνιακά περιβάλλοντα, σε καθένα από τα έξι
επίπεδα γλωσσομάθειας, σύμφωνα με την κλίμακα που ορίζεται από το
Συμβούλιο της Ευρώπης (και περιγράφεται στο Κοινό Ευρωπαϊκό Πλαίσιο
Αναφοράς για τις Γλώσσες, στο εξής ΚΕΠΑ). Συνδυάζοντας ένα θεωρητικά
επαρκές μοντέλο αναπαράστασης της λεξικής σημασίας και ένα μοντέλο
ανάλυσης του λειτουργικού πλαισίου χρήσης της γλώσσας (μοντέλο
κειμενικών ειδών), υλοποιούμε μια καινοτόμα, γενερική μεθοδολογία
αποτύπωσης των λεξικογραμματικών χαρακτηριστικών της γλωσσικής παραγωγής
των χρηστών της ξένης γλώσσας κατά επίπεδο γλωσσομάθειας, σε ποικίλα
επικοινωνιακά περιβάλλοντα. Προϊόν της ανάλυσης αυτής πρόκειται να
αποτελέσουν λεπτομερείς, συνεκτικοί περιγραφικοί δείκτες οι οποίοι θα
εξειδικεύουν πώς οι μαθητές αρθρώνουν με γλωσσικά μέσα κοινωνικά
προσδιορισμένα νοήματα σε καθένα από τα επίπεδα του ΚΕΠΑ. Οι δείκτες που
θα προκύψουν σκοπό έχουν να κάνουν σαφή τη διάκριση μεταξύ των επιπέδων
του ΚΕΠΑ, δίνοντας συγκεκριμένα παραδείγματα για το πώς η γνώση της
γλώσσας κατακτάται σε διακριτά στάδια από ορισμένους ομιλητές. Πρόκειται
να συνδεθούν με τους γενικούς δείκτες επικοινωνιακής επάρκειας που
αρθρώνονται στο ΕΠΣ-ΞΓ για κάθε επίπεδο γλωσσομάθειας, οι οποίοι
συνάδουν με τις ενδεικτικές περιγραφές του ΚΕΠΑ για καθένα από τα
επίπεδα γλωσσομάθειας.
Στην πρώτη φάση του
έργου γίνεται διερεύνηση γλωσσικών δεδομένων από το σώμα κειμένων
(corpus) της Αγγλικής του Κέντρου Έρευνας για τη Διδασκαλία Ξένων
Γλωσσών και την Αξιολόγηση Γλωσσομάθειας. Το σώμα αυτό αποτελείται από
συλλογές γραπτών που έχουν παραχθεί από υποψηφίους στις εξετάσεις του
Κρατικού Πιστοποιητικού Γλωσσομάθειας (ΚΠΓ) στην Αγγλική. Οι συλλογές
γραπτών του ΚΠΓ, που έχουν αναπτυχθεί σε περίοδο επτά ετών και μέχρι
σήμερα περιλαμβάνουν 3,5 εκατομμύρια λέξεις, έχουν συστηματοποιηθεί σε
Βάση δεδομένων η οποία εμπλουτίζεται διαρκώς, διατηρώντας ισορροπία στην
αποτύπωση των επιπέδων γλωσσομάθειας, των τύπων δραστηριοτήτων και των
επικοινωνιακών περιβαλλόντων στα οποία οι υποψήφιοι καλούνται να
εκφραστούν γλωσσικά. Μελλοντικά, το σώμα κειμένων του ΚΠΓ θα
συμπεριλάβει και γραπτά υποψηφίων στη Γερμανική και την Ισπανική γλώσσα.
Έργο
περιγραφής των θεμάτων εξέτασης των γλωσσών του ΚΠΓ
Πρόκειται για το
έργο της συστηματικής περιγραφής των θεμάτων εξέτασης των γλωσσών του
ΚΠΓ, που σκοπό έχει τη συλλογή μεταδεδομένων για την τυποποίηση του
οργάνου μέτρησης και τον έλεγχο των προδιαγραφών αξιολόγησης της
γλωσσομάθειας. Το έργο αυτό συνδέεται με τη δημιουργία και το συνεχή
εμπλουτισμό μιας Βάσης δεδομένων όπου καταχωρίζονται οι δοκιμασίες για
κάθε γλώσσα, εξεταστική περίοδο και επίπεδο γλωσσομάθειας, και
κωδικοποιούνται πληροφορίες σχετικά με τον τύπο (πολλαπλής επιλογής,
αντιστοίχισης, συμπλήρωσης κενού, κ.λπ.) και το τι ελέγχει κάθε
δοκιμασία (κατανόηση γραπτού λόγου, γλωσσική επίγνωση, παραγωγή γραπτού
ή προφορικού λόγου, γραπτή ή προφορική διαμεσολάβηση), καθώς και
πληροφορίες σχετικά με τα κείμενα που συνδέονται με τη δοκιμασία (αυτό
που δίνεται ως ερέθισμα, αυτό που ζητείται να παραχθεί). Στη θεωρία της
γλώσσας που υιοθετεί το ΚΠΓ, το κείμενο νοείται ως πραγμάτωση
διαφορετικών πλευρών του επικοινωνιακού περιβάλλοντος για το οποίο
παράγεται ή στο οποίο λειτουργεί. Στη Bάση περιγραφής θεμάτων, τα
κείμενα χαρακτηρίζονται βάσει συνόλων χαρακτηριστικών τα οποία
προσδιορίζουν την επικοινωνιακή λειτουργία του λόγου ή, όπως ονομάζεται,
το κειμενικό είδος (genre). Τα χαρακτηριστικά αυτά περιλαμβάνουν τη
θεματική και το ευρύτερο θεματικό πεδίο του κειμένου (λ.χ. ψυχαγωγία,
περιβάλλον, ταξίδια, αθλητισμός, κ.λπ.), το κειμενικό περιβάλλον (λ.χ.
εφημερίδα, περιοδικό, ιστοσελίδα, εγκυκλοπαίδεια, λεξικό, κ.λπ.) στο
οποίο ενσωματώνονται διακρίσεις σχετικές με την επικοινωνιακή ταυτότητα
και τους ρόλους του ομιλητή και του αποδέκτη, τον κειμενικό τύπο (λ.χ.
άρθρο, ανακοίνωση, αναφορά, διαφήμιση, ηλεκτρονική επιστολή, κ.λπ.) ο
οποίος ορίζεται βάσει του επικοινωνιακού στόχου και της δομής του
κειμένου, και τέλος την κειμενική διεργασία (λ.χ. περιγραφή, αφήγηση,
επιχειρηματολογία, εξήγηση, οδηγία) με την οποία υλοποιούνται οι
επικοινωνιακοί στόχοι. Το μοντέλο κειμενικών ειδών που έχει υλοποιηθεί,
σύμφωνα με το οποίο τα κειμενικά είδη περιγράφονται ως συνδυασμοί
παραμέτρων, έχει σημαντικά πλεονεκτήματα έναντι της συνήθους θεώρησής
τους ως ατομικών κατηγοριών. Επιτρέπει όχι μόνο την ταξινόμηση των
κειμένων βάσει σαφώς ορισμένων χαρακτηριστικών τα οποία ορίζουν
συνεκτικές κατηγορίες, αλλά και τη σύνδεση των γλωσσικών επιλογών που
παρατηρούνται στα κείμενα με τις ειδικές παραμέτρους του επικοινωνιακού
πλαισίου, ξεχωριστά.
Ανάπτυξη ενός συστήματος αυτόματης αξιολόγησης γραπτών
Σκοπός του έργου
αυτού είναι η ενσωμάτωση λεξικογραμματικών χαρακτηριστικών της γλωσσικής
παραγωγής, όπως αυτά μοντελοποιούνται για το έργο περιγραφής του
«γλωσσικού προφίλ» του Έλληνα χρήστη της ξένης γλώσσας, σε ένα
αλγοριθμικό σύστημα αυτόματης αξιολόγησης της γλωσσικής επίδοσης.
Σημαντικό κενό στην υπάρχουσα έρευνα στο πεδίο της αυτόματης
βαθμολόγησης ελεύθερου κειμένου σχετίζεται με την απουσία συστημάτων
αξιολόγησης των γλωσσικών πραγματώσεων σε ορισμένα επικοινωνιακά
συμφραζόμενα. Στο έργο αυτό, σχεδιάζεται και αναπτύσσεται σύστημα με το
οποίο τα γραπτά των υποψηφίων του ΚΠΓ θα ταξινομούνται σε βαθμολογικά
σύνολα για κάθε επίπεδο γλωσσομάθειας βάσει ειδικών γλωσσικών στοιχείων
και της καταλληλότητας των τελευταίων για το επικοινωνιακό πλαίσιο στο
οποίο λειτουργεί το κείμενο. Το σύστημα αυτό θα κατηγοριοποιεί μη
βαθμολογημένα γραπτά υπολογίζοντας την ομοιότητά τους με ένα πρότυπο
σώμα βαθμολογημένων γραπτών. Από το αναγκαίο στάδιο πειραματισμού με
διαφορετικούς συνδυασμούς χαρακτηριστικών (λεξικών, σημασιολογικών,
γραμματικών/ μορφο-συντακτικών) πρόκειται να προκύψουν διαφορετικές
εκδοχές του μοντέλου, οι οποίες θα αξιολογηθούν σε σχέση με την επίδοση
συναφών συστημάτων. Το σύστημα θα ενσωματωθεί σε πιλοτικό στάδιο στη
βαθμολόγηση γραπτών του ΚΠΓ και θα καταρτιστεί τεχνική μελέτη
αξιολόγησης της αξιοπιστίας του σε συνάρτηση με τη μείωση του κόστους
των ανθρωπίνων πόρων για τη βαθμολόγηση.
