Η αξιολόγηση των ελληνικών πανεπιστημίων δεν είναι ένα καινούργιο ζήτημα. Ήδη από το 2005 είχε θεσμοθετηθεί ένα σύστημα εσωτερικής και εξωτερικής αξιολόγησης της ανώτατης εκπαίδευσης. Η έκθεση του ΟΟΣΑ «Education for a Bright Future in Greece» εξετάζει το σύστημα αυτό και επισημαίνει τόσο τα θετικά στοιχεία όσο και σημαντικές αδυναμίες του. Ιδιαίτερο ενδιαφέρον παρουσιάζει το γεγονός ότι η ύπαρξη μιας τυπικής διαδικασίας αξιολόγησης δεν θεωρείται από μόνη της απόδειξη ότι η αξιολόγηση οδηγεί και σε πραγματική βελτίωση.
Ένα οργανωμένο σύστημα αξιολόγησης.
Σύμφωνα με την έκθεση, η Ελλάδα είχε δημιουργήσει από το 2005 ένα θεσμικό πλαίσιο για τη διασφάλιση της ποιότητας στην ανώτατη εκπαίδευση. Κεντρικό ρόλο είχε η τότε ΑΔΙΠ (Αρχή Διασφάλισης και Πιστοποίησης της Ποιότητας στην Ανώτατη Εκπαίδευση), ενώ στα πανεπιστήμια λειτουργούσαν Μονάδες Διασφάλισης Ποιότητας.
Η διαδικασία περιλάμβανε δύο βασικά επίπεδα: εσωτερική αξιολόγηση από το ίδιο το ίδρυμα ή τμήμα και εξωτερική αξιολόγηση από ανεξάρτητους εμπειρογνώμονες. Προβλεπόταν επίσης συστηματική συλλογή στοιχείων σχετικά με τη λειτουργία των ακαδημαϊκών μονάδων.
Επομένως, σε θεσμικό επίπεδο υπήρχε ήδη ένας μηχανισμός που δεν περιοριζόταν στην απλή αξιολόγηση των καθηγητών. Η αξιολόγηση αφορούσε ευρύτερα την ποιότητα και αποτελεσματικότητα των τμημάτων και των ιδρυμάτων.
Τι ακριβώς αξιολογούνταν;
Η αξιολόγηση μπορούσε να περιλαμβάνει μια σειρά από ποσοτικούς και ποιοτικούς δείκτες. Μεταξύ άλλων εξετάζονταν η αναλογία φοιτητών προς προσωπικό, η πρόοδος των φοιτητών, τα ποσοστά εγκατάλειψης, η σχέση μεταξύ νέων φοιτητών και αποφοίτων, καθώς και στοιχεία που προέρχονταν από φοιτητές και προσωπικό.
Παράλληλα, εξεταζόταν κατά πόσο ένα τμήμα ή ίδρυμα πετύχαινε τους στόχους που είχε θέσει και κατά πόσο ανταποκρινόταν στην αποστολή του.
Αυτό έχει σημασία, διότι δείχνει ότι η έννοια της αξιολόγησης ήταν ευρύτερη από το ερώτημα «είναι καλός ή κακός ένας καθηγητής;». Αφορούσε ολόκληρο το εκπαιδευτικό και διοικητικό σύστημα.
Η εξωτερική αξιολόγηση
Ιδιαίτερη σημασία είχε η εξωτερική αξιολόγηση. Μια ομάδα ανεξάρτητων εμπειρογνωμόνων εξέταζε την εσωτερική αξιολόγηση και αξιολογούσε κατά πόσο αυτή ήταν πλήρης, διαφανής και αντικειμενική.
Η διαδικασία είχε ως στόχο όχι μόνο να εντοπίζει προβλήματα αλλά και να αναδεικνύει καλές πρακτικές και να διατυπώνει συστάσεις για βελτίωση. Με άλλα λόγια, η αξιολόγηση δεν θα έπρεπε να αποτελεί απλώς μια έκθεση που καταγράφεται και στη συνέχεια αρχειοθετείται.
Το κρίσιμο ερώτημα ήταν αν οι συστάσεις οδηγούσαν σε αλλαγές στη λειτουργία των πανεπιστημίων.
Το πρόβλημα των δεικτών
Η έκθεση του ΟΟΣΑ επισημαίνει, ωστόσο, ένα σημαντικό πρόβλημα: ορισμένοι από τους δείκτες που χρησιμοποιούνταν για την αξιολόγηση δεν εξαρτώνταν αποκλειστικά από τα ίδια τα πανεπιστήμια.
Για παράδειγμα, η αναλογία φοιτητών προς προσωπικό επηρεαζόταν από αποφάσεις του κράτους σχετικά με τον αριθμό των εισακτέων και τις προσλήψεις. Αντίστοιχα, τα ποσοστά εγκατάλειψης μπορούσαν να επηρεάζονται από τον τρόπο με τον οποίο λειτουργούσε το σύστημα εισαγωγής στην ανώτατη εκπαίδευση.
Αυτό δημιουργεί ένα βασικό ζήτημα σε κάθε σύστημα αξιολόγησης:
Μπορείς να αξιολογείς δίκαια έναν οργανισμό για ένα αποτέλεσμα, όταν το αποτέλεσμα βρίσκεται σε μεγάλο βαθμό έξω από τον έλεγχό του;
Από την αξιολόγηση στην απλή καταγραφή
Ίσως το πιο ενδιαφέρον σημείο της έκθεσης είναι η κριτική που παρατίθεται σχετικά με τον χαρακτήρα των αξιολογήσεων. Ο ΟΟΣΑ αναφέρει την άποψη των Dimitropoulos και Kindi (2017) ότι οι αξιολογήσεις σε αρκετές περιπτώσεις μπορούσαν να περιορίζονται στην καταγραφή της υφιστάμενης κατάστασης και των δύσκολων συνθηκών λειτουργίας των πανεπιστημίων.
Αυτό δημιουργεί μια ουσιαστική διάκριση:
Καταγραφή ≠ αξιολόγηση ≠ βελτίωση.
Μια έκθεση μπορεί να περιγράφει με μεγάλη ακρίβεια ότι ένα τμήμα έχει προβλήματα, ότι διαθέτει ανεπαρκείς πόρους ή ότι αντιμετωπίζει μεγάλο αριθμό φοιτητών. Το επόμενο όμως ερώτημα είναι διαφορετικό:
Τι έκανε το πανεπιστήμιο μετά την αξιολόγηση;
Το κρίσιμο κενό: τι συνέβη μετά;
Εδώ εντοπίζεται ένα από τα σημαντικότερα ζητήματα που αναδεικνύει η έκθεση του ΟΟΣΑ. Δεν είχε πραγματοποιηθεί συστηματική έρευνα για να διαπιστωθεί σε ποιο βαθμό τα ελληνικά πανεπιστήμια είχαν εφαρμόσει τις συστάσεις που προέκυψαν από τον πρώτο κύκλο αξιολογήσεων.
Αυτό σημαίνει ότι υπήρχε περιορισμένη γνώση σχετικά με το εάν η διαδικασία αξιολόγησης είχε πράγματι οδηγήσει σε βελτίωση της αποτελεσματικότητας των ακαδημαϊκών προγραμμάτων.
Με άλλα λόγια, μπορούμε να φανταστούμε την αξιολόγηση ως μια αλυσίδα:
Αξιολόγηση → Έκθεση → Συστάσεις → Εφαρμογή → Μέτρηση αποτελέσματος
Το πρόβλημα δεν βρίσκεται απαραίτητα στα πρώτα στάδια. Το κρίσιμο ζήτημα είναι αν παρακολουθείται συστηματικά το τι συνέβη μετά.
Η αξιολόγηση χρειάζεται συνέπειες
Η λογική αυτή έχει ιδιαίτερη σημασία για κάθε σύστημα διασφάλισης ποιότητας. Αν η αξιολόγηση εντοπίζει ένα πρόβλημα αλλά δεν ακολουθείται από συγκεκριμένο σχέδιο δράσης, επανέλεγχο και μέτρηση αποτελεσμάτων, τότε υπάρχει κίνδυνος να μετατραπεί σε μια κυρίως γραφειοκρατική διαδικασία.
Η ουσιαστική αξιολόγηση δεν τελειώνει με τη δημοσίευση μιας έκθεσης. Θα πρέπει να οδηγεί σε διορθωτικές ενέργειες και στη συνέχεια να εξετάζεται εάν αυτές οι ενέργειες είχαν αποτέλεσμα.
Για παράδειγμα, εάν ένα τμήμα εμφανίζει χαμηλή ολοκλήρωση σπουδών, δεν αρκεί να καταγραφεί το πρόβλημα. Θα πρέπει να εξεταστεί ποια μέτρα ελήφθησαν και αν, μετά από κάποια χρόνια, ο δείκτης βελτιώθηκε.
Αυτονομία και λογοδοσία
Ο ΟΟΣΑ συνδέει το ζήτημα της αξιολόγησης με δύο έννοιες: αυτονομία και λογοδοσία.
Όσο περισσότερη αυτονομία έχουν τα πανεπιστήμια στη λήψη αποφάσεων, τόσο μεγαλύτερη σημασία αποκτά η ύπαρξη μηχανισμών που επιτρέπουν στην κοινωνία και στο κράτος να γνωρίζουν τι αποτελέσματα παράγουν.
Έτσι, η λογική δεν είναι απλώς:
«Δώστε περισσότερη αυτονομία στα πανεπιστήμια».
Αλλά:
«Δώστε αυτονομία και ταυτόχρονα ζητήστε τεκμηριωμένα αποτελέσματα».
Το βασικό μήνυμα
Η έκθεση του ΟΟΣΑ οδηγεί τελικά σε μια σημαντική διάκριση. Το ερώτημα δεν είναι μόνο εάν υπάρχει αξιολόγηση στα ελληνικά πανεπιστήμια. Το θεσμικό σύστημα αξιολόγησης υπήρχε.
Το σημαντικότερο ερώτημα είναι εάν η αξιολόγηση παράγει μετρήσιμη βελτίωση.
Η ουσιαστική αξιολόγηση θα μπορούσε να συνοψιστεί ως εξής:
Εντοπίζω → Αξιολογώ → Προτείνω → Παρεμβαίνω → Επανελέγχω → Μετρώ το αποτέλεσμα.
Εάν σταματάμε στο:
«Εντοπίζω → γράφω μια έκθεση»,
τότε έχουμε μια διαδικασία καταγραφής. Εάν όμως ακολουθείται από παρέμβαση και επανέλεγχο, τότε η αξιολόγηση μπορεί να λειτουργήσει ως πραγματικός μηχανισμός βελτίωσης της ποιότητας.
Βασικά σημεία
Ένα οργανωμένο σύστημα αξιολόγησης.
Σύμφωνα με την έκθεση, η Ελλάδα είχε δημιουργήσει από το 2005 ένα θεσμικό πλαίσιο για τη διασφάλιση της ποιότητας στην ανώτατη εκπαίδευση. Κεντρικό ρόλο είχε η τότε ΑΔΙΠ (Αρχή Διασφάλισης και Πιστοποίησης της Ποιότητας στην Ανώτατη Εκπαίδευση), ενώ στα πανεπιστήμια λειτουργούσαν Μονάδες Διασφάλισης Ποιότητας.
Η διαδικασία περιλάμβανε δύο βασικά επίπεδα: εσωτερική αξιολόγηση από το ίδιο το ίδρυμα ή τμήμα και εξωτερική αξιολόγηση από ανεξάρτητους εμπειρογνώμονες. Προβλεπόταν επίσης συστηματική συλλογή στοιχείων σχετικά με τη λειτουργία των ακαδημαϊκών μονάδων.
Επομένως, σε θεσμικό επίπεδο υπήρχε ήδη ένας μηχανισμός που δεν περιοριζόταν στην απλή αξιολόγηση των καθηγητών. Η αξιολόγηση αφορούσε ευρύτερα την ποιότητα και αποτελεσματικότητα των τμημάτων και των ιδρυμάτων.
Τι ακριβώς αξιολογούνταν;
Η αξιολόγηση μπορούσε να περιλαμβάνει μια σειρά από ποσοτικούς και ποιοτικούς δείκτες. Μεταξύ άλλων εξετάζονταν η αναλογία φοιτητών προς προσωπικό, η πρόοδος των φοιτητών, τα ποσοστά εγκατάλειψης, η σχέση μεταξύ νέων φοιτητών και αποφοίτων, καθώς και στοιχεία που προέρχονταν από φοιτητές και προσωπικό.
Παράλληλα, εξεταζόταν κατά πόσο ένα τμήμα ή ίδρυμα πετύχαινε τους στόχους που είχε θέσει και κατά πόσο ανταποκρινόταν στην αποστολή του.
Αυτό έχει σημασία, διότι δείχνει ότι η έννοια της αξιολόγησης ήταν ευρύτερη από το ερώτημα «είναι καλός ή κακός ένας καθηγητής;». Αφορούσε ολόκληρο το εκπαιδευτικό και διοικητικό σύστημα.
Η εξωτερική αξιολόγηση
Ιδιαίτερη σημασία είχε η εξωτερική αξιολόγηση. Μια ομάδα ανεξάρτητων εμπειρογνωμόνων εξέταζε την εσωτερική αξιολόγηση και αξιολογούσε κατά πόσο αυτή ήταν πλήρης, διαφανής και αντικειμενική.
Η διαδικασία είχε ως στόχο όχι μόνο να εντοπίζει προβλήματα αλλά και να αναδεικνύει καλές πρακτικές και να διατυπώνει συστάσεις για βελτίωση. Με άλλα λόγια, η αξιολόγηση δεν θα έπρεπε να αποτελεί απλώς μια έκθεση που καταγράφεται και στη συνέχεια αρχειοθετείται.
Το κρίσιμο ερώτημα ήταν αν οι συστάσεις οδηγούσαν σε αλλαγές στη λειτουργία των πανεπιστημίων.
Το πρόβλημα των δεικτών
Η έκθεση του ΟΟΣΑ επισημαίνει, ωστόσο, ένα σημαντικό πρόβλημα: ορισμένοι από τους δείκτες που χρησιμοποιούνταν για την αξιολόγηση δεν εξαρτώνταν αποκλειστικά από τα ίδια τα πανεπιστήμια.
Για παράδειγμα, η αναλογία φοιτητών προς προσωπικό επηρεαζόταν από αποφάσεις του κράτους σχετικά με τον αριθμό των εισακτέων και τις προσλήψεις. Αντίστοιχα, τα ποσοστά εγκατάλειψης μπορούσαν να επηρεάζονται από τον τρόπο με τον οποίο λειτουργούσε το σύστημα εισαγωγής στην ανώτατη εκπαίδευση.
Αυτό δημιουργεί ένα βασικό ζήτημα σε κάθε σύστημα αξιολόγησης:
Μπορείς να αξιολογείς δίκαια έναν οργανισμό για ένα αποτέλεσμα, όταν το αποτέλεσμα βρίσκεται σε μεγάλο βαθμό έξω από τον έλεγχό του;
Από την αξιολόγηση στην απλή καταγραφή
Ίσως το πιο ενδιαφέρον σημείο της έκθεσης είναι η κριτική που παρατίθεται σχετικά με τον χαρακτήρα των αξιολογήσεων. Ο ΟΟΣΑ αναφέρει την άποψη των Dimitropoulos και Kindi (2017) ότι οι αξιολογήσεις σε αρκετές περιπτώσεις μπορούσαν να περιορίζονται στην καταγραφή της υφιστάμενης κατάστασης και των δύσκολων συνθηκών λειτουργίας των πανεπιστημίων.
Αυτό δημιουργεί μια ουσιαστική διάκριση:
Καταγραφή ≠ αξιολόγηση ≠ βελτίωση.
Μια έκθεση μπορεί να περιγράφει με μεγάλη ακρίβεια ότι ένα τμήμα έχει προβλήματα, ότι διαθέτει ανεπαρκείς πόρους ή ότι αντιμετωπίζει μεγάλο αριθμό φοιτητών. Το επόμενο όμως ερώτημα είναι διαφορετικό:
Τι έκανε το πανεπιστήμιο μετά την αξιολόγηση;
Το κρίσιμο κενό: τι συνέβη μετά;
Εδώ εντοπίζεται ένα από τα σημαντικότερα ζητήματα που αναδεικνύει η έκθεση του ΟΟΣΑ. Δεν είχε πραγματοποιηθεί συστηματική έρευνα για να διαπιστωθεί σε ποιο βαθμό τα ελληνικά πανεπιστήμια είχαν εφαρμόσει τις συστάσεις που προέκυψαν από τον πρώτο κύκλο αξιολογήσεων.
Αυτό σημαίνει ότι υπήρχε περιορισμένη γνώση σχετικά με το εάν η διαδικασία αξιολόγησης είχε πράγματι οδηγήσει σε βελτίωση της αποτελεσματικότητας των ακαδημαϊκών προγραμμάτων.
Με άλλα λόγια, μπορούμε να φανταστούμε την αξιολόγηση ως μια αλυσίδα:
Αξιολόγηση → Έκθεση → Συστάσεις → Εφαρμογή → Μέτρηση αποτελέσματος
Το πρόβλημα δεν βρίσκεται απαραίτητα στα πρώτα στάδια. Το κρίσιμο ζήτημα είναι αν παρακολουθείται συστηματικά το τι συνέβη μετά.
Η αξιολόγηση χρειάζεται συνέπειες
Η λογική αυτή έχει ιδιαίτερη σημασία για κάθε σύστημα διασφάλισης ποιότητας. Αν η αξιολόγηση εντοπίζει ένα πρόβλημα αλλά δεν ακολουθείται από συγκεκριμένο σχέδιο δράσης, επανέλεγχο και μέτρηση αποτελεσμάτων, τότε υπάρχει κίνδυνος να μετατραπεί σε μια κυρίως γραφειοκρατική διαδικασία.
Η ουσιαστική αξιολόγηση δεν τελειώνει με τη δημοσίευση μιας έκθεσης. Θα πρέπει να οδηγεί σε διορθωτικές ενέργειες και στη συνέχεια να εξετάζεται εάν αυτές οι ενέργειες είχαν αποτέλεσμα.
Για παράδειγμα, εάν ένα τμήμα εμφανίζει χαμηλή ολοκλήρωση σπουδών, δεν αρκεί να καταγραφεί το πρόβλημα. Θα πρέπει να εξεταστεί ποια μέτρα ελήφθησαν και αν, μετά από κάποια χρόνια, ο δείκτης βελτιώθηκε.
Αυτονομία και λογοδοσία
Ο ΟΟΣΑ συνδέει το ζήτημα της αξιολόγησης με δύο έννοιες: αυτονομία και λογοδοσία.
Όσο περισσότερη αυτονομία έχουν τα πανεπιστήμια στη λήψη αποφάσεων, τόσο μεγαλύτερη σημασία αποκτά η ύπαρξη μηχανισμών που επιτρέπουν στην κοινωνία και στο κράτος να γνωρίζουν τι αποτελέσματα παράγουν.
Έτσι, η λογική δεν είναι απλώς:
«Δώστε περισσότερη αυτονομία στα πανεπιστήμια».
Αλλά:
«Δώστε αυτονομία και ταυτόχρονα ζητήστε τεκμηριωμένα αποτελέσματα».
Το βασικό μήνυμα
Η έκθεση του ΟΟΣΑ οδηγεί τελικά σε μια σημαντική διάκριση. Το ερώτημα δεν είναι μόνο εάν υπάρχει αξιολόγηση στα ελληνικά πανεπιστήμια. Το θεσμικό σύστημα αξιολόγησης υπήρχε.
Το σημαντικότερο ερώτημα είναι εάν η αξιολόγηση παράγει μετρήσιμη βελτίωση.
Η ουσιαστική αξιολόγηση θα μπορούσε να συνοψιστεί ως εξής:
Εντοπίζω → Αξιολογώ → Προτείνω → Παρεμβαίνω → Επανελέγχω → Μετρώ το αποτέλεσμα.
Εάν σταματάμε στο:
«Εντοπίζω → γράφω μια έκθεση»,
τότε έχουμε μια διαδικασία καταγραφής. Εάν όμως ακολουθείται από παρέμβαση και επανέλεγχο, τότε η αξιολόγηση μπορεί να λειτουργήσει ως πραγματικός μηχανισμός βελτίωσης της ποιότητας.
Βασικά σημεία
- Αξιολόγηση στα ελληνικά πανεπιστήμια υπήρχε θεσμικά ήδη από το 2005.
- Υπήρχαν εσωτερικές και εξωτερικές αξιολογήσεις.
- Χρησιμοποιούνταν ποσοτικοί και ποιοτικοί δείκτες.
- Αξιολογούνταν μεταξύ άλλων πρόοδος φοιτητών, εγκατάλειψη, αποφοίτηση και αναλογία φοιτητών/προσωπικού.
- Ορισμένοι δείκτες επηρεάζονταν από παράγοντες εκτός του ελέγχου των πανεπιστημίων.
- Ο ΟΟΣΑ καταγράφει κριτική ότι ορισμένες αξιολογήσεις μπορούσαν να λειτουργούν περισσότερο ως καταγραφή της υπάρχουσας κατάστασης.
- Δεν υπήρχε επαρκής συστηματική παρακολούθηση για το αν εφαρμόστηκαν οι συστάσεις των προηγούμενων αξιολογήσεων.
- Επομένως, υπήρχε ένα σημαντικό ερώτημα σχετικά με το κατά πόσο η αξιολόγηση οδηγούσε σε πραγματική βελτίωση.
- Ο ΟΟΣΑ συνδέει την αυτονομία των πανεπιστημίων με μεγαλύτερη λογοδοσία.
- Η αξιολόγηση έχει μεγαλύτερη αξία όταν οδηγεί σε παρέμβαση, επανέλεγχο και μετρήσιμο αποτέλεσμα.
┌────────────────────────────────┐
│ KONSTANTINOS MICHAILIDIS │
└────────────────────────────────┘
│ KONSTANTINOS MICHAILIDIS │
└────────────────────────────────┘