Πρώτη φάση αξιολόγησης

Στο πλαίσιο της πιλοτικής δοκιμής και αξιολόγησης συμμετείχαν έξι εν ενεργεία εκπαιδευτικοί. Αυτοαξιολογώντας σε μία κλίμακα από ένα (1) έως πέντε (5) το επίπεδο γνώσεων τους,  οι συμμετέχοντας δήλωσαν καθόλου έως μέτρια γνώση στον προγραμματισμό λογισμικού (Mn = 1.67, SD = 0.82)  και στη ρομποτική (Mn = 1,83, SD = 0.75). Η μέση χρονική εμπειρία των εκπαιδευτικών σε σχέση με τον προγραμματισμό ήταν περίπου ένα έτος (Mn = 1.03, SD = 1.98) ενώ τρεις από τους έξι δήλωσαν πως είχαν προγραμματίσει ρομπότ παλαιότερα.

Η πρώτη φάση αξιολόγησης διεξήχθη τον Ιανουαρίου 2020 στον χώρο της ομάδας PANDORA/R4A (THMMY, ΑΠΘ). Ξεκινώντας, έγινε επίδειξη του συστήματος TekTrain στους συμμετέχοντες, διάρκειας 15 λεπτών. Η επίδειξη περιελάμβανε τη χρήση του συστήματος, από την αρχική είσοδο στην πλατφόρμα TekTrain έως την επιλογή μιας εκπαιδευτικής αποστολής, την επίλυσή της και την αποστολή του παραγόμενου κώδικα στη ρομποτική συσκευή. Στη συνέχεια δόθηκαν κωδικοί εισόδου στην πλατφόρμα σε όλους τους συμμετέχοντες. Με την είσοδο στην πλατφόρμα οι συμμετέχοντες έπρεπε να επιλύσουν γραφικά ορισμένες από τις διαθέσιμες εφαρμογές αναφοράς. Το στάδιο επίλυσης των αποστολών διήρκησε περίπου 1 ώρα.  Κατόπιν, έγινε επίδειξη της μεταφόρτωσης και εκτέλεσης των αναπτυγμένων εφαρμογών στη ρομποτική συσκευή TekTrain. Με την ολοκλήρωση αυτού του σταδίου οι συμμετέχοντες συμπλήρωσαν ηλεκτρονικά ένα ερωτηματολόγιο.

 

Χρηστικότητα συστήματος

Το μέσο πρωτογενές σκορ του Συστήματος TekTrain στην κλίμακα SUS ήταν 75,83 (SD = 8.61, CI = 66.8, 84.87). Κατόπιν, έγινε μετατροπή του πρωτογενούς σκορ σε ποσοστιαία κατάταξη, ώστε να είναι ερμηνεύσιμο. Η ποσοστιαία κατάταξη του Συστήματος TekTrain ξεπερνά το 73%, το οποίο σημαίνει πως το Σύστημα TekTrain θεωρήθηκε περισσότερο χρηστικό από το 73% των συστημάτων της βάσης δεδομένων και έλαβε βαθμολογία Β από τους συμμετέχοντες.

 

Αποδοχή Περιβάλλοντος Προγραμματισμού TekTrain

Οι συμμετέχοντες αντιμετώπισαν το υπό αξιολόγηση σύστημα ως διττό, καθώς τα σκορ στις συμπληρωματικές κλίμακες παραγωγικότητας (Mn = 9.33, SD= 0.82) και διασκέδασης(Mn= 7.83, SD= 3.55) του ΤΑΜ ήταν πάνω από το όριο (5.5) που απαιτείται για να κριθεί κατάλληλη η αξιολόγηση με το εργαλείο.

Αναφορικά με την αποδοχή του περιβάλλοντος προγραμματισμού TekTrain από τους συμμετέχοντες, στον Πίνακα 1 παρουσιάζονται τα περιγραφικά μέτρα (Μέσος Όρος, Τυπική Απόκλιση) τόσο για καθένα από τα αντικείμενα του ερωτηματολογίου TAM ξεχωριστά, όσο και για τους τέσσερις παράγοντες (αντιλαμβανόμενη χρησιμότητα, αντιλαμβανόμενη ευκολία χρήσης, αντιλαμβανόμενη ευχαρίστηση, πρόθεση για χρήση) συγκεντρωτικά. Η αξιολόγηση με το ερωτηματολόγιο ΤΑΜ γίνεται σε μία 6-βάθμια κλίμακα στην οποία οι μικρότερες τιμές φανερώνουν μεγαλύτερη αποδοχή του συστήματος από τον χρήστη.

Αποτελέσματα ερωτηματολογίου

Αντικείμενα ερωτηματολογίου TAM

Μ.Ο. (Τ. Α.)

Αντιλαμβανόμενη χρησιμότητα

2.19 (1.52)

Η χρήση του περιβάλλοντος προγραμματισμού TekTrain με βοηθάει να προγραμματίζω ρομπότ εύκολα.

2.33 (1.86)

Η χρήση του περιβάλλοντος προγραμματισμού TekTrain βελτιώνει την επίδοσή μου στον προγραμματισμό ρομπότ.

2.17 (1.94)

Η χρήση του περιβάλλοντος προγραμματισμού TekTrain αυξάνει την παραγωγικότητά μου στον προγραμματισμό ρομπότ.

2.5 (1.87)

Η χρήση του περιβάλλοντος προγραμματισμού TekTrain ενισχύει την αποτελεσματικότητά μου στον προγραμματισμό ρομπότ.

2.5 (1.87)

Η χρήση του περιβάλλοντος προγραμματισμού TekTrain καθιστά εύκολο τον προγραμματισμό ρομπότ.

2.5 (1.76)

Βρίσκω το περιβάλλον προγραμματισμού TekTrain χρήσιμο για τον προγραμματισμό ρομπότ.

1.17 (0.41)

Αντιλαμβανόμενη ευκολία χρήσης

1.9 (0.75)

Η εκμάθηση χρήσης του περιβάλλοντος προγραμματισμού TekTrain ήταν εύκολη για εμένα.

2.33 (1.51)

Βρήκα εύκολο το να καταφέρω να κάνει  το περιβάλλον προγραμματισμού TekTrain αυτό που θέλω εγώ.

2.33 (1.51)

Η διάδραση με το περιβάλλον προγραμματισμού TekTrain είναι ξεκάθαρη και κατανοητή.

1.67 (0.82)

Ήταν εύκολο για εμένα να γίνω επιδέξιος/α στη χρήση του περιβάλλοντος προγραμματισμού TekTrain.

1.67 (0.52)

Βρίσκω το περιβάλλον προγραμματισμού TekTrain εύκολο στη χρήση.

1.5 (0.55)

Αντιλαμβανόμενη ευχαρίστηση

1.42 (0.49)

Απολαυστικό – Απεχθές

1.33 (0.52)

Συναρπαστικό – Ανιαρό

1.5 (0.55)

Ευχάριστο – Δυσάρεστο

1.5 (0.55)

Ενδιαφέρον – Βαρετό

1.33 (0.52)

Πρόθεση χρήσης

1.5 (0.55)

Αξιολόγηση εφαρμογών αναφοράς

Παρουσιάζονται τα περιγραφικά μέτρα (Μέσος Όρος, Τυπική Απόκλιση) από τις απαντήσεις των εκπαιδευτικών στο ερωτηματολόγιο. Η αξιολόγηση έγινε σε μία 7-βάθμια κλίμακα στην οποία οι μεγαλύτερες τιμές φανερώνουν θετικότερη αποτίμηση των εφαρμογών.

Αποτελέσματα ερωτηματολογίου

Αντικείμενα ερωτηματολογίου

Μ.Ο. (Τ. Α.)

Οι στόχοι των εκπαιδευτικών αποστολών είναι κατάλληλοι για την ηλικιακή ομάδα στην οποία απευθύνονται.

6.33 (0.82)

Η κλιμάκωση του επιπέδου δυσκολίας των εκπαιδευτικών αποστολών είναι επιτυχής.

6.67 (0.52)

Ο χρόνος που απαιτείται για την επίλυση των εκπαιδευτικών αποστολών από τους μαθητές είναι ο επιθυμητός.

5.67 (1.03)

Τα σενάρια των εκπαιδευτικών αποστολών είναι ελκυστικά για τους μαθητές.

6.17 (0.98)

Οι εκπαιδευτικές αποστολές ενθαρρύνουν τη δημιουργικότητα και τον αυτοσχεδιασμό των μαθητών.

6.17 (0.75)

 

Δεύτερη φάση αξιολόγησης

Ακολούθησε ένας κύκλος διορθώσεων και βελτιώσεων του συστήματος TekTrain. Συγκεκριμένα, οι ανάγκες που προέκυψαν από την αξιολόγηση λήφθηκαν υπόψη στις τελικές απαιτήσεις χρηστών και, κατ’επέκταση, στις τελικές προδιαγραφές και την αρχιτεκτονική συστήματος. Κατόπιν, η ανανεωμένη έκδοση του συστήματος αξιολογήθηκε εκ νέου από εκπαιδευτικούς. 

 

Συμμετέχοντες

Στη δεύτερη αυτή φάση, ακολουθήθηκε η μέθοδος της ευρετικής αξιολόγησης, μια συστηματική και ποιοτική μέθοδος επιθεώρησης συστημάτων, στο πλαίσιο της οποίας αξιολογείται αν μια διεπαφή ακολουθεί καθιερωμένες και κοινά αποδεκτές αρχές. Οι συμμετέχοντες ήταν εκπαιδευτικοί, οι οποίοι κλήθηκαν να προβούν σε μια συνολική αποτίμηση της πλατφόρμας γραφικού προγραμματισμού TekTrain και να εντοπίσουν προβλήματα, αδυναμίες ή ελλείψεις τόσο ως προς την ευχρηστία όσο και ως προς τη διδακτική-μαθησιακή αξιοποίηση της πλατφόρμας. Συγκεκριμένα, στη διαδικασία έλαβαν μέρος έξι (6) εκπαιδευτικοί με διδακτική εμπειρία στην πρωτοβάθμια εκπαίδευση και ερευνητική εμπειρία στις τεχνολογίες μάθησης, την εκπαιδευτική ρομποτική και την αξιολόγηση συστημάτων εκπαιδευτικής τεχνολογίας. 

 

Εργαλείο

Για την ευρετική αξιολόγηση χρησιμοποιήθηκε η λίστα Ευρετικών Κανόνων για την Ανάπτυξη και Αξιολόγηση Συστημάτων Εκπαιδευτικής Ρομποτικής (HEDEERS). Η λίστα ευρετικών κανόνων HEDEERS περιλαμβάνει τον γνωστικό φόρτο, την πρόκληση, τη προσαρμοσιμότητα, την αλληλεπίδραση, το επίπεδο αυτοματισμού, τη συνεργασία και επικοινωνία, την ανατροφοδότηση, την άνεση εγκατάστασης, την απόλαυση και αισθητική, τη διαφάνεια, την ενεργή μάθηση, τη συνάφεια, τον αναστοχασμό και την υπολογιστική σκέψη. Οι ευρετικοί κανόνες μεταφέρθηκαν σε μία ηλεκτρονική φόρμα με πεδία ανοικτού τύπου για την καταγραφή σχολίων ελεύθερου κειμένου από τους συμμετέχοντες.

Διαδικασία

Η ευρετική αξιολόγηση πραγματοποιήθηκε ασύγχρονα και εξ αποστάσεως. Οι συμμετέχοντες, δηλαδή, έλαβαν μέσω ηλεκτρονικού ταχυδρομείου το απαραίτητο υλικό και πραγματοποίησαν την αξιολόγηση σε χώρο και χρόνο που επιθυμούσαν οι ίδιοι. Αρχικά, καθένας από τους συμμετέχοντες έλαβε έναν προσωπικό λογαριασμό χρήστη για τη σύνδεσή του στην πλατφόρμα TekTrain με την ιδιότητα του διδάσκοντος. Οι συμμετέχοντες είχαν στη διάθεσή τους το βοηθητικό εγχειρίδιο χρήσης της πλατφόρμας το οποίο μπορούσαν να μελετήσουν κατά το δοκούν και να το συμβουλευτούν προκειμένου να εξοικειωθούν με τις λειτουργίες της πλατφόρμας. Οι συμμετέχοντες κλήθηκαν να αφιερώσουν χρόνο προκειμένου να περιηγηθούν στην πλατφόρμα και να εξερευνήσουν τις λειτουργίες της, εκτελώντας κατ’ελάχιστο τις ακόλουθες ενέργειες:

  1. Είσοδος στην πλατφόρμα ως διδάσκων και δημιουργία ενός καινούργιου μαθητή.
  2. Δημιουργία μιας νέας άσκησης.
  3. Ανάθεση της άσκησης στον μαθητή.
  4. Είσοδος στην πλατφόρμα ως μαθητής και επίλυση κάποιας από τις εφαρμογές αναφοράς που προσφέρει η πλατφόρμα.
  5. Επίλυση της άσκησης που ανατέθηκε από τον διδάσκοντα.
  6. Είσοδος ως διδάσκων και αξιολόγηση της λύσης του μαθητή.
  7. Είσοδος ως μαθητής και επισκόπηση των βραβείων που έλαβε ο μαθητής κατά την επίλυση της άσκησης.

Καθόλη τη διάρκεια της επιθεώρησης της πλατφόρμας, οι συμμετέχοντες κλήθηκαν να κρατήσουν δομημένες σημειώσεις για κάθε αδυναμία που εντόπιζαν και να γράψουν μια μικρή περιγραφή στην ηλεκτρονική φόρμα με τους ευρετικούς κανόνες HEDEERS.

Αποτελέσματα

Γνωστικός φόρτος: Επισημάνθηκε πως η πληροφορία που υπάρχει σε ορισμένες γραφικές εντολές, ιδίως στην εντολή της κίνησης, είναι πολύ συμπυκνωμένη και δυσχεραίνει σε κάποιο βαθμό τη γνωστική ροή. Προτάθηκε ο διαχωρισμός των διαφορετικών παραμέτρων κίνησης σε διαφορετικά πλακίδια εντολών.

Πρόκληση: Οι συμμετέχοντες επισήμαναν πως ενώ υπάρχει κλιμάκωση των δραστηριοτήτων, αυτή δεν παρέχεται αυτόματα από το σύστημα ούτε είναι άμεσα διακριτή. Ο εκπαιδευτικός καλείται να επιλέξει ο ίδιος το επίπεδο δυσκολίας της κάθε δραστηριότητας ή να δομήσει την άσκηση με τρόπο που να ενθαρρύνει την πρόκληση (σε περίπτωση δημιουργίας νέας άσκησης). Επίσης, προκειμένου να γίνει πιο διακριτή η πρόκληση και η σταδιακή κλιμάκωση των δραστηριοτήτων προτάθηκε ένας πιο ξεκάθαρος θεματικός διαχωρισμός των ασκήσεων βάσει γνωστικών αντικειμένων του αναλυτικού προγράμματος σπουδών, εντός του οποίου θα παρέχονται οι ασκήσεις με κλιμακούμενη δυσκολία.

Προσαρμοσιμότητα: Οι συμμετέχοντες έκριναν πως το σύστημα θα φαινόταν περίπλοκο σε παιδιά που δεν έχουν προηγούμενες γνώσεις προγραμματισμού. Για το λόγο αυτό, πρότειναν να υπάρχει διαφοροποίηση των γραφικών εντολών στις ασκήσεις που χαρακτηρίζονται ως «εύκολες» ωστε αυτές να εμφανίζονται απλοποιημένες, διατηρώντας μόνο τις βασικές λειτουργίες, ειδικά ως προς την κίνηση του ρομπότ.

Αλληλεπίδραση: Στα αναδυόμενα παράθυρα πληροφοριών των γραφικών εντολών παρατηρήθηκε δυσκολία στην κύλιση της μπάρας για την εμφάνιση του κειμένου, στις περιπτώσεις εκτεταμένων οδηγιών.  Επίσης, επισημάνθηκε πως οι πληροφορίες σε αυτά τα παράθυρα θα μπορούσαν να είναι πιο σύντομες και επιγραμματικές ενώ εντοπίστηκε ένα τυπογραφικό σφάλμα στο κείμενο επεξήγησης της περιστροφικής ταχύτητας κίνησης.

Επίσης, προτάθηκε πως κατά τη διάρκεια επίλυσης θα έπρεπε να εμφανίζεται διαρκώς η εκφώνηση της άσκησης και στην περίπτωση ύπαρξης στιγμιοτύπου αυτό θα έπρεπε να είναι διαθέσιμο στον χρήστη μέσα από την επιλογή «Οδηγίες».  Επιπλέον, προτάθηκε το βίντεο οδηγιών της άσκησης να ενσωματωθεί στην επιλογή «Οδηγίες» ώστε να μην χρειάζεται ο μαθητής να βγαίνει από το περιβάλλον για να ανατρέξει στο βίντεο. Παρατηρήθηκαν ακόμη κάποιες δυσκολίες στη χρήση του συστήματος.

Αυτοματισμός: Κατά την επίλυση μιας άσκησης από τον μαθητή, προτάθηκε το σύστημα να εμφανίζει αυτόματα δημοσιευμένες ασκήσεις με παρόμοιο θέμα, ώστε ο μαθητής να παίρνει ιδέες και να μπορεί να βοηθηθεί χωρίς να χρειάζεται να μπαίνει ο ίδιος στη διαδικασία να αναζητά παρόμοιες ασκήσεις.

Συνεργασία και επικοινωνία: Οι συμμετέχοντες σημείωσαν την έλλειψη δυνατότητας για συνεργασία και επικοινωνία μεταξύ των χρηστών και έκαναν τις εξής προτάσεις: i) προσθήκη δυνατότητας συνεργασίας μεταξύ μαθητών για την επίλυση μιας άσκησης σε κοινό περιβάλλον εργασίας χρησιμοποιώντας διαφορετικούς υπολογιστές, ii) δημιουργία forum ή άλλου μέσου ανταλλαγής μηνυμάτων για την επικοινωνία του μαθητή με τον εκπαιδευτικό, την επίλυση αποριών κλπ.

Ανατροφοδότηση: Οι συμμετέχοντες επισήμαναν πως ενώ παρέχεται αποτελεσματική οπτική ανατροφοδότηση για τον μαθητή-χρήστη, λείπει η ανατροφοδότηση για τον εκπαιδευτικό-χρήστη. Επίσης, προτάθηκε η προσθήκη δυνατότητας προσομοίωσης της λύσης του μαθητή σε ένα εικονικό ρομπότ καθώς και της δυνατότητας επιλογής «βοηθού», ο οποίος  θα εμφανίζεται στο περιβάλλον γραφικού προγραμματισμού και θα ενημερώνει τον μαθητή-χρήστη για τυχόν σφάλματα ή θα του υπενθυμίζει βασικές οδηγίες χρήσης του TekTrain. Τέλος, σημειώθηκε η ανάγκη εμφάνισης μηνυμάτων πληροφόρησης για όλα τα εικονίδια λειτουργιών, κατά το πέρασμα του δείκτη ποντικιού πάνω από αυτά.

Διαφάνεια: Επισημάνθηκε πως τα πλήκτρα «Κίνηση», «Ανίχνευση», «Ήχος» κλπ είναι προτιμότερο να μένουν σταθερά στο περιβάλλον για να είναι ξεκάθαρες καθ’ όλη τη διάρκεια οι πέντε βασικές δυνατότητες που παρέχονται στον χρήστη. Επίσης, προτάθηκε οι δημοσιευμένες ασκήσεις να δημοσιεύονται με τη λύση τους, χωρίς ωστόσο να χάνουν τη δυνατότητά τους για επίλυση από τον μαθητή.

Ενεργή μάθηση: Επισημάνθηκε πως κάποιες εκφράσεις ενδέχεται να επηρεάζουν αρνητικά την αίσθηση της εξερεύνησης και ενεργητικής διερεύνησης και θα ήταν προτιμότερο να αναδιατυπωθούν. Για παράδειγμα,  η συχνή χρήση της λέξης “μαθητής” στις πληροφορίες των γραφικών εντολών παραπέμπει σε ένα τυπικό πλαίσιο εκπαίδευσης ενώ η διατύπωση “να υποβάλεις την άσκηση για διόρθωση” προδιαθέτει ένα κίνητρο περισσότερο εξωγενές (βαθμός) παρά ενδογενές (επίλυση ενός προβλήματος/πειραματισμός). Επίσης, η προϋπόθεση ύπαρξης μιας σωστής λύσης είναι περιοριστική σε κάποιες περιπτώσεις. Οι δυνατότητες που παρέχει η πλατφόρμα θα έπρεπε να μπορούν να αξιοποιηθούν και μέσα από ημιδομημένες ή εντελώς ανοιχτές ασκήσεις, στις οποίες οι μαθητές να καλούνται να συνδυάσουν τις διάφορες εντολές με δημιουργικό, μη προδιαγεγραμμένο τρόπο.

Συνάφεια: Οι συμμετέχοντες σημείωσαν πως, κατά τη δημιουργία μιας νέας άσκησης, θα πρέπει να υπάρχει ένα επιπλέον πεδίο στην περιγραφή στο οποίο ο εκπαιδευτικός να συμπληρώνει τους μαθησιακούς στόχους της άσκησης. Αυτή η πληροφορία θα ήταν ιδιαίτερα χρήσιμη για την αξιοποίηση δημοσιευμένων ασκήσεων από άλλους εκπαιδευτικούς. Επίσης, θα πρέπει να υπάρχει δυνατότητα αντιστοίχισης των ασκήσεων με γνωστικά αντικείμενα του αναλυτικού προγράμματος σπουδών.

Αναστοχασμός: Προκειμένου να ενισχυθεί το στοιχείο του αναστοχασμού και ενημέρωσης, προτάθηκε το σύστημα να εμφανίζει στον χρήστη στατιστικά στοιχεία σχετικά με τη μαθησιακή πορεία του.