Το μέσο πρωτογενές σκορ του Συστήματος TekTrain στην κλίμακα SUS ήταν 75,83 (SD = 8.61, CI = 66.8, 84.87). Κατόπιν, έγινε μετατροπή του πρωτογενούς σκορ σε ποσοστιαία κατάταξη, ώστε να είναι ερμηνεύσιμο. Η ποσοστιαία κατάταξη του Συστήματος TekTrain ξεπερνά το 73%, το οποίο σημαίνει πως το Σύστημα TekTrain θεωρήθηκε περισσότερο χρηστικό από το 73% των συστημάτων της βάσης δεδομένων και έλαβε βαθμολογία Β από τους συμμετέχοντες.

Αποδοχή Περιβάλλοντος Προγραμματισμού TekTrain

Οι συμμετέχοντες αντιμετώπισαν το υπό αξιολόγηση σύστημα ως διττό, καθώς τα σκορ στις συμπληρωματικές κλίμακες παραγωγικότητας (Mn = 9.33, SD= 0.82) και διασκέδασης(Mn= 7.83, SD= 3.55) του ΤΑΜ ήταν πάνω από το όριο (5.5) που απαιτείται για να κριθεί κατάλληλη η αξιολόγηση με το εργαλείο.

Αναφορικά με την αποδοχή του περιβάλλοντος προγραμματισμού TekTrain από τους συμμετέχοντες, στον Πίνακα 1 παρουσιάζονται τα περιγραφικά μέτρα (Μέσος Όρος, Τυπική Απόκλιση) τόσο για καθένα από τα αντικείμενα του ερωτηματολογίου TAM ξεχωριστά, όσο και για τους τέσσερις παράγοντες (αντιλαμβανόμενη χρησιμότητα, αντιλαμβανόμενη ευκολία χρήσης, αντιλαμβανόμενη ευχαρίστηση, πρόθεση για χρήση) συγκεντρωτικά. Η αξιολόγηση με το ερωτηματολόγιο ΤΑΜ γίνεται σε μία 6-βάθμια κλίμακα στην οποία οι μικρότερες τιμές φανερώνουν μεγαλύτερη αποδοχή του συστήματος από τον χρήστη.

Η ευρετική αξιολόγηση πραγματοποιήθηκε ασύγχρονα και εξ αποστάσεως. Οι συμμετέχοντες, δηλαδή, έλαβαν μέσω ηλεκτρονικού ταχυδρομείου το απαραίτητο υλικό και πραγματοποίησαν την αξιολόγηση σε χώρο και χρόνο που επιθυμούσαν οι ίδιοι. Αρχικά, καθένας από τους συμμετέχοντες έλαβε έναν προσωπικό λογαριασμό χρήστη για τη σύνδεσή του στην πλατφόρμα TekTrain με την ιδιότητα του διδάσκοντος. Οι συμμετέχοντες είχαν στη διάθεσή τους το βοηθητικό εγχειρίδιο χρήσης της πλατφόρμας το οποίο μπορούσαν να μελετήσουν κατά το δοκούν και να το συμβουλευτούν προκειμένου να εξοικειωθούν με τις λειτουργίες της πλατφόρμας. Οι συμμετέχοντες κλήθηκαν να αφιερώσουν χρόνο προκειμένου να περιηγηθούν στην πλατφόρμα και να εξερευνήσουν τις λειτουργίες της, εκτελώντας κατ’ελάχιστο τις ακόλουθες ενέργειες:

1. Είσοδος στην πλατφόρμα ως διδάσκων και δημιουργία ενός καινούργιου μαθητή.
2. Δημιουργία μιας νέας άσκησης.
3. Ανάθεση της άσκησης στον μαθητή.
4. Είσοδος στην πλατφόρμα ως μαθητής και επίλυση κάποιας από τις εφαρμογές αναφοράς που προσφέρει η πλατφόρμα.
5. Επίλυση της άσκησης που ανατέθηκε από τον διδάσκοντα.
6. Είσοδος ως διδάσκων και αξιολόγηση της λύσης του μαθητή.
7. Είσοδος ως μαθητής και επισκόπηση των βραβείων που έλαβε ο μαθητής κατά την επίλυση της άσκησης.

Καθόλη τη διάρκεια της επιθεώρησης της πλατφόρμας, οι συμμετέχοντες κλήθηκαν να κρατήσουν δομημένες σημειώσεις για κάθε αδυναμία που εντόπιζαν και να γράψουν μια μικρή περιγραφή στην ηλεκτρονική φόρμα με τους ευρετικούς κανόνες HEDEERS.

Γνωστικός φόρτος: Επισημάνθηκε πως η πληροφορία που υπάρχει σε ορισμένες γραφικές εντολές, ιδίως στην εντολή της κίνησης, είναι πολύ συμπυκνωμένη και δυσχεραίνει σε κάποιο βαθμό τη γνωστική ροή. Προτάθηκε ο διαχωρισμός των διαφορετικών παραμέτρων κίνησης σε διαφορετικά πλακίδια εντολών.

Πρόκληση: Οι συμμετέχοντες επισήμαναν πως ενώ υπάρχει κλιμάκωση των δραστηριοτήτων, αυτή δεν παρέχεται αυτόματα από το σύστημα ούτε είναι άμεσα διακριτή. Ο εκπαιδευτικός καλείται να επιλέξει ο ίδιος το επίπεδο δυσκολίας της κάθε δραστηριότητας ή να δομήσει την άσκηση με τρόπο που να ενθαρρύνει την πρόκληση (σε περίπτωση δημιουργίας νέας άσκησης). Επίσης, προκειμένου να γίνει πιο διακριτή η πρόκληση και η σταδιακή κλιμάκωση των δραστηριοτήτων προτάθηκε ένας πιο ξεκάθαρος θεματικός διαχωρισμός των ασκήσεων βάσει γνωστικών αντικειμένων του αναλυτικού προγράμματος σπουδών, εντός του οποίου θα παρέχονται οι ασκήσεις με κλιμακούμενη δυσκολία.

Προσαρμοσιμότητα: Οι συμμετέχοντες έκριναν πως το σύστημα θα φαινόταν περίπλοκο σε παιδιά που δεν έχουν προηγούμενες γνώσεις προγραμματισμού. Για το λόγο αυτό, πρότειναν να υπάρχει διαφοροποίηση των γραφικών εντολών στις ασκήσεις που χαρακτηρίζονται ως «εύκολες» ωστε αυτές να εμφανίζονται απλοποιημένες, διατηρώντας μόνο τις βασικές λειτουργίες, ειδικά ως προς την κίνηση του ρομπότ.

Αλληλεπίδραση: Στα αναδυόμενα παράθυρα πληροφοριών των γραφικών εντολών παρατηρήθηκε δυσκολία στην κύλιση της μπάρας για την εμφάνιση του κειμένου, στις περιπτώσεις εκτεταμένων οδηγιών.  Επίσης, επισημάνθηκε πως οι πληροφορίες σε αυτά τα παράθυρα θα μπορούσαν να είναι πιο σύντομες και επιγραμματικές ενώ εντοπίστηκε ένα τυπογραφικό σφάλμα στο κείμενο επεξήγησης της περιστροφικής ταχύτητας κίνησης.

Επίσης, προτάθηκε πως κατά τη διάρκεια επίλυσης θα έπρεπε να εμφανίζεται διαρκώς η εκφώνηση της άσκησης και στην περίπτωση ύπαρξης στιγμιοτύπου αυτό θα έπρεπε να είναι διαθέσιμο στον χρήστη μέσα από την επιλογή «Οδηγίες».  Επιπλέον, προτάθηκε το βίντεο οδηγιών της άσκησης να ενσωματωθεί στην επιλογή «Οδηγίες» ώστε να μην χρειάζεται ο μαθητής να βγαίνει από το περιβάλλον για να ανατρέξει στο βίντεο. Παρατηρήθηκαν ακόμη κάποιες δυσκολίες στη χρήση του συστήματος.

Αυτοματισμός: Κατά την επίλυση μιας άσκησης από τον μαθητή, προτάθηκε το σύστημα να εμφανίζει αυτόματα δημοσιευμένες ασκήσεις με παρόμοιο θέμα, ώστε ο μαθητής να παίρνει ιδέες και να μπορεί να βοηθηθεί χωρίς να χρειάζεται να μπαίνει ο ίδιος στη διαδικασία να αναζητά παρόμοιες ασκήσεις.

Συνεργασία και επικοινωνία: Οι συμμετέχοντες σημείωσαν την έλλειψη δυνατότητας για συνεργασία και επικοινωνία μεταξύ των χρηστών και έκαναν τις εξής προτάσεις: i) προσθήκη δυνατότητας συνεργασίας μεταξύ μαθητών για την επίλυση μιας άσκησης σε κοινό περιβάλλον εργασίας χρησιμοποιώντας διαφορετικούς υπολογιστές, ii) δημιουργία forum ή άλλου μέσου ανταλλαγής μηνυμάτων για την επικοινωνία του μαθητή με τον εκπαιδευτικό, την επίλυση αποριών κλπ.

Ανατροφοδότηση: Οι συμμετέχοντες επισήμαναν πως ενώ παρέχεται αποτελεσματική οπτική ανατροφοδότηση για τον μαθητή-χρήστη, λείπει η ανατροφοδότηση για τον εκπαιδευτικό-χρήστη. Επίσης, προτάθηκε η προσθήκη δυνατότητας προσομοίωσης της λύσης του μαθητή σε ένα εικονικό ρομπότ καθώς και της δυνατότητας επιλογής «βοηθού», ο οποίος  θα εμφανίζεται στο περιβάλλον γραφικού προγραμματισμού και θα ενημερώνει τον μαθητή-χρήστη για τυχόν σφάλματα ή θα του υπενθυμίζει βασικές οδηγίες χρήσης του TekTrain. Τέλος, σημειώθηκε η ανάγκη εμφάνισης μηνυμάτων πληροφόρησης για όλα τα εικονίδια λειτουργιών, κατά το πέρασμα του δείκτη ποντικιού πάνω από αυτά.

Διαφάνεια: Επισημάνθηκε πως τα πλήκτρα «Κίνηση», «Ανίχνευση», «Ήχος» κλπ είναι προτιμότερο να μένουν σταθερά στο περιβάλλον για να είναι ξεκάθαρες καθ’ όλη τη διάρκεια οι πέντε βασικές δυνατότητες που παρέχονται στον χρήστη. Επίσης, προτάθηκε οι δημοσιευμένες ασκήσεις να δημοσιεύονται με τη λύση τους, χωρίς ωστόσο να χάνουν τη δυνατότητά τους για επίλυση από τον μαθητή.

Ενεργή μάθηση: Επισημάνθηκε πως κάποιες εκφράσεις ενδέχεται να επηρεάζουν αρνητικά την αίσθηση της εξερεύνησης και ενεργητικής διερεύνησης και θα ήταν προτιμότερο να αναδιατυπωθούν. Για παράδειγμα,  η συχνή χρήση της λέξης “μαθητής” στις πληροφορίες των γραφικών εντολών παραπέμπει σε ένα τυπικό πλαίσιο εκπαίδευσης ενώ η διατύπωση “να υποβάλεις την άσκηση για διόρθωση” προδιαθέτει ένα κίνητρο περισσότερο εξωγενές (βαθμός) παρά ενδογενές (επίλυση ενός προβλήματος/πειραματισμός). Επίσης, η προϋπόθεση ύπαρξης μιας σωστής λύσης είναι περιοριστική σε κάποιες περιπτώσεις. Οι δυνατότητες που παρέχει η πλατφόρμα θα έπρεπε να μπορούν να αξιοποιηθούν και μέσα από ημιδομημένες ή εντελώς ανοιχτές ασκήσεις, στις οποίες οι μαθητές να καλούνται να συνδυάσουν τις διάφορες εντολές με δημιουργικό, μη προδιαγεγραμμένο τρόπο.

Συνάφεια: Οι συμμετέχοντες σημείωσαν πως, κατά τη δημιουργία μιας νέας άσκησης, θα πρέπει να υπάρχει ένα επιπλέον πεδίο στην περιγραφή στο οποίο ο εκπαιδευτικός να συμπληρώνει τους μαθησιακούς στόχους της άσκησης. Αυτή η πληροφορία θα ήταν ιδιαίτερα χρήσιμη για την αξιοποίηση δημοσιευμένων ασκήσεων από άλλους εκπαιδευτικούς. Επίσης, θα πρέπει να υπάρχει δυνατότητα αντιστοίχισης των ασκήσεων με γνωστικά αντικείμενα του αναλυτικού προγράμματος σπουδών.

Αναστοχασμός: Προκειμένου να ενισχυθεί το στοιχείο του αναστοχασμού και ενημέρωσης, προτάθηκε το σύστημα να εμφανίζει στον χρήστη στατιστικά στοιχεία σχετικά με τη μαθησιακή πορεία του.