Πολυτροπική αλληλεπίδραση

Η πολυτροπική αλληλεπίδραση (multimodal interaction) παρέχει στον χρήστη ενός συστήματος διαφορετικούς τρόπους (modes) να αλληλεπιδρά με αυτό. Μια πολυτροπική διεπιφάνεια (multimodal interface) παρέχει αρκετά εργαλεία για την είσοδο και έξοδο των δεδομένων.

Πολυτροπική είσοδος

Υπάρχουν δύο διαφορετικά είδη πολυτροπικών διεπιφανειών που έχουν συγκλίνει: αυτή των εναλλακτικών μεθόδων εισόδου και αυτή της συνδυασμένης εισόδου/εξόδου δεδομένων. Το πρώτο είδος συνδυάζει διάφορες μεθόδους εισόδου δεδομένων από τον χρήστη, εκτός των παραδοσιακών ( πληκτρολόγιο, ποντίκι), όπως η ομιλία, η χρήση γραφίδας, η αφή, οι χειρονομίες [1], το βλέμμα και οι κινήσεις του κεφαλιού ή του σώματος [2]. Μια κοινή διεπιφάνεια αυτού του είδους είναι ο συνδυασμός μιας οπτικής τροπικότητας (όπως μια οθόνη, ένα πληκτρολόγιο και ένα ποντίκι) με κάποια φωνητική τροπικότητα ( αναγνώριση ομιλίας για είσοδο δεδομένων, σύνθεση ομιλίας και προηχογραφημένους ήχους για έξοδο). Μπορούν όμως να χρησιμοποιηθούν και άλλες τροπικότητες όπως η είσοδος με βάση τη γραφίδα ή η απτική είσοδος/έξοδος. Οι πολυτροπικές διεπιφάνειες χρήστη (multimodal user interfaces) αποτελούν αντικείμενο έρευνας του πεδίου της αλληλεπίδρασης ανθρώπου-υπολογιστή (human-computer interaction, HCI).

Το πλεονέκτημα των πολλαπλών τρόπων εισόδου/εξόδου είναι η ευχρηστία: οι αδυναμίες μιας τροπικότητας συμπληρώνονται από τα πλεονεκτήματα κάποιας άλλης. Για παράδειγμα, σε μια φορητή συσκευή με μικρή οθόνη για γραφικό περιβάλλον και μικρό πληκτρολόγιο, μια λέξη μπορεί να είναι πιο δύσκολο να γραφτεί παρά να ειπωθεί. Αυτό είναι ιδιαίτερα σημαντικό όταν αυτές οι μικρές συσκευές χρησιμοποιούνται για την πρόσβαση και αναζήτηση σε καταλόγους πολυμέσων. Ένα άλλο παράδειγμα είναι η παροχή πληροφοριών ασθενή σε μια αίθουσα χειρουργείου, όπου τα μέλη της χειρουργικής ομάδας μπορούν να τις λαμβάνουν με διάφορους οπτικούς ή ακουστικούς τρόπους ώστε να λαμβάνονται όσο το δυνατόν πιο γρήγορα και σωστά.

Οι πολυτροπικές διεπιφάνειες χρήστη μπορούν επίσης να είναι καλύτερα προσβάσιμες. [3] Μια πολυτροπική εφαρμογή που έχει σχεδιαστεί σωστά μπορεί να χρησιμοποιηθεί από ανθρώπους με διάφορες αναπηρίες. Οι χρήστες με προβλήματα όρασης μπορούν να χρησιμοποιήσουν την τροπικότητα φωνής σε συνδυασμό με κάποιο πληκτρολόγιο. Οι χρήστες με προβλήματα ακοής μπορούν να χρησιμοποιήσουν την οπτική τροπικότητα και την φωνητική είσοδο. Χρήστες που έχουν προβλήματα λόγω της κατάστασης στην οποία βρίσκονται (για παράδειγμα όσοι χρησιμοποιούν γάντια σε περιβάλλον με θόρυβο, οδηγούν ή πρέπει να δώσουν τον κωδικό της πιστωτικής τους κάρτας ενώ είναι σε δημόσιο χώρο) μπορούν επίσης να χρησιμοποιήσουν την κατάλληλη τροπικότητα. Αν όμως μια πολυτροπική εφαρμογή απαιτεί από τον χρήστη της να χρησιμοποιεί όλους αυτούς τους τρόπους, τότε μάλλον δεν είναι σωστά σχεδιασμένη.

Μια κοινή τροπικότητα εισόδου που χρησιμοποιείται ευρέως είναι η γλώσσα σήμανσης XHTML+Voice (γνωστή και ως X+V), μια ανοιχτή προδιαγραφή από την IBM, τη Motorola και την Opera Software. Η X+V προς το παρόν εξετάζεται από W3C για τις εφαρμογές της και περιλαμβάνει μεταξύ άλλων την XHTML για την οπτική σήμανση, τη VoiceXML για σήμανση φωνής και τα XML Events, ένα πρότυπο για την ενσωμάτωση γλωσσών βασισμένων στην XML. Πολυτροπικοί περιηγητές ιστού που υποστηρίζουν την X+V είναι το IBM WebSphere Everyplace Multimodal Environment, ο Opera για Embedded Linux και Windows, και το ACCESS Systems NetFront για Windows Mobile. Η ανάπτυξη πολυτροπικών εφαρμογών μπορεί να γίνει με χρήση κάποιου κιτ ανάπτυξης λογισμικού, όπως το IBM WebSphere Multimodal Toolkit, το οποίο βασίζεται στο ανοιχτό πλαίσιο λογισμικού Eclipse, που περιλαμβάνει έναν αποσφαλματωτή X+V debugger, έναν διορθωτή και έναν προσομοιωτή.