Γλωσσικά μοντέλα: πώς «μιλούν» οι μηχανές
Η ιδέα πίσω από τα προγράμματα που γράφουν κείμενο
Τα μεγάλα γλωσσικά μοντέλα, όπως αυτά που τροφοδοτούν τους σύγχρονους βοηθούς συνομιλίας, εκπαιδεύονται σε τεράστιες συλλογές κειμένων με έναν απλό στόχο: να προβλέπουν το επόμενο κομμάτι λέξης. Επαναλαμβάνοντας αυτή τη διαδικασία, μαθαίνουν γραμματική, γεγονότα και τρόπους έκφρασης.
Η σημαντική τεχνική καινοτομία ήταν η αρχιτεκτονική transformer, που παρουσιάστηκε το 2017 στην εργασία «Attention Is All You Need». Επιτρέπει στο μοντέλο να «δίνει προσοχή» σε όλα τα μέρη ενός κειμένου ταυτόχρονα και να καταλαβαίνει συσχετίσεις ανάμεσα σε λέξεις που απέχουν πολύ.
Τα μοντέλα αυτά είναι χρήσιμα, αλλά δεν είναι αλάθητα. Μπορούν να παράγουν πειστικές αλλά λανθασμένες απαντήσεις, κάτι που λέγεται «ψευδαίσθηση». Επομένως, όταν βασίζεσαι σε μια απάντηση για κάτι σημαντικό, όπως θέματα υγείας, νομικά ή οικονομικά, αξίζει να την ελέγχεις σε αξιόπιστες πηγές και να ρωτάς έναν ειδικό.
Διάβασε και
- Τι είναι η τεχνητή νοημοσύνη; — Μηχανές που κάνουν πράγματα που θεωρούσαμε αποκλειστικά ανθρώπινα
- Πώς μαθαίνει μια μηχανή; — Από τα παραδείγματα στα συμπεράσματα
- Νευρωνικά δίκτυα: έμπνευση από τον εγκέφαλο — Πολλές απλές μονάδες που μαζί κάνουν θαύματα
- Πώς λειτουργεί το διαδίκτυο; — Πακέτα, καλώδια και ένας κοινός τρόπος συνεννόησης
- Αλγόριθμοι: συνταγές για υπολογιστές — Από τον Ευκλείδη και την Ada Lovelace μέχρι τις εφαρμογές του κινητού
- Κρυπτογραφία: τα μυστικά του ψηφιακού κόσμου — Από τον κώδικα του Καίσαρα στο λουκέτο του browser
- Κβαντικοί υπολογιστές: το επόμενο βήμα; — Υπολογιστές που αξιοποιούν τους νόμους του μικρόκοσμου
- Τα μεγάλα γλωσσικά μοντέλα — Πώς μαθαίνουν οι μηχανές να γράφουν