Οι Βρόχοι Ανατροφοδότησης Μπορεί να Αποβούν σε «Κατάρρευση Μοντέλου» των LLM, Παρόμοια με τη Νόσο της Τρελής Αγελάδας

Ένα περίεργο ζήτημα έχει εμφανιστεί στον κόσμο της γενετικής τεχνητής νοημοσύνης. Το πρόβλημα είναι τόσο ισχυρό και σύνθετο που μπορεί να θέσει σε κίνδυνο το πεδίο της γενετικής AI. Πριν εμβαθύνουμε περισσότερο στην κατανόηση αυτού του ζητήματος, ας ρίξουμε μια γρήγορη ματιά στο γιατί ένα εμπόδιο που προβλέπεται στην ανοδική καμπύλη της AI θεωρείται τόσο σημαντικό.

Πώς η AI Υποτίθεται ότι Κάνει τον Κόσμο Πιο Αποδοτικό

Τα τελευταία λίγα χρόνια, η οφέλη που η γενετική AI έχει προσφέρει στον κόσμο έχουν αυξήσει σημαντικά την υιοθέτησή της. Το 92% των εταιρειών Fortune 500 έχουν υιοθετήσει τη γενετική AI, ενώ το 70% της GenZ έχει δοκιμάσει αυτά τα εργαλεία.

Η κάλυψη της γενετικής AI είναι τόσο εκτεταμένη που σχεδόν το 90% των αμερικανικών θέσεων εργασίας θα μπορούσε να επηρεαστεί από αυτήν, και το 95% των αλληλεπιδράσεων με πελάτες μπορεί να την περιλαμβάνει έως το 2025. Ενώ η τρέχουσα αγορά αξίζει σχεδόν 45 δισεκατομμύρια δολάρια ΗΠΑ, η AI μπορεί μόνο να μεγαλώσει και να δημιουργήσει έως και 97 εκατομμύρια θέσεις εργασίας μέχρι το επόμενο έτος.

Η διευκολυντική δυνατότητα της AI ήταν ασύγκριτη, για να το πούμε απλά. Πάνω από δύο εκατομμύρια προγραμματιστές λογισμικού κατασκευάζουν πάνω στο API της OpenAI, και οι περισσότεροι από αυτούς οι προγραμματιστές προέρχονται από εταιρείες Fortune 500 που θα μπορούσαν να έχουν πρόσβαση στους καλύτερους διαθέσιμους πόρους για τη δουλειά τους. Παρόλα αυτά, επέλεξαν να αναπτύξουν στο API.

Αυτό το θετικό συναίσθημα σχετικά με το δυναμικό της γενετικής AI αντικατοπτρίζεται επίσης σε μια έρευνα που διεξήχθη από τη Deloitte, η οποία ανέφερε ότι το 94% των επιχειρηματικών στελεχών πίστευε ότι η AI ήταν κλειδί για τη μελλοντική επιτυχία.

Από όλα αυτά τα δεδομένα και τα στοιχεία, είναι προφανές ότι πολλοί άνθρωποι παγκοσμίως ανυπομονούν για τη γενετική AI ως κινητήρα μελλοντικής ανάπτυξης. Ωστόσο, έχει προκύψει ένα ζήτημα που θα μπορούσε να θέσει σε κίνδυνο το δυναμικό ανάπτυξης της AI: οι Βρόχοι Ανατροφοδότησης. Στις επόμενες ενότητες, θα εξετάσουμε αυτό το ζήτημα πιο λεπτομερώς, εξετάζοντας όλες τις πιθανές συνέπειες και επιπτώσεις του.

Τι είναι οι Βρόχοι Ανατροφοδότησης

Στην πιο βασική τους μορφή, οι Βρόχοι Ανατροφοδότησης δεν είναι κακοί ή επιβλαβείς. Είναι η διαδικασία αξιοποίησης των αποτελεσμάτων ενός συστήματος AI και των αντίστοιχων ενεργειών του τελικού χρήστη για την επανεκπαίδευση και βελτίωση των μοντέλων με την πάροδο του χρόνου.

Λόγω της φύσης τους, ονομάζονται κλειστού βρόχου, και η διαδικασία αυτή είναι γνωστή ως εκμάθηση κλειστού βρόχου. Εδώ, πραγματοποιείται μια συνεπής σύγκριση μεταξύ του αποτελέσματος που παράγει η AI και της τελικής απόφασης, ώστε να παρέχεται ανατροφοδότηση στο μοντέλο, επιτρέποντάς του να μαθαίνει από τα λάθη του.

Ωστόσο, ένα πρόβλημα με αυτή τη μάθηση βρόχου ανατροφοδότησης εμφανίζεται όταν χρησιμοποιούνται συνθετικά δεδομένα. Η εκπαίδευση γενετικών μοντέλων AI απαιτεί τεράστιες ποσότητες δεδομένων, που είναι περιορισμένες σε προσφορά και σπάνιες σε βαθμό που αυτά τα μοντέλα εξαντλούν εντελώς τους πόρους εκπαίδευσής τους.

Γι’ αυτό οι μεγάλες τεχνολογικές εταιρείες επιδιώκουν να αξιοποιήσουν τα συνθετικά δεδομένα για την εκπαίδευση των μελλοντικών γενεών μοντέλων AI. Ωστόσο, τα συνθετικά δεδομένα έχουν τα δικά τους πλεονεκτήματα και μειονεκτήματα.

Τα Πλεονεκτήματα και τα Μειονεκτήματα των Συνθετικών Δεδομένων

Τα συνθετικά ή AI-συνθετισμένα δεδομένα έχουν πολλά πλεονεκτήματα. Για παράδειγμα, είναι φθηνότερα από τα δεδομένα του πραγματικού κόσμου και—πιο σημαντικό—η προσφορά τέτοιων δεδομένων είναι απεριόριστη.

Καθώς τα δεδομένα είναι συνθετικά, δεν προέρχονται από πραγματικό άτομο και παρουσιάζουν πολύ μικρούς κινδύνους για το απόρρητο. Αντίθετα, τα πραγματικά δεδομένα, ειδικά εκείνα που χρησιμοποιούνται στους τομείς της ιατρικής τεχνολογίας και της υγειονομικής περίθαλψης, διατρέχουν κίνδυνο παραβίασης του απορρήτου. Επιπλέον, υπάρχουν περιπτώσεις όπου η χρήση συνθετικών δεδομένων έχει βοηθήσει στη βελτίωση της απόδοσης της AI.

Ωστόσο, από την άλλη πλευρά, τα μοντέλα AI που τροφοδοτούνται με υπερβολική ποσότητα συνθετικών δεδομένων μπορεί να περιοριστούν στις λειτουργίες και το δυναμικό τους, προκαλώντας αρνητικές επιπτώσεις στις μελλοντικές εκδόσεις των γενετικών μοντέλων AI. Η προσδοκία αυτού του κινδύνου δεν είναι αβάσιμη, καθώς πρόσφατη εργασία που πραγματοποιήθηκε από την ομάδα Ψηφιακής Επεξεργασίας Σήματος στο Πανεπιστήμιο Rice επιβεβαιώνει.

Σύμφωνα με τον Richard Baraniuk, καθηγητής C. Sidney Burrus του Τμήματος Ηλεκτρικής και Πληροφορικής Μηχανικής στο Rice:

«Τα προβλήματα προκύπτουν όταν αυτή η εκπαίδευση με συνθετικά δεδομένα επαναλαμβάνεται ακαριαία, σχηματίζοντας ένα είδος βρόχου ανατροφοδότησης ⎯ αυτό που αποκαλούμε αυτοφαγικό ή ‘αυτοκαταναλισκόμενο’ βρόχο.»

Η Πρόκληση των Βρόχων Ανατροφοδότησης που Προκαλούνται από Συνθετικά Δεδομένα

Τώρα, για να κατανοήσουμε πλήρως τη φύση του προβλήματος, πρέπει να εξετάσουμε την περίπτωση των βρόχων ανατροφοδότησης και των συνθετικών δεδομένων μαζί. Ο καθηγητής Baraniuk συνοψίζει επιδέξια το πρόβλημα λέγοντας το εξής: «Η ομάδα μας έχει εργαστεί εκτενώς σε τέτοιους βρόχους ανατροφοδότησης, και το κακό νέο είναι ότι ακόμη και μετά από μερικές γενιές τέτοιας εκπαίδευσης, τα νέα μοντέλα μπορούν να γίνουν ακατάσχετα κατεστραμμένα. Αυτό έχει χαρακτηριστεί ως ‘κατάρρευση μοντέλου’ από ορισμένους ⎯, πιο πρόσφατα από συναδέλφους στον τομέα στο πλαίσιο των μεγάλων γλωσσικών μοντέλων (LLMs). Ωστόσο, θεωρούμε ότι ο όρος ‘Διάγνωση Αυτοφαγίας Μοντέλου’ (MAD) είναι πιο κατάλληλος, με αναλογία στη νόσο της τρελής αγελάδας.»

Για να εξηγήσουμε τη συνάφεια αυτής της σύγκρισης, η νόσος της τρελής αγελάδας είναι μια θανατη νευροεκφυλιστική ασθένεια που επηρεάζει τις αγελάδες και έχει ανθρώπινο ισοδύναμο που προκαλείται από την κατανάλωση μολυσμένου κρέατος. Συγκρίνεται με την πρόκληση του βρόχου ανατροφοδότησης που αντιμετωπίζουν τα γενετικά μοντέλα AI, επειδή η ασθένεια διαδίδεται μέσω της πρακτικής τροφοδότησης των αγελάδων με τα επεξεργασμένα υπολείμματα των θυσιασμένων συνομηλίκων τους. Η πράξη τροφοδότησης με υπολειπόμενα δεδομένα ή δεδομένα που προέρχονται από τη διαδικασία ως παραπροϊόν είναι η ‘μόλυνση’ που διατηρεί τα γενετικά μοντέλα AI του μέλλοντος.

Η μελέτη που εξέτασε αυτό το ζήτημα ονομαζόταν «Τα Αυτοκαταναλισκόμενα Γενετικά Μοντέλα Πηγαίνουν MAD». Αυτό που είναι επίσης σημαντικό για την έρευνα είναι ότι αποτελεί το πρώτο κριτικά ελεγχόμενο έργο σχετικά με την AI αυτοφαγία που ασχολείται με δημοφιλή και γνωστά οπτικά μοντέλα AI όπως τα DALL-E, Midjourney και Stable Diffusion. Παρόλο που η ομάδα εργάστηκε με Visual AI, όπως τόνισε ο καθηγητής Baraniuk, «τα ίδια προβλήματα διαφθοράς τύπου τρελής αγελάδας εμφανίζονται και στα LLMs».

Τώρα που έχουμε εξετάσει το ζήτημα και τους παράγοντες που το οδηγούν, πρέπει να εξετάσουμε τις επιπτώσεις του και τους τρόπους με τους οποίους μπορεί να επηρεάσει την μελλοντική ανάπτυξη των γενετικών μοντέλων AI.

Έλλειψη Φρέσκων Δεδομένων που Οδηγεί σε Ανθυγιεινή AI

Το βασικό πρόβλημα που προκύπτει από ένα επηρεασμένο ή μολυσμένο LLM είναι ένα φτωχό μοντέλο AI. Με ελλείψεις σε φρέσκα πραγματικά δεδομένα, τα αποτελέσματα παραμορφώνονται και στερούνται ποιότητας και ποικιλίας.

Για να εξηγήσουμε αυτό το σενάριο με πιο κατανοητό και οπτικό τρόπο, μπορούμε να πάρουμε την περίπτωση δημιουργίας ανθρώπινων προσώπων με AI. Με δεδομένα που τροφοδοτούνται μέσω προοδευτικών επαναληπτικών βρόχων, εμφανίζεται η πιθανότητα όλα τα πρόσωπα να γίνουν τα ίδια, όλο και πιο όμοια με το ίδιο άτομο.

Η ένταση τέτοιων επιζήμιων δυνατοτήτων είναι σοβαρή, για να το πούμε απλά. Η ένταση μπορεί να εκτιμηθεί από ένα σχόλιο του Baraniuk, ο οποίος λέει:

«Ορισμένες συνέπειες είναι σαφείς: χωρίς αρκετά φρέσκα πραγματικά δεδομένα, τα μελλοντικά γενετικά μοντέλα είναι καταδικασμένα σε τρέλα (MADness).»

Υπάρχει κάποιο φάρμακο για αυτήν την αποκαλυπτική κατάσταση που φαίνεται να απειλεί τον κόσμο της ανάπτυξης AI; Προς το παρόν, οι ερευνητές έχουν εισαγάγει μια παράμετρο παραμόρφωσης δειγματοληψίας που λαμβάνει υπόψη την τάση των χρηστών να προτιμούν την ποιότητα των δεδομένων έναντι της ποικιλίας. Αυτή η τάση ονομάζεται ‘Cherry Picking’. Το θετικό στοιχείο είναι ότι βοηθά στη διατήρηση της ποιότητας των δεδομένων σε μεγαλύτερο αριθμό επαναλήψεων του μοντέλου. Ωστόσο, η ανταλλαγή είναι μια μεγαλύτερη μείωση της ποικιλίας.

Έχουμε ήδη δει το είδος του αντίκτυπου που μπορεί να έχει η AI στον μελλοντικό μας κόσμο. Με τόσο μεγάλο δυναμικό έτοιμο να απελευθερωθεί, αυτό το ζήτημα μπορεί να επηρεάσει πολλούς ενδιαφερόμενους, ιδιαίτερα νέες και καινοτόμες επιχειρήσεις που εργάζονται σε αυτό.

Η Google είναι μία από τις πρωτοπόρες εταιρείες που τροφοδοτούν τα LLMs για ένα μεγάλο και διαφοροποιημένο σύνολο ενδιαφερόμενων. Και η έλλειψη ποικιλίας στα AI-παραγόμενα ρεύματα είναι κάτι που η Google θα πρέπει να αντιμετωπίσει στα επόμενα χρόνια. Εδώ, ρίχνουμε μια σύντομη ματιά στις δυνατότητες του Google AI όσον αφορά την τροφοδοσία των LLMs.

#1. Google AI

Στον τομέα της AI, δύο λειτουργικές πτέρυγες που βοηθούν τη Google να επιτύχει τους στόχους της είναι η Google DeepMind και η Google Cloud. Για να εξηγήσουμε τη συνεργασία πιο συγκεκριμένα, η Google Cloud φέρνει καινοτομίες που έχουν αναπτυχθεί και δοκιμαστεί από τη Google DeepMind στην πλατφόρμα AI έτοιμη για επιχειρήσεις, ώστε οι πελάτες να μπορούν να τις χρησιμοποιήσουν για να δημιουργήσουν και να παρέχουν δυνατότητες γενετικής AI. Η Google Cloud προσφέρει τρεις υπηρεσίες LLM.

• Η πρώτη είναι η Generative AI στο Vertex AI, η οποία επιτρέπει στους χρήστες να έχουν πρόσβαση στα μεγάλα γενετικά μοντέλα AI της Google για δοκιμή, ρύθμιση και ανάπτυξη στις AI-ενισχυμένες εφαρμογές τους.
• Η δεύτερη είναι το Vertex AI agent builder, που προορίζεται για επιχειρηματική αναζήτηση και εφαρμογές chatbot. Περιλαμβάνει προ-χτισμένες ροές εργασίας για συνήθεις εργασίες όπως ενσωμάτωση, εισαγωγή δεδομένων, προσαρμογή κ.λπ.
• Η τελευταία είναι το Contact Center AI, μια έξυπνη λύση κέντρου επικοινωνίας που περιλαμβάνει το Dialog Flow, την πλατφόρμα συνομιλίας AI της Google με δυνατότητες τόσο βάσει προθέσεων όσο και LLM.

Ωστόσο, η Google αντιμετώπισε επίσης τις δικές της δυσκολίες σχετικά με τη σωστή χρήση της AI. Τον Μάιο του τρέχοντος έτους, ο Διευθύνων Σύμβουλος της Google, Sundar Pichai, τόνισε ότι η εταιρεία έκανε λάθος όταν παρήγαγε εικόνες με ρατσιστική προκατάληψη ως απάντηση σε ερωτήματα χρηστών.

Η Google έπρεπε να αναστείλει τις λειτουργίες δημιουργίας εικόνων του Gemini μετά από παράπονα χρηστών στα κοινωνικά δίκτυα για την προώθηση λανθασμένων εικόνων, συμπεριλαμβανομένης της απεικόνισης ανθρώπων χρώματος όταν παρουσιάζονται Ναζί.

Αντιλαγωνίζοντας πολλές από τις έρευνες που αναφέραμε, η εταιρεία παραδέχτηκε ότι το πρόβλημα προέκυψε από «περιορισμούς στα δεδομένα εκπαίδευσης που χρησιμοποιήθηκαν για την ανάπτυξη του Gemini».

Επεκτείνοντας περαιτέρω το σημείο όπου βρίσκεται το πρόβλημα, ο Sundar Pichai πρόσθεσε επίσης:

«Υπάρχουν κάποιες φορές που απαντάτε [σε ερωτήσεις όπως] «Ποιος είναι ο πληθυσμός των Ηνωμένων Πολιτειών;» Ναι, είναι ερώτηση με απάντηση. [Αλλά] υπάρχουν στιγμές που θέλετε να εμφανίσετε ένα ευρύ φάσμα απόψεων που υπάρχουν στο διαδίκτυο, κάτι που κάνει η αναζήτηση και το κάνει καλά.»

Σύμφωνα με τον Pichai, η δουλειά που έχει κάνει η Google όλα αυτά τα χρόνια διασφαλίζει ότι — από την άποψη της Αναζήτησης — η εταιρεία προσφέρει αξιόπιστες, υψηλής ποιότητας πληροφορίες.

Οικονομικά, η Alphabet Inc. (GOOG ) (η μητρική εταιρεία της Google) ανέφερε έσοδα 307,4 δισεκατομμυρίων δολαρίων το 2023, αυξημένα κατά 9% από τα 282,8 δισεκατομμύρια το 2022. Το λειτουργικό εισόδημα έφτασε τα 84,3 δισεκατομμύρια, σημαντική άνοδο από τα 74,8 δισεκατομμύρια του προηγούμενου έτους. Παρά την αύξηση των λειτουργικών εξόδων στα 223,1 δισεκατομμύρια, το καθαρό εισόδημα ήταν 73,8 δισεκατομμύρια, σε σύγκριση με 60 δισεκατομμύρια το 2022.

#2. Cohere

Μία άλλη οντότητα που έχει κάνει εξαιρετική δουλειά σε αυτόν τον τομέα είναι η Cohere με έδρα το Τορόντο. Μία από τις πρωτοβουλίες της που αξίζει ιδιαίτερη αναφορά είναι το «Cohere for AI», ένα μη κερδοσκοπικό ερευνητικό εργαστήριο που επιδιώκει να λύσει σύνθετα προβλήματα μηχανικής μάθησης. Σε αντίθεση με μια παραδοσιακή ερευνητική ομάδα, το Cohere for AI λειτουργεί ως υβριδικό εργαστήριο με αφοσιωμένο ερευνητικό προσωπικό και υποστήριξη για πρωτοβουλίες ανοιχτής επιστήμης. Η εταιρεία συνεργάζεται ανοιχτά με ανεξάρτητους ερευνητές παγκοσμίως για τη διεξαγωγή κορυφαίας έρευνας ML.

Η κοινότητα ανοιχτής επιστήμης του Cohere είναι ένας διατομεακός χώρος που περιλαμβάνει ερευνητές, μηχανικούς, γλωσσολόγους, κοινωνικούς επιστήμονες και δια βίου μαθητές. Ο χώρος ανθίζει με συνεισφέροντες από περισσότερες από εκατό χώρες παγκοσμίως.

Μερικά από τα μοντέλα του Cohere περιλαμβάνουν τα Aya 23 – 8B και Aya 23 – 35B, κορυφαία προσβάσιμα ερευνητικά LLM, τα C4AI Command R – 104B και C4AI Command R – 35B, βάρη μοντέλων για τη δημοκρατικοποίηση της πρόσβασης στην έρευνα, και το Aya, το πολυγλωσσικό ερευνητικό LLM.

Πρόσφατα, η Cohere και η Fujitsu ανακοίνωσαν μια στρατηγική συνεργασία για την ανάπτυξη και παροχή επιχειρηματικών υπηρεσιών AI με κορυφαίες δυνατότητες στην ιαπωνική γλώσσα. Σύμφωνα με τους όρους της συνεργασίας, οι εταιρείες θα δημιουργήσουν ισχυρά επιχειρηματικά μεγάλα γλωσσικά μοντέλα (LLMs) για να εξυπηρετήσουν τις ανάγκες των παγκόσμιων επιχειρήσεων.

Τον Μάρτιο του τρέχοντος έτους, η Cohere ανακοίνωσε ότι επιδιώκει αποτίμηση 5 δισεκατομμυρίων δολαρίων στις τελευταίες της προσπάθειες συγκέντρωσης κεφαλαίων. Στοχεύει σε συγκέντρωση περίπου 250 εκατομμυρίων δολαρίων μέσω αυτού του γύρου χρηματοδότησης, σύμφωνα με πηγή που είναι ενήμερη για το θέμα.

Συμπερασματικές Σκέψεις

Τα LLMs και τα γενετικά μοντέλα AI που τα ενισχύουν εμφανίζονται και εξελίσσονται γρήγορα. Αυτός ο χώρος περιλαμβάνει τεχνολογία αιχμής που είναι τεράστια φιλόδοξη και έντονα επιδιωκτική. Συνεπώς, μπορεί κανείς να αναμένει λογικά μια σημαντική εισροή έρευνας σε αυτόν τον χώρο τα επόμενα χρόνια.

Οι ερευνητικές οργανώσεις, οι μεγάλες τεχνολογικές εταιρείες, τα εκπαιδευτικά ιδρύματα—κάθε πιθανός ενδιαφερόμενος είναι πρόθυμος να ενισχύσει την κατανομή πόρων του σε αυτόν τον χώρο. Μια τέτοια πληθώρα δραστηριοτήτων θα σημαίνει περισσότερα μειονεκτήματα που θα εμφανιστούν. Αλλά θα σημαίνει επίσης διόρθωση πορείας, σκέψη εκτός του πλαισίου και επανεξέταση των υφιστάμενων λύσεων με τον πιο βέλτιστο τρόπο.

Κάντε κλικ εδώ για να μάθετε τα πάντα σχετικά με την επένδυση στην τεχνητή νοημοσύνη.