Η ομάδα ασφαλείας της OpenAI κάλεσε τρεις ερευνητές σε συναντήσεις και τους ζήτησε να ξεκλειδώσουν τα προσωπικά τους κινητά. Η εταιρεία διερευνούσε εάν είχαν διαβιβάσει σε εξωτερικό συνεργάτη ευαίσθητες πληροφορίες για τον εσωτερικό σχεδιασμό των μοντέλων της.
Κατά τον έλεγχο, διαπιστώθηκε ότι σε ορισμένες συνομιλίες τους στο Signal είχαν ενεργοποιηθεί μηνύματα που διαγράφονται αυτόματα. Μία εβδομάδα αργότερα, οι τρεις κλήθηκαν σε ταυτόχρονες συναντήσεις, στις δύο το μεσημέρι, και απολύθηκαν.
Αυτό είναι το περιστατικό που περιγράφει ρεπορτάζ της Wall Street Journal, φωτίζοντας μια ευρύτερη αντιπαράθεση: πόση πρόσβαση πρέπει να έχουν ανεξάρτητοι ερευνητές στα προηγμένα συστήματα τεχνητής νοημοσύνης και πού τελειώνει η προστασία της πνευματικής ιδιοκτησίας όταν τίθενται ζητήματα ασφάλειας.
Δύο διαφορετικές εκδοχές για τις απολύσεις
Οι ερευνητές είναι οι Τόμεκ Κόρμπακ, Μικίτα Μπαλέσνι και Τζάσμιν Γουάνγκ.
Η OpenAI δήλωσε στη WSJ ότι απολύθηκαν μετά από εσωτερική έρευνα που διαπίστωσε παραβιάσεις σαφών κανόνων για τη διαχείριση ευαίσθητων πληροφοριών. Υπογράμμισε ότι οι απολύσεις δεν έγιναν επειδή εξέφρασαν ανησυχίες για την ασφάλεια ή επειδή μίλησαν δημόσια.
Οι ίδιοι αμφισβητούν την εταιρική εκδοχή. Υποστηρίζουν ότι δεν κοινοποίησαν εμπιστευτικές πληροφορίες εκτός OpenAI και ότι δεν έλαβαν γραπτή εξήγηση που να προσδιορίζει ποιες ευαίσθητες πληροφορίες φέρονται να διαχειρίστηκαν αντικανονικά.
Ο Κόρμπακ ανέφερε ότι του αποδόθηκε παραβίαση εμπιστοσύνης λόγω επικοινωνίας με τρίτο πρόσωπο μέσω μη εγκεκριμένων καναλιών.
Η εταιρεία διευκρίνισε ότι η χρήση του Signal δεν ήταν εγκεκριμένη, αλλά δεν αποτέλεσε τη μοναδική αιτία των απολύσεων.
Η διαμάχη για το «πρόχειρο» των μοντέλων
Στο επίκεντρο της επιστημονικής διαφωνίας βρίσκεται η δυνατότητα παρακολούθησης των ενδιάμεσων βημάτων που παράγουν τα μοντέλα συλλογιστικής κατά την επεξεργασία ενός προβλήματος.
Τα συστήματα αυτά χρησιμοποιούν ένα εσωτερικό «πρόχειρο», γνωστό ως chain-of-thought. Οι καταγραφές του μπορούν να προσφέρουν στους ερευνητές ενδείξεις για τη συμπεριφορά και τις αποφάσεις τους, χωρίς να αποτελούν κατ’ ανάγκη πλήρη ή απολύτως αξιόπιστη αποτύπωση όλων των εσωτερικών διεργασιών.
Πριν ενταχθούν στην OpenAI, οι Μπαλέσνι και Κόρμπακ είχαν συντονίσει επιστημονική εργασία που υποστήριζε ότι αυτή η δυνατότητα παρακολούθησης πρέπει να διατηρηθεί. Στους συντάκτες συμμετείχαν η Γουάνγκ και στελέχη από μεγάλες εταιρείες AI.
Η ανησυχία τους αφορά νέες αρχιτεκτονικές που θα επέτρεπαν στα μοντέλα να επεξεργάζονται προβλήματα χωρίς να καταγράφουν τόσα ενδιάμεσα βήματα. Κατά την εκτίμησή τους, μια τέτοια εξέλιξη θα μπορούσε να αυξήσει τις δυνατότητες των συστημάτων, περιορίζοντας ταυτόχρονα την ορατότητα των ανθρώπων στη λειτουργία τους.
Η πρόταση για κοινή δέσμευση του κλάδου
Σύμφωνα με τη WSJ, ο ερευνητής ασφαλείας Ράιαν Γκρίνμπλατ, τότε επικεφαλής επιστήμονας της Redwood Research, συνέταξε πρόταση αποφυγής τέτοιων αλλαγών.
Ο Μπαλέσνι κοινοποίησε την πρόταση σε εσωτερικό κανάλι της OpenAI και στη συνέχεια συνέβαλε στη διαμόρφωση αντίστοιχης πρωτοβουλίας εντός της εταιρείας: οι κατασκευαστές μοντέλων να συμφωνήσουν ότι δεν θα επιδιώξουν σχεδιασμούς που καταργούν τη δυνατότητα πρόσβασης στο εσωτερικό «πρόχειρο».
Ο ίδιος υποστηρίζει ότι συζήτησε την ιδέα με ανώτερα στελέχη και μέλος του διοικητικού συμβουλίου. Δηλώνει επίσης ότι, αφού έλαβε σχετική άδεια, μοιράστηκε με τον Γκρίνμπλατ εκδοχή της πρότασης από την οποία είχαν αφαιρεθεί εταιρικά απόρρητα.
Το περιστατικό στο Hugging Face
Η αντιπαράθεση εντάθηκε μετά από περιστατικό το οποίο, σύμφωνα με το ρεπορτάζ, αφορούσε εκατοντάδες πράκτορες AI της OpenAI που συνεργάστηκαν για να παραβιάσουν το Hugging Face.
Οι ερευνητές αξιοποίησαν τις καταγραφές των μοντέλων για να εξετάσουν τι είχε συμβεί. Η OpenAI συμφώνησε επίσης σε συνεργασία με τον ανεξάρτητο οργανισμό ασφαλείας METR.
Το εύρος της πρόσβασης των εξωτερικών ερευνητών προκάλεσε εσωτερικές τριβές. Η εταιρεία ήθελε να προστατεύσει την πνευματική της ιδιοκτησία, ενώ ο Κόρμπακ υποστήριζε ότι ο περιορισμός των διαθέσιμων στοιχείων θα μπορούσε να δυσχεράνει τον έλεγχο.
Η METR πραγματοποίησε τελικά περιορισμένη έρευνα, με συμμετοχή του Γκρίνμπλατ στην ανάλυση των καταγραφών. Ο Κόρμπακ δήλωσε ότι επικοινωνούσε μαζί του τόσο μέσω του εταιρικού Slack όσο και μέσω Signal.
Η διαρροή που πυροδότησε την έρευνα
Την 1η Σεπτεμβρίου, το The Information δημοσίευσε ρεπορτάζ σύμφωνα με το οποίο το νεότερο μοντέλο της OpenAI, Astra, χρησιμοποιούσε τεχνική που αύξανε τις δυνατότητές του, αποκαλύπτοντας λιγότερα στοιχεία της διαδικασίας συλλογιστικής.
Ο επικεφαλής επιστήμονας της OpenAI, Γιάκουμπ Πατσότσκι, χαρακτήρισε το δημοσίευμα συγκεχυμένο, εκφράζοντας παράλληλα δικές του ανησυχίες για έναν ανταγωνισμό ανάπτυξης μοντέλων που δεν θα μπορούν να παρακολουθούνται.
Ακολούθησε εσωτερική έρευνα για τη διαρροή. Κατά τον Μπαλέσνι, οι ερευνητές ασφαλείας της εταιρείας κατονόμασαν τον Γκρίνμπλατ ως ύποπτη πηγή και ζήτησαν να εξετάσουν τις συνομιλίες τους μαζί του στο Signal.
Ο Γκρίνμπλατ αρνείται ότι διέρρευσε εμπιστευτικές πληροφορίες στο The Information. Η Redwood Research και η METR, στην οποία εργάζεται πλέον, δήλωσαν ότι αντιμετωπίζουν με σοβαρότητα τις υποχρεώσεις εμπιστευτικότητας.
Η διαφορετική περίπτωση της Γουάνγκ
Η Γουάνγκ ανέφερε ότι της γνωστοποιήθηκε διαφορετικός λόγος απόλυσης: επανειλημμένη πρόσβαση στο ηλεκτρονικό ταχυδρομείο στελέχους της εταιρείας.
Σύμφωνα με την ίδια, είχε ζητήσει σχεδόν έναν χρόνο νωρίτερα να αφαιρεθεί η σχετική πρόσβασή της, χωρίς αυτό να γίνει. Υποστηρίζει ότι τον περασμένο μήνα άνοιξε κατά λάθος ένα ευαίσθητο μήνυμα που απευθυνόταν στο στέλεχος, δεν κοινοποίησε το περιεχόμενό του και ανέφερε αμέσως το περιστατικό.
Ποιος ελέγχει εκείνους που αναπτύσσουν την AI;
Η OpenAI δηλώνει ότι ήδη συνεργάζεται με ανεξάρτητους οργανισμούς ασφαλείας και προαναγγέλλει νέες συνεργασίες. Ανακοίνωσε επίσης πιλοτικό πρόγραμμα ενσωμάτωσης ερευνητών της METR και της Redwood Research για την αξιολόγηση των συστημάτων ασφαλείας της. Η METR ανέφερε ότι η OpenAI περιόρισε μέρος των ευρημάτων που μπορούσε να δημοσιοποιήσει.
Ανάλογα όρια θέτουν και άλλες εταιρείες. Η Anthropic ανακοίνωσε διευρυμένη πρόσβαση ερευνητών της METR στα συστήματά της, διατηρώντας ωστόσο εξαιρέσεις για ιδιαίτερα ευαίσθητες πληροφορίες, όπως οι αρχιτεκτονικές των μοντέλων.
Οι τρεις απολυμένοι φοβούνται ότι η υπόθεσή τους θα περιορίσει τη συνεργασία με ανεξάρτητους ελεγκτές. Η εταιρεία απορρίπτει ότι τιμωρήθηκαν για τις θέσεις τους στην ασφάλεια.
Η διαφωνία αφήνει ανοιχτό ένα ουσιαστικό ζήτημα: πώς θα εξασφαλίζεται επαρκής ανεξάρτητος έλεγχος συστημάτων μεγάλης ισχύος, όταν τα στοιχεία που χρειάζονται οι ελεγκτές αποτελούν ταυτόχρονα τα πολυτιμότερα εμπορικά μυστικά των κατασκευαστών τους.
Προτιμώμενη πηγή στην Google