John Daley, Διευθύνων Σύμβουλος και συνιδρυτής της HelmGuard – Σειρά συνεντεύξεων

Ο John Daley είναι διευθύνων σύμβουλος και συνιδρυτής της HelmGuard. Προηγουμένως εργάστηκε για οκτώ χρόνια στην Palantir, όπου συνδιηύθυνε τη νομική ομάδα και την παγκόσμια λειτουργία εσόδων. Η εμπειρία του στην ανάπτυξη επιχειρήσεων, τη διαχείριση νομικών κινδύνων και την υλοποίηση λύσεων τεχνητής νοημοσύνης διαμορφώνει την προσέγγισή του ως προς την ενσωμάτωση της διακυβέρνησης στα συστήματα μέσω των οποίων λειτουργούν οι οργανισμοί.

Η HelmGuard αναπτύσσει μια πλατφόρμα τεχνητής νοημοσύνης για την ασφάλεια, τη διακυβέρνηση, τη διαχείριση κινδύνων και τη συμμόρφωση. Συνδέει εσωτερικά δεδομένα με δεδομένα τρίτων, χρησιμοποιεί εξειδικευμένους πράκτορες για τη συλλογή αποδεικτικών στοιχείων και την αξιολόγηση των δικλίδων ελέγχου και διευκολύνει τον ανθρώπινο έλεγχο μέσω παραπομπών και ιχνών ελέγχου. Το έργο της καλύπτει τη διαχείριση κινδύνων τρίτων, την εσωτερική συμμόρφωση και τη διασφάλιση της αξιοπιστίας πρακτόρων τεχνητής νοημοσύνης που λειτουργούν εντός επιχειρήσεων.

Στην Palantir, συνδιευθύνατε τη νομική ομάδα και την παγκόσμια λειτουργία εσόδων, αποκτώντας άμεση εικόνα της έντασης ανάμεσα στην ανάπτυξη και τον κίνδυνο. Τι σας αποκάλυψε αυτή η εμπειρία για τις αδυναμίες των παραδοσιακών προσεγγίσεων διακυβέρνησης και πώς επηρέασε την απόφασή σας να συνιδρύσετε τη HelmGuard;

Η θέση μου ανάμεσα στη νομική και τη λειτουργία εσόδων με έφερε ακριβώς στο επίκεντρο της έντασης που περιγράφετε. Το βασικό δίδαγμα που αποκόμισα ήταν ότι η διακυβέρνηση, όταν βρίσκεται πολύ μακριά από την παράδοση και την εκτέλεση, αποτυγχάνει και στους δύο στόχους. Εμποδίζει την επιχειρηματική δραστηριότητα και συχνά δεν διαχειρίζεται ούτε τους κινδύνους.

Ένα μέρος του προβλήματος είναι ότι η διακυβέρνηση τείνει να δίνει προτεραιότητα στην αυστηρότητα και το βάθος εις βάρος της ταχύτητας. Οι πολιτικές συντάσσονται, εξετάζονται από επιτροπές και εφαρμόζονται εκ των υστέρων, μέσω ελέγχων και ερωτηματολογίων. Όταν η λειτουργία διακυβέρνησης καταλήξει σε μια εκτίμηση, ο κίνδυνος έχει συνήθως ήδη περάσει στην επιχείρηση με τον έναν ή τον άλλο τρόπο.

Η HelmGuard γεννήθηκε από την πεποίθηση ότι η διακυβέρνηση πρέπει να ανασχεδιαστεί ως υποδομή και όχι ως τμήμα. Η ανάγκη αυτή είναι επείγουσα λόγω των πρακτόρων τεχνητής νοημοσύνης, καθώς ολοένα και μεγαλύτερο μέρος της εργασίας εκτελείται πλέον από πράκτορες και μεταξύ πρακτόρων, με τρόπο που οι παραδοσιακές προσεγγίσεις δεν μπορούν να παρακολουθήσουν.

Όταν ένα χρηματοπιστωτικό ίδρυμα περνά από την τεχνητή νοημοσύνη που προτείνει ενέργειες σε πράκτορες που μπορούν να τις εκτελέσουν, τι αλλάζει πιο θεμελιωδώς ως προς την έκθεσή του σε κινδύνους; Ποιους κινδύνους πιστεύετε ότι υποτιμούν σήμερα οι τράπεζες και οι εταιρείες χρηματοοικονομικής τεχνολογίας;

Η θεμελιώδης αλλαγή είναι ότι ο άνθρωπος παύει να αποτελεί το σημείο συμφόρησης. Όταν το μοντέλο απλώς προτείνει ενέργειες, ένας άνθρωπος παρεμβάλλεται ανάμεσα στην έξοδο του μοντέλου και τον πραγματικό κόσμο. Με έναν πράκτορα, το μοντέλο είναι εκείνο που ενεργεί και ο άνθρωπος, στην καλύτερη περίπτωση, ελέγχει όσα έχουν ήδη συμβεί. Ακόμη κι αυτό, όμως, γίνεται δύσκολο στην πράξη, δεδομένης της ταχύτητας, της κλίμακας και του εύρους όσων κάνουν οι πράκτορες.

Ο κίνδυνος αυξάνεται επίσης όσο παρατείνεται η εκτέλεση. Η δική μας έρευνα δείχνει ότι η πιθανότητα ένας πράκτορας να παρεκκλίνει από την εντολή του αυξάνεται όσο μεγαλύτερη είναι η διάρκεια μιας εκτέλεσης και όσο περισσότερες κλήσεις εργαλείων περιλαμβάνει. Με τις δυνατότητες να εξελίσσονται τόσο γρήγορα και τα προσδοκώμενα οφέλη παραγωγικότητας, η πίεση για ανάθεση περισσότερων εργασιών σε πράκτορες που λειτουργούν για μεγάλα χρονικά διαστήματα θα είναι τεράστια. Τα ιδρύματα που μόλις αρχίζουν να πειραματίζονται δεν έχουν ακόμη αντιληφθεί ότι αυτό απαιτεί έναν μηχανισμό διασφάλισης σχεδιασμένο εξαρχής για πράκτορες.

Όσο για όσα υποτιμούν οι τράπεζες και οι εταιρείες χρηματοοικονομικής τεχνολογίας, θα ξεχώριζα τρία σημεία. Πρώτον, επιφάνεια επίθεσης είναι η νόμιμη πρόσβαση του πράκτορα και όχι κάποια ευπάθεια του μοντέλου. Δεύτερον, η εποπτεία σε επίπεδο σύνοψης, όπου ο πράκτορας απλώς αναφέρει ότι ολοκλήρωσε την εργασία, δεν σας λέει σχεδόν τίποτα για το τι έκανε στην πραγματικότητα. Τρίτον, η εφοδιαστική αλυσίδα πίσω από έναν πράκτορα —δηλαδή ο πάροχος του μοντέλου, ο προμηθευτής της πλατφόρμας ενορχήστρωσης και οι διασυνδέσεις με εργαλεία— δημιουργεί κίνδυνο από τέταρτα μέρη. Οι περισσότερες από αυτές τις επιχειρήσεις δεν είναι σε θέση να χαρτογραφήσουν αποτελεσματικά αυτή την αλυσίδα, ενώ τα συνήθη προγράμματα διαχείρισης κινδύνων τρίτων (TPRM) δεν έχουν καμία ελπίδα να παρακολουθήσουν τις εξελίξεις.

Ένας πράκτορας μπορεί να έχει νόμιμη πρόσβαση σε ένα σύστημα πληρωμών και παρ’ όλα αυτά να κινήσει μια ακατάλληλη συναλλαγή. Πώς πρέπει τα χρηματοπιστωτικά ιδρύματα να διακρίνουν τι επιτρέπεται τεχνικά να κάνει ένας πράκτορας από το τι είναι εξουσιοδοτημένος να κάνει σε ένα συγκεκριμένο επιχειρηματικό πλαίσιο;

Η άδεια είναι ιδιότητα του διαπιστευτηρίου, ενώ η εξουσιοδότηση εξαρτάται από το πλαίσιο. Τα παραδοσιακά συστήματα διαχείρισης ταυτοτήτων και πρόσβασης μπορούν να σας πουν αν αυτή η ταυτότητα επιτρέπεται να καλέσει αυτό το API. Δεν μπορούν να σας πουν αν η ταυτότητα αυτή πρέπει να πραγματοποιήσει σήμερα τη συγκεκριμένη πληρωμή, προς τον συγκεκριμένο αντισυμβαλλόμενο και για τον συγκεκριμένο λόγο.

Οι άνθρωποι γεφυρώνουν αυτό το χάσμα με κρίση, δικλίδες ελέγχου και θεσμική γνώση. Οι πράκτορες διαθέτουν μόνο το πλαίσιο που τους παρέχετε, επομένως αυτό πρέπει να τους δίνεται ρητά. Πρέπει επίσης να επανεξεταστούν οι ίδιες οι δικλίδες ελέγχου, ώστε να ανταποκρίνονται σε ένα νέο είδος εργαζομένου που λειτουργεί εντός της επιχείρησης.

Στην πράξη, αυτό σημαίνει τη δημιουργία ενός επιπέδου ανάμεσα στις προθέσεις του πράκτορα και στο σύστημα καταγραφής, το οποίο θα περιλαμβάνει το μοντέλο δεδομένων του ίδιου του οργανισμού για γνωστές και αξιόπιστες οντότητες, εγκεκριμένους αντισυμβαλλομένους, όρια, καθώς και το ποιος επιτρέπεται να κάνει τι και για λογαριασμό ποιου. Σε περιβάλλον παραγωγής, κάθε ενέργεια ελέγχεται με βάση αυτό το μοντέλο, με την ίδια ταχύτητα που λειτουργούν οι πράκτορες.

Ένας εύληπτος τρόπος να το σκεφτείτε είναι να εφαρμόσετε το εξής κριτήριο: μπορείτε να περιγράψετε με μία πρόταση τον επιχειρηματικό λόγο για τον οποίο επιτράπηκε σε αυτόν τον πράκτορα να προβεί στη συγκεκριμένη ενέργεια; Αν η απάντηση είναι ότι είχε πρόσβαση, τότε μιλάμε για άδεια, όχι για εξουσιοδότηση.

Ας εξετάσουμε έναν πράκτορα που διαβάζει το τιμολόγιο ενός προμηθευτή και μπορεί να ξεκινήσει πληρωμές. Πώς θα προστατεύατε αυτή τη διαδικασία από κακόβουλες οδηγίες ενσωματωμένες στο έγγραφο και σε ποια σημεία θα απαιτούσατε δικλίδες ασφαλείας που ο ίδιος ο πράκτορας δεν θα μπορεί να παρακάμψει;

Θα ξεκινούσα αντιμετωπίζοντας κάθε έγγραφο που διαβάζει ο πράκτορας ως μη έμπιστη είσοδο, όπως ακριβώς θα αντιμετωπίζαμε ένα συνημμένο ηλεκτρονικού μηνύματος. Το τιμολόγιο είναι δεδομένα από τα οποία πρέπει να εξαχθούν πληροφορίες, όχι οδηγίες προς εκτέλεση, και αυτό πρέπει να αναφέρεται ρητά στην εντολή λειτουργίας του πράκτορα.

Στη συνέχεια, η ανάγνωση και η εκτέλεση ενεργειών πρέπει να είναι διακριτές λειτουργίες, έτσι ώστε ο πράκτορας που αναλύει το τιμολόγιο να μην είναι ο ίδιος εκείνος που έχει στη διάθεσή του τα διαπιστευτήρια πληρωμών. Η εξαγωγή στοιχείων δημιουργεί μια δομημένη πρόταση, στην οποία αναφέρονται ο αντισυμβαλλόμενος, το ποσό και η αιτιολογία. Έπειτα, ένα ξεχωριστό στάδιο ελέγχει την πρόταση με βάση την πολιτική και την εγκρίνει προτού γίνει οτιδήποτε.

Τέλος, η ενέργεια πρέπει να ελέγχεται με βάση όσα γνωρίζει ήδη ο οργανισμός και όχι όσα ισχυρίζεται το έγγραφο. Γνωρίζουμε αυτόν τον προμηθευτή; Είναι αυτά τα τραπεζικά στοιχεία που έχουμε ήδη καταχωρισμένα γι’ αυτόν; Είναι το ποσό εντός των ορίων της σύμβασης και συμφωνεί ο χρόνος με το ιστορικό; Η έγχυση εντολών μπορεί να αλλάξει το περιεχόμενο ενός εγγράφου, αλλά δεν μπορεί να αλλάξει τα ίδια τα δεδομένα του οργανισμού. Αυτά τα δεδομένα μπορούν να καθοδηγήσουν τις ενέργειες ενός πράκτορα, όπως ακριβώς καθοδηγούν και τις ενέργειες ενός ανθρώπου, εφόσον ο πράκτορας έχει πρόσβαση στο σχετικό πλαίσιο πληροφοριών.

Ορισμένες δικλίδες ασφαλείας πρέπει να βρίσκονται σε σημεία στα οποία ο πράκτορας δεν έχει πρόσβαση. Οι αλλαγές σε έναν αντισυμβαλλόμενο ή στα τραπεζικά του στοιχεία πρέπει να απαιτούν επιβεβαίωση μέσω ανεξάρτητου καναλιού, τα όρια πληρωμών πρέπει να επιβάλλονται σε επίπεδο χαμηλότερο από εκείνο του πράκτορα, οι νέοι δικαιούχοι πρέπει να τίθενται σε αναμονή και κάθε περίπτωση που αποκλίνει από το καθιερωμένο μοτίβο πρέπει να απαιτεί ανθρώπινη έγκριση.

Η βασική αρχή είναι ότι το να μπλοκάρουμε μια προτροπή δεν σημαίνει ότι θέτουμε έναν πράκτορα υπό διακυβέρνηση. Η κατάλληλη άμυνα απαιτεί δομική επανεξέταση του τι σημαίνει επιχείρηση που λειτουργεί με πράκτορες ΤΝ, αντί για απλή εφαρμογή αυτοματισμών στις υφιστάμενες διαδικασίες.

Η HelmGuard χρησιμοποιεί πράκτορες ΤΝ για να παρακολουθεί άλλους πράκτορες. Πώς διασφαλίζετε ότι το εποπτικό σύστημα θα εντοπίζει αστοχίες που διαφεύγουν από τον υποκείμενο πράκτορα και ποιες δικλίδες ασφαλείας πρέπει να παραμένουν ανεξάρτητες και από τα δύο συστήματα;

Το πλεονέκτημα του επόπτη δεν είναι ότι είναι εξυπνότερος από τον πράκτορα που παρακολουθεί, αλλά ότι διαθέτει διαφορετικές πληροφορίες και επιτελεί διαφορετικό έργο. Βλέπει το πλήρες ίχνος ενεργειών και όχι μόνο τη σύνοψη, έχει στη διάθεσή του τους μηχανισμούς ελέγχου και το πλαίσιο διαχείρισης κινδύνων του οργανισμού και δεν προσπαθεί να ολοκληρώσει την εργασία. Επομένως, δεν έχει κίνητρο να δικαιολογήσει μια συντόμευση.

Ελέγχουμε αν εντοπίζει όσα διαφεύγουν από τον πράκτορα με τον ίδιο τρόπο που θα επικυρώναμε οποιονδήποτε άλλο μηχανισμό ελέγχου: τον δοκιμάζουμε απέναντι σε γνωστές αστοχίες. Ανασυνθέτουμε τις ενέργειες από τα ίχνη, τις συγκρίνουμε με την προβλεπόμενη εντολή λειτουργίας και τις δικλίδες ασφαλείας και μετράμε πόσο αποτελεσματικά εντοπίζονται οι αποκλίσεις σε δοκιμές με επισημασμένα δεδομένα.

Η ανεξαρτησία είναι κρίσιμη, για τον ίδιο λόγο που τα χρηματοπιστωτικά ιδρύματα διαχωρίζουν τη διαχείριση κινδύνων σε πρώτη, δεύτερη και τρίτη γραμμή. Όπου είναι δυνατόν, το εποπτικό επίπεδο πρέπει να λειτουργεί με διαφορετικά μοντέλα από εκείνα του πράκτορα, να έχει πρόσβαση μόνο για ανάγνωση στα συστήματα στα οποία ενεργεί ο πράκτορας και να μη χρησιμοποιεί ποτέ τα ίδια διαπιστευτήρια με εκείνον. Έτσι, ο σχεδιασμός λαμβάνει υπόψη τον κίνδυνο συσχετισμένων αστοχιών και διασφαλίζεται ότι το επίπεδο ελέγχου και επαλήθευσης έχει περιορισμένο σκοπό και πεδίο εφαρμογής.

Ορισμένες δικλίδες ασφαλείας πρέπει να είναι ανεξάρτητες και από τα δύο συστήματα, όπως προκαθορισμένα όρια και διαχωρισμός καθηκόντων που επιβάλλονται σε επίπεδο συστήματος, αμετάβλητα αρχεία καταγραφής που κανένας από τους δύο πράκτορες δεν μπορεί να τροποποιήσει, διακόπτες έκτακτης διακοπής και μηχανισμοί περιορισμού που δεν εξαρτώνται από την κρίση κανενός από τα δύο μοντέλα, καθώς και περιοδικός ανθρώπινος έλεγχος των αποτελεσμάτων του επιπέδου επαλήθευσης.

Η διασφάλιση που είναι εγγενής στην ΤΝ είναι απαραίτητη, επειδή μόνο ένα σύστημα που λειτουργεί με τους όρους του πράκτορα, με την ίδια ταχύτητα και στα ίδια δεδομένα, μπορεί να παρακολουθεί τις ενέργειές του αποτελεσματικά. Πρέπει, όμως, να εντάσσεται στην ίδια οργανωτική δομή και στο ίδιο πλαίσιο συμμόρφωσης και διαχείρισης κινδύνων που οι οργανισμοί αναπτύσσουν εδώ και χρόνια.

Μπορείτε να μας εξηγήσετε πώς η HelmGuard θα μετέτρεπε τη γραπτή πολιτική μιας τράπεζας σε έλεγχο που εφαρμόζεται κατά την εκτέλεση ενεργειών από έναν πράκτορα; Για παράδειγμα, τι συμβαίνει όταν μια πληρωμή που κατά τα άλλα είναι εξουσιοδοτημένη συγκρούεται με έναν εσωτερικό περιορισμό;

Το πρώτο βήμα είναι η μετάφραση της πολιτικής. Για παράδειγμα, ένας κανόνας όπως «οι πληρωμές άνω των 50.000 δολαρίων σε νέους προμηθευτές απαιτούν έγκριση από τη δεύτερη γραμμή» αναλύεται σε συνθήκες που μπορούν να ελεγχθούν από μηχανή, όπως η κατάσταση του αντισυμβαλλομένου, το ποσό και η κατάσταση έγκρισης, και αντιστοιχίζεται στο μοντέλο δεδομένων του οργανισμού.

Το δεύτερο βήμα είναι να ενσωματωθούν αυτές οι συνθήκες στην εντολή λειτουργίας του πράκτορα. Στη συνέχεια, το εποπτικό επίπεδο αξιολογεί κάθε προτεινόμενη ενέργεια με βάση αυτές. Ας πάρουμε το παράδειγμά σας: ένας πράκτορας προτείνει μια πληρωμή που εμπίπτει τόσο στα δικαιώματά του όσο και στους όρους της σύμβασης με τον προμηθευτή, αλλά ο οργανισμός έχει θέσει τον προμηθευτή σε αναστολή εν αναμονή επικαιροποιημένου ελέγχου δέουσας επιμέλειας. Το σύστημα επιτρέπει την ενέργεια, αλλά η πολιτική την απαγορεύει. Το εποπτικό επίπεδο επισημαίνει τη σύγκρουση, αναστέλλει την ενέργεια, καταγράφει το σκεπτικό του και την παραπέμπει στον ορισμένο εγκρίνοντα, μαζί με τα σχετικά τεκμήρια.

Από εκεί και πέρα, συμβαίνει ένα από τρία πράγματα και καταγράφονται και τα τρία. Ο εγκρίνων παρακάμπτει τον περιορισμό, αιτιολογώντας την απόφασή του· ο περιορισμός διατηρείται και εξηγείται στον πράκτορα ο λόγος· ή αποδεικνύεται ότι η πολιτική είναι λανθασμένη και τροποποιείται. Αυτός ο τελευταίος κύκλος αποτρέπει την απόκλιση ανάμεσα στη γραπτή πολιτική και στους ελέγχους που εφαρμόζονται στην πράξη.

Τα χρηματοπιστωτικά ιδρύματα διενεργούν ήδη εκτεταμένους ελέγχους δέουσας επιμέλειας στους προμηθευτές τους. Τι πρέπει να αλλάξει όταν ένας προμηθευτής μπορεί, μετά τον αρχικό έλεγχο, να ενημερώσει το μοντέλο, τα εργαλεία ή τα δικαιώματα πρόσβασης ενός πράκτορα, αλλάζοντας ενδεχομένως τον τρόπο με τον οποίο αυτός συμπεριφέρεται μέσα στα συστήματα του ιδρύματος;

Ο έλεγχος δέουσας επιμέλειας σε δεδομένη χρονική στιγμή βασίζεται στην παραδοχή ότι αυτό που αξιολογήθηκε είναι και αυτό που τελικά θα τεθεί σε λειτουργία. Για έναν πράκτορα, αυτή η παραδοχή παύει να ισχύει τη στιγμή που ο προμηθευτής αντικαθιστά το υποκείμενο μοντέλο, προσθέτει ένα εργαλείο ή διευρύνει τα δικαιώματα πρόσβασης. Γι’ αυτό απαιτείται διαφορετική προσέγγιση, με μεγαλύτερη έμφαση στη συμπεριφορά του πράκτορα.

Σε συμβατικό επίπεδο, ως ελάχιστη προϋπόθεση, τα ιδρύματα θα πρέπει να απαιτούν ενημέρωση για ουσιώδεις αλλαγές στην έκδοση του μοντέλου, στο σύνολο των εργαλείων και στο εύρος των δικαιωμάτων πρόσβασης, καθώς και να ορίζουν εξαρχής τι θεωρείται ουσιώδης αλλαγή.

Το σημαντικότερο, όμως, είναι ότι σε επιχειρησιακό επίπεδο χρειάζονται δικά τους, συνεχή τεκμήρια: να συγκρίνουν την παρατηρούμενη συμπεριφορά με την αναμενόμενη, να παρακολουθούν τυχόν μεταβολές στα ποσοστά αποκλίσεων και να διατηρούν τη δυνατότητα επανακαθορισμού της γραμμής βάσης. Αν ο προμηθευτής μπορεί να αλλάξει τον πράκτορα, πρέπει να μπορείτε να διαπιστώσετε ότι όντως τον άλλαξε.

Οι πράκτορες συνοδεύονται επίσης από μια αλυσίδα υπεργολάβων, από τον πάροχο του μοντέλου και το επίπεδο φιλοξενίας έως κάθε διασύνδεση εργαλείου. Αυτός είναι κίνδυνος από τέταρτα μέρη, και τα περισσότερα προγράμματα διαχείρισης κινδύνου τρίτων μερών δεν είναι σχεδιασμένα ώστε να τον παρακολουθούν σωστά.

Εδώ συναντώνται τα δύο σκέλη της πλατφόρμας μας. Η διαχείριση κινδύνου τρίτων μερών σάς δείχνει ποιος είναι ο προμηθευτής και σε τι έχει δεσμευτεί, ενώ η διασφάλιση των πρακτόρων σάς δείχνει τι κάνει στην πράξη το λογισμικό του μέσα στο δικό σας περιβάλλον. Ο έλεγχος δέουσας επιμέλειας πρέπει να καλύπτει και τα δύο.

Αν ένας πράκτορας προκαλέσει οικονομική ζημία, τι τεκμήρια θα χρειαστεί ένα ίδρυμα για να ανασυνθέσει τη διαδικασία λήψης αποφάσεων και να αποδώσει ευθύνες στην επιχειρηματική ομάδα, στον πάροχο λογισμικού και στον πάροχο του μοντέλου; Πού εντοπίζετε τα μεγαλύτερα κενά στον τρόπο με τον οποίο συλλέγονται σήμερα αυτά τα τεκμήρια;

Θα χρειαζόταν το πλήρες ίχνος εκτέλεσης, δηλαδή κάθε είσοδος, κλήση εργαλείου, ενδιάμεσο βήμα συλλογισμού και έξοδος, μαζί με την εντολή βάσει της οποίας λειτουργούσε τότε ο πράκτορας, την κατάσταση των πολιτικών και των ελέγχων εκείνη τη στιγμή, το μοντέλο και την έκδοση που χρησιμοποιούνταν, καθώς και τη διαμόρφωση που είχε αναπτύξει ο προμηθευτής. Επιπλέον, θα χρειάζονταν τα σημεία ανθρώπινης παρέμβασης, ώστε να φαίνεται ποιος ενέκρινε τι, πότε και με βάση ποια τεκμήρια.

Η ευθύνη κατανέμεται περίπου σε τρία μέρη, αλλά θεωρούμε ότι θα είναι δύσκολο να αποδοθεί σημαντικό μερίδιο ευθύνης στο επίπεδο του παρόχου του μοντέλου. Η επιχειρηματική ομάδα θα πρέπει να έχει την ευθύνη για την εντολή και τις εγκρίσεις, ενώ ο πάροχος λογισμικού για τη διαμόρφωση του πράκτορα, τα εργαλεία του και τη διαχείριση των αλλαγών. Μπορείτε να αρχίσετε να κατανέμετε τις ευθύνες, αν με αυτή την ταξινόμηση μπορείτε να δείξετε σε ποιο επίπεδο ξεκίνησε η αστοχία.

Το μεγαλύτερο σημερινό κενό είναι η εξάρτηση από την εποπτεία σε επίπεδο σύνοψης. Αν στο αρχείο μιας εκτέλεσης αναφέρεται ότι «η εργασία ολοκληρώθηκε με επιτυχία», η ενέργεια που προκάλεσε τη ζημία παραμένει αόρατη μέχρι να χαθούν τα χρήματα, και η ανασύνθεση της εκτέλεσης μετατρέπεται σε εγκληματολογική έρευνα. Αυτό που χρειάζεται είναι ένα ίχνος τεκμηρίωσης σχεδιασμένο εξαρχής για την απόδοση ευθυνών: αμετάβλητο, συνδεδεμένο με την εντολή και τους ελέγχους και ανεξάρτητο τόσο από τον πράκτορα όσο και από τον προμηθευτή του. Το ίχνος αυτό πρέπει να παρακολουθείται συνεχώς από πράκτορες ειδικού σκοπού, οι οποίοι θα εντοπίζουν γρήγορα τα ζητήματα για τα οποία απαιτείται έλεγχος.

Ζήσατε τη μετάβαση της Palantir από ιδιωτική εταιρεία σε εισηγμένη στο χρηματιστήριο επιχείρηση. Όταν οι επενδυτές αξιολογούν εταιρείες των οποίων η ανάπτυξη εξαρτάται από αυτόνομη τεχνητή νοημοσύνη, τι τεκμήρια θα πρέπει να ζητούν, ώστε να ξεχωρίζουν την αποτελεσματική διακυβέρνηση από τις καθησυχαστικές γνωστοποιήσεις;

Έχοντας ζήσει τη μετάβαση της Palantir από ιδιωτική σε εισηγμένη εταιρεία, γνωρίζω ότι η συνήθης τάση στις γνωστοποιήσεις είναι να παρουσιάζεται η διακυβέρνηση με καθησυχαστικούς όρους, κάνοντας λόγο για πλαίσια που υιοθετήθηκαν, αρχές που δημοσιεύτηκαν και επιτροπές που συστάθηκαν. Οι επενδυτές θα πρέπει να θεωρούν αυτά τα στοιχεία ως το ελάχιστο απαιτούμενο και να ζητούν αντ’ αυτών τεκμήρια για το πώς λειτουργούν τα πράγματα στην πράξη.

Αξίζει να τεθούν μερικές συγκεκριμένες ερωτήσεις.

Τι ποσοστό των ενεργειών των πρακτόρων εποπτεύεται σε επίπεδο ενέργειας και όχι σε επίπεδο σύνοψης;

Ποιο είναι το μετρούμενο ποσοστό αποκλίσεων και πώς έχει εξελιχθεί με την πάροδο του χρόνου;

Πόσα περιστατικά έχουν σημειωθεί, πόσο γρήγορα εντοπίστηκαν και ο εντοπισμός τους ήταν αποτέλεσμα σχεδιασμού ή τύχης;

Ποιος μπορεί να σταματήσει έναν πράκτορα, πόσο γρήγορα μπορεί να το κάνει και είναι αυτός ο έλεγχος ανεξάρτητος από την ομάδα που τον δημιούργησε; Αν η απάντηση προϋποθέτει ότι κάποιος θα προσέξει κάτι, τότε αυτό δεν είναι έλεγχος.

Τέλος, και κάπως αντιφατικά, αναζητήστε τεκμήρια ότι η εταιρεία έχει αντιμετωπίσει αστοχίες και μπορεί να εξηγήσει πώς ανταποκρίθηκε. Μια εταιρεία που αναφέρει μηδενικά περιστατικά με πράκτορες είτε δεν χρησιμοποιεί πράκτορες σε μεγάλη κλίμακα είτε δεν τους παρακολουθεί.

Τι θα σας έπειθε ότι ένα χρηματοπιστωτικό ίδρυμα είναι έτοιμο να διευρύνει τις αρμοδιότητες ενός πράκτορα, από ένα περιορισμένο πιλοτικό πρόγραμμα έως τη μεταφορά χρημάτων πελατών ή την εκτέλεση συναλλαγών; Ποια μετρήσιμα αποτελέσματα θα δικαιολογούσαν μεγαλύτερη αυτονομία και ποια θα έπρεπε να οδηγήσουν στον περιορισμό της;

Θα ήθελα να δω ένα παρατεταμένο χρονικό διάστημα κατά το οποίο κάθε ενέργεια του πράκτορα ελεγχόταν ως προς τη συμμόρφωσή της με την εντολή, σε επίπεδο μεμονωμένης ενέργειας, και το ποσοστό αποκλίσεων ήταν χαμηλό, σταθερό και κατανοητό.

Όσον αφορά τα μετρήσιμα στοιχεία, θα εξέταζα αν το ποσοστό αποκλίσεων παραμένει κάτω από ένα συμφωνημένο όριο σε σημαντικό αριθμό εκτελέσεων, αν κάθε απόκλιση που σημειώθηκε εντοπίστηκε από το επίπεδο ελέγχου προτού φτάσει στο σύστημα επίσημης καταχώρισης, αν ο χρόνος εντοπισμού και ο χρόνος περιορισμού της μετριούνται σε λεπτά και όχι σε ημέρες, καθώς και αν είναι δυνατή η πλήρης ανασύνθεση τουλάχιστον ενός πραγματικού παρ’ ολίγον συμβάντος, ώστε να αποδειχθεί ότι η διαδρομή τεκμηρίωσης λειτουργεί πράγματι.

Η εξουσιοδότηση πρέπει να διευρύνεται σταδιακά, όχι με άλματα. Πρώτα διευρύνεται το πεδίο εφαρμογής και έπειτα αυξάνονται τα όρια· πρώτα παρέχεται δυνατότητα ανάγνωσης και εγγραφής και έπειτα επιτρέπεται η λειτουργία χωρίς επίβλεψη· πρώτα χρησιμοποιούνται εσωτερικά κεφάλαια και έπειτα κεφάλαια πελατών. Για κάθε βήμα πρέπει να καθορίζεται ξεχωριστή γραμμή βάσης.

Λόγοι για να περιοριστεί ξανά η αυτονομία είναι κάθε απόκλιση που έφτασε στο σύστημα επίσημης καταχώρισης, η αύξηση του ποσοστού αποκλίσεων μετά από αλλαγή μοντέλου ή εργαλείου, αλλαγή προμηθευτή για την οποία το ίδρυμα δεν είχε ενημερωθεί εκ των προτέρων, κενό στο ίχνος καταγραφής ή αύξηση του ποσοστού των παρεμβάσεων ανθρώπων για την παράκαμψη του συστήματος· το τελευταίο συνήθως σημαίνει ότι η ίδια η εντολή είναι λανθασμένη.

Η βασική αρχή είναι ότι η αυτονομία κατακτάται και μπορεί να ανακληθεί, ακριβώς όπως συμβαίνει με έναν νέο εργαζόμενο, και το ίδρυμα πρέπει να είναι σε θέση να παρουσιάσει τα σχετικά τεκμήρια, είτε επιβεβαιώνουν είτε διαψεύδουν την καταλληλότητά της.

Σας ευχαριστούμε για την εξαιρετική συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν πώς η συνεχής διασφάλιση, οι ανεξάρτητοι έλεγχοι και τα τεκμήρια σε επίπεδο ενέργειας μπορούν να υποστηρίξουν τη διακυβέρνηση της τεχνητής νοημοσύνης στις χρηματοπιστωτικές υπηρεσίες, μπορούν να επισκεφθούν τη HelmGuard.