Μια νέα έκθεση της εταιρείας Fastly αποκαλύπτει αυτό που η ίδια χαρακτηρίζει ως «μια εντυπωσιακή αλλαγή στη φύση της αυτοματοποιημένης κίνησης δεδομένων στον παγκόσμιο ιστό». Σύμφωνα με πρόσφατη ανάλυση, οι ανιχνευτές (crawlers) τεχνητής νοημοσύνης αποτελούν σχεδόν το 80% της κίνησης από bots τεχνητής νοημοσύνης. Η Meta παρήγαγε περισσότερο από το ήμισυ αυτής της κίνησης, επισκιάζοντας αθροιστικά τόσο την Google όσο και την OpenAI.
Τα αποτελέσματα αυτά προέρχονται από την ανάλυση της κίνησης δεδομένων που καταγράφηκε μεταξύ 16 Απριλίου και 15 Ιουλίου, μέσω δύο υπηρεσιών της εταιρείας, του Next Gen WAF και του Bot Management, και καταδεικνύουν, όπως δήλωσε η εταιρεία, τον τρόπο με τον οποίο η αυτοματοποίηση που καθοδηγείται από την τεχνητή νοημοσύνη αναδιαμορφώνει τη διαδικτυακή κίνηση.
Για τους σκοπούς της έκθεσης, οι συντάκτες της κατηγοριοποίησαν τα bots τεχνητής νοημοσύνης σε δύο τύπους: τους ανιχνευτές (Crawlers) και τους ανακτητές (Fetchers). Οι ανιχνευτές, έγραψαν, «λειτουργούν παρόμοια με τους ανιχνευτές των μηχανών αναζήτησης – σαρώνουν συστηματικά ιστότοπους για τη συλλογή περιεχομένου με σκοπό τη δημιουργία ευρετηρίων με δυνατότητα αναζήτησης ή την εκπαίδευση γλωσσικών μοντέλων. Αυτή η διαδικασία αποτελεί προαπαιτούμενο για τη φάση “εκπαίδευσης” του μοντέλου».
Από την άλλη πλευρά, οι fetchers «αποκτούν πρόσβαση στο περιεχόμενο ιστότοπων ως απόκριση σε ενέργειες των χρηστών. Για παράδειγμα, όταν ένας χρήστης ζητά επικαιροποιημένες πληροφορίες για ένα συγκεκριμένο θέμα, ένας fetcher ανακτά τη σχετική σελίδα σε πραγματικό χρόνο. Χρησιμοποιούνται επίσης για να βοηθήσουν στην εμφάνιση συνδέσμων ιστότοπων που ταιριάζουν με το ερώτημα ενός χρήστη, κατευθύνοντάς τον στο πιο σχετικό περιεχόμενο». Οι ανιχνευτές συνεισφέρουν σχεδόν το 80% του συνολικού όγκου αιτημάτων από bots τεχνητής νοημοσύνης, με τους ανακτητές να αποτελούν το υπόλοιπο 20%.
Η ανάκτηση δεδομένων σε πραγματικό χρόνο, αναφέρει η έκθεση, αποτελεί μεγαλύτερη πρόκληση από τον μέγιστο ρυθμό των ανιχνευτών. Η ανάλυση αποκάλυψε ότι σε μία περίπτωση, ένας μόνο ανιχνευτής έφτασε περίπου 1.000 αιτήματα ανά λεπτό. Αντίθετα, η ανάκτηση σε πραγματικό χρόνο είναι σημαντικά πιο επιθετική: σε μία περίπτωση, ένα bot πραγματοποίησε 39.000 αιτήματα ανά λεπτό προς έναν μόνο ιστότοπο σε περίοδο μέγιστου φορτίου. «Αυτός ο όγκος κίνησης μπορεί να κατακλύσει τους εξυπηρετητές, να επιβαρύνει τους πόρους των διακομιστών, να καταναλώσει εύρος ζώνης και να προκαλέσει δαπανηρές επιπτώσεις παρόμοιες με επιθέσεις DDoS, ακόμη και χωρίς κακόβουλη πρόθεση», σημείωσε η έκθεση.
Άλλα βασικά ευρήματα από την έκθεση αποκάλυψαν ότι τα bots τεχνητής νοημοσύνης της Meta από μόνα τους παράγουν το 52% της κίνησης από ανιχνευτές, ποσοστό υπερδιπλάσιο από αυτό της Google (23%) και της OpenAI (20%) μαζί. Οι τομείς που αντιμετωπίζουν τα υψηλότερα επίπεδα scraping για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης περιλαμβάνουν την υψηλή τεχνολογία, το εμπόριο και τα μέσα ενημέρωσης και ψυχαγωγίας. Το ChatGPT παράγει τη μεγαλύτερη κίνηση σε πραγματικό χρόνο προς τους ιστότοπους, με το 98% των αιτημάτων από ανακτητές να αποδίδεται στα bots της OpenAI.
Ερωτηθείς για το τι ώθησε τη δημιουργία της έκθεσης, ο Matthew Mathur, ανώτερος ερευνητής ασφαλείας στη Fastly, δήλωσε: «έχουμε δει μια τεράστια αύξηση της κίνησης από bots τεχνητής νοημοσύνης, κάτι που εγείρει μεγάλη ανησυχία σε ολόκληρο τον κλάδο. Με την ορατότητα που διαθέτουμε στη διαδικτυακή κίνηση, βρισκόμαστε σε μια κρίσιμη θέση για να δείξουμε πώς τα bots τεχνητής νοημοσύνης επηρεάζουν το διαδίκτυο — από τον υπερβολικό φόρτο στην υποδομή και τη μη εξουσιοδοτημένη χρήση του περιεχομένου των ιστότοπων, μέχρι και τη διαστρέβλωση των analytics».
Από την άποψη της ασφάλειας, είναι επίσης πιθανώς θέμα χρόνου πριν κάποιος ανακαλύψει πώς να ενσωματώσει αυτή την τεράστια κίνηση από την τεχνητή νοημοσύνη σε επιθέσεις DDoS, είπε. Η κίνηση από bots, δήλωσε ο Mathur, ειδικά από bots τεχνητής νοημοσύνης, «θα συνεχίσει να αυξάνεται, επομένως η ύπαρξη ελέγχων για τον μετριασμό της είναι απαραίτητη. Η χρήση οδηγιών στο αρχείο robots.txt, η εφαρμογή τεχνικών ελέγχων (για παράδειγμα, ο περιορισμός του ρυθμού αιτημάτων – rate limiting), ή η επένδυση σε μια ολοκληρωμένη λύση διαχείρισης bots θα βοηθήσει στην προστασία των οργανισμών».
Η έκθεση της Fastly καλεί τους οργανισμούς να υιοθετήσουν εξυπνότερες στρατηγικές διαχείρισης bots, αλλά όταν ρωτήθηκε αν κάποιοι από αυτούς έχουν ήδη εφαρμόσει σωστές στρατηγικές, ο Mathur είπε: «οι εταιρείες υψηλού προφίλ που βλέπουν μείωση εσόδων ως αποτέλεσμα της χρήσης των δεδομένων τους από μεγάλα γλωσσικά μοντέλα ή οι δημόσιοι διαδικτυακοί πόροι που αντιμετωπίζουν προβλήματα απόδοσης, έχουν εκφράσει έντονα την ανησυχία τους και εργάζονται για την αντιμετώπισή του». Ωστόσο, κατέληξε, «υπάρχει πιθανότατα ένας μεγαλύτερος πληθυσμός μικρότερων ιστότοπων και προγραμματιστών που δεν έχουν επαρκή ορατότητα στην κίνηση των bots και δεν συνειδητοποιούν πλήρως το κόστος της ανίχνευσης από την τεχνητή νοημοσύνη, πόσο μάλλον να έχουν εφαρμόσει προληπτικές στρατηγικές».
