Dos informes de investigación muestran el uso actual de la IA para los ataques y, por otro lado, se analiza la actitud de los ciberdelincuentes hacia la inteligencia artificial examinando los foros de la dark web. La sorpresa: no todos los delincuentes están convencidos de los beneficios de la IA.
Sophos publicó hoy dos informes sobre el uso de la IA en el ciberdelito. El informe “El lado oscuro de la IA: campañas fraudulentas a gran escala posibles gracias a la IA generativa” utiliza un estudio de caso específico para examinar cómo los estafadores podrían utilizar tecnologías como ChatGPT en el futuro para llevar a cabo ataques de fraude a gran escala con habilidades técnicas mínimas. El segundo informe "Los ciberdelincuentes no pueden ponerse de acuerdo sobre los GPT" presenta la investigación de varios foros de la web oscura. Los resultados muestran que algunos ciberdelincuentes se muestran escépticos sobre el uso actual de chatbots y otras tecnologías de inteligencia artificial, a pesar del potencial de la nueva tecnología.
“Encontramos numerosas publicaciones en la Dark Web sobre los posibles impactos negativos de la IA en la sociedad y las implicaciones éticas de su uso. En otras palabras, al menos por ahora, parece que los ciberdelincuentes están teniendo los mismos debates sobre inteligencia artificial que el resto de nosotros”, dijo Christopher Budd, director de investigación de X-Ops en Sophos.
IA: El lado oscuro de la inteligencia artificial
Utilizando una plantilla de comercio electrónico simple y excelentes herramientas de modelo de lenguaje como GPT-4, Sophos X-Ops pudo crear un sitio web completamente funcional con imágenes, audio y descripciones de productos generados por IA, así como una página de inicio de sesión de Facebook falsa y un proceso de pago falso. página, para recopilar información personal de inicio de sesión y de tarjeta de crédito. Se requirieron conocimientos técnicos mínimos para crear y operar el sitio web. La misma herramienta también hizo posible crear cientos de sitios web similares en minutos con solo hacer clic en un botón.
"Es natural y se espera que los delincuentes utilicen nuevas tecnologías para automatizar sus operaciones con el fin de ser lo más efectivos posible", dijo Ben Gelman, científico de datos senior de Sophos. “La creación original de correos electrónicos no deseados fue un paso crucial en la historia del fraude, ya que cambió significativamente la escala del campo de juego criminal. El desarrollo actual de la inteligencia artificial tiene un potencial similar: tan pronto como haya una tecnología de IA que pueda generar amenazas completas y automatizadas, se utilizará. La integración que se observa actualmente de elementos generativos de IA en estafas clásicas, por ejemplo el uso de textos o fotografías generados por IA para atraer a las víctimas, es sólo el comienzo”.
Respecto a las intenciones del actual proyecto de investigación, Gelman dice: “Una de las razones por las que estamos llevando a cabo el proyecto actual es para ir un paso por delante de los delincuentes. Al crear un sistema para crear sitios web fraudulentos a escala que es más avanzado que las herramientas que utilizan actualmente los delincuentes, tenemos una capacidad única para analizar y prepararnos para la amenaza antes de que se propague”.
Los ciberdelincuentes cuestionan el potencial de GPTs & Co
En la segunda parte de su ofensiva de investigación de IA, Sophos Si bien el uso de la IA por parte de los ciberdelincuentes parece estar en su infancia, los actores de amenazas en estas plataformas ya están discutiendo intensamente el potencial de la ingeniería social. Un ejemplo de esto es la actual ola de estafas románticas de "reserva de cerdos".
Además, Sophos descubrió que la mayoría de las publicaciones estaban relacionadas con cuentas ChatGPT comprometidas en venta y "jailbreaks": formas de eludir las protecciones integradas en los LLM, lo que permite a los ciberdelincuentes abusar de las herramientas con fines maliciosos. El equipo de investigación también encontró diez aplicaciones ChatGPT que, según los desarrolladores, podrían usarse para ataques cibernéticos y desarrollo de malware. Sin embargo, parte de la comunidad de la web oscura puso en duda la eficacia de tales herramientas y, a veces, incluso se consideró un intento de hacer trampa con programas inútiles.
Debates sobre inteligencia artificial
“Si bien hemos visto a algunos ciberdelincuentes intentar crear malware o herramientas de ataque utilizando LLM, los resultados fueron rudimentarios y, a menudo, encontraron escepticismo por parte de otros usuarios. Incluso encontramos numerosas publicaciones sobre el posible impacto negativo de la IA en la sociedad y las implicaciones éticas de su uso. En otras palabras, al menos por ahora, parece que los ciberdelincuentes están teniendo los mismos debates sobre inteligencia artificial que el resto de nosotros”, dijo Christopher Budd, director de investigación de X-Ops en Sophos.
Para obtener más información sobre los sitios web fraudulentos generados por IA y las actitudes de los actores de amenazas hacia los LLM, consulte los informes completos en inglés. “El lado oscuro de la IA: campañas fraudulentas a gran escala posibles gracias a la IA generativa” y "Los ciberdelincuentes no pueden ponerse de acuerdo sobre los GPT" de encontrar.
Más en Sophos.com
Acerca de Sophos Sophos cuenta con la confianza de más de 100 millones de usuarios en 150 países. Ofrecemos la mejor protección contra amenazas informáticas complejas y pérdida de datos. Nuestras soluciones integrales de seguridad son fáciles de implementar, usar y administrar. Ofrecen el costo total de propiedad más bajo de la industria. Sophos ofrece soluciones de cifrado galardonadas, soluciones de seguridad para terminales, redes, dispositivos móviles, correo electrónico y web. También cuenta con el soporte de SophosLabs, nuestra red global de centros de análisis patentados. Las oficinas centrales de Sophos se encuentran en Boston, EE. UU. y Oxford, Reino Unido.