Große Sprachmodelle (Large Language Models, LLM) haben das Potenzial, die Arbeitslast zu automatisieren und zu reduzieren, einschließlich der von Cybersicherheitsanalysten und Incident Respondern. Sophos stellt Tuning-Tool für große Sprachmodelle als Open-Source-Programm zur Verfügung.
Generischen LLMs fehlt das domänenspezifische Wissen, um alle Aufgaben gut zu bewältigen. Auch wenn sie mit Trainingsdaten erstellt wurden, die Cybersicherheitsressourcen enthalten, reicht dies oft nicht aus, um spezialisiertere Aufgaben zu übernehmen, die aktuelles und in einigen Fällen auch proprietäres Wissen erfordern, um sie gut auszuführen – Wissen, das den LLMs bei ihrer Ausbildung nicht zur Verfügung stand.
Tuning-Tool für große Sprachmodelle
Es gibt mehrere bestehende Lösungen für das Tuning von „Standard“-LLMs (unveränderte LLMs) für bestimmte Arten von Aufgaben. Doch leider waren diese Lösungen für die Anwendungsarten von LLMs, die Sophos X-Ops verwendet, unzureichend. Aus diesem Grund hat das SophosAI-Team ein Framework zusammengestellt, das DeepSpeed nutzt, eine von Microsoft entwickelte Bibliothek, mit der die Inferenz eines Modells mit (theoretisch) Billionen von Parametern trainiert und abgestimmt werden kann. Dabei wird die Rechenleistung und die Anzahl der beim Training verwendeten Grafikprozessoren (GPUs) erhöht. Das Framework steht unter Open-Source-Lizenz zur Verfügung und ist in der GitHub-Repository von Sophos zu finden.
Framework-Version als Open Source verfügbar
Damit ein LLM seine volle Wirkung entfalten kann, müssen alle seine Parameter vorab trainiert werden, um das firmeneigene Wissen eines Unternehmens zu erlernen. Dieses Unterfangen kann ressourcenintensiv und zeitaufwendig sein. Deshalb hat Sophos sich für sein Trainingsframework, das in Python implementiert wurde, an DeepSpeed gewandt. Die Version des Frameworks, die Sophos als Open Source freigibt, kann im Amazon Web Services SageMaker Service für maschinelles Lernen ausgeführt aber auch an andere Umgebungen angepasst werden. Trainingsframeworks (einschließlich DeepSpeed) ermöglichen die Skalierung großer Modelltrainingsaufgaben durch Parallelität.
Amazon Web Services SageMaker Service
Obwohl viele Teile des Frameworks nicht neu sind und auf bestehende Open-Source-Bibliotheken zurückgreifen, hat das SophosAI-Team einige der wichtigsten Komponenten zusammengefasst, um die Nutzung zu erleichtern. Zum Zeitpunkt seiner Erstellung war dieses Tool-Repository das erste, das Training und beide DeepSpeed-Inferenztypen (DeepSpeed-Inferenz und ZeRO-Inferenz) in einem konfigurierbaren Skript kombiniert. Es war auch das erste Repository, das einen benutzerdefinierten Container für die Ausführung der neuesten DeepSpeed-Version auf dem SageMaker von Amazon Web Service erstellte. Und es war das erste Repository, das verteilte Skripte ausführt. Weitere technische Details führt Sophos in einem Blog-Artikel auf.
Mehr bei Sophos.com
Über Sophos Mehr als 100 Millionen Anwender in 150 Ländern vertrauen auf Sophos. Wir bieten den besten Schutz vor komplexen IT-Bedrohungen und Datenverlusten. Unsere umfassenden Sicherheitslösungen sind einfach bereitzustellen, zu bedienen und zu verwalten. Dabei bieten sie die branchenweit niedrigste Total Cost of Ownership. Das Angebot von Sophos umfasst preisgekrönte Verschlüsselungslösungen, Sicherheitslösungen für Endpoints, Netzwerke, mobile Geräte, E-Mails und Web. Dazu kommt Unterstützung aus den SophosLabs, unserem weltweiten Netzwerk eigener Analysezentren. Die Sophos Hauptsitze sind in Boston, USA, und Oxford, UK.