KI ohne Cloud

Jedes Mal, wenn künstliche Intelligenz mit einer Aufgabe betraut wird, beginnt die Abfrage lokal auf dem Computer des Benutzers und wird dann in die Cloud gesendet. Dort generiert die KI mithilfe leistungsstarker Hardware eine Antwort – ein Prozess, der als Inferenz bezeichnet wird. Die Antwort wird schliesslich an den lokalen Computer des Benutzers zurückgeschickt. Dafür werden enorme Datenverarbeitungskapazitäten benötigt, die riesige Rechenzentren erfordern. Nun haben die EPFL-Forscher Gauthier Voron, Geovani Rizk und Rachid Guerraoui eine neue Software veröffentlicht, mit der Nutzer Open-Source-KI-Modelle herunterladen und lokal verwenden können, ohne dass dazu die Cloud benötigt wird.

Die neue Software namens Anyway Systems koordiniert und kombiniert verteilte Rechner in einem lokalen Netzwerk zu einem lokalen Cluster, und widerlegt damit die weit verbreitete Annahme, dass für den Einsatz von KI-Modellen riesige Rechenzentren notwendig sind.

Die Software lässt sich auf einem Netzwerk lokaler Rechner installieren, ohne dass Daten das Netzwerk verlassen. Dadurch werden Datenschutz und Souveränität gewährleistet. Grosse Sprachmodelle wie GPT-120B, das neueste und grösste offene Modell von OpenAI, können heruntergeladen und auf Anyway Systems bereitgestellt werden. Dazu sind nicht mehr als vier Maschinen mit jeweils einer handelsüblichen GPU erforderlich. «Jahrelang haben die Leute geglaubt, dass grosse Sprachmodelle und KI-Tools ohne riesige Ressourcen nicht möglich sind und dass Datenschutz, Souveränität und Nachhaltigkeit diesem Umstand zum Opfer fallen würden. Das ist aber nicht der Fall. Es gibt intelligentere, sparsamere Ansätze», sagt EPFL-Professor Rachid Guerraoui.

Wenn die Daten eines Nutzers in die Cloud gesendet werden, stellen sich Fragen hinsichtlich Sicherheit und Datenschutz, insbesondere ob diese Daten zum Trainieren oder Verbessern von KI-Modellen verwendet werden dürfen. Ausserdem wirft die Abhängigkeit von grossen, globalen Cloud-Anbietern für KI-Dienste Fragen zur KI-Souveränität auf, da dadurch die Kontrolle auf transnationale Unternehmen übertragen wird. Darüber hinaus treibt die immense Rechenleistung, die zur Beantwortung von KI-Anfragen in der Cloud benötigt wird, den Ausbau riesiger Rechenzentren voran, die enorme Mengen an Energie und Wasser verbrauchen. Schätzungen zufolge macht die Inferenz 80 bis 90 Prozent der KI-bezogenen Rechenleistung aus.

«Anyway Systems glänzt bei der Inferenz, könnte aber auch dazu beitragen, die für das Training erforderlichen Ressourcen zu reduzieren», erklärt Guerraoui. Pilotversuche hätten gezeigt, dass beim Herunterladen und Ausführen eines Modells auf verstreuten lokalen Rechnern anstelle einer riesigen Cloud zwar etwas Latenz entstehe, aber keine Genauigkeit verloren gehe.

Anyway Systems wurde kürzlich als einer von sechs ersten Stipendiaten des Startup Launchpad AI Track ausgewählt, einem von der UBS geförderten Stipendienprogramm, das sich speziell mit KI befasst. Diese Projekte wurden aus über 50 Vorschlägen ausgewählt und erhalten Finanzmittel und massgeschneiderte Unterstützung, um ihren Weg vom Prototyp zur Marktreife zu beschleunigen.

Die Software hat die Prototypenphase bereits hinter sich und wird derzeit in Unternehmen und Verwaltungen in der ganzen Schweiz getestet, darunter auch an der EPFL. Die ersten Nutzer evaluieren derzeit mögliche Kompromisse in Bezug auf Geschwindigkeit, Genauigkeit und Qualität.