KI-Update kompakt: LLMs untertrainiert, Verbraucherschutz, Photoshop, Civil War
Das "KI-Update" liefert werktäglich eine Zusammenfassung der wichtigsten KI-Entwicklungen.
- Isabel Grünewald
- The Decoder
Llama 3 zeigt Potenzial von erhöhten Trainingsdaten
Meta hat mit Llama 3 ein leistungsstarkes Sprachmodell vorgestellt, das bisherige Modelle übertrifft. Der Schlüssel zum Erfolg liegt in der Rekordmenge an Trainingsdaten und dem Fine-Tuning mit hochwertigen Beispielen. Selbst das 8-Milliarden-Parameter-Modell wurde mit 15 Billionen Token trainiert – das 75-fache der nach den von Deepmind beschriebenen Chinchilla-Skalierungsgesetzen optimalen Datenmenge. Diese von DeepMind entwickelten Gesetze besagen, dass für ein 8-Milliarden-Modell rund 200 Milliarden Trainings-Token als optimal gelten, um die Rechenleistung möglichst effizient zu nutzen.
Meta stellte zudem fest, dass die Leistung der Modelle auch nach dem Training mit 15 Billionen Token weiter anstieg. KI-Experte Andrej Karpathy vermutet daher, dass aktuelle Sprachmodelle um den Faktor 100 bis 1000 untertrainiert sein könnten.
Es bleibt abzuwarten, wie weit sich die Leistung eines Sprachmodells durch längeres Training steigern lässt, bevor die Zuwächse zu gering werden. Meta hat jedoch gezeigt, dass die Grenzen des Machbaren noch nicht erreicht sind. Dies könnte zu einem Umdenken in der KI-Branche führen und weitere Unternehmen dazu bewegen, auch kleinere Modelle mit sehr hohen Datenmengen zu trainieren.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Ein einfacher Trick macht Metas Llama 3 bissig
Trotz der von Meta umgesetzten Sicherheitsvorkehrungen kann Llama 3 durch einen simplen Trick dazu verleitet werden, bösartige Texte zu produzieren. Indem man dem Modell einen kurzen, schädlichen Textabschnitt voranstellt, setzt es die Unterhaltung oft in diesem Sinne fort.
Die Erklärung dafür: Llama 3 ist derart hilfsbereit, dass die trainierten Schutzmaßnahmen in einem solchen Fall versagen. Laut den Entdeckern des Jailbreaks liegt das Problem tiefer – dem Modell mangele es an Selbstreflexion und der Fähigkeit, das Gesagte während des Sprechens zu analysieren. Dies stelle ein erhebliches Hindernis für die KI-Sicherheit insgesamt dar.
Derartige Schwachstellen treten sowohl bei proprietären als auch bei Open-Source-Modellen auf. Befürworter von Open-Source argumentieren, dass die Community Sicherheitslücken effizienter aufdecken und beheben kann. Kritiker sehen darin jedoch ein zusätzliches Risiko.
Verbraucherschützer fordern einfaches KI-Beschwerdeverfahren
Der Bundesverband der Verbraucherzentralen (vzbv) hat Vorschläge zur Umsetzung der neuen EU-Verordnung für KI präsentiert. Angesichts der knappen Frist bis Frühjahr 2025 drängt die Zeit. Zentrales Anliegen des vzbv ist eine effektive Aufsicht und ein einfaches Beschwerdeverfahren.
Verbraucher sollen sich bei Beschwerden zu KI-Anwendungen an eine zentrale nationale Aufsichtsbehörde wenden können. Diese soll für das gesamte Verfahren zuständig sein. Zudem soll ein unabhängiger nationaler KI-Beirat bei der Kontrollstelle eingerichtet werden, um zivilgesellschaftliche Interessen zu berücksichtigen. Dieser soll beraten sowie Stellungnahmen und Empfehlungen veröffentlichen.
Der vzbv fordert außerdem, dass der deutsche Gesetzgeber den Einsatz biometrischer Fernidentifizierungssysteme wie automatisierter Gesichtserkennung an öffentlich zugänglichen Orten auch für private Akteure untersagen sollte, da dies ein nicht tolerierbares Risiko für die Privatsphäre der Betroffenen darstelle.
Generative Bild-KI in Photoshop
Adobe hat die dritte Version seiner generativen KI Firefly vorgestellt und in die Beta-Version von Photoshop integriert. Firefly Image 3 verspricht ein verbessertes Textverständnis, fotorealistische Bilder mit mehr Details und die Darstellung von Schriftzügen. Das Modell wird mit Inhalten aus Adobe Stock und gemeinfreien Bildern trainiert, um die kommerzielle Nutzung zu ermöglichen.
In Photoshop erweitert Firefly V3 bestehende Funktionen wie das "Generative Füllen" und "Generative Erweitern". Neu ist die Möglichkeit, die gesamte Leinwand mit generierten Inhalten zu füllen und den Hintergrund eines Motivs automatisch zu ersetzen. Referenzbilder für Struktur und Stil können hochgeladen werden. Zusätzlich gibt es einen "Einstellungspinsel" für lokale Bildverbesserungen und einen optimierten Font-Browser.
Die Beta-Version von Firefly Image 3 steht ab sofort in Photoshop und der Web-App zur Verfügung. Eine finale Version soll noch dieses Jahr erscheinen.
Perplexity.ai startet Enterprise-Angebot
Das Start-up Perplexity.ai sammelte in einer Finanzierungsrunde 62,7 Millionen Dollar ein und verdoppelte seine Bewertung auf über eine Milliarde. Namhafte Investoren wie Daniel Gross, Stanley Druckenmiller und Jeff Bezos beteiligten sich.
Perplexity.ai strebt an, mit generativer KI die Internetsuche zu revolutionieren. Die Suchmaschine analysiert Webseiten in Echtzeit und generiert Antworten inklusive Quellen sowie Grafiken und Videos für Kontext. Kritiker befürchten durch diese "Antwortmaschinen" jedoch eine Bedrohung des offenen Internets, da Inhalte ohne Erlaubnis genutzt werden, ohne nennenswerten Traffic auf die Ursprungsseiten zu lenken.
Mit "Enterprise Pro" führt Perplexity.ai eine B2B-Lösung ein, die Datenschutz, Sicherheit und Benutzerverwaltung priorisiert. Unternehmen wie Stripe, Zoom und Snowflake zählen zu den Erstkunden. Die Preise starten bei 40 US-Dollar monatlich pro Arbeitsplatz.
Generierte Werbebilder mit Artefakten sorgen für Ärger
Das Filmstudio A24 nutzt für die Werbekampagne des Films "Civil War" KI-generierte Bilder, die bekannte US-Städte im Kriegszustand zeigen. Auf Instagram veröffentlichte Aufnahmen von San Francisco, Manhattan und Chicago weisen dabei typische Artefakte und Fehler auf, die bei der Bilderzeugung durch KI entstehen.
Die Bilder tauchen nicht im Film selbst auf, sondern dienen ausschließlich Werbezwecken. Kritiker bemängeln, dass die Ästhetik der Bilder grauenvoll sei und echte Künstler für die Erstellung hätten engagiert werden sollen, statt auf KI zurückzugreifen.
Womöglich nehmen die Macher jedoch bewusst den fehlerbehafteten KI-Look in Kauf, da KI aktuell mehr Aufmerksamkeit generiert als traditionelle Methoden. Neben A24 setzten zuletzt auch Marvel und die Serie "True Detective" KI-Elemente in ihrer Produktion ein.
Erdgasbranche profitiert vom KI-Boom
Der KI-Boom könnte die Nachfrage nach Erdgas in der zweiten Hälfte des Jahrzehnts enorm ansteigen lassen und damit auch die geplante Abkehr von fossilen Energieträgern untergraben. Das prognostiziert die Investmentbank Tudor Pickering Holt, schreibt die Nachrichtenagentur Reuters. Demnach wird der Strombedarf von Rechenzentren in den USA von zuletzt etwa 11 Gigawatt auf 42 Gigawatt bis zum Jahr 2030 ansteigen. Das wären etwa zwei Drittel der gegenwärtigen deutschen Stromerzeugung zu Spitzenzeiten. Um die zu erzeugen, sei Erdgas unverzichtbar.
Die Analyse ist nicht die erste, die zu dem Schluss kommt, dass der stark wachsende Stromverbrauch von Rechenzentren bei einem anhaltenden KI-Boom nur mit Erdgas befriedigt werden kann. Schon Anfang des Monats hat die Financial Times den Geschäftsführer des größten Erdgasproduzenten in den USA in Bezug auf die "KI-Revolution" mit den Worten zitiert: "Das wird nicht ohne Erdgas erreicht werden".
An den Erwartungen gibt es aber durchaus auch Zweifel, hat die britische Zeitung zusammengefasst. So haben verschiedene Betreiber von Rechenzentren sich öffentlich dazu verpflichtet, stärker oder ganz auf erneuerbare Energien zu setzen. Wenn sie sich daran halten, könnte das die Hoffnungen bei Erdgaskonzernen durchkreuzen.
Neuer Fachdienst heise KI PRO
Neben der täglichen Berichterstattung rund um Künstliche Intelligenz und diesem Podcast startet heise medien den neuen B2B-Fachdienst heise KI PRO. Das Angebot bündelt fundierte Hintergründe, Analysen und Best Practices zu aktuellen Entwicklungen im Bereich Künstliche Intelligenz und richtet sich an Unternehmen aller Größen und Branchen im DACH-Raum. Ziel von heise KI PRO ist, Unternehmen bei der Entscheidungsfindung für den effizienten Einsatz von KI-Werkzeugen zu unterstützen und die Abonnentinnen und Abonnenten miteinander zu vernetzen. Zum Leistungsumfang zählen umfangreiche KI-Fachartikel mit Hintergrundinformationen und konkreten Anwendungsbeispielen, begleitende Webinare sowie exklusive PRO-Talks mit der Redaktion und weiteren KI-Experten. Mehr Infos zu unserem neuen Fachdienst findet Ihr unter pro.heise.de/ki.
(igr)
