Transfusion ermöglicht Modelle für Text und Bild gleichzeitig

Ein neues Verfahren namens Transfusion ermöglicht das Training von Modellen, die sowohl Text als auch Bilder verarbeiten und generieren können. Wie Forscher von Meta und anderen Institutionen berichten, kombiniert Transfusion die Vorhersage des nächsten Tokens für Text mit Diffusion für Bilder in einem einzigen Transformer-Modell. In Experimenten zeigte sich, dass dieser Ansatz besser skaliert als die Quantisierung von Bildern zu diskreten Tokens. Ein 7-Milliarden-Parameter-Modell, das mit Transfusion auf 2 Billionen gemischten Tokens trainiert wurde, konnte Bilder und Text auf dem Niveau spezialisierter Modelle erzeugen. Quelle: Hacker News