Ich hatte bereits das Konzept der „Local LLMs“ vorgestellt: KI-Assistenten vom Schlage eines ChatGPT, die aber nicht in der Cloud arbeiten, sondern auf deinem eigenen PC oder einem selbstbetriebenen Server. Eine Herausforderung ist dabei die Geschwindigkeit der Antworten. Nvidia hat nun „Chat with RTX“ vorgestellt, das die Rechenpower der hauseigenen Grafikkarten nutzt. Eine kostenlose Demo-App gibt einen ersten Vorgeschmack. Hier ein Erfahrungsbericht bei The Verge und hier ein weiterer bei Windows Central.