Grok soll nahezu jede Frage beantworten und sogar Vorschläge für Fragen machen, wie von heise berichtet. Deutsche X-Nutzer können sich vorerst nur auf eine Warteliste setzen lassen. Obwohl sich Grok noch in einer sehr frühen Beta-Phase befindet, hat es bereits die Aufmerksamkeit der KI-Community auf sich gezogen. Das Team betont jedoch, dass Grok entwickelt wurde, um Fragen auf humorvolle Weise zu beantworten, und warnt humorlose Nutzer davor, es zu benutzen.
Eine der herausragenden Eigenschaften von Grok ist der Zugang zu Echtzeitwissen über die Welt über X. Darüber hinaus behauptet das Team, dass Grok auch „pikante Fragen beantworten wird, die von den meisten anderen KI-Systemen abgelehnt werden“. Es wird jedoch darauf hingewiesen, dass X auch viele falsche Informationen enthält, was die Verwendung dieser Daten durch Grok zu einer Herausforderung machen könnte.
Grok ist ein mit großen Datenmengen trainiertes Sprachmodell (Large Language Model/LLM), ähnlich wie Chatbots wie ChatGPT von Microsoft und Googles Bard. Das Team trainierte zunächst einen Prototypen namens Grok-0 mit 33 Milliarden Parametern. Dieses Modell erreichte laut golem.de die Fähigkeiten von Facebooks LLaMA 2 (70B) bei Standard-Benchmarks und verbrauchte dabei nur die Hälfte der Trainingsressourcen.
In den letzten zwei Monaten hat das Team jedoch erhebliche Verbesserungen in den Bereichen Argumentation und Codierung vorgenommen, was zur Entwicklung von Grok-1 führte. Grok-1 ist ein hochmodernes Sprachmodell und erreichte bei der HumanEval-Codierungsaufgabe eine Bewertung von 63,2 Prozent und bei der MMLU (Massive Multitask Language Understanding) 73 Prozent. Es ist jedoch wichtig zu beachten, dass ChatGPT 4 in den Benchmark-Tests besser abschnitt als Grok, wie die Entwickler selbst feststellten.
Für das Training von Grok wurde ein eigener Trainings- und Inferenz-Stack auf der Basis von Kubernetes, Rust und JAX entwickelt. Das Training eines Sprachmodells dieser Größe ist extrem anspruchsvoll und erfordert monatelange Berechnungen auf zehntausenden von GPUs, wobei Fehler häufig auftreten. Ein Schwerpunkt der Entwicklung war die Maximierung der Rechenleistung pro Watt. Insgesamt bietet Grok spannende Möglichkeiten für KMU und Unternehmen, die KI einsetzen wollen. Es bleibt abzuwarten, wie sich dieses innovative Sprachmodell weiterentwickelt und wie es in verschiedenen Anwendungen eingesetzt werden kann.
