Derzeit erwerben große Unternehmen GPUs, um ihre KI-Modelle zu trainieren. Aus diesem Grund ist Nvidia eines der wertvollsten Unternehmen der Welt. Nun, es gibt eine Firma namens Groq, die gerade auf den Plan getreten ist, und diese Firma bringt einen besonderen Chip auf den Markt, der andere Firmen vielleicht dazu bringen könnte, ihre Arbeit zu überdenken. Groq führte die LPU ein und Basierend auf einem frühen Beispiel ist es ziemlich schnell.
Zur Verdeutlichung: Viele Menschen in den sozialen Medien und im Internet bezeichnen Groq als KI-Modell. Groq ist eigentlich kein KI-Modell. Eine genauere Beschreibung wäre ein „KI-Chip-System“. Alle Beispiele, die Sie sehen, wie Groq Text generiert, stammen von einem Chatbot namens GroqChat. Das Unternehmen nutzt Open-Source-Modelle wie Llama 2 und Mixtral, um Beispiele dafür zu zeigen, wie schnell KI-Modelle auf der Groq AI-Chip-Schnittstelle laufen können. Der generierte Text stammt also nicht von Groq. Stellen Sie sich Groq als das Förderband vor, das den Text vorantreibt.
Groq könnte mit seiner LPU-Technologie den Markt für KI-Chips erschüttern
Das Unternehmen wurde über Nacht ein Erfolg, als Videos auftauchten, in denen es Texte produzierte. Tatsächlich wurde das Unternehmen jedoch bereits im Jahr 2016 gegründet, im selben Jahr wie OpenAI. Es handelt sich also nicht wirklich um einen Neuling.
Wenn Sie neugierig sind, was eine LPU ist, gilt das auch für den Großteil der Welt. Die LPU steht für Language Processing Unit und wurde von Groq Inc. selbst entwickelt. Es handelt sich um einen Chip, der speziell für die Aufgaben entwickelt wurde, die er ausführt.
Seite an Seite Groq vs. GPT-3.5, völlig unterschiedliche Benutzererfahrung, ein Game-Changer für Produkte, die eine geringe Latenz erfordern pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) 19. Februar 2024
Wir haben Beispiele von GroqChat im Vergleich zu ChatGPT gesehen, und sie sind ziemlich wild. Ein Beispiel zeigt, wie Groq in etwa 3 Sekunden eine große Textwand generiert. ChatGPT brauchte etwa 20 Sekunden, um dasselbe zu tun. Tatsächlich gibt das Unternehmen an, dass Groq bis zu 500 Token pro Sekunde verarbeiten kann. Im Vergleich zu den 40 Token pro Sekunde von GPT 3.5 ist das gewaltig.
Warum ist Groq so schnell? Warum sind Apple-Produkte so schnell?
Was Groq vorhat, ist wirklich beeindruckend und könnte in Zukunft einen massiven Paradigmenwechsel für KI-Chips einleiten. Groq Inc. hat ein Video auf X gepostet Er erläuterte einige Aspekte des Unternehmens und ein Zitat stach heraus. „Wir sind schneller, weil wir unseren Chip und unsere Systeme entwickelt haben.“
Dies weist darauf hin, dass diese Chips von Grund auf hochoptimiert sind, um mit den eigenen Systemen von Groq zu funktionieren. Andere KI-Unternehmen kaufen ihre GPUs von Unternehmen wie Nvidia.
Wenn Ihnen diese Art von Dynamik bekannt vorkommt, dann kennen Sie Apple im Vergleich zum Rest der Welt! Apple entwirft seine Chips und baut seine Hardware und Software von Grund auf so, dass sie nahtlos miteinander funktionieren. Deshalb sind seine Geräte so wahnsinnig schnell und zuverlässig. Nun, das ist wahrscheinlich das, was wir jetzt bei Groq sehen.
Das Unternehmen baut seine Chips und die darauf laufende Schnittstelle Groq. Diese Art der Optimierung trägt also definitiv zur Geschwindigkeit und Leistung bei, die wir in den Videos sehen.
Wir sind uns nicht sicher, ob andere Unternehmen dieses Modell nachahmen werden. Wenn sich Groq jedoch als so disruptiv erweist, wie es aussieht, werden andere Unternehmen diesem Beispiel mit Sicherheit folgen
