„Llama 3 war ein ziemlich guter Werbegag für Meta

"„Llama 3 war ein ziemlich guter Werbegag für Meta! Das Llama-Experiment scheint ein gut dokumentierter Versuch zu sein, OpenAI und Google einzuholen, wenn es um das GenAI-Spiel geht. Es ist offen, also ist Meta in den Augen der Öffentlichkeit wieder in der Kategorie „Guter Kerl!

Lama 1 war ihr vorab trainiertes Modell (https://lnkd.in/g3nGaGms). Es kam im Februar 2023 heraus und war das Äquivalent zum GPT-3 von OpenAI, das 2020 herauskam. Es fühlte sich an, als würden sie das Wasser auf die Probe stellen und die Grundlage für zukünftige Arbeiten legen. Sie verwendeten 1 Billion Token, einen speichereffizienten Aufmerksamkeitsmechanismus und konzentrierten sich auf kleinere Architekturen als die Konkurrenz.

Lama 2 wurde von ihrem LLM darauf trainiert, Anweisungen zu befolgen (https://lnkd.in/gPhhSYND). Es erschien im Juli 2023 und war das Äquivalent zu InstructGPT von OpenAI und dem ursprünglichen Modell, das 2022 von ChatGPT verwendet wurde. Es ist das gleiche Modell wie Llama 1, das durch überwachtes Lernen und verstärkendes Lernen verfeinert wurde. Sie konzentrierten sich auf qualitativ hochwertige Daten für die Feinabstimmungsschritte und erhöhten den Vortrainingsschritt auf 2 Billionen Token.

Llama 3 ist im Grunde das gleiche Modell wie die vorherigen 2. Sie verwendeten mehr Daten für den Vortrainingsschritt (15 Billionen Token) und konzentrierten sich erneut auf die Qualität der Daten für die verschiedenen Trainingsschritte. Sie nutzten einen gruppierten Abfrageaufmerksamkeitsmechanismus und erweiterten ihr Token-Vokabular von 32.000 auf 128.000. Ich denke, das macht Sinn, da bei mehr Daten weniger Bedarf an Regularisierungen besteht. Jetzt werden die Modelle mit LoRA verfeinert, und bei der Entwicklung von Llama 3 haben sie ihre eigene Verfeinerungsbibliothek (torchtune https://lnkd.in/gDbxHkp3) entwickelt.

Meta hat zu OpenAI und Google aufgeschlossen, indem es eine eigene grundlegende Technologie für das Training von LLMs mit Schwerpunkt auf kleineren und Open-Source-Modellen etabliert hat. Ich vermute, dass dies nur eine Aufwärmphase für die eigentliche Arbeit war, die noch bevorsteht. "

Bitte beachten Sie, dass die französische Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können. „Llama 3 war ein ziemlich guter Werbegag für Meta

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.