Die meisten modernen LLMs verwenden die Mixture of Experts-Architektur

"Die meisten modernen LLMs verwenden die Mixture of Experts-Architektur ... und die Implementierung ist recht trivial! Diese Implementierung ist der in Mistral 7B ziemlich ähnlich.

Ein „Experte ist in diesem Fall nur ein einfaches Feed-Forward-Netzwerk, und wir haben einen Router, der für die Weiterleitung der Token an den richtigen Experten verantwortlich ist. Zum Routing haben wir lediglich eine lineare Ebene, die verborgene Zustände den mit jedem Experten verbundenen Wahrscheinlichkeiten zuordnet, und wir wählen einfach die Experten aus, die sich auf diese Wahrscheinlichkeiten beziehen. Die resultierenden verborgenen Zustände sind lediglich die gewichtete Summe der Ergebnisse dieser Experten. Das ist es!"

Bitte beachten Sie, dass die französische Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.

© ABN ASIA