Le performance di #Groq con i modelli open-source di ultima generazione sono impressionanti.
Nel video uso #Qwen QwQ-32B e #DeepSeek distillato su task di logica e matematica, e vengono svolti in pochi secondi a 430 Token/s.
Il potenziale di modelli piccoli e ben addestrati su un hardware adeguato è enorme.
Groq usa processori specifici per accelerare l'inferenza dei #LLM: le LPU (Language Processing Unit).
𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro