Intel niedługo nie będzie konkurować z dominacją NVIDIA w zaawansowanych rozwiązaniach AI, zaczyna zwalniać ponad 2200 pracowników w całych Stanach Zjednoczonych

Intel podąża inną ścieżką dzięki swoim chipom akceleratora Gaudi 3. Trzyma się z daleka od rynku, na który istnieje duże zapotrzebowanie, w zakresie szkolenia dużych modeli sztucznej inteligencji, co zapewniło firmie NVIDIA tak duży sukces. Zamiast tego Intel chce pomóc firmom potrzebującym tańszych rozwiązań AI w szkoleniu i uruchamianiu mniejszych, konkretnych modeli i opcji open source. Podczas niedawnego wydarzenia Intel wspomniał o „przewadze cenowej” Gaudiego 3 w porównaniu z procesorem graficznym NVIDIA H100 do zadań wnioskowania. Intel twierdzi, iż Gaudi 3 jest szybszy i bardziej ekonomiczny niż H100, jeżeli obsługuje modele Llama 3 i Llama 2 o różnych rozmiarach.

Intel twierdzi również, iż Gaudi 3 jest tak samo energooszczędny jak H100 w przypadku wnioskowania z modelu dużego języka (LLM) przy małych wynikach tokenów, a jeszcze lepiej radzi sobie z większymi wynikami. Firma sugeruje nawet, iż Gaudi 3 pokonuje nowszą wersję H200 firmy NVIDIA pod względem przepustowości wnioskowania LLM w przypadku dużych wyników tokenów. Jednak Gaudi 3 nie dorównuje H100 pod względem ogólnej przepustowości operacji zmiennoprzecinkowych dla formatów 16-bitowych i 8-bitowych. W przypadku bfloat16 i 8-bitowej precyzyjnej macierzy zmiennoprzecinkowej Gaudi 3 osiąga 1835 TFLOPS w każdym formacie, podczas gdy H100 osiąga 1979 TFLOPS dla BF16 i 3958 TFLOPS dla 8PR.

W wywiadzie dla CRN Anil Nanduri, szef biura akceleracji AI w firmie Intel, stwierdził, iż decyzje dotyczące zakupu infrastruktury szkoleniowej AI skupiały się przede wszystkim na wydajności, a nie na kosztach.

„I jeżeli pomyśleć w tym kontekście, istnieje zasadnicza korzyść polegająca na tym, iż wszystkie badania nad modelem pionierskim, wszystkie możliwości są opracowywane de facto na platformie, na której ją budujesz, badasz ją i jesteś, w istocie podświadomie optymalizując również to, a następnie przenosząc ten port [to a different platform] jest praca.
Świat, który zaczynamy widzieć, to ludzie kwestionujący [return on investment]koszt, moc i wszystko inne. W tym miejscu — nie mam kryształowej kuli — ale myślimy o tym tak: czy chcesz jednego gigantycznego modelu, który wie wszystko?”, Anil Nanduri, szef biura akceleracji AI w firmie Intel.

Intel uważa, iż ​​w przypadku wielu firm odpowiedź brzmi „nie” i zamiast tego zdecydują się na mniejsze modele oparte na zadaniach o mniejszych wymaganiach dotyczących wydajności. Nanduri powiedział, iż choć Gaudi 3 nie jest w stanie „dogonić” najnowszych procesorów graficznych NVIDIA, to z bezpośredniego punktu widzenia wydajności chipy Gaudi 3 idealnie nadają się do umożliwienia odpowiednim systemom obsługi modeli zadaniowych i modeli typu open source.

Jeśli chodzi o inną kwestię, Intel ogłosił poważne zwolnienia w kilku stanach w ramach szerszego planu zmniejszania siły roboczej. Firma zlikwiduje 1300 stanowisk w Oregonie, 385 w Arizonie, 319 w Kalifornii i 251 w Teksasie. Intel zatrudnia ponad 23 000 pracowników w Oregonie, 12 000 w Arizonie, 13 500 w Kalifornii i 2100 w Teksasie. Zwolnienia mają nastąpić przez 14 dni, począwszy od 15 listopada.