Przetwarzanie języka naturalnego z wykorzystaniem transformerów. Budowanie aplikacji językowych za pomocą bibliotek Hugging Face

Książka "Przetwarzanie języka naturalnego z wykorzystaniem transformerów" to wyjątkowy przewodnik dla wszystkich zainteresowanych nowoczesnymi technologiami językowymi. Od momentu, gdy architektura transformatorów została zaprezentowana w 2017 roku, zmieniła ona diametralnie podejście do przetwarzania języka naturalnego. W centrum uwagi znajduje się biblioteka Transformers od Hugging Face, która umożliwia łatwe pobranie i wykorzystanie wstępnie wytrenowanych modeli.

Christopher Manning z Uniwersytetu Stanforda poleca tę publikację jako rzetelny źródło wiedzy zarówno dla inżynierów uczenia maszynowego, jak i dla analityków danych. Książka oferuje praktyczne porady dotyczące implementacji modeli transformacyjnych, przydatne na każdym etapie budowania aplikacji językowych. Czytelnik zaczyna od prostych potoków, by przejść do bardziej zaawansowanych tematów, takich jak tokenizatory, klasy modeli czy interfejs API Trainer. Uczy korzystania z biblioteki Accelerate, która pozwala na pełne sterowanie procesem trenowania modeli.

W treści poruszone są kluczowe aspekty, jak zastosowanie transformatorów do międzyjęzykowego uczenia transferowego czy optymalizacja technikami takimi jak destylacja, przycinanie i kwantyzacja. Opisane jest również trenowanie modeli przy użyciu wielu procesorów graficznych w środowiskach rozproszonych. Współtwórcy platformy Hugging Face, będący autorami tej książki, przygotowali ją jako wybitną pozycję naukową, którą Jeremy Howard z Uniwersytetu Queensland uznaje za wzór przejrzystości.