Super Study Guide: Transformers & Large Language Models [Afshine Amidi, Shervine Amidi]

язык - английский Эта книга представляет собой краткое и иллюстрированное руководство для тех, кто хочет понять внутреннюю работу больших языковых моделей в контексте интервью, проектов или для удовлетворения собственного любопытства. Она разделен на 5 частей: Основы : введение в нейронные сети и важные концепции глубокого обучения для обучения и оценки Встраивание : алгоритмы токенизации, встраивание слов (word2vec) и встраивание предложений (RNN, LSTM, GRU) Трансформеры : мотивация механизма самовосприятия, подробный обзор архитектуры кодера-декодера и связанных с ней вариаций, таких как BERT, GPT и T5, а также советы и рекомендации по ускорению вычислений. Большие языковые модели : основные методы настройки моделей на основе Transformer, такие как быстрое проектирование, (параметрически эффективная) тонкая настройка и настройка предпочтений Приложения : наиболее распространенные проблемы, включая извлечение настроений, машинный перевод, генерацию дополненной поисковой информации и многое другое. This book is a concise and illustrated guide for anyone who wants to understand the inner workings of large language models in the context of interviews, projects or to satisfy their own curiosity. It is divided into 5 parts: Foundations: primer on neural networks and important deep learning concepts for training and evaluation Embeddings: tokenization algorithms, word-embeddings (word2vec) and sentence embeddings (RNN, LSTM, GRU) Transformers: motivation behind its self-attention mechanism, detailed overview on the encoder-decoder architecture and related variations such as BERT, GPT and T5, along with tips and tricks on how to speed up computations Large language models: main techniques to tune Transformer-based models, such as prompt engineering, (parameter efficient) finetuning and preference tuning Applications: most common problems including sentiment extraction, machine translation, retrieval-augmented generation and many more Мягкая обложка Скан, pdf