Андрей Бурков: Языковые модели без лишних слов

Книга представляет собой лаконичное и в то же время исчерпывающее руководство по построению языковых моделей. Рассматриваются математические основы машинного обучения, векторные представления и работа нейронных сетей. Изложены принципы моделирования языка: от мешков слов и эмбеддингов до рекуррентных сетей и архитектуры трансформеров. Приводятся полные реализации описанных моделей и методов на Python с использованием фреймворка PyTorch, включая примеры в виде Jupyter-блокнотов. Описаны методы обучения, тонкой настройки и оптимизации больших языковых моделей: LoRA, инженерия промптов, оценка качества, а также вопросы авторского права и этики. В заключительной главе даны направления для дальнейшего изучения: смесь экспертов, сжатие моделей, выравнивание на основе предпочтений, мультимодальные модели.