Названия:
РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ГЕНЕРАЦИИ ЕСТЕСТВЕННОГО ЯЗЫКА
Автор:
Николаев Алексей Дмитриевич
Расположение страниц:
51-56
Язык:
Русский
Аннотация:
В настоящем фундаментальном научно-исследовательском труде осуществляется всеобъемлющая математико-компьютерная деконструкция современных подходов к созданию, обучению и оптимизации генеративных языковых моделей (NLG) нового поколения. В противовес устаревшим рекуррентным и марковским концепциям, оперирующим локальными контекстными окнами, в данной статье исследуется синергетика глубоких декодерных архитектур на базе механизмов самовнимания (Self-Attention), методов эффективной донастройки параметров (PEFT/LoRA) и алгоритмов выравнивания моделей с намерениями пользователя через обучение с подкреплением на основе обратной связи от человека (RLHF/DPO). В работе проводится глубокий анализ новейших математических схем предотвращения эффектов галлюцинирования текста, исследуются механизмы оптимизации вычислений при декодировании на базе сэмплирования Nucleus (top-p) и спекулятивного декодирования, а также рассматриваются методы автоматизированной оценки качества генерируемого контента по метрикам ROUGE, BLEU и через экспертную судейскую оценку LLM-as-a-Judge. Особое внимание уделено сравнительному анализу больших языковых моделей (LLM) разной масштабируемости, а также детерминирующему влиянию методов векторной квантизации на формирование экспериментально верифицируемых следствий радикального повышения точности генерации в масштабах современной индустрии искусственного интеллекта.