Оптимизация данных для больших языковых моделей: новое измерение

Большие языковые модели (БЯМ) в последние годы привлекли огромное внимание как в академических, так и в промышленных кругах. Многочисленные обзорные исследования охватили различные аспекты БЯМ, такие как стратегии обучения, приложения, выравнивание (alignment), объяснимость и оценка. Однако, несмотря на то что данные признаны ключевым фактором, способствующим наступлению эры БЯМ, мало прогресса было достигнуто в обзоре аспектов БЯМ, связанных с данными. В процессах обучения и применения БЯМ используется широкий спектр алгоритмов и методов оптимизации данных. Эти методы часто заимствуются из различных областей глубокого обучения, при этом их теоретические основы и эвристические мотивы кажутся не связанными друг с другом. Данное исследование направлено на разработку всеобъемлющей структуры для методов оптимизации данных БЯМ с целью повышения эффективности использования данных. Сначала мы обсуждаем проблемы с данными при обучении и инференсе БЯМ. Во-вторых, мы обобщаем измерения восприятия данных для оценки свойств данных БЯМ. Эти измерения включают в себя качество, сложность, разнообразие и избыточность, закладывая основу для последующей оптимизации. В-третьих, существующие методы оптимизации рассматриваются и категоризируются на четыре группы: выбор данных, аугментация, перевзвешивание и другие. В-четвертых, мы анализируем взаимосвязи между этими категориями. Наконец, мы выявляем ключевые проблемы и будущие направления для оптимизации данных БЯМ по сравнению с традиционными подходами глубокого обучения. Поддержка: https://boosty.to/krastykovyaz создано с помощью NotebookLM