Исследователи Центра практического искусственного интеллекта Сбербанка представили революционный метод для снижения риска галлюцинаций в больших языковых моделях (LLM). Галлюцинации — это генерация моделей правдоподобных, но неверных ответов, что остаётся одной из главных проблем индустрии искусственного интеллекта. Результаты работы опубликованы в статье «Эффективные мета-модели для оценки вопросов и ответов больших языковых моделей на основании контекста» на международной конференции SIGIR 2025.
Современные методы детекции некорректных ответов требуют больших объемов размеченных данных для обучения, что существенно замедляет внедрение технологий. Команда учёных банка предложила альтернативу — метамодели, которые при использовании всего около 250 примеров достигают примерно на 30% более высокой точности в выявлении галлюцинаций по сравнению с существующими решениями.
Данный подход представляет собой сочетание «умного» понижения размерности данных и построения метамоделей для оценки качества ответов в системах Retrieval-Augmented Generation (RAG) — ключевых компонентах современных мультиагентных AI-решений.
Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка, отметил:
«Наше исследование меняет парадигму оценки искусственного интеллекта. Мы доказали, что высокая точность возможна даже при минимальном объёме обучающих данных. Это снижает ресурсные затраты на разметку и обеспечивает более надёжные и достоверные ответы. Разработанный метод не только повышает качество технологий, но и минимизирует риски дезинформации, что крайне важно для доверия пользователей к AI.»
Новейший метод позволит компаниям и разработчикам улучшать качество AI-моделей, экономить время и деньги на подготовку данных и создавать более безопасные интеллектуальные системы. Это значительный шаг вперёд в индустрии искусственного интеллекта, открывающий новые возможности для широкой практической реализации больших языковых моделей.
Подписывайтесь на «КП – Ульяновск» в Телеграм, Одноклассниках и Вконтакте. Читайте нас на Дзен. А если вы стали свидетелем интересного события или хотите предложить тему для статьи – пишите в Telegram по номеру: +7-905-036-32-19.