🧬 OpenAI объяснили, почему нейросети галлюцинируют Галлюцинации нейросетей — это не сбой, а прямое
🧬 OpenAI объяснили, почему нейросети галлюцинируют
Галлюцинации нейросетей — это не сбой, а прямое следствие технологии, выяснили исследователи OpenAI.
Все закладывается еще на этапе предварительного обучения. Даже если в тренировочных данных нет ни одной ошибки, модель все равно будет выдумывать факты.
🤔 Почему так?
Модели строят ответы по шаблонам, учитывая грамматику, общие факты, логику, но если попросить нейросеть найти конкретный факт (особенно малоизвестный), для нее это изолированная точка, а не часть общей картины. Поэтому нейросеть выдаст наиболее вероятный ответ, но не станет буквально искать конкретный факт.
Но даже обучение с подкреплением, когда модель штрафуют за неверные ответы и поощряют за правильные, не помогает исправить ситуацию. Так нейросеть превращается в «студента на экзамене», который не знает точного ответа, но уверенно говорит чепуху: так хотя бы есть шанс угадать.
Поэтому ученые предлагают менять подход к обучению и систему оценки. Наказывать за уверенные ошибки сильнее, чем за ответ «я не знаю» — так у модели появится стимул хотя бы «промолчать, чтоб сойти за умного».
Такой метод может сократить галлюцинации и сделать ответы ИИ надежнее, что в реальной жизни важнее, чем количество ответов в целом.
👋 Подпишитесь на Hi, AI!
#новости #наука #OpenAI
Комментарии