В Китае нашли самого толстого голубя, который так раскормился, что полностью утратил способность лет
В Китае нашли самого толстого голубя, который так раскормился, что полностью утратил способность летать.
Птица ест столько, что её крылья просто не могут поднять тело в воздух — остаётся только ходить по земле и искать новую еду.
Literally me
Mercedes заново регистрирует товарный знак в России. Два дня назад компания из Штутгарта подала зая
Mercedes заново регистрирует товарный знак в России. Два дня назад компания из Штутгарта подала заявки в Роспатент на два варианта написания бренда на русском и английском. Немцы планируют продавать автомобили, запчасти к ним и делать ремонт. Одобрят ли бренд…
Зумеры изобрели… картофельное пюре Воистину, Судный день всё ближе
Зумеры изобрели… картофельное пюре
Воистину, Судный день всё ближе
Windows Defender когда твой компьютер заражен вирусом:
Windows Defender когда твой компьютер заражен вирусом:
🧬 OpenAI объяснили, почему нейросети галлюцинируют Галлюцинации нейросетей — это не сбой, а прямое
🧬 OpenAI объяснили, почему нейросети галлюцинируют
Галлюцинации нейросетей — это не сбой, а прямое следствие технологии, выяснили исследователи OpenAI.
Все закладывается еще на этапе предварительного обучения. Даже если в тренировочных данных нет ни одной ошибки, модель все равно будет выдумывать факты.
🤔 Почему так?
Модели строят ответы по шаблонам, учитывая грамматику, общие факты, логику, но если попросить нейросеть найти конкретный факт (особенно малоизвестный), для нее это изолированная точка, а не часть общей картины. Поэтому нейросеть выдаст наиболее вероятный ответ, но не станет буквально искать конкретный факт.
Но даже обучение с подкреплением, когда модель штрафуют за неверные ответы и поощряют за правильные, не помогает исправить ситуацию. Так нейросеть превращается в «студента на экзамене», который не знает точного ответа, но уверенно говорит чепуху: так хотя бы есть шанс угадать.
Поэтому ученые предлагают менять подход к обучению и систему оценки. Наказывать за уверенные ошибки сильнее, чем за ответ «я не знаю» — так у модели появится стимул хотя бы «промолчать, чтоб сойти за умного».
Такой метод может сократить галлюцинации и сделать ответы ИИ надежнее, что в реальной жизни важнее, чем количество ответов в целом.
👋 Подпишитесь на Hi, AI!
#новости #наука #OpenAI