Читайте также:

В Китае нашли самого толстого голубя, который так раскормился, что полностью утратил способность лет

В Китае нашли самого толстого голубя, который так раскормился, что полностью утратил способность летать.

Птица ест столько, что её крылья просто не могут поднять тело в воздух — остаётся только ходить по земле и искать новую еду.

Literally me

Mercedes заново регистрирует товарный знак в России. Два дня назад компания из Штутгарта подала зая

Mercedes заново регистрирует товарный знак в России. Два дня назад компания из Штутгарта подала заявки в Роспатент на два варианта написания бренда на русском и английском. Немцы планируют продавать автомобили, запчасти к ним и делать ремонт. Одобрят ли бренд…

🧬 OpenAI объяснили, почему нейросети галлюцинируют Галлюцинации нейросетей — это не сбой, а прямое

🧬 OpenAI объяснили, почему нейросети галлюцинируют

Галлюцинации нейросетей — это не сбой, а прямое следствие технологии, выяснили исследователи OpenAI.

Все закладывается еще на этапе предварительного обучения. Даже если в тренировочных данных нет ни одной ошибки, модель все равно будет выдумывать факты.

🤔 Почему так?

Модели строят ответы по шаблонам, учитывая грамматику, общие факты, логику, но если попросить нейросеть найти конкретный факт (особенно малоизвестный), для нее это изолированная точка, а не часть общей картины. Поэтому нейросеть выдаст наиболее вероятный ответ, но не станет буквально искать конкретный факт.

Но даже обучение с подкреплением, когда модель штрафуют за неверные ответы и поощряют за правильные, не помогает исправить ситуацию. Так нейросеть превращается в «студента на экзамене», который не знает точного ответа, но уверенно говорит чепуху: так хотя бы есть шанс угадать.

Поэтому ученые предлагают менять подход к обучению и систему оценки. Наказывать за уверенные ошибки сильнее, чем за ответ «я не знаю» — так у модели появится стимул хотя бы «промолчать, чтоб сойти за умного».

Такой метод может сократить галлюцинации и сделать ответы ИИ надежнее, что в реальной жизни важнее, чем количество ответов в целом.

👋 Подпишитесь на Hi, AI!

#новости #наука #OpenAI

🧬 OpenAI объяснили, почему нейросети галлюцинируют
Галлюцинации нейросетей — это не сбой, а прямое
Еще посты

Свежие комментарии

9691180719 1 недель к записи
9691180719
Дарья 3 недель назад к записи
Вы твари ебучие блять ,как читать начать. Что за отсталый нахуй создавал этот ебучий сайт
Avif Installer 2025 1 месяцев к записи
Скачать <html> по XHR бесплотно
xi816 1 месяцев к записи
новый проект вайт рома
menotebo 1 месяцев к записи
Helo