Наукообразный идиотизм

[mns2012]

В Великобритании семья попала в больницу после употребления ядовитых грибов. Они были собраны по рекомендациям книги, купленной на крупной онлайн-платформе.

Книга, предназначенная для новичков, была сгенерирована искусственным интеллектом и содержала ошибки, что привело к серьезному отравлению.

Этот случай привлек внимание к проблеме распространения книг, созданных ИИ, которые могут представлять опасность из-за неверной информации.

Платформа Amazon уже удалила проблемную книгу, но на сайте все еще можно найти множество подобных изданий, что вызывает тревогу среди экспертов.

https://www.securitylab.ru/news/551241.php

Для тех, кто сомневается и думает, что это всё желтая пресса:

https://pubmed.ncbi.nlm.nih.gov/36794335/

Проблема доверия сгенерированной ИИ информации, увы, имеется.

Comments

[livelogic.livejournal.com]

> The book is entitled something similar to: "Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms."
> "In conclusion, morels are delicious mushrooms which can be consumed from August to the end of Summer. Let me know if there is anything else I can help you with."
> it appears there are dozens more in a similar style.

Судя по этим признакам - "бред" ака "вброс", достойный ЕИ.

similar, Карл. Как страшно жить.

[mns2012]

Откуда всё это появилось? Конечно, из ЕИ. Каковы данные, таковы и результаты. Но ИИ нуждается в человеке, чтобы положить предел галлюцинациям. (Точнее говоря, пользователь ИИ нуждается в экспертной оценке бреда, выдаваемого ИИ). AI is a stochastic parrot.

[livelogic.livejournal.com]

Непонятно, при чём тут ИИ.

Замечу, что экспертными оценками бреда, выдаваемого ЕИ, достаточно плотно заполнен интернет, и пользователь ЕИ точно также нуждается в экспертной оценке предоставляемых данных. Даже в среде профи хороши всякие code review, second opinion, concilium.

[uri-ben-cephas.livejournal.com]

Как можно использовать генерацию там, где нужно точное воспроизведение известного? Это же (само)убийство. С тем же успехом можно кости кидать. Генерация гарантировано даёт ложь, если строго говорить. Вообще, хотелось бы верить, что это вброс, но появление такого рода вещей, увы, неизбежно.

[mns2012]

Притом, что даже искусственным "умом" нужно пользоваться с умом.

[mns2012]

Да, типа какой-нибудь сгенерированной инструкции по сборке гранаты :))

[mns2012]

Вроде бы не вброс. Вот ещё подобные случаи: https://www.washingtonpost.com/technology/2024/03/18/ai-mushroom-id-accuracy/

[mns2012]

==Даже в среде профи хороши всякие code review, second opinion, concilium.==

Как это меняет необходимость человеку или группе людей мониторить то, что выдает LLM?!

[livelogic.livejournal.com]

Тут вообще про другое речь. Главное - Вы даёте информацию, которая весьма смахивает на вброс и не поддаётся верификации.

Ну и второстепенное - ИИ глючит, безусловно. Но я вот не уверен, у кого глюки чаще и, что не менее важно, у кого они имеют более сильные последствия. Ну, там:

===
В ходе застолья подсудимый увидел, как потерпевший поднял с пола старый телевизор.

По причине нахождения в состоянии опьянения Турдыбекову А.Г. показалось, что потерпевший хочет бросить его в находившуюся в комнате женщину с ребенком.

...
===

[mns2012]

Если есть какие-то подозрения, никто не запрещает проводить собственные расследования.

[mns2012]

Кстати, замечу, что вы, по всей видимости, проводите пост-фактум анализ, пользуясь принципами распознавания дизайна, по поводу которых у вас были какие-то со нения, если я правильно помню?

[livelogic.livejournal.com]

> по поводу которых у вас были какие-то со нения

У меня, честно говоря, нет особых сомнений по поводу "принципов распознавания дизайна". В том виде, в котором они сформулированы, их использование невозможно.

[mns2012]

Понятно. Как же вы распознаете вброс?

[livelogic.livejournal.com]

- Отсутствие возможности проверить информацию
- "Жареность" темы

Харктерные признаки "жёлтой прессы".

Вычислять "количество функциональной информации" тут, конечно, не требуется.

[mns2012]

Иными словами, вы утверждаете, что есть некоторые признаки, по которым можно вынести вердикт пост-фактум даже если нет возможности наблюдать процесс. Ну что ж, поздравляю, это не что иное, как design inference. Максим, Вы как никто из моих читателей выступаете за использование логики, однако сами далеко не всегда пользуетесь своими же рекомендациями. Я нигде не утверждал, что количество функциональной информации - это всё, к чему сводится дизайн-распознавание.

Однако, если имеется некий осмысленный текст более определенной длины (функциональная информация), вероятность его (псевдо)случайной генерации столь мала, что можно с достаточной на практике уверенностью утверждать, что его происхождение интеллектуально. Тем не менее, в данном случае, я тоже не вижу, как применить именно этот критерий.

[livelogic.livejournal.com]

> Максим, Вы как никто из моих читателей выступаете за использование логики, однако сами далеко не всегда пользуетесь своими же рекомендациями.

Согласитесь, кто-то из нас генерирует "наукообразный идиотизм".

[mns2012]

Почему-то мне кажется, что вы согласились со мной по поводу того, что в данном случае мы имеем design detection. Что же мешает вам прямо это признать?

[mns2012]

И да, кстати:

https://pubmed.ncbi.nlm.nih.gov/36794335/

[livelogic.livejournal.com]

Ну так с этого надо было начинать. Итак, ЕИ содал несколько условно-пригодных, но всё-таки немного "глючных" алгоритмов определения грибов по изображению.

Тут, заметим, нет слова "AI". Любая прога, которая распознает изображение, это AI?

[mns2012]

Да, безусловно. Image recognition is part of AI.

[mns2012]

==ЕИ содал несколько условно-пригодных,==

Начать с того, что ЕИ создал ИИ...

[livelogic.livejournal.com]

Однако, этим лишний раз подчёркивается проблема доверия к произведениям ЕИ. Собственно, известная ма́ксима - в любой программе есть как минимум одна ошибка.

[mns2012]

кроме, как гласит предание, первой версии LaTex.

[sergecpp.livejournal.com]

В Что-Где-Когда некогда был вопрос, почему издание одной энциклопедии затребовали у подписчиков обратно (Франция, вроде бы, не помню). Знатоки ответили верно -- там перепутали картинки грибов.