Слушаю лекции
Jun. 24th, 2024 10:25 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mns2012Обучение (машинное и обычное, человеческое) -- статистический процесс распознавания паттернов.
В процессе обучения выбросы (outliers) категоризируются и перестают быть таковыми. (замечательное наблюдение).
Выбросы всегда локальны, вопрос о том, что является, а что не является закономерностью и выбросом для данного статистического распределения, не имеет смысла без контекста.
Цель не в том, чтобы обязательно сымитировать именно человека, а в том, чтобы расширить возможности человека по выявлению паттернов (контроль качества, медицина и пр.). Лектор - классный спец, это сразу видно, он не говорит о хайпе, типа машины победят и мы все умрём, или о том, когда там эта сингулярность пресловутая наступит. Напротив, всё конкретно и по делу: AI + human intelligence >> human intelligence.
Выбор модели не имеет критического значения (в силу NFL теорем), поскольку достаточно большой массив данных настроит практически любую модель до получения решений задачи приемлемого качества (the unreasonable effectiveness of data -- о, как!).
Microsoft, 2001 (20 с лишним лет назад): we might want to reconsider the tradeoff of spending money on alg development vs spending it on data development.
Типичные проблемы данных:
- недостаток данных для обучения модели
- плохое качество данных
- недостаток аннотированных данных
- выбор не тех атрибутов данных, которые нужны для решения конкретной задачи
Data governance:
- data collection
- data curation
- data storage
- data access for data intensive applications
Диаграмма Конвея (Venn overlapping circles: math and stats/programming/substantive domain knowledge: data science/AI is the intersection of them all).
AI не создаст само по себе ничего творчески замечательного, если не будет направляться человеком.
Я об этом постоянно твержу тут и в biosemiotics.livejournal.com в записях c тегами ai, искусственный интеллект. Наконец-то, адекватный лектор попался, не AI-фанатик, каких много в интернете, кто ни разу в жизни не писал своего кода ;)
Отличие от традиционного подхода
- традиционный подход: команда разработчиков, создающих систему, ответственную за отображение (данные, результаты)
- AI-подход: данные, интеллектуальная система, ответственная за отображение (данные, результаты)
Отличие состоит в том, что традиционная система хороша настолько, насколько хорош экспертный уровень разработчиков, тогда как AI-система хороша настолько, насколько хороши данные, то есть при условии достаточно репрезентативных данных, качество результатов превосходит то, что может обеспечить группа экспертов в данной конкретной задаче (вот эту локальность необходимо осознавать, чтобы не стать жертвой пропаганды всяких AI-энтузиастов).
Свойства (интеллектуальных) систем принятия решений:
План и его отслеживание (будь то навигация автомобиля или автономное копание канавы экскаватором) -- это точка и прокладка пути к ней в параметрическом пространстве, начиная со стартового состояния (стартовой точки в пространстве состояний). Самое важное в том, чтобы навигатор или "автопилот" получал время от времени данные о текущем состоянии. Тогда он сможет корректировать проложенный ранее путь, в случае если по каким-то не зависящим от него причинам имело место отклонение от спланированной траектории.
Natural Language Processing, в определенном смысле, существует для того, чтобы научить человека говорить с данными. Основная идея: отображение видео, аудио, текста на естественном языке на множество floating point векторов, те или иные вычисления в этом пространстве, обратное отображение в видео, аудио или текст на том же или другом естественном языке.
В процессе обучения выбросы (outliers) категоризируются и перестают быть таковыми. (замечательное наблюдение).
Выбросы всегда локальны, вопрос о том, что является, а что не является закономерностью и выбросом для данного статистического распределения, не имеет смысла без контекста.
Цель не в том, чтобы обязательно сымитировать именно человека, а в том, чтобы расширить возможности человека по выявлению паттернов (контроль качества, медицина и пр.). Лектор - классный спец, это сразу видно, он не говорит о хайпе, типа машины победят и мы все умрём, или о том, когда там эта сингулярность пресловутая наступит. Напротив, всё конкретно и по делу: AI + human intelligence >> human intelligence.
Выбор модели не имеет критического значения (в силу NFL теорем), поскольку достаточно большой массив данных настроит практически любую модель до получения решений задачи приемлемого качества (the unreasonable effectiveness of data -- о, как!).
Microsoft, 2001 (20 с лишним лет назад): we might want to reconsider the tradeoff of spending money on alg development vs spending it on data development.
Типичные проблемы данных:
- недостаток данных для обучения модели
- плохое качество данных
- недостаток аннотированных данных
- выбор не тех атрибутов данных, которые нужны для решения конкретной задачи
Data governance:
- data collection
- data curation
- data storage
- data access for data intensive applications
Диаграмма Конвея (Venn overlapping circles: math and stats/programming/substantive domain knowledge: data science/AI is the intersection of them all).
AI не создаст само по себе ничего творчески замечательного, если не будет направляться человеком.
Я об этом постоянно твержу тут и в biosemiotics.livejournal.com в записях c тегами ai, искусственный интеллект. Наконец-то, адекватный лектор попался, не AI-фанатик, каких много в интернете, кто ни разу в жизни не писал своего кода ;)
Отличие от традиционного подхода
- традиционный подход: команда разработчиков, создающих систему, ответственную за отображение (данные, результаты)
- AI-подход: данные, интеллектуальная система, ответственная за отображение (данные, результаты)
Отличие состоит в том, что традиционная система хороша настолько, насколько хорош экспертный уровень разработчиков, тогда как AI-система хороша настолько, насколько хороши данные, то есть при условии достаточно репрезентативных данных, качество результатов превосходит то, что может обеспечить группа экспертов в данной конкретной задаче (вот эту локальность необходимо осознавать, чтобы не стать жертвой пропаганды всяких AI-энтузиастов).
Свойства (интеллектуальных) систем принятия решений:
- декларативность (на достаточно высоком уровне пользователем задаётся цель)
- само-коррекция (исправление последствий изменений состояния/пользовательских инструкций)
- возможность автоматического формулирования предписаний/рекомендаций
- само-улучшение (долгосрочная стратегия реактивной корректировки параметров)
План и его отслеживание (будь то навигация автомобиля или автономное копание канавы экскаватором) -- это точка и прокладка пути к ней в параметрическом пространстве, начиная со стартового состояния (стартовой точки в пространстве состояний). Самое важное в том, чтобы навигатор или "автопилот" получал время от времени данные о текущем состоянии. Тогда он сможет корректировать проложенный ранее путь, в случае если по каким-то не зависящим от него причинам имело место отклонение от спланированной траектории.
Natural Language Processing, в определенном смысле, существует для того, чтобы научить человека говорить с данными. Основная идея: отображение видео, аудио, текста на естественном языке на множество floating point векторов, те или иные вычисления в этом пространстве, обратное отображение в видео, аудио или текст на том же или другом естественном языке.
