Как заставить ИИ понимать человека: проверка сочинений вместо ядерного апокалипсиса
Компьютерные системы осваивают все новые задачи, которые раньше казались типично человеческими: разбивают чемпионов в настольные и компьютерные игры, распознают тексты и изображения, водят машины. Но заветная мечта человечества — создать универсальный искусственный интеллект, который сможет взяться за любую задачу.
Юрий Чехович, исполнительный директор компании Антиплагиат, не верит, что компьютер сможет начать мыслить. Он рассказал, почему скепсис по отношению к т.н. «мыслительным возможностям» вычислительных систем не помешал его компании принять участие в конкурсе Up Great ПРО//ЧТЕНИЕ, в котором победившая система должна понимать и оценивать текст сочинения ЕГЭ не хуже специалиста в данной области.
Конкурс Up Great ПРО//чтение: проверить за 60 секунд
С чего начать создание универсального искусственного интеллекта? С общения, конечно! Если он все умеет, то в первую очередь должен понять нашу естественную речь и ответить не в виде ноликов и единиц, а в понятной нам форме. Организаторы конкурса Up Great ПРО//чтение формализовали эту задачу — победитель должен создать программу, умеющую выявлять фактические и смысловые ошибки в академических эссе за 30 секунд не хуже, чем специалист. Конкурс продлится до 2022 года, а наградами станут по 100 млн рублей (!) за создание вышеуказанных систем для работы с текстами на русском и английском языках.
Организовавшая конкурс Российская венчурная компания (РВК) признает, что столь заметная сумма вызвана сложностью задачи — на данный момент в мире не известно ни одного решения, и фактически участникам приходится проводить научное исследование. Для поощрения участников могут быть выданы менее значительные денежные призы за решение промежуточных задач.
От теста Тьюринга к прочтению текстов
Юрий Чехович рассказал, что основным мотивом участия в конкурсе были вовсе не деньги. «Мы хотели показать возможности технологий, применяемых в системе «Антиплагиат». Часто ее воспринимают как карательную, но на самом деле в нее заложен исследовательский потенциал, который позволит создавать автоматических помощников для написания текста человеком».
Что касается, конкурсного задания, то Чехович сравнивает его с современным тестом Тьюринга: «Задача участников конкурса — сделать алгоритм, который наилучшим образом будет моделировать деятельность преподавателя. Фактически мы проходим специфический тест Тьюринга — в идеальном случае сторонний наблюдатель не отличит результат работы машины от результата учителя».
Тест Тьюринга был придуман в 1950-х годах, ученый считал его стандартом на «понимание» человека компьютером. Фактически он сводится к «чату» судей с испытуемыми и машинами. При этом члены жюри не знают, кто с ними общается, если в 30% случаев они принимают машину за человека, тест считается пройденным. В своем классическом виде он был пройден в 2014 году, программу создали выходцы из России.
Но наше восприятие меняется. В 50-е годы и игра компьютера в шахматы на уровне чемпиона мира считалась невозможной. В конце 20 века эта задача была решена, а в начале 21 века началось бурное развитие искусственного интеллекта во многих других направлениях. Вычислительные мощности настолько подешевели, что стало возможным создавать многослойные нейросети и применять к ним глубокое обучение. В результате компьютерные системы смогли превзойти человека в распознавании изображения, настольных и компьютерных играх.
Упростилось и обучение ИИ — в систему загружались примеры, а она училась на их базе создавать что-то новое. Например, на базе алгоритмов обработки естественных языков GPT-3 удалось научить компьютеры писать сочинения, сравнимые с творением школьника. В таких условиях сделать чат, в котором машина ведет себя похоже на человека, стало уже решаемой задачей. Тем более что разработчики шли на всякие хитрости: машина пускалась шутить или возмущалась, когда алгоритмы не могли дать четкого ответа.
Настала пора взойти на новую ступень — не просто проанализировать текст, но и дать понятные замечания по обнаруженным ошибкам. Чего удалось достичь и почему учителям все еще приходиться проверять школьные сочинения?
Как ЕГЭ помог искусственному интеллекту
«Школа — естественное расширение нашего формата», — считает Чехович. Он добавляет, что там пока нет большой необходимости в системе «Антиплагиат», зато нужна обработка текстов. И для нее подходят уже применяемые в компании алгоритмы. Разумная работа с естественными языками — давняя мечта человечества, исполнение которой приблизилось с внедрением глубокого обучения. Для обучения в программу загружаются эссе, в которых ошибки уже отмечены специалистами. Сейчас организаторами размечено около 2400 эссе на русском и английском языках.
Обучившись даже на такой скромной обучающей выборке, ИИ показывает неплохой результат. Юрий показывает пример эссе по «Войне и миру» — большая часть замечаний как будто написана учителем. И только парочка невразумительных комментариев выдают программу. Например, фразу «Вернувшись обновленным в Лысые горы … князь Андрей теряет жену» искусственный интеллект помечает как ошибку. И даже уточняет, что Андрей приехал туда вместе с женой. Однако здесь есть доля вины разработчиков, которые не учли тот факт, что однотипных событий вида «князь Андрей приезжает в Лысые горы» может быть несколько и алгоритму стоило бы продолжить проверку фактуры по тексту. Пример анализа текста ИИ. Зеленым выделены удачные фрагменты, красным — ошибки. Наведя курсор на выделенный фрагмент, можно получить пояснения по ошибке. В нашем случае сочетание «свое собственное» несет лишнее слово, достаточно было бы любого из них
Юрий Чехович, исполнительный директор компании Антиплагиат, не верит, что компьютер сможет начать мыслить. Он рассказал, почему скепсис по отношению к т.н. «мыслительным возможностям» вычислительных систем не помешал его компании принять участие в конкурсе Up Great ПРО//ЧТЕНИЕ, в котором победившая система должна понимать и оценивать текст сочинения ЕГЭ не хуже специалиста в данной области.
Конкурс Up Great ПРО//чтение: проверить за 60 секунд
С чего начать создание универсального искусственного интеллекта? С общения, конечно! Если он все умеет, то в первую очередь должен понять нашу естественную речь и ответить не в виде ноликов и единиц, а в понятной нам форме. Организаторы конкурса Up Great ПРО//чтение формализовали эту задачу — победитель должен создать программу, умеющую выявлять фактические и смысловые ошибки в академических эссе за 30 секунд не хуже, чем специалист. Конкурс продлится до 2022 года, а наградами станут по 100 млн рублей (!) за создание вышеуказанных систем для работы с текстами на русском и английском языках.
Организовавшая конкурс Российская венчурная компания (РВК) признает, что столь заметная сумма вызвана сложностью задачи — на данный момент в мире не известно ни одного решения, и фактически участникам приходится проводить научное исследование. Для поощрения участников могут быть выданы менее значительные денежные призы за решение промежуточных задач.
От теста Тьюринга к прочтению текстов
Юрий Чехович рассказал, что основным мотивом участия в конкурсе были вовсе не деньги. «Мы хотели показать возможности технологий, применяемых в системе «Антиплагиат». Часто ее воспринимают как карательную, но на самом деле в нее заложен исследовательский потенциал, который позволит создавать автоматических помощников для написания текста человеком».
Что касается, конкурсного задания, то Чехович сравнивает его с современным тестом Тьюринга: «Задача участников конкурса — сделать алгоритм, который наилучшим образом будет моделировать деятельность преподавателя. Фактически мы проходим специфический тест Тьюринга — в идеальном случае сторонний наблюдатель не отличит результат работы машины от результата учителя».
Тест Тьюринга был придуман в 1950-х годах, ученый считал его стандартом на «понимание» человека компьютером. Фактически он сводится к «чату» судей с испытуемыми и машинами. При этом члены жюри не знают, кто с ними общается, если в 30% случаев они принимают машину за человека, тест считается пройденным. В своем классическом виде он был пройден в 2014 году, программу создали выходцы из России.
Но наше восприятие меняется. В 50-е годы и игра компьютера в шахматы на уровне чемпиона мира считалась невозможной. В конце 20 века эта задача была решена, а в начале 21 века началось бурное развитие искусственного интеллекта во многих других направлениях. Вычислительные мощности настолько подешевели, что стало возможным создавать многослойные нейросети и применять к ним глубокое обучение. В результате компьютерные системы смогли превзойти человека в распознавании изображения, настольных и компьютерных играх.
Упростилось и обучение ИИ — в систему загружались примеры, а она училась на их базе создавать что-то новое. Например, на базе алгоритмов обработки естественных языков GPT-3 удалось научить компьютеры писать сочинения, сравнимые с творением школьника. В таких условиях сделать чат, в котором машина ведет себя похоже на человека, стало уже решаемой задачей. Тем более что разработчики шли на всякие хитрости: машина пускалась шутить или возмущалась, когда алгоритмы не могли дать четкого ответа.
Настала пора взойти на новую ступень — не просто проанализировать текст, но и дать понятные замечания по обнаруженным ошибкам. Чего удалось достичь и почему учителям все еще приходиться проверять школьные сочинения?
Как ЕГЭ помог искусственному интеллекту
«Школа — естественное расширение нашего формата», — считает Чехович. Он добавляет, что там пока нет большой необходимости в системе «Антиплагиат», зато нужна обработка текстов. И для нее подходят уже применяемые в компании алгоритмы. Разумная работа с естественными языками — давняя мечта человечества, исполнение которой приблизилось с внедрением глубокого обучения. Для обучения в программу загружаются эссе, в которых ошибки уже отмечены специалистами. Сейчас организаторами размечено около 2400 эссе на русском и английском языках.
Обучившись даже на такой скромной обучающей выборке, ИИ показывает неплохой результат. Юрий показывает пример эссе по «Войне и миру» — большая часть замечаний как будто написана учителем. И только парочка невразумительных комментариев выдают программу. Например, фразу «Вернувшись обновленным в Лысые горы … князь Андрей теряет жену» искусственный интеллект помечает как ошибку. И даже уточняет, что Андрей приехал туда вместе с женой. Однако здесь есть доля вины разработчиков, которые не учли тот факт, что однотипных событий вида «князь Андрей приезжает в Лысые горы» может быть несколько и алгоритму стоило бы продолжить проверку фактуры по тексту. Пример анализа текста ИИ. Зеленым выделены удачные фрагменты, красным — ошибки. Наведя курсор на выделенный фрагмент, можно получить пояснения по ошибке. В нашем случае сочетание «свое собственное» несет лишнее слово, достаточно было бы любого из них
Ещё новости по теме:
18:20