Самым «осведомлённым» голосовым помощником является Google Assistant
На сегодняшний день на рынке существует четыре основных голосовых помощника: Amazon Alexa, Google Assistant, Microsoft Cortana и Apple Siri. Samsung Bixby пока из-за слабой распространённости можно не учитывать.
Ещё в феврале мы узнали, что, если говорить об умных акустических системах, то лучшим голосовым ИИ является Google Assistant, а худшим — Siri. Однако реализация Siri в HomePod сильно отличается от мобильной.
Специалисты StoneTemple решили проверить, какой из основных ИИ является наиболее «осведомлённым». В данном исследовании голосовым помощникам задали почти 5000 вопросов, но все они были одного типа. Это вопросы, которые источник называет General questions. Проще говоря, это вопросы общего характера или познавательные вопросы. К примеру, когда родился тот или иной человек, какова длина той или иной реки, какой город в той или иной стране самый густонаселённый и так далее. Согласно недавнему исследованию, владельцы умных АС чаще всего задают своим устройствам именно такие вопросы.
Ответы оценивались по пяти критериям:
Смог ли помощник ответить устно
Была ли для ответа использована какая-то сторонняя база данных (к примеру, Knowledge Graph)
Был ли для ответа использован сторонний источник (к примеру, «Википедия»)
Как часто помощник не понимал вопрос
Как часто помощник отвечал на вопрос, но при этом понимал его неправильно
Результаты оказались не столь однозначными, как можно было бы подумать.
Как видим на диаграмме, лидером стал Google Assistant, но только лишь при использовании этого ИИ на смартфоне. В случае умной АС Google Home результаты несколько хуже, хотя все равно высоки. Продукт Google не только чаще всего отвечал полностью правильно, но и чаще других предпринимал попытки ответить. Чуть хуже выступил Cortana, далее разместился Alexa, а Siri выступил хуже всех, причём по параметру попыток ответа результат сильно хуже остальных.
На следующей диаграмме можно увидеть, насколько сильно улучшились результаты каждого из ИИ за прошедший год. Лидером тут стало решение Amazon.
А вот эта диаграмма демонстрирует весьма неожиданный результат.
Тут указано, как изменился процент полностью правильных ответов за прошедший год. И, как можно видеть, вырос он лишь у Cortana, тогда как у остальных ИИ по каким-то причинам снизился.
Ну и напоследок посмотрим, насколько хорошо у голосовых ассистентов с чувством юмора. Диаграмма ниже показывает процент ответов с шутками.
Видимо, в Amazon и Microsoft решили, что шутки — это хорошо, тогда как Google и Apple отучивают свои помощники шутить.
Комментировать
Ещё в феврале мы узнали, что, если говорить об умных акустических системах, то лучшим голосовым ИИ является Google Assistant, а худшим — Siri. Однако реализация Siri в HomePod сильно отличается от мобильной.
Специалисты StoneTemple решили проверить, какой из основных ИИ является наиболее «осведомлённым». В данном исследовании голосовым помощникам задали почти 5000 вопросов, но все они были одного типа. Это вопросы, которые источник называет General questions. Проще говоря, это вопросы общего характера или познавательные вопросы. К примеру, когда родился тот или иной человек, какова длина той или иной реки, какой город в той или иной стране самый густонаселённый и так далее. Согласно недавнему исследованию, владельцы умных АС чаще всего задают своим устройствам именно такие вопросы.
Ответы оценивались по пяти критериям:
Смог ли помощник ответить устно
Была ли для ответа использована какая-то сторонняя база данных (к примеру, Knowledge Graph)
Был ли для ответа использован сторонний источник (к примеру, «Википедия»)
Как часто помощник не понимал вопрос
Как часто помощник отвечал на вопрос, но при этом понимал его неправильно
Результаты оказались не столь однозначными, как можно было бы подумать.
Как видим на диаграмме, лидером стал Google Assistant, но только лишь при использовании этого ИИ на смартфоне. В случае умной АС Google Home результаты несколько хуже, хотя все равно высоки. Продукт Google не только чаще всего отвечал полностью правильно, но и чаще других предпринимал попытки ответить. Чуть хуже выступил Cortana, далее разместился Alexa, а Siri выступил хуже всех, причём по параметру попыток ответа результат сильно хуже остальных.
На следующей диаграмме можно увидеть, насколько сильно улучшились результаты каждого из ИИ за прошедший год. Лидером тут стало решение Amazon.
А вот эта диаграмма демонстрирует весьма неожиданный результат.
Тут указано, как изменился процент полностью правильных ответов за прошедший год. И, как можно видеть, вырос он лишь у Cortana, тогда как у остальных ИИ по каким-то причинам снизился.
Ну и напоследок посмотрим, насколько хорошо у голосовых ассистентов с чувством юмора. Диаграмма ниже показывает процент ответов с шутками.
Видимо, в Amazon и Microsoft решили, что шутки — это хорошо, тогда как Google и Apple отучивают свои помощники шутить.
Комментировать
Ещё новости по теме:
18:20