Для компании «Когнитив Пилот» такая задача была особенно актуальна в проекте с полностью беспилотным и бескабинным мини-трактором. «Мы неоднократно получали запросы от наших клиентов - пользователей мини-тракторов о необходимости создания диалога с нашим роботом. Заказчику иногда даже просто для собственного спокойствия необходимо убедиться, что все идет по плану, знать статус выполнения задачи, понимать, какие следующие действия будет выполнять машина. Использовать же для этих целей ввод текста с планшета или ноутбука в реальных условиях работы робота не всегда удобно, и набирать руками одни и те же команды каждый раз утомительно, - в этом смысле речевой ввод здесь – однозначно палочка - выручалочка», комментирует ведущий разработчик Геннадий Савицкий.
Для решения этой проблемы компанией был разработан собственный голосовой ассистент Cognitive Voice Assistant. Система воспринимает вопросы и дает ответы в режиме реального времени. В основе данного ассистента лежит концепция генеративной нейронной сети компании «Ипполит». Система воспринимает информацию от пользователя робо-трактора на естественном языке, затем она интерпретируются и обрабатывается в реальном времени в облачной вычислительной среде. В отличие от публичных LLM-сервисов, решение развернуто в изолированной облачной среде на внутренних вычислительных мощностях компании, не зависит от внешних провайдеров и не подвержено никаким потенциальным угрозам.
«Как только человек начинает общаться с мини-трактором, система уже воспринимает речь, одновременно анализирует смысл и формирует ответ, не дожидаясь завершения фразы. Это позволяет вести диалог практически без пауз, характерных для поэтапной обработки. При этом она не ограничена заранее заложенными сценариями: если запрос требует обращения к данным о состоянии техники, диагностике, телеметрии, навигации или параметрам выполняемой операции, ассистент в реальном времени запрашивает нужные сведения из внутренних подсистем роботизированного трактора и только после этого завершает ответ», - продолжает Савицкий.
Таким образом, диалог остается естественным – оператор не ждет завершения обработки, а система при необходимости уточняет данные у бортовых модулей и возвращает осмысленный результат, и мини-трактор с помощью встроенных устройств вывода озвучивает запрашиваемую информацию.
Возможность системы напрямую управлять функционалом робота является его важным преимуществом и отличием от аналогичных генеративных моделей. Кроме того, модель системы специализирована и оптимизирована под конкретные задачи. Решение лучше аналогов понимает терминологию агро-сектора и других предметных областей, где используется мини-трактор и обладает уникальной базой знаний.
Система активна и готова к выполнению запроса в любое время работы робо-трактора.
Вопросы пользователя могут касаться состояния машины, качества связи, информации о его текущих миссиях, характеристиках задания, этапов его выполнения и т. д. Cognitive Voice Assistant способен анализировать телеметрические данные, информировать о заряде батареи, давать прогнозы, оценку того или иного параметра и возможности выполнения той или иной миссии, в том числе и не очевидной на первый взгляд (например, «Проезд до точки «Б», находящейся на расстоянии 50 км в условиях сложного рельефа местности, большого количества подъемов, при наличии существующего навесного оборудования не возможен из-за низкого заряда батареи»). Голосовой ИИ-помощник может озвучивать данные о текущих состояниях мини-трактора, давать отчеты. Например, «Не смог обработать участок, поскольку там было препятствие». Эти функции устанавливаются пользователем в системных настройках. Кроме того, предусмотрен механизм создания специальных функций Cognitive Voice Assistant под каждого заказчика, включая тембр голоса робота..
Наконец, роботу можно давать управленческие команды. Например, «Остановиться», «Продолжить движение», «Просигнализировать фарами», «Подать звуковой сигнал» и т.д.
Особое внимание в системе уделено вопросам безопасности. «В систему заложены сценарии, которые гарантированно никогда не позволят ни злоумышленнику, ни в ситуации с ошибками в подаче команд пользователями, задавить человека или повредить машину», - заключает Савицкий.
Управление голосовым ассистентом осуществляется со смартфона с простым, дружественным интерфейсом. В ближайшее время разработчики планируют завершить создание графического образа ИИ-робо-трактора и модуля, отвечающего за его мимику, что позволит пользователям иметь визуальное восприятие о ходе диалога с роботом и наблюдать реакцию машины на вопросы человека.
«Использование голосовых ассистентов даст возможность быстрой социальной адаптации наших ИИ-роботов в сельское хозяйство, ЖКХ, грузоперевозки и другую рабочую среду, где они будут использоваться. Этот проект может стать первым примером взаимопонимания и дружбы между человеком и роботом в их массовом промышленном использовании», говорит генеральный директор компании Ольга Ускова.
Пресс-служба
