Google DeepMind представила концепт курсора мыши с возможностями ИИ

Разработчики предлагают научить систему понимать не только положение указателя, но и смысл того, на что смотрит пользователь.

Компания Google DeepMind, занимающаяся искусственным интеллектом (ИИ), презентовала концепцию курсора мыши с возможностями ИИ, призванную решить проблему с инструментами ИИ, которые расположены в отдельных окнах.

«Мы хотим обратного: интуитивно понятного ИИ, который будет взаимодействовать с пользователями во всех используемых ими инструментах, не прерывая их рабочий процесс», – заявили разработчики.

Новая концепция строится вокруг идеи контекстного ИИ. Сегодня большинство ИИ-инструментов работают в отдельных окнах: пользователь должен копировать текст, загружать изображения или самостоятельно описывать проблему. В Google хотят убрать этот барьер и встроить нейросеть прямо в повседневную работу с интерфейсом.

В компании привели пример: представьте, что вы указываете на изображение здания и запрашиваете «Покажите мне маршрут», и больше ничего не нужно, потому что нейросеть уже понимает контекст.

В основе концепции лежат четыре ключевых принципа:

• отказ от «ИИ-детуров», когда человеку приходится переключаться между приложением и отдельным чат-ботом; • автоматическое понимание визуального контекста вокруг курсора; • использование естественного человеческого языка вместо промптов; • превращение элементов интерфейса из набора пикселей в «осмысленные сущности»: адреса, даты, объекты, рестораны, документы и другие элементы, с которыми ИИ может работать напрямую.

Курсор работает на платформе Gemini. В Google считают, что современные мультимодальные модели вроде Gemini уже достаточно развиты, чтобы реализовать такую механику и для компьютеров.

Отмечается, что компания уже начала внедрять новую функцию в свои продукты. Так, в гугловском браузере – Chrome – появилась возможность вызывать Gemini поверх веб-страницы и задавать вопросы о конкретных элементах сайта. Пользователь может выделить несколько товаров и попросить сравнить их или указать место в комнате на изображении и запросить визуализацию новой мебели.

Напомним, ранее Google анонсировала линейку ноутбуков Googlebook. Новые девайсы должны выйти этой осенью.