Сегодня Яндекс объявил о масштабном обновлении своего браузера, в котором реализованы рекордное количество инноваций. В основе этих изменений лежат передовые технологии нейросетей и машинного обучения.

Теперь Яндекс Браузер способен исправлять ошибки в тексте, сокращать или улучшать его, а также пересказывать видео с японского и корейского языков. Более того, он умеет распознавать QR-коды на трансляциях и предлагает переходить по ссылке всего в один клик. Кроме того, обновленный браузер якобы обеспечивает надежную защиту от фишинговых страниц и обладает рядом других полезных функций.

Одной из ключевых функций, предоставляемых нейросетевой моделью Yandex GPT в браузере, является «помощь с текстом». Она способна обнаружить и исправить орфографические ошибки, а также правильно расставить знаки препинания. Более того, в случае, если текст не укладывается в заданный формат по количеству знаков, модель способна сократить его, улучшив структуру и понятность содержания.

Каждое из указанных действий выполняется с помощью отдельных моделей. Почему они различаются? В режиме редактирования текста необходимо, чтобы модель исправила орфографические ошибки, однако в режимах сокращения и улучшения текста она должна провести переформулировку содержания.

И эта система действительно работает. Теперь рерайт чужого текста делается буквально в один клик мышью. Очень удобно для блогеров и редакторов новостей. В компании также рассматривают возможность добавления функции перевода или изменения стилистики текста, таких как сделать текст более веселым или серьезным.

Но Яндекс не был бы яндексом, если бы не дурковал на ровном месте. Сделав приличный сервис рерайта (переработки текста) — Яндекс не выставил его отдельным продуктом, а зачем-то впердолил в свой браузер. Нет, на самом деле поянтно, зачем — таким образом они рассчитывают поднять распространенность своего браузера. А то бабла на браузер потрачено уже много, куча бездельников кормилась на этой теме (приделывании костылей к хромиуму) годами — а толку нет. Несмотря на агрессивную рекламу, лишь 19,88% россиян поставили себе Яндекс-браузер (и даже эти цифры сильно завышены — потому что пробные установки отнюдь не означают повседневного использования).

Впрочем, среди пользователей нашего сайта поклонников Яндекс-браузера аж 29.2% — хе-хе, наши люди выбирают отечественный продукт.

Повысит ли рерайтер текстов число установок Яндекс-браузера? Наверняка да — но не слишком сильно, потому что на самом деле подобные функции нужны очень малому числу пользователей. Даже пресловутое исправление ошибок и расстановка запятых, которая, казалось бы, нужна всем — на самом деле большинству не нужна, людям тупо лень ждать, пока Yandex GPT исправит текст.

«Атмен сделай, икс нажми», — говорит в трубку таксист. Он твой яндекс рация шипел, слюшай, да. Плевать он хотел на разборчивость той каши, что он принимает за рюсскэ язик.

А еще Яндекс научился автоматически генерить описание (аннотацию) для видео, причем даже с разбивкой на эпизоды и таймлайном. Это называется «пересказать видео». Теперь браузер можем пересказать (дать описание) видео с английского, немецкого, французского, итальянского, испанского, китайского, японского и корейского языков. Сам пересказ будет на русском языке. Также добавили новые платформы: помимо видео с YouTube, браузер может пересказывать ролики в VK, Zen и Rutube.

Вот так это выглядит.

PS. Кстати, о вопросе производительности и применении нейросетей. В процессе разработки функции распознавания QR-кодов в видео в компании Яндекс поняли, что для распознавания QR-кодов потребуется сложная ML-модель нейросети, для работы которой может не хватить ресурсов пользовательских устройств (даже десктопов). Нейросеть бы работала очень долго и тормозила работу Браузера. Распознавание с помощью библиотеки ZXing (разработанной китайцами еще в 2008 году) работает быстрее: в среднем один код распознаётся за 10 миллисекунд, а в самых сложных случаях — за 25 миллисекунд. И это при том, что шаловливые ручки яндексоидов поковырялись в коде библиотеки (благо это опенсорс) с целью повысить надежность распознавания — это, естественно, вызвало замедление работы библиотеки.

Для сравнения, в iPhone 15 за распознавание QR-кодов отвечает большая и сложная нейросеть, при этом она распознала не все нестандартные QR из тестового датасета «плохих кодов», а лишь около 60%. Подправленная яндексоидами библиотека ZXing обеспечила распознание более 60% QR-кодов из тестового датасета «плохих кодов», при этом работала на порядки быстрее на гораздо более слабом железе.

Так что нейросети — это костыль, а не панацея.

PPS. Яндекс Браузер — реально неудобный, тормознутый и малофункциональный браузер. Даже несмотря на всякие интересные штуки в нём, которые яндексоиды рекламируют, пользоваться им неприятно и неудобно.

И в том числе он такой тормознутый и неудобный именно из-за вкрячивания в него всех этих «уникальных» яндексовских свистоперделок. Тут как в анекдоте про самолет со всякими улучшениями — «а теперь со всем этим гогном мы попробуем взлететь».