Многие из нас все еще попадают в ситуации, когда нужно быстро найти важную информацию, но доступ в интернет ограничен или отсутствует. И одно дело – пытаться открыть развлекательный пост на сайте, и совсем другое – искать номер телефона горячей линии банка или больницы. Сегодня я впервые расскажу читателям Хабра о том, как ускорение поиска в приложении Яндекс привело к возможности искать важную информацию без интернета.
Но для начала нужно понять главное: зачем мы вообще взялись за офлайн-поиск, если сайты из результатов поиска все равно недоступны при отсутствии сети?
EDGE-поиск
На радарах Яндекса традиционно видны люди, которые вводят запрос, но затем покидают страницу, не дождавшись загрузки из-за плохого мобильного интернета. В этой ситуации мы не могли повлиять на общее качество сети и скорость загрузки всех сайтов, но сделать менее болезненным хотя бы процесс поиска и сэкономить этим немного времени стоило попытаться. Собственно, поэтому этот проект изначально и назывался EDGE-поиском, т.е. поиском при медленном интернете.
Ускорить поиск можно двумя способами. Во-первых, максимально оптимизировать веб-версию и те API, которые использует приложение. И эта работа тоже ведется, но даже этого недостаточно. Во-вторых, можно заранее загрузить на устройство то, что пригодится при плохом соединении. Очевидно, что уместить весь индекс интернета в телефоне физически невозможно. Поэтому нужно было зайти со стороны локального хранения уже готовых результатов поиска по конкретным запросам. По каким? Предсказывать будущие запросы человека с высокой точностью пока никто не умеет (но мы учимся). Поэтому берем популярные повторяющиеся запросы.
Когда мы говорим про популярные запросы, то многие представляют себе запрос [вконтакте] и несколько подобных. На самом деле у нас сотни тысяч менее очевидных запросов, которые регулярно повторяются в больших количествах. А это уже многие сотни мегабайт результатов. Причем сохранять мы планировали не только результаты поиска, но и подсказки, которые появляются в процессе ввода запроса. И здесь многие спросят: зачем хранить в офлайне подсказки, ведь человек вполне способен ввести запрос и без них?
При вводе запросов в приложении Яндекс пользователи видят не обычные поисковые подсказки, а в виде отдельных слов/пар слов (т.е. предиктивный ввод текста). Обычные подсказки нельзя отредактировать: если нужно дописать слово, то придется вводить весь запрос самостоятельно. Подсказки в виде слов позволяют вносить правки, покрывают куда бОльшее число запросов и значительно ускоряют их ввод человеком.
Но главное в том, что подсказки оказались особенно полезны при работе в офлайн-режиме. Эти подсказки помогают людям сформулировать свой вопрос так, как это делает большинство, а это, в свою очередь, увеличивает шанс того, что ответ будет получен из локального кэша. Именно поэтому важно было сохранить и подсказки.
Эмпирически мы подобрали определенный минимум поисковых запросов (порядка 150 тыс.) и подсказок, меньше которого хранить смысла уже не оставалось. Но объем всего этого багажа по-прежнему выходил за рамки приличного (несколько сотен мегабайт). Даже с учетом того, что для каждого запроса хранились лишь топ-10 результатов. Нужно было что-то делать.
От оптимизации к офлайну
Начали искать все то, что можно было отправить «под нож». Каждый результат содержал в себе не только ссылки на сайты, но и фавиконки и сниппеты. Фавиконки – это картинки, а значит, здесь можно было добиться серьезной экономии. Один и тот же сайт может встречаться в результатах для совершенно разных запросов, поэтому мы изначально не дублировали фавиконки, а хранили их по сайтам. А дальше мы сделали так, что вероятность сохранения фавиконки прямо пропорциональна частоте появления сайта в результатах поиска. Иными словами, мы отказались от большинства фавиконок, но визуально это не сильно бросается в глаза.
Чем больше мы сокращали обычные результаты поиска в пользу уже готовых ответов, тем ближе подходили к пониманию, что наш EDGE-поиск уже не просто ускоряет работу, а способен отвечать на широкий круг вопросов вообще без соединения с интернетом. Сами того не замечая, мы уже работали над офлайн-поиском. А значит, ставку надо делать на готовые ответы. Осознав это, мы приступили к обогащению базы важными фактами, которые до этого не могли попасть туда из-за ограничения популярности запроса. Эти результаты содержат только ответы, без выдачи сайтов.
По похожей схеме мы скопировали в базу все карточки объектного ответа и все запросы, для которых объектный ответ доступен. Карточки при офлайн-поиске отличаются от оригиналов почти полным отсутствием картинок: мы убрали их из соображений экономии.
Рост базы фактов требовал дальнейшей работы над оптимизацией и такой структуры хранения данных, которая бы бережно относилась к ресурсам устройства.
Словари
База скачивается на устройство не целиком, а в виде отдельных словарей, причем только при Wi-Fi-соединении и только при достаточном уровне заряда. Разбивка на словари сделана по двум причинам. Во-первых, если при загрузке соединение рвётся, то во время следующей попытки будут скачиваться только те словари, которые не успели скачаться раньше. Во-вторых, для дополнительной экономии места база загружается и хранится на устройстве в сжатом виде, но при каждом запросе распаковывается не целиком, а только нужными частями.
Каждый словарь содержит запросы, начинающиеся на определенные буквы, а также все данные для выдач и подсказок по этим запросам. Отсортировать данные перед разбивкой на словари именно по первым буквам запросов оказалось логичнее, чем, например, по их популярности. Представьте ситуацию: в первом словаре лежат самые популярные запросы, во втором - чуть менее популярные и так далее. Но популярность запросов часто меняется, а это приведет к необходимости регулярно обновлять словари только ради того, чтобы переместить запрос из одного в другой. Это затраты трафика, энергии и времени. Поэтому было важно сделать так, чтобы при актуализации базы запросы не перемещались между словарями. Алфавитный порядок оказался простым и эффективным решением.
Ответы на одни и те же запросы могут различаться в разных частях страны, поэтому для разных регионов формируются свои словари. Причем при кратковременных визитах в другой регион приложение не будет спешить с обновлением словарей – мы предусмотрели сценарии командировок и туризма.
Как бы мы ни старались, офлайн-поиск покрывает не все возможные запросы, но уже сейчас выручает в среднем при каждом третьем. Как и для любого среднего результата, это значит, что одна часть пользователей сталкивается с офлайн-ответами куда чаще, чем другая. Поэтому мы, конечно же, позволяем полностью отключить офлайн-поиск в настройках.
Нашей команде было бы интересно узнать мнение читателей Хабра об этом направлении и получить отзывы о работе беты
VK.init({apiId: 2396388, onlyWidgets: true}); VK.Widgets.Like("vk_like", {type: "button", height: 20});
Window.___gcfg = {lang: "ru"}; (function() { var po = document.createElement("script"); po.type = "text/javascript"; po.async = true; po.src = "https://apis.google.com/js/platform.js"; var s = document.getElementsByTagName("script"); s.parentNode.insertBefore(po, s); })();
Все приложения компании Яндекс. Чтобы скачать игру/приложение, перейдите на страницу приложения.
Приложение для владельцев сайтов, которые зарабатывают с помощью Рекламной сети Яндекса.
С помощью виджета можно следить за своим доходом в рекламной сети. Виджет показывает, сколько составил ваш заработок за сегодня, за вчерашний день и за весь месяц. Информация обновляется автоматически каждые полчаса или при нажатии кнопки «Обновить».
Всегда актуальное расписание пригородных поездов в вашем телефоне. Узнавайте в одно нажатие время отправления ближайших электричек, цену билета и номер платформы. Избранные и заранее просмотренные маршруты доступны в оффлайн-режиме.
Приложение позволяет узнать расписание пригородных поездов на любой день в более чем 60 регионах России, Украины, Казахстана, Армении и Литвы. Расписание обновляется автоматически, учитываются все изменения и отмены поездов.
Яндекс на андроид - это приложение одноименной поисковой системы, которое позволит держать все, что необходимо для сёрфинга в интернете не только под рукой, но и под пальцем, который управляет используемым гаджетом.
Здесь есть все, что необходимо пользователю с самого утра. Это постоянно обновляющиеся главные новости, в которых можно узнать о последних событиях в мире, в вашем городе или в любой области знаний, настроенной в фильтре. Создавайте сами для себя новостную ленту с помощью приложения «Яндекс».
Телепрограмма Яндекс на андроид поможет узнать, что же интересного и нового идет по телевидению. Как государственные каналы, так и кабельное ТВ – все программы с временем и датами можно найти в соответствующей вкладке и контролировать свое телевидение, чтобы не пропустить любимую передачу.
Афиши же покажут ближайшие выходы фильмов и спектаклей, что идет сейчас на сцене и экранах, где что можно посмотреть и в какое время. Очень удобно, когда желание сходить в кино застало внезапно, в пути, когда с собой есть только смартфон или планшет.
Также рядом всегда можно найти то, что необходимо: магазины, достопримечательности, аптеки, рестораны, бары и клубы. Все это будет отмечено на картах и поможет добраться до нужной точки.
Также скачать приложение Яндекс на андроид бесплатно стоит по тому, что оно поддерживает голосовой поиск, что очень удобно в пути, когда нет времени вбивать необходимые запросы при помощи клавиатуры. Для тех же, кто не любит голосовой поиск, Яндекс угадывает запросы еще с первых вводимых слов, предлагая свои варианты. Безумно удобная облегчит жизнь тем, кто находится постоянно в пути и не может следить за всем с большого экрана. Это удобное приложение не займет много места, но принесет много пользы активным пользователям интернет-пространства.
Приложения для яндекс браузера выполняют практически то же, для чего необходимы расширения: они позволяют увеличить функционал интернет-обозревателя. Кроме того, они делают работу с программой более удобной. В отличие от расширений приложения yandex browser имеют собственный интерфейс.
Для того чтобы установить приложения, понадобится зайти в магазин яндекс браузера. Можно воспользоваться и предложениями сторонних ресурсов, однако, это должны быть надежные сайты, иначе есть риск «подцепить» вирус, который навредит не только интернет-обозревателю, но и всей системе. После того, как установочный файл будет скачан, кликните на нем дважды мышью и ждите завершения процесса.
Так как интернет магазин Яндекс.Браузер – это тот же , то найти его несложно. Большинство приложений распространяются в нем бесплатно. Поэтому нужно нажать на соответствующую кнопку и ждать, пока файл окажется на вашем компьютере. Найти необходимую утилиту также не составит труда. Дело в том, что представленные здесь расширения, дополнения, приложения делятся на категории, в зависимости от тематики: развлекательные, обучающие и пр.
После того, как вы установите утилиту, она появится на Табло. Теперь чтобы запустить приложение, необходимо перейти на него и кликнуть на нужную иконку. Управление утилитами возможно через настройки интернет-обозревателя. Для того, чтобы удалить ненужную, следует кликнуть на ее иконке на Табло. В открывшемся контекстном меню выбираем Удалить и жмем на ссылку.
Итак, магазин расширений для яндекс браузера предлагает огромное количество приложений, которые можно установить, и они, без сомнения, пригодятся. Давайте рассмотрим самые популярные из них. К примеру, Memo Notepad – это своеобразная записная книжка, в которой вы не только сможете делать заметки, но и сохранять их, пересылать по электронной почте, синхронизировать с другими записями в компьютере.
Говоря о том, какие приложения для яндекс браузера скачать, можно отметить Pocket, предназначенный для сохранения различного контента. Это могут быть рецепты, видео, веб-страницы и многое другое. Разработчиками предлагаются и приложения для яндекс браузера вконтакте. Они позволяют получить быстрый доступ к социальной сети, управлять музыкой и сообщениями и др. Особенно популярны данные утилиты среди владельцев , так как более удобно и быстро переходить на нужный сайт.
Так как яндекс магазин приложений для браузера имеет достаточно широкий ассортимент, то практически любой пользователь найдет то, что его интересует. К примеру, Gismeteo App – погодное приложение, позволяющее всегда быть в курсе не только текущей погоды, но и знать, какие сюрпризы природы ожидаются на завтра. QIWI Wallet – удобный многофункциональный сервис, позволяющий осуществлять платежи по всему миру в онлайн режиме.
Перечисленный список – это далеко не все бесплатные приложения для яндекс браузера. Популярностью пользуются развлекательные утилиты, которые несмотря на свою простоту, надолго привлекают внимание пользователей. Все приложения ранжируются не только по тематике, но и по их популярности. Благодаря этому любой пользователь может выбрать что-то по своему вкусу, причем, не затрачивая на поиск много времени. Если же вы точно знаете название необходимого приложения, то можно воспользоваться поиском по интернет-магазину. Большинство утилит распространяются бесплатно, хотя есть и такие расширения и приложения, за которые придется заплатить.
