Как создать лучшую поисковую систему, чем Google

Дэвид Пирс, главный редактор и соведущий Vergecast с более чем десятилетним опытом работы в сфере потребительских технологий. Ранее в Protocol, The Wall Street Journal и Wired.

Шридхар Рамасвами покинул Google не для того, чтобы создать еще одну поисковую систему. По крайней мере, не поначалу. К концу своего 15-летнего пребывания в Google Рамасвами руководил всем рекламным подразделением компании, контролируя более 10 000 человек — он лучше других знал, сколько работы нужно, чтобы хорошо выполнять поиск.

Вы почти не можете переоценить, насколько доминирует Google в поиске. Согласно большинству исследований, Google занимает около 90 процентов мирового поискового рынка, и это число неуклонно растет на протяжении 20 лет. Google является поисковой системой по умолчанию почти в каждом браузере и почти на каждом устройстве. Мы не ищем в Интернете; мы гуглим это. Bing и Yahoo являются вторым и третьим по величине игроками, и когда вы в последний раз что-нибудь использовали в Bing или Yahoo? Google потратил свой огромный политический, инженерный и финансовый капитал, чтобы сохранить эту ситуацию.

Но лучше других Рамасвами знал все, что Google не мог или не хотел делать со своей поисковой системой. Имея миллиарды пользователей и сотни миллиардов долларов, которые необходимо защитить, Google вряд ли когда-либо будет рассматривать огромные изменения в своей странице результатов, новые бизнес-модели или любые продукты, которые могли бы заставить пользователей меньше искать. (Рамасвами на самом деле тестировал функцию Google Contributor, которая позволяла людям платить за отсутствие рекламы на некоторых сайтах. Это не сработало.) Здесь была возможность сделать что-то, чего Google просто не мог или не хотел. Поэтому, когда он покинул компанию в 2018 году, Рамасвами и Вивек Рагунатан — давний руководитель Google и YouTube — основали компанию Neeva для создания поисковой системы будущего.

В этом году The Verge исследует, как Google Search превратил Интернет в место для роботов — и как появление искусственного интеллекта угрожает самому Google.

Путь был тернистым, но команда Neeva в конечном итоге создала поисковую систему, которой они гордились, поисковую систему, которая была близка к тому, чтобы превзойти Google как по внутренним показателям Neeva, так и по исследованиям пользователей. Людям, которые его попробовали, оно понравилось, и у Нивы был длинный план действий, наполненный идеями о том, как сделать поиск еще лучше. Еще немного времени, и они вполне могут построить будущее поиска. Но всего через четыре года Neeva закрылась.

В некотором смысле, краткий проблеск существования Нивы расскажет все, что вам нужно знать о последних 20 годах превосходства поисковых систем. Создать поисковую систему сложно. Создать компанию лучше, чем Google, еще сложнее. Но если вы хотите превзойти Google, улучшение поисковой системы — это только начало. И дальше становится только сложнее.

Поисковая система — это одновременно чрезвычайно сложная вещь и довольно простая идея.

На самом деле все, что делает поисковая система, — это компилирует базу данных веб-страниц, известную как «поисковый индекс», затем просматривает эту базу данных каждый раз, когда вы отправляете запрос, и обслуживает лучший и наиболее релевантный набор этих страниц. Вот и вся работа.

Однако на каждом крошечном этапе этого пути возникают огромные сложности, требующие критических и сложных компромиссов. Большинство из них сводятся к двум вещам: времени и деньгам.

Даже если бы вы могли гипотетически создать постоянно обновляемую базу данных, содержащую все бесчисленные миллиарды страниц в Интернете, одни только затраты на хранение и пропускную способность обанкротили бы практически любую компанию на планете. И это даже не считая затрат на поиск в этой базе данных миллионы или миллиарды раз в день. Добавьте к этому тот факт, что важна каждая миллисекунда — Google по-прежнему сообщает, сколько времени занял каждый запрос, вверху ваших результатов — и у вас все равно нет времени просматривать всю базу данных.

Таким образом, создание собственной поисковой системы начинается с удивительно философского вопроса: что делает веб-страницу хорошей? Вы должны решить, что считать разумным несогласием, а что — просто дезинформацией. Вы должны выяснить, сколько рекламы — это слишком много рекламы. Сайты, явно написанные искусственным интеллектом и изобилующие SEO-мусором: плохо. Блоги с рецептами, написанные человеком и изобилующие SEO-мусором: в основном это нормально. Порно? Иногда нормально, иногда нет.