Гугл глобал кэш что это
Перейти к содержимому

Гугл глобал кэш что это

  • автор:

Гугл глобал кэш что это

Корпорация Google в рамках сложившейся геополитической обстановки, по сообщению ресурса ComNews, предложила российским операторам связи альтернативный способ сохранения качественного доступа к своим сервисам, включая YouTube. Речь идёт об организации прямого стыка в Москве или Санкт-Петербурге вместо применения кеширующих серверов Google Global Cache (GGC).

Системы GGC — это специальные программно-аппаратные комплексы, которые размешаются на площадках локальных операторов и используются для кеширования тех или иных материалов, в частности, видео с YouTube. Таким образом, популярный контент загружается с основных серверов Google только при первом запросе, а в дальнейшем распространяется с помощью GGC. Это ускоряет доступ к материалам для региональных пользователей и снижает нагрузку на сетевые каналы.

 Источник изображения: pixabay.com

Источник изображения: pixabay.com

По оценке ComNews Research, в начале 2022-го на сетях российских операторов были установлены около 700 серверов GGC, тогда как к концу 2023 года их количество сократилось примерно до 450. Связано это с износом и моральным устареванием оборудования. Кроме того, ещё в мае 2022 года Google начала отключать некоторые узлы GGC в России.

Участники рынка отмечают, что Google уже год не поставляет в Россию новые GGC-серверы, а трафик продолжает расти. Поэтому рано или поздно данная система может полностью прекратить работу в РФ. На этом фоне, как ожидается, вырастет популярность отечественных CDN-сервисов. Вместе с тем, полагают эксперты, организация прямых стыков с системами Google в Москве и Санкт-Петербурге поможет операторам избежать части проблем с доставкой контента в центральной части РФ, но не решит её для клиентов из других регионов страны.

(adsbygoogle = window.adsbygoogle || []).push(<>);

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Материалы по теме:

  • Новый пакет санкций ЕС запретил поставлять в Россию промышленное ПО
  • Piter-IX повысил стоимость пропуска трафика
  • Google представила свой самый быстрый ИИ-ускоритель — Cloud v5p
  • Omdia: по итогам года поставки серверов в штучном выражении рухнут на 20 %, но выручка вырастет
  • Выручка Google Cloud выросла почти на четверть, а сама Google сэкономила почти $3 млрд, увеличив срок эксплуатации серверов
  • Каналы поставок серверов становятся всё более фрагментированными

Источник:

Google предложила провайдерам РФ вместо Google Global Cache сделать прямой стык в Мос­кве или Санкт-Пе­тер­бур­ге

Google предложила российским операторам связи вместо выходящих из строя и переполняющихся без модернизации своих кэширующих серверов Google Global Cache (GGC) организовать прямой стык в Москве или Санкт-Пе­тер­бур­ге для сохранения качественного уровня доступа к сер­ви­сам компании, включая Youtube.

Эксперты считают, что из-за дег­ра­дации сети GGC в РФ качество ви­део­кон­тен­та у сер­ви­сов Google в 2024 году может пострадать.

Кэширующие узлы GGC представляют собой часть инфраструктуры Google, которая находится к пользователям ближе всего и располагается в сети локальных операторов. На этих серверах временно хранится популярный контент, который часто запрашивают пользователи. Это ускоряет доступ к Google-сервисам: YouTube, Google Maps, Google Play. Такое решение экономит полосу пропускания и компании Google, и операторам связи.

Без GGC контент, запрашиваемый пользователями, поступает напрямую с серверов Google. С кэширующими серверами всю цепочку проходит, например, только первая копия видеоролика. Запросы последующих пользователей обслуживает оборудование GGC на стороне провайдера.

При возникновении проблем в элементах этой системы или прекращении работы узлов GGC в какой-либо стране, контент с сервисов Google будет грузиться медленнее, увеличится время загрузки некоторых сайтов. Особенно это будет заметно пользователям видеохостинга YouTube.

С мая 2022 года Google начала процесс отключения в РФ небольшой части серверов GGC, установленных у некоторых провайдеров. Речи о прекращении работы системы GGC в стране пока не идёт. Google уже остановила работу ряда своих узлов с формулировкой «в связи с изменениями в правовой сфере». Google пообещала, что продолжит предоставлять пользователям из РФ бесплатные сервисы, такие как поисковик, YouTube, GMail, «Google Карты», Google Play и другие. Компания не уточнила, будут ли они поставляться с таким же высоким уровнем доставки и скоростью работы, как и ранее.

Жёлтые точки — места размещения оборудования Google Global Cache.

По оценке ComNews Research, в начале 2022 года на сетях российских операторов действовало около 700 кэширующих серверов GGC, а к концу 2023 года их количество сократится примерно до 450.

Ранее любой оператор связи даже с небольшим потреблением трафика мог обратиться в Google и получить кеширующий сервер. Ему привозили сервер, и контент YouTube раздавался не из Европы или Москвы, а прямо в регионах, на местах. Это хорошо для всех — пользователей, операторов, сервисов. Но Google уже год не поставляет серверы, а трафик внутри сети продолжает расти.

Представители отрасли считают, что рано или поздно серверы GGC в РФ закончат существование из-за своего естественного износа, либо их мощностей перестанет хватать, чтобы обеспечить нужный объем передачи данных в сети. Сначала пользователи заметят проблемы с короткими видео в Youtube, которые перестанут быстро загружаться сразу в хорошем качестве. Потом доступ к YouTube в регионах станет менее отзывчивым. После этого трафик начнёт перекладываться на Москву и Санкт-Петербург, нагружать магистральные сети все больше и больше, а также значительно увеличится трафик в международных направлениях.

Профильные эксперты раскрыли, что, например, количество серверов GGC в сети
«ЭР-Телеком» уже начало сокращаться из-за их естественного износа.

Представитель CDNvideo допускает вариант снижения качества контента YouTube: «В ближайшее время скорость доступа к видеоконтенту Google, очевидно, ухудшится, если не предпринять какие-то действия. Как следствие — пользователи будут смотреть ролики YouTube в низком качестве или доступ к ним будет прерываться».

Некоторые представители операторов связи подтвердили, что получили письма от Google о планах компании выводить Google Global Cache и сделать стыки в разных городах для получения трафика. По их мнению, Google сам делает такие шаги навстречу, так как в компании понимают, что сейчас не обслуживает серверы в России, а в итоге всё равно трафик сначала уйдёт в Москву и Санкт-Петербург, в основные стыки компании.

Эксперты добавили, что этот шаг со стороны Google является вынужденным, так как компании приходится оперативно реагировать на текущие запреты на ввоз телекоммуникационного оборудования в РФ из-за санкций

К части провайдеров предложение Google не приходило. Там считают, что стыки решат проблему лишь частично, так как у многих операторов в рамках обеспечения глобальной связности сервисы Google уже несколько лет подключены к своим пиринговым сетям напрямую. В этом случае, организация прямых стыков с Google поможет многим операторам избежать проблемы с качеством контента в центральной части РФ, но не решит её для клиентов из других регионов страны. Исключением может стать Дальний Восток, куда магистральные операторы смогут доставлять трафик Google из Японии.

Представитель «ТрансТелеКома» добавил СМИ, что у ТТК уже несколько лет существует прямой стык с Google на площадке в Стокгольме: «Пропускная способность этого стыка регулируется сообразно объёму трафика, который в последнее время, действительно, имеет тенденцию к росту. По нашим наблюдениям, комбинация межсетевых стыков и кеширующих серверов в целом позволяет сохранить качественный доступ к сервисам Google».

В начале ноября заместитель председателя комитета Госдумы по информационной политике, информационным технологиям и связи депутат Антон Горелкин предложил операторам связи в РФ отменить безлимитный доступ к YouTube, чтобы не изнашивать сетевое оборудование. Это заявление депутат сделал после выхода в СМИ новости о том, что в российских регионах за год средняя скорость мобильного интернета снизилась с 20 Мбит/с до 18,7 Мбит/с, а в Москве — выросла более чем на 20%, до 63,2 Мбит/с. Эксперты считают, что рост скорости связи в Москве связан с тем, что в столицу направлены основные инвестиционные потоки операторов и там устанавливается современное оборудование. Минцифры и операторы связи не подтверждают факт снижения скорости мобильного интернета в стране.

  • операторы связи
  • google global cache
  • ggc
  • IT-инфраструктура
  • Сетевые технологии
  • Монетизация IT-систем
  • Облачные сервисы
  • Сетевое оборудование

Введение:

Глобальный кэш Google (GGC) (также называемый «пограничным узлом») представляет уровень сетевой инфраструктуры Google, находящийся в максимальной близости к пользователям.

Вот так сам Google описывает его:

“Благодаря нашим пограничным узлам, сетевые операторы и интернет провайдеры (ISP) размещают сервера, поставляемые Google, внутри своей сети.”

Статический контент, который популярный среди пользователей провайдеров, включая YouTube и Google Play, который уже был запрошен пользователями, в сети провайдера, кэшируется(сохраняется) на пограничных узлах GGC.

Системы управления трафиком Google перенаправляют запросы пользователей на пограничный узел GGC, который обеспечивает доступ к контенту, размещенному локально у провайдера, то есть не требуется запрашивать контент через всю сеть, так как данный контент уже сохранен на пограничном узле GGC вашего провайдера.

Иногда, также используется кэш пограничного узла GGC для доставки других сервисов Google, таких как поиск Google, который обеспечивает улучшенную сквозную производительность для конечного пользователя.

Немного обо мне: Меня зовут Леонид Кролле, и я хочу изменить мир к лучшему, сделав его чуточку безопаснее.

Я занимаюсь информационной безопасностью: исследованиями в области как железных, так и программных продуктов. ИБ занимаюсь с начала 90х годов, работал в крупных Российских ИБ компаниях, сейчас полностью перешёл на Bug Bounty.

Отмечен такими компаниями как: Google, Ebay, Danske Bank, AT&T, Mail.ru и многими другими крупными компаниями.

Преамбула:

Какое отношение Google имеет к аппаратному и программному обеспечению, которое устанавливается у провайдера как часть GGC?

«Пограничный узел (GGC) реализован как набор серверов, развернутых в центре обработки данных провайдера и управляемых Google. Количество развернутых серверов зависит от требований пользователей к полосе пропускания и количества мест, в которых вы решили установить узлы GGC».

Итак, на данный момент мы получили достаточно информации, чтобы четко понять, что такое GGC:

Это часть ресурсов, управляемых Google.

Мой день — это поиск и обработка данных, которые мне помогают в нахождении уязвимостей в web и сетевых приложениях компаний, которые участвуют в качестве инициаторов Bug Bounty, а также написание отчётов о найденных уязвимостях компаниям, либо на платформу: Hackerone, Bugcrowd, Intigriti.

Bug Bounty — это программа, предлагаемая компаниями по оценке защищенности веб, а также, сетевых ресурсов.

Занимаясь исследованием, я обнаружил некоторую важную информацию: было обнаружено несколько устройств Cisco с включенной службой Smart Install, которые уязвимы к атаке, позволяющей осуществить удаленное произвольное выполнения кода(RCE) на этих устройствах, а также, возможность получать файлы конфигурации устройств, изменить их и загрузить обратно в устройство Cisco.

Cisco Smart Install — это возможность конфигурации устройства по технологии «plug-and-play», а доступна также функциональность управления образами, обеспечивающая развертывание новых устройств без участия пользователя.

· Например, можно отправить коммутатор Cisco в удаленный офис, поместить его в сеть и включить его без необходимости настройки устройства заранее. Далее оно будет уже сконфигурировано специалистом из любого места. Функционал Cisco Smart Install чем-то похож на TeamViewer, только без GUI.

Чтобы это все работало, технология включена по умолчанию.

Всё хорошо, только есть одно, НО:

Уязвимость CVE-2018–0171 была обнаружена в коде ПО для сетевых коммутаторов Cisco Smart Install Client. Она позволяет принудительно перезагрузить устройство, выполнить на нем произвольный код или обновить прошивку либо конфигурацию устройства.

Изначально об уязвимости сообщено ещё в феврале 2017 года.

Cisco Security Advisory: Cisco Smart Install Protocol Misuse

Cisco is aware of a significant increase in Internet scans attempting to detect devices where, after completing setup…

Как-то тёплым летним вечером лениво просматривая огромную базу reverse dns и поглаживая кошку, я наткнулся на интересный момент, который и послужил началом исследования: Что же это за момент спросите вы? Анализируя таблицу обратного соответствия dns имён, было замечено, что некоторые хосты cache.google.com (служебный домен Google, для кеширования) скажем так, находятся вне автономных сетей Google, либо проще: адреса cache.google.com относятся к ip адресам провайдеров.

Кошка не без интереса наблюдала за картиной анализа данных разворачивающейся на экране…

А картина разворачивалась следующая: отобрав из таблицы reverse dns все записи, относящиеся к cache.google.com и просканировав их с помощью nmap, затем проверив с помощью инструмента под названием SIET by Sab0tag3d, было выявлено, что на части этих ip адресов установлены Cisco со включенным сервисом Smart Install, в общей сложности их оказалось более 10.

Неплохо, как мне казалось…

Сверившись с правилами программы вознаграждений Google (Google VRP https://www.google.com/about/appsecurity/reward-program/)

и учитывая предыдущий опыт взаимодействия с командой Google, (https://xakep.ru/2017/07/11/adwords-free-views/), с которой мне пришлось бодаться около 4х месяцев, в результате, все так решение о выплате вознаграждения было принято,

просто необходимо было подтвердить документально владение этими устройствами компанией Google LLC.

Оказалось, что в свободном доступе не так много документов по поводу Google GGC, если не верите, можете попробовать поискать сами, но мне удалось обнаружить необходимый документ:

(Перевод: Компания Google оставляет право владения на аппаратное и программное обеспечение, входящее в состав ноды GGC)

Получив необходимые подтверждения владения компанией Google сервисов, в которых мною были обнаружены уязвимости, я приступил к созданию отчётов в систему Bug bounty компании.

Приложив необходимые доказательства существования уязвимостей в виде скаченных конфигурационных файлов Cisco с устройств на которых размещается GGC.

Сверившись с таблицей вознаграждения, я начал ждать… Чего?

Класс уязвимости, который был мной обнаружен относится к RCE, судя по таблице оплачивается из расчёта 31337$ за каждую.

Немного о грустном: Чем грозит использование данной уязвимости на серверах с GGC?

· Перехват трафика, который проходит через этот сервер GGC. Может вызвать утечку информации или других конфиденциальных данных.

· Модификация трафика. Можно использовать много вариантов, таких как инъекция вредоносных программ, вирусов, майнеров, подмена трафика, например, переадресация или замена контента.

· Cisco может быть использована как отправная точка для компрометации провайдера, таким образом, Google оставив активированной функцию Smart Install подставила под удар не только своих пользователей, а ещё и провайдеров, в дата центрах которых и размещены Google GGC сервера.

· DDOS самих себя: нарушив маршрутизацию траффика на cisco, можно заблокировать контент, ради которого кеширующие сервера и были установлены.

Ответы службы VRP Google поставили меня в тупик:

“Еще раз спасибо за отчет.

На самом деле это устройство принадлежит не Google, а одному из наших партнеров на границе сети. Мы уведомили их, но, к сожалению, этот отчет не может быть принят в программе VRP. Спасибо за понимание и с нетерпением ждем новых сообщений от вас.”

Переобуться на ходу? Не вопрос, пришло чуть позже:

“Уязвимость, которую вы присылали ранее мы закрыли.”

Спасибо за понимание и с нетерпением ждем новых сообщений от вас.

Кто партнеры, кто ответственный, а кто мистер Google, если ответ службы поддержки VRP звучит так?

В данный момент подана исковая претензия в компанию Google LLC USA, что же, посмотрим, как будут дальше разворачиваться события…

Итак, на данный момент мы поняли: что такое кеш Google, как захватить глобальный кеш Google и создать наш собственный Google.

Google начал уничтожать свою инфраструктуру в России. Грядет ухудшение работы YouTube

В России начались отключения серверов Google Global Cache. Они нужны для быстрой работы сервисов Google, в том числе YouTube. Google рассылает уведомления об их отключении небольшим провайдерам, притом в некоторых случаях корпорация сначала дергает рубильник и лишь спустя пару дней присылает письмо. В сетях крупных провайдеров серверы Google Cache пока работают, но их отключение может быть вопросом времени.

Новая «атака» Google на Россию

Интернет-гигант Google в начал отключать в России серверы своей сети Google Global Cache (GGC), предназначенные для ускорения загрузки контента, пишет РБК. Без таких серверов многие сервисы Google, в особенности YouTube, станут работать существенно медленнее.

Уведомления о скором отключении серверов GGC уже получили несколько региональных операторов связи, в том числе компания «Радиосвязь» из Оренбурга, известная под брендом «Фокус лайф». Ей письмо поступило от компании Raiden Unlimited Company – ирландской «дочки» Google.

В документе указано, что серверы GGC в сети «Радиосвязи» будут отключены «в связи с изменениями правовой практики». Притом в письме не говорится, временная ли эта мера. Не исключено, что такие серверы в России отключатся навсегда.

Сначала действие, потом уведомление

С одной стороны, Google поступил по-честному и уведомил провайдера о скором применении «большого рубильника». Это никаких вопросов не вызывает, поскольку сеть серверов Global Cache – это собственность Google, и, фактически, интернет-гигант вправе распоряжаться ею по своему усмотрению.

goog600.jpg

Нельзя исключать вероятность того, что Google решил отключить весь российский сегмент сети Global Cache

С другой стороны, свои серверы GGC в составе инфраструктуры «Радиосвязи» Google вывел из эксплуатации еще 19 мая 2022 г. и лишь спустя несколько дней официально уведомил провайдера. Об этом изданию сообщили представители «Радиосвязи».

Притом точные причины, по которым Google решил отключить сервер GGC, внедренный именно в сеть «Радиосвязи», на 26 мая 2022 г. известны не были. Со слов представителей провайдера, через конкретно этот сервер проходил сравнительно небольшой объем трафика.

Санкции играют свою роль

Письмо, схожее с тем, что поступило «Радиосвязи», получил и провайдер «МФТИ телеком». Как и в случае с «Радиосвязью», Google не стал указывать конкретные причины остановки сервера. Однако в этом письме он обратился к сотрудникам провайдера как к «команде МФТИ». По информации источников РБК на телеком-рынке России, это может указывать на то, что в данном случае отключение сервера GGC напрямую связано с геополитической ситуацией в мире. МФТИ как учебное заведение в настоящее время находится в санкционных списках

Крупных игроков пока не трогают

«Атакуя» небольших провайдеров, Google пока не трогает крупных операторов связи. Это подтвердили изданию представители «Ростелекома», подчеркнув, что «не наблюдают отключений» серверов GGC в сети провайдера.

Аналогичное заявление сделали и представители МТС. С их слов, «доставка трафика с ресурсов корпорации Google осуществляется для МТС в штатном режиме». В сети «Мегафона» изменений в работе GGC тоже нет. «Вымпелком» (бренд «Билайн», Tele 2 и холдинг «ЭР-телеком» («Дом.ру») отказались от комментариев.

Крайне полезные серверы

Google развивает сеть серверов GGC по всему миру. Они позволяют в значительной степени повысить скорость доступа к сервисам корпорации, не перегружая при этом магистральные каналы. В частности, такие серверы хранят локальный контент того же YouTube, чтобы россиянин, желающий посмотреть видео российского блогера, не выкачивал его с серверов из других стран. Это повышает скорость загрузки, что позволяет пользователям смотреть ролики в высоком разрешении без длительного ожидания. Провайдерам серверы GGC тоже нужны – за счет них сокращается их объем трансграничного трафика.

Серверы GGC используются и для других Google, например, для CAPTCHA. Это алгоритм проверки пользователя на «человечность», позволяющий сайтам отличить пользователя от «робота». Даже при работающих серверах GGC данный алгоритм далеко не всегда работает безукоризненно в плане скорости, а их отключение может и вовсе вызывать сбои в его работе на территории России.

Google «отменяет» Россию

Google в числе первых присоединился к антироссийским санкциям, хотя вводимые им ограничения поначалу не были столь показательными, как в случае с Apple, которая еще в первых числах марта 2022 г. полностью прекратила продажи своих устройств на территории России. Сперва все ограничивалось лишь удалением «санкционных» приложений в Google Play и ограничениями в работе платежной системы G Pay.

Но были и менее заметные широким массам движения. Так, в марте 2022 г. Google начала тайно вывозить сотрудников своего российского офиса за рубеж. В середине мая 2022 г. компания ООО «Гугл», являющаяся российской «дочкой» Google, подала заявление на банкротство, а спустя еще несколько дней появились новые подтверждения вывоза сотрудников российского офиса за рубеж. Тем, кто не был готов к релокации, компания предлагала приступить к поискам новой работы.

Андрей Ковалев, ITKey: Мы не пытаемся создавать «клаудштейна»
Цифровизация

При всем этом представители Google заявляли, что банкротство ООО «Гугл» никак не скажется на работе сервисов Google – видеохостинга YouTube, почтового сервиса Gmail, магазина приложений Google Play и др. Про то, что компания начнет отключать российские серверы GGC, они не говорили.

Следует отметить, что в России существуют отечественные аналоги большинства самых востребованных сервисов Google. Большинство из них работают годами, как, например, картографические сервисы «2ГИС» и «Яндекс.навигатор», а некоторые, как магазин RuStore, заработали совсем недавно.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *