Лайфхаки

Маленькие, полезные хитрости

Unlocking the Power of Amazon Proxies: The Top 9 Choices for 2023

03.12.2024 в 03:26

Unlocking the Power of Amazon Proxies: The Top 9 Choices for 2023

Amazon proxies are a powerful tool for anyone looking to scrape data from the Amazon website. With the right proxy, you can access Amazon's vast database of products and prices, and use that information to make informed decisions about your business.

But with so many different Amazon proxies on the market, it can be hard to know which one to choose. That's why we've put together this list of the top 9 Amazon proxies for 2023.

1. Luminati

Luminati is one of the most popular Amazon proxies on the market. It offers a huge pool of IP addresses, making it easy to access Amazon's website from anywhere in the world. Luminati also offers advanced features like geo-targeting and session control, making it a great choice for anyone looking to scrape data from Amazon.

2. Smartproxy

Smartproxy is another popular Amazon proxy. It offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. Smartproxy is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

3. Oxylabs

Oxylabs is a powerful Amazon proxy that offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. Oxylabs is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

4. Stormproxies

Stormproxies is a smaller Amazon proxy provider, but it offers a high-quality service. It has a smaller pool of IP addresses, but it offers fast speeds and reliable uptime. Stormproxies is also known for its excellent customer service, making it a great choice for anyone looking for a reliable Amazon proxy.

5. MyPrivateProxy

MyPrivateProxy is a high-quality Amazon proxy provider. It offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. MyPrivateProxy is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

6. Highproxies

Highproxies is a popular Amazon proxy provider. It offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. Highproxies is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

7. Blazing SEO

Blazing SEO is a high-quality Amazon proxy provider. It offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. Blazing SEO is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

8. Proxy-Seller

Proxy-Seller is a smaller Amazon proxy provider, but it offers a high-quality service. It has a smaller pool of IP addresses, but it offers fast speeds and reliable uptime. Proxy-Seller is also known for its excellent customer service, making it a great choice for anyone looking for a reliable Amazon proxy.

9. SSLPrivateProxy

SSLPrivateProxy is a high-quality Amazon proxy provider. It offers a large pool of IP addresses, as well as advanced features like geo-targeting and session control. SSLPrivateProxy is also known for its fast speeds and reliable uptime, making it a great choice for anyone looking to scrape data from Amazon.

Conclusion

==========

These are the top 9 Amazon proxies for 2023. Whether you're looking for a large pool of IP addresses, advanced features like geo-targeting and session control, or fast speeds and reliable uptime, there's an Amazon proxy on this list that's right for you.

Связанные вопросы и ответы:

1. Что такое прокси-серверы на Амазонке

Прокси-серверы на Амазонке - это сервисы, которые позволяют пользователям анонимно просматривать и взаимодействовать с сайтом Amazon. Они используются для обхода региональных ограничений, получения доступа к информации, которая недоступна в определенных регионах, а также для обеспечения безопасности и конфиденциальности пользователей.

2. Какие преимущества использования прокси-серверов на Амазонке

Использование прокси-серверов на Амазонке имеет ряд преимуществ. Во-первых, они обеспечивают анонимность пользователей, что важно для тех, кто хочет сохранить свою конфиденциальность. Во-вторых, они позволяют обходить региональные ограничения, что важно для тех, кто хочет получить доступ к информации, которая недоступна в определенных регионах. В-третьих, они обеспечивают дополнительный уровень безопасности, защищая пользователей от мошенников и злоумышленников.

3. Как выбрать лучший прокси-сервер на Амазонке

Выбор лучшего прокси-сервера на Амазонке зависит от конкретных потребностей пользователя. Важно учитывать такие факторы, как скорость, надежность, стоимость и уровень безопасности. Также следует обратить внимание на отзывы других пользователей и рейтинги прокси-серверов.

4. Какие типы прокси-серверов существуют на Амазонке

Существует несколько типов прокси-серверов на Амазонке, включая HTTP, HTTPS, SOCKS и VPN. Каждый тип имеет свои особенности и преимущества, и выбор типа прокси-сервера зависит от конкретных потребностей пользователя.

5. Как использовать прокси-сервер на Амазонке

Использование прокси-сервера на Амазонке происходит через специальное программное обеспечение или браузерные расширения. Пользователь должен указать IP-адрес и порт прокси-сервера, а также авторизоваться, если это необходимо. После этого все сетевые запросы будут перенаправлены через прокси-сервер, и пользователь сможет анонимно просматривать и взаимодействовать с сайтом Amazon.

6. Как часто нужно менять прокси-сервер на Амазонке

Частота смены прокси-сервера на Амазонке зависит от конкретных потребностей пользователя. Если пользователь использует прокси-сервер для обхода региональных ограничений, то он может менять его каждый раз, когда необходимо получить доступ к новой информации. Если пользователь использует прокси-сервер для обеспечения безопасности и конфиденциальности, то он может менять его реже, например, раз в месяц или раз в квартал.

7. Как избежать блокировки аккаунта на Амазонке при использовании прокси-серверов

Чтобы избежать блокировки аккаунта на Амазонке при использовании прокси-серверов, следует соблюдать несколько правил. Во-первых, нельзя использовать один и тот же прокси-сервер для множества аккаунтов. Во-вторых, нельзя использовать прокси-сервер для совершения массовых заказов или создания большого количества аккаунтов. В-третьих, нельзя использовать прокси-сервер для совершения мошеннических действий или нарушения правил Amazon. Если вы соблюдаете эти правила, то риск блокировки аккаунта будет минимальным.

Что такое прокси-сервер для Amazon

Чтобы подобрать мобильные прокси для работы с маркетплейсом Amazon максимально корректно, необходимо учитывать особенности работы данной площадки. В частности, одно из обязательных требований — это наличие в перечне местоположении ГЕО США. Дело том, что многие спецпредложения распространяются исключительно на жителей этой страны в то время, как для пользователей из других регионов они будут недоступны. Наряду с бесплатными серверами также не рекомендуется использовать и прокси, которые выделяют один IP-адрес для нескольких пользователей. В результате на площадке может наблюдаться подозрительная активность, которая системой воспринимается за спам и тут же блокируется подключение. Еще один момент, о котором в обязательном порядке надо знать: площадка пока не поддерживает протокол IPv6. То есть вам необходимо выбирать сервисы, в распоряжении которых присутствует именно IPv4.

Также хороший прокси-сервер для работы с площадкой Amazon должен отличаться следующими аспектами:

  • обеспечивать высокую скорость интернета, что станет залогом удобной и быстрой работы с площадкой;
  • стабильное подключение к самому маркетплейсу и другим интернет-ресурсам, которые вы используете в работе;
  • гарантия высокой анонимности действий в интернете в целом и при взаимодействии с площадкой в частности;
  • поддержку разных протоколов передачи данных, что станет залогом высокой безопасности работы в сети;
  • возможность быстро и просто менять геолокацию вручную непосредственно в рабочем процессе;
  • поддержка большого количества сетей, подсетей, что обеспечит эффективную работу без малейшего риска.

Всем этим требованиям соответствуют исключительно приватные мобильные прокси, в частности от сервиса MobileProxy.Space.

Какие преимущества имеют лучшие прокси-серверы для Amazon

Ниже указаны основные аспекты, которые следует учитывать при сравнении лучших прокси-провайдеров на рынке.

  • Типы прокси-серверов: типы IP-адресов прокси-серверов, предоставляемые компанией (например, резидентные прокси-серверы, прокси-серверы центров обработки данных, прокси-серверы интернет-провайдеров, мобильные прокси-серверы), а также то, являются ли они совместно используемыми или выделенными. Чем больше типов прокси-серверов доступно пользователям, тем больше вариантов использования предлагает провайдер.
  • Прокси-сеть : количество IP-адресов прокси-серверов в сети и места, в которых они доступны. Чем больше и шире сеть, тем больше шансов преодолеть географические ограничения и найти быстрый сервер рядом с пользователем.
  • Поддерживаемые протоколы : типы трафика, поддерживаемые прокси-серверами провайдера.
  • Время безотказной работы : процент доступности сервера, гарантированный прокси-провайдером. Это хороший показатель быстроты реакции провайдера в случае вынужденного отключения и критических ошибок.
  • Коэффициент успеха : процент запросов, успешно прошедших через прокси-серверы. Чем он выше, тем меньше ошибок возникнет у конечных пользователей при маршрутизации трафика через прокси-серверы провайдера.
  • Количество клиентов : количество компаний, обслуживаемых провайдером. Только лучшие прокси-провайдеры могут четко определить количество клиентов и их состав.
  • Поддержка клиентов : готовность провайдера решать проблемы пользователей и направлять посетителей к подходящему им предложению. Чем больше каналов поддержки, тем лучше для клиента.
  • Оценка по отзывам на G2 : что пользователи говорят о провайдере на G2.com. Мнение пользователей позволяет получить представление о качестве услуг, предлагаемых провайдером.
  • Бесплатная пробная версия : наличие пробного периода, которым пользователи могут воспользоваться для тестирования предлагаемых провайдером прокси-сервисов перед их покупкой.
  • План оплаты по факту использования : наличие плана с оплатой по факту использования, подтверждающего заинтересованность провайдера в поддержке даже индивидуальных разработчиков или небольших компаний, которым прокси-серверы требуются на нерегулярной основе.
  • Цены : цена самого доступного плана доступа к прокси-сервисам.
  • Продукты и возможности : список всех других продуктов, услуг и возможностей, дополняющих предложения прокси-серверов. Продукты прокси-провайдера могут помочь маркетологам, разработчикам, лицам, принимающим решения, специалистам по обработке данных и многим другим.

Какие факторы следует учитывать при выборе прокси-сервера для Amazon

proxys.io

proxy6.net

proxy-sale.com

Вы такие используете? Я угадал? Ну если нет, то все равно похожие на эти. Одним словом - хостинговые. Да, они дешевые, но в условиях Амазона совершенно неэффективные.

topsocks.io

Вот, какие прокси используем мы. В чем их плюс - расскажу дальше

Наши рекомендации по работе на Amazon в 2020 году!

Итак, во-первых - будем использовать нормальный антидетект виртуальной машины, который не уникализирует наши отпечатки, а подменяет их так, что любой сайт расценит вас как пользователя реального компьютера, хоть вы и работаете на виртуальной машине.

Те, кто внимательно читал пост выше, видят, как тут красиво. Программа полностью закрывает вопрос с устройствами аудио, хотя и работает на виртуалке, где нет и в помине камеры и микрофона.

Генерирует Canvas, но все же не делает уникальный. Таким образом, можно быть уверенным, что пристальное внимание к себе уделяться не будет.

Напоследок есть настройки эмулирования

Сразу говорю - это не реклама софта и нашли мы его сами методом обычного поиска в интернете. Тем более он бесплатный.

Во-вторых будем использовать нормальные прокси на topsocks.io. В чем их фишка? Они настоящие, иными словами, это реальные домашние IP-адреса. Еще плюсом является то, что тут можно выбрать себе прокси с точным ZIP-адресом. Если у вас возникают вопросы что не так с другими прокси - читайте дальше.

dnslytics.com

Любой IP можно проверить по данным ASN - сети. При этом вам откроется много всего что содержится в данных вашего IP.

Нас конкретно интересует сколько было выдано IP адресов и сколько на этих адресах зарегистрировано доменов. Тут я взял свою домашнюю сеть. Мы видим, что выдано адресов 111,000 шт., при этом доменов всего лишь 1200. Это допустимое значение для любых домашних провайдерских сетей.

Теперь посмотрим данные о хостинговых прокси. Видим, что выдано 20,000 адресов и на эти адреса есть 21,000 доменов. Что это значит? Это значит, что эта сеть сдается в аренду, иными словами это и есть прокси. Таким образом сайтике могут получить информацию о том, что у вас стоят прокси.

Я думаю, теперь стало понятно, в чем преимущество домашних прокси, которыми мы пользуемся.

На topsocks необходимо при регистрации указывать пригласительный код. Вы можете написать нашим админам, и они с радостью поделятся им с вами.

Еще одна важная вещь - номера телефонов, которыми мы пользуемся при регистрации аккаунтов. Всякие sms-activate, simsms и другие сервисы не подойдут и лучше брать номера из IР-телефонии. В App Store или Google Play есть много приложений, которые предоставляют такие номера. Причем за них даже не обязательно платить. В 90% таких приложений есть бесплатный пробный период. Просто активируйте его, примите СМС и отмените подписку. Получите хороший номер телефона за бесплатно.

Какие типы прокси-серверов можно использовать для работы с Amazon

Мы рассматривали разные возможности решения проблемы. Можно было сделать новую группировку данных, например помесячно (сейчас у нас данные группируются по дням), но это, по сути, означало бы, что пользователи стали бы получать менее глубокую аналитику.

Другая возможность — увеличить мощности сервера, например перейдя на использование SSD-накопителей. Это хороший вариант, так как он требует минимальных изменений продукта, но дорогостоящий — наши затраты могли бы вырасти в десять раз.

Возможно было и самописное решение, которое  использовало бы файлы как элементы очереди. Но его м инусы  — это отсутствие масштабирования и невозможность контейнеризации, а также большие затраты на разработку и сложность поддержки.

Еще одним вариантом было использование Gearman. Более подробно об этом можно почитать здесь .

Плюсы этого решения:  быстрое внедрение и надежность.

Минусы:  отсутствие управления временем и видимости сообщений. Кроме того, это решение не персистентное.

В итоге мы нашли вариант, который позволил нам взять под контроль проблемное место в самом продукте. Им стал механизм отложенных запросов через Amazon Simple Queue Service (SQS) .

Amazon SQS  — это простой сервис, который принимает очереди сообщений для хранения. Он гарантирует, что сообщения будут доставлены как минимум один раз, но не гарантирует, что сообщения будут доставлены в том порядке, в котором были отправлены.

Для наших нужд этот сервис идеально подходит, так как он прост в использовании, по нему есть хорошая документация, а вся логика хранится на серверах Amazon, что немного разгружает нашу систему.

Минусы тоже есть — это  сама по себе зависимость от  сервиса Amazon. Кроме того, при больших объемах сообщений это решение требует дополнительных затрат (сейчас идет бесплатно до 1 000 000 сообщений в месяц).

Как выбрать подходящий прокси-сервер для своего бизнеса на Amazon

Поставщики прокси горизонтально расширяются, осваивая новые ниши и инструменты. Основное внимание уделяется выпуску API-интерфейсов для веб-скрапинга. Это позволит сервисам создать экосистему собственных продуктов, которые будут решать комплексные задачи пользователей: от обеспечения доступа и безопасности в сети, до парсинга и анализа данных. 

Резидентные и датацентр прокси остаются наиболее востребованными у пользователей и занимают 95% рынка. Впрочем, набирают обороты ISP-прокси,  комбинирующие статический и резидентный тип соединения — они размещены на серверах дата центров, но IP идентифицируются как адреса реальных пользователей. Несмотря на ажиотаж, мобильные прокси по-прежнему используются для узкого круга задач, по крайней мере, среди клиентов крупных провайдеров. 

Давайте подробно разберем основные типы прокси, посмотрим на динамику их развития на рынке и сравним по основным параметрам: эффективности, скорости и цене.

Датацентр (корпоративные) прокси

Это протоколы, которые запускаются на серверах больших дата центров, таких как Amazon Web Services и Google Cloud Platform. Часто их используют корпорации для обеспечения безопасности внутренних сетей. Такие прокси обычно имеют высокую пропускную способность и скорость. Однако их IP-адреса не принадлежат реальным пользователям, поэтому легко могут быть обнаружены сайтами, отслеживающими трафик. Чаще всего популярные площадки для парсинга, например, Amazon или eBay знают IP-адреса дата центров и заранее добавляют их в черный список.

Большинство датацентр прокси-серверов взимают плату только за IP-адреса, без ограничения трафика и запросов на подключение. Датацентр прокси работают быстро — скорость отклика у них в несколько раз выше, чем у резидентных или мобильных прокси — но стоят дешевле всего из-за низкой трастовости IP-адресов.

Резидентные прокси

Эти прокси-серверы используют IP-адреса реальных людей, предоставляемые интернет-провайдерами. Основное преимущество резидентных прокси — высокий уровень анонимности и редкие блокировки адресов благодаря живым трастовым IP . Кроме того, такие прокси позволяют выбрать конкретное местоположение: регион, страну и город, а также настроить таргетинг на ASN провайдеров, чтобы избежать внимания регуляторов и обойти географические ограничения в сети.

Резидентные прокси образуют огромные сети, охватывающие миллионы IP-адресов. Количество IP в пуле прокси-провайдера характеризует уровень сервиса — 100 млн адресов в премиум-сегменте или несколько тысяч у лоукостеров. Также различия проявляются в наличии дополнительных функций. Так, таргетинг на  ASN остается редкой премиальной опцией. Исходя из отличий, формируется цена на прокси, обычно она выстраивается в зависимости от количества трафика в подписке, оплата только за использованные GB встречается редко.

Мобильные прокси

P2P прокси — это серверы, расположенные на смартфонах или планшетах, подключенных к мобильным сетям. Пулы мобильных прокси чаще всего меньше и значительно дороже резидентных или корпоративных, но у них самый высокий уровень анонимности в сети. Это связано с особенностями работы мобильного интернета.
Сотовые операторы технически не могут выдать каждому абоненту, подключенному к интернету, статический IP-адрес. Они распределяют собственный ограниченный пул IPv4 адресов на миллионы пользователей с помощью алгоритма NAT. Поэтому на одном мобильном IP-адресе могут одновременно работать тысячи абонентов. Из-за этого блокировка любого подозрительного адреса приведет к бану множества юзеров, а потеря целевой аудитории крайне нежелательна для крупных интернет-ресурсов.

Мобильные прокси на основе USB-модемов с SIM-картами внутри c помощью специального скрипта превращаются в отдельный сервер. По сравнению с peer-to-peer сетями такая схема позволяет повысить контроль за отдельными IP-адресами и увеличить время безотказной работы прокси с ротацией по требованию. В последнее время этот тип сервисов стал востребованным у пользователей. Так, на популярном форуме BlackHatWorld появилось около 20 новых провайдеров мобильных прокси за последний год — это подтверждает тезис, что спрос на мобильные прокси растет, а на рынке все еще остались свободные ниши для новых игроков

API на основе прокси

Эти инструменты обычно представляют собой комбинацию датацентр и резидентных прокси. Их цель — упростить работу пользователей, которым нужно собирать большие массивы данных. API-интерфейсы позволяют успешно решать комплексные задачи веб-парсинга с помощью динамической ротации IP-адресов, встроенному обходу капчи и сокрытию цифровых отпечатков в браузере. К тому же они экономят время клиентов, отправляя готовые датасеты по запросу за максимально короткий срок. Такой метод получения данных становится все популярнее, он применяется для парсинга сложных сетей, к примеру Google или Amazon.

Какие функции должен иметь лучший прокси-сервер для Amazon

Если ваш бизнес попал под волну блокировок IP-адресов Роскомнадзором, или у вас по другой причине возникли проблемы с сервисом, помните о том, что нужно исправлять сбой как можно быстрее. Неделя, в течение которой ваш сервис не работает или работает без возможности использовать все функции, может привести к снижению доходов в следующем месяце.

Совет 1. Не пишите в Роскомнадзор  

На сайте Роскомнадзора есть форма обращения , через которую можно написать о проблеме, возникшей у вашего сервиса. К сожалению, у коллег, которые обращались в ведомство, не получилось исправить неполадки в облачных сервисах при помощи Роскомнадзора.

В ведомство поступает достаточное количество обращений, поэтому оперативно решать проблему каждого сервиса оно не имеет возможности. Нам, представителям малого бизнеса, важно выиграть время, поэтому советую стартапам контролировать критические функции самостоятельно. Помните о том, что если ваш сервис долго не работает или работает достаточное количество времени без возможности использовать все функции, пользователи будут винить ваших разработчиков, а не Роскомнадзор.

Совет 2. Имейте в запасе план «Б»

Соберите команду разработчиков, ответственных за работу с данными, которые совместными усилиями сделают несколько планов по устранению проблемы. Остановиться на одном решении — довольно рисковый шаг, поскольку план «А» может не сработать, и, чтобы не терять время, необходимо сразу же после неудавшейся первой попытки тестировать план «Б». Еще лучше — иметь несколько решений.

Вечером 17 апреля встретились наши Android-разработчики и сотрудник, который отвечает за обработку данных. Им было необходимо предложить варианты решения проблемы в приложении, чтобы исправить неполадки в сервисе наиболее быстрым и простым способом.

Первое решение группа выдала сразу. Мы планировали обойти блокировку с помощью обычного прокси-сервера, однако через тот прокси-сервер, который мы использовали, не работала авторизация в сервисах Google.

Пришлось применить более сложное решение, на исполнение которого потребовалась два с половиной дня. Нам пришлось заменить родные протоколы Firebase на стандартные протоколы API, чтобы подключить прокси-сервер для обхода блокировок. Обновление мы выпустили уже в пятницу. Сервис стал работать медленнее, информация отображалась не мгновенно, как это было до сбоя. Пока работаем на обновленном Firebase, но уже начали разработку собственной базы, которая будет работать на нашем оборудовании.

Совет 3. Предупредите пользователей

Конечно, если возникает проблема с сервисом, необходимо о ней сообщить клиентам. Я не считаю нужным рассылать уведомления о сбое тем пользователям, которые могут воспользоваться всеми функциями приложения. Объявление лучше делать контекстным, его можно разместить в самом сервисе — тогда его прочитают те, кто столкнулся или может столкнуться с неудобствами.

Совет 4. Приостановите рекламную кампанию

Рассчитать аудиторию, которую не коснулись блокировки Telegram и которой можно показывать объявления в расчете на целевое действие, невозможно, поэтому, если у вас запущена рекламная кампания, лучше приостановите ее.

Часть наших клиентов не могла полноценно пользоваться Marlin в течение недели. Так совпало, что за день до сбоя мы запустили рекламную кампанию, и ее сразу пришлось приостановить. Нам была нужна двухнедельная кампания, чтобы протестировать гипотезы о взаимодействии с аудиторией до майских праздников. Однако ситуация нас вынудила ее приостановить, и мы получили только недельную статистику.

Как использовать прокси-сервер для Amazon для увеличения производительности

Каждый месяц люди совершают миллионы поисковых запросов на Amazon. Они вводят поисковые запросы (ключевые слова), начиная от отдельных слов и заканчивая длинными фразами (long-tail keywords). Большинство людей, пользующихся Amazon, приходят туда, чтобы совершить покупку — они не ходят по магазинам. Если они знают, чего хотят, то обычно вводят в строку поиска название конкретного бренда или товара, например, «ASICS Men’s Gel-Venture 7 Running Shoes». Если они менее уверены, то, скорее всего, наберут более общий поисковый запрос, например, «беговые кроссовки» или даже просто «обувь». Amazon получает список товаров в результате поиска. Это будут преимущественно «органические» результаты поиска , не подверженные влиянию платной рекламы. Amazon попытается найти наиболее релевантные результаты поиска на основе списков товаров, используя хорошую поисковую оптимизацию ( SEO ).

Однако Amazon также представляет второй список результатов, который он называет «Спонсируемые». Это платные результаты поиска. Если вы наведете курсор на маленький символ «i» рядом со спонсорской рекламой, вы увидите сообщение от Amazon: «Вы видите эту рекламу на основании соответствия продукта вашему поисковому запросу». Amazon размещает спонсорские объявления в различных местах, в том числе над и рядом с органическими результатами. Часто несколько продавцов участвуют в торгах, чтобы занять высокое место в рейтинге для своих объявлений по определенным ключевым словам . Amazon учитывает два фактора при принятии решения о том, где будет показано конкретное объявление:

  • Цена ставки CPC — те, кто ставит большую цену за размещение своего объявления, получают лучшие места.
  • Фактор качества — Amazon определяет «качество» объявления по вероятности того, что кто-то на него кликнет. Это означает, что рекламодатель высококачественного объявления может предложить меньшую цену за позицию, чем рекламодатель с менее качественным объявлением.

Какие ограничения могут быть связаны с использованием прокси-серверов для Amazon

Американская ИТ-компания Datafy разработала платформу управления жизненным циклом информационных продуктов, частью которой является управляемая служба Apache Airflow для планирования пользовательских заданий. Клиенты могут создавать новые экземпляры AirFlow через интерфейс командной строки, чтобы тестировать свои приложения на собственном экземпляре фреймворка вместо совместного использования одного инстанса, чтобы ускорить разработку и отладку data pipeline’а. Однако, это приводит к тому, что у некоторых клиентов много экземпляров Airflow. Чтобы повысить рентабельность, Datafy использует один и тот же экземпляр Amazon RDS (Relational Database Service, облачный сервис реляционных СУБД) для каждого из клиентских экземпляров Airflow.

Напомним, AirFlow хранит в собственном репозитории-базе данных (может быть MySQL, Postgres и пр.) свои внутренние данных: состояния задач, DAG’ов, настройки соединений, глобальные переменные и т.д. Запуск нескольких экземпляров Airflow на одном RDS означает много открытых подключений к базе данных. Это ограничивает количество экземпляров Airflow, которые может поддерживать одна СУБД. В частности, инженеры Datafy столкнулись с проблемами масштабирования фреймворка: каждый из клиентских экземпляров Airflow по умолчанию создает 10 подключений, и при планировании заданий это число увеличивается.

Например, при запуске 100 экземпляров Airflow, будет 1000 подключений к базе данных. Даже при том, что не все инстансы Airflow работают постоянно, такое количество подключений создает огромную нагрузку на СУБД, в данном кейсе это PostgreSQL, соединения с которой требуют значительных затрат памяти и ЦП. AWS RDS позволяет ограничить количество подключений для определенного экземпляра RDS, чтобы защитить компьютер от взлома, но этого недостаточно для эффективной утилизации ресурсов.

Поэтому возникает потребность в увеличении разных количества клиентов при меньшем числе подключений к базе данных, чтобы повысить эффективность системы и получить больше отдачи от RDS . Для этого дата-инженеры Datafy решили использовать Amazon RDS Proxy — полностью управляемый высокодоступный прокси-сервер базы данных для Amazon RDS, который делает приложения более масштабируемыми, более устойчивыми к сбоям базы данных и более безопасными . Как это реализовано и насколько выгодно, мы рассмотрим далее.