Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
2. Девушка случайно Airpods вместо таблетки перед сном проглотила.
3. В России обновили правила сдачи экзаменов на водительские права.
4. Мой личный лайфхак относительно учёбы.
5. Гигантский астероид скоро рядом с землёй пройдёт.
6. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
7. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
8. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
9. Последний защитник брестской крепости.
10. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
11. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
12. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
13. В Мавритании ходит один из самых впечатляющих поездов на планете.
14. Рецепт меренгового рулета.
15. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
16. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
17. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
18. Рецепт плюшек: Ингредиенты для опары:
19. Дeвочки, прошу вaшего совета.
20. Мы удобряeм сливу правильно!
21. Как правильно ухаживать за фиалками.
22. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
23. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
24. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
25. Лучший способ хранения чеснока.
26. Уже давно делаю по этому рецепту!
27. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
28. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
29. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
30. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
31. Маленькие, но важные детали делают интерьер особенным.
32. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
33. Почему засыхает малина в период созревания ягод?
34. Самый легкий способ укоренения розы из букета!
35. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
36. Какие интересные факты о московских улицах и их названиях
37. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
38. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
39. Лучшие скраперы Instagram 2025: полное руководство
40. Надежный список прокси: обновление каждый день
41. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
42. Белки - очень активные создания, но даже у них есть время для отдыха.
43. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
44. Как использовать дачное пространство по максимуму!
45. Как заказать товары на Amazon в Россию: полное руководство
46. Пластиковый пакет в среднем 10-15 минут используется.
47. Какие мероприятия проводятся в парках Санкт-Петербурга летом
48. 10
49. Почему стоит выбрать качественный геотекстиль.
50. Топ-13 Прокси-Сервисов для Безопасного Серфинга в Сети