Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Цветную капусту у нас обычно едят без большого восторга.
2. Открыла вчера тыкву, а она оказалась огромной.
3. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
4. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
5. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
6. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
7. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
8. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
9. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
10. Живу с родителями.
11. Формировка огурцов. 1. начинаю с нижней части.
12. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
13. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
14. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
15. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
16. Российские власти введение дополнительной платы за VPN отложили.
17. Так томаты в теплицу не просто так высаживают.
18. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
19. Архивные фото Ирины шейк из юности.
20. В популярных духах обнаружили потенциально опасные вещества.
21. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
22. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
23. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
24. Сamые удачные сорта моркови на 2026 год.
25. Чтo hужно сделать для малины весной.
26. Проект за 200 миллионов долларов превратился в странный город - призрак.
27. Ваши вопросы: пожелтела совсем туя после зимы.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Домашний интернет в России начали ограничивать для активных пользователей.
30. Никогда не выращивайте томаты и перец без этого!
31. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
35. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
36. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
37. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
38. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
39. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. Маринованные помидоры. Предлагаю рецепт помидорчиков.
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Какие лилии могут зимовать в грунте!
44. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
49. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
50. Мы готовим малинник к следующему сезону правильно!