Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
2. "Бaнановый Паyк" из мaгнита - пpичина гибели семьи.
3. Народного артиста 63-летнего Григория лепса бросила молодая невеста.
4. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
5. Топ - 5 самых неприхотливых сортов перца.
6. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
7. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
8. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
9. Как правильно подкармливать пионы чтобы они пышно цвели.
10. Мы применяем просроченные лекарства.
11. Малина ведрами. Как удается получать такой урожай?
12. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
13. Зачем нам медный и железный купорос.
14. Аромат осени в банке - яблочное варенье с корицей.
15. Конечно! Вот классический рецепт варенья из яблок с апельсином:
16. Морозостойкие сорта гибридной хурмы.
17. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
18. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
19. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
20. Что обязательно укрыть на зиму, кроме роз.
21. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
22. Чем подкармливать морковь в конце лета.
23. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
24. И другой более масштабный вариант есть.
25. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
26. Ароматная и легкая в приготовлении соль невероятно.
27. Лучшие инструменты для веб-скраппинга в 2025 году
28. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
29. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
30. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
31. Какие парки и скверы Москвы популярны для прогулок зимой
32. Как покупать на Амазоне: пошаговое руководство
33. Полное руководство: Как покупать на Amazon в 2025 году
34. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
35. Пластиковый пакет в среднем 10-15 минут используется.
36. Лучшие прокси для Instagram 2025: полный обзор и рейтинг
37. Чтoбы вырастить хороший чеснок, вам понадoбится в первую очередь сортовой семенной материал и конечно же соблюдение всех правил агротехники.
38. Сeтка oберeгает кaпусту oт бабoчек, при этoм не мешает пoливу и пoдкoрмкам.
39. Почему прокси-серверы необходимы для вашего ПК? Узнайте, как их настроить
40. Полное руководство по всем видам прокси-серверов
41. Секреты девушек с идеальной фигурой: как достичь своей мечты
42. ТОП 10 самых красивых женских фигур мира: Часть 1
43. Топовые идеи продуктов для Amazon FBA в 2025 году: Что будет востребовано
44. Как начать продавать на Amazon FBA в 2025: советы для начинающих
45. Как найти продукты с высоким спросом на Amazon FBA: полное руководство
46. Amazon FBA Seller ToolKit 2025: Как повысить продажи и оптимизировать бизнес на Amazon
47. Как найти товары для продажи на Amazon
48. Лучшие мобильные прокси 2025: Надежность и скорость для ваших нужд
49. Арбитраж трафика в 2025 году: итоги и тенденции
50. Меня научила итальянская семья.