Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
2. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
3. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
4. Ночью знакомая дорога легко в полосу неизвестности превращается.
5. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
6. Родила дочь в свой день рождения.
7. Цветную капусту у нас обычно едят без большого восторга.
8. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
9. Пустая грядка в августе не обязана два месяца выращивать сорняки.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Что будет с землёй, если солнце внезапно исчезнет.
12. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
13. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. Серая гниль на розах - гадость мерзостная.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
18. Мы удаляем листья у томата по правилам!
19. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
20. Петербургские депутаты предложили изменить школьную программу полового воспитания.
21. Без иронии, вначале попробуйте, это очень вкусный напиток.
22. Так томаты в теплицу не просто так высаживают.
23. Здравствуйте, участники сообщества!
24. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
25. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
29. Слова - обереги, которые важно знать:
30. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Блaгоприятные дни для пoceва однолетников 2026 году.
35. Яблоки очень уникальный продукт.
36. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
37. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
38. Очищение сосудов головного мозга.
39. Что нужно знать о перце:
40. Подругa нaучила "Прaвильно" тушить капусту.
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Как правильно подкармливать пионы чтобы они пышно цвели.
43. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
44. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
45. Арапайма звучит как имя из глубокой древности, и недаром.
46. В 2026 году в России ожидается волна сокращений персонала.
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. Как ухаживать за астрами для пышного цветения.
49. Недорогое средство от пятнистостей на розах.
50. Острый соус, который можно замораживать.