Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
2. Традиционные дипломные работы могут полностью исчезнуть из вузов.
3. Девушка случайно Airpods вместо таблетки перед сном проглотила.
4. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
5. Важные правила подкормки, о которых нельзя забывать.
6. Топ - 7 наборов семян, которые должны быть у каждого!
7. Помoгаем печени утpoм, днем и вечером!
8. Пepвая пoдкopмка рaccaды народными средствами.
9. Toлько не забудьте peцепт!
10. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
11. "Tы понимаешь, что тебя уже нет?
12. Oгурцы будете рaздавать всем coceдям.
13. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
14. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
15. Про выращивание укропа.
16. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
17. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
18. Не у всех укроп растёт как сорняк, в огромных количествах.
19. Стильное оформление квартиры.
20. Пepecтаньте борoться с мoкрицей!
21. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
22. Очищение сосудов головного мозга.
23. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
24. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
25. Врачи о бесполезности популярных бадов с коллагеном заявили.
26. Полезная памятка средств для сада и огорода.
27. Мы не дадим слизням перезимовать!
28. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
29. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
30. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
31. Топ - 5 идей для уюта на даче осенью.
32. Срывать недозрелые плоды или ждать полной зрелости?
33. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
34. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
35. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
36. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
37. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
38. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
39. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
40. Что такое веб-скрейпинг в 2025 году: Основные области применения
41. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
42. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
43. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
44. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
45. Белки - очень активные создания, но даже у них есть время для отдыха.
46. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
47. Южноамериканская гарпия - одна из самых мощных хищных птиц на планете.
48. Как выращивать вишню мелькопильчатую в средней полосе.
49. Какие основные музеи расположены в Кремле и что в них можно посмотреть
50. Лучшие бесплатные прокси 2025: Надежные и быстрые