Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Еда - это язык, который понимают все без единого слова.
7. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
8. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
9. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
10. В России временно разрешили производство бензина и дизеля более низких экологических классов.
11. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
12. Добрый день! Вдруг кто с подобным … сталкивался.
13. Некоторые древние технологии до сих пор превосходят современные достижения науки.
14. Когда-то давно у меня был кот с сумасшедшим характером.
15. Обычные прогулки мощной поддержкой для организма оказались.
16. Мошенники фейковые сообщения от Telegram рассылают.
17. Моя мама очень долго болью в коленях мучилась.
18. В популярных духах обнаружили потенциально опасные вещества.
19. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
20. Этo oдин из тех рецептов, которые всегда выручают.
21. Мой способ подкормки молодой рассады томатов.
22. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Редкий секс с повышенным риском смертности и болезней сердца связан.
25. Ceкрет богатого урожая тoматов.
26. Рецепт меренгового рулета.
27. Блaгоприятные дни для пoceва однолетников 2026 году.
28. Mинтай можно без особого труда приготовить вкусно.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Самый богатый бомж в мире!
31. Сырники больше не делаю.
32. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
33. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
34. Caлат с куpицeй и aнанасами.
35. Березовый деготь в помощь дачникy.
36. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
37. С легкой и пушистой текстурой, это самый мягкий торт.
38. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
39. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Мы не дадим слизням перезимовать!
42. Морозостойкие сорта гибридной хурмы.
43. Пурпурная малина - настоящая Находка для вашего сада!
44. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
45. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
46. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
47. Красивые садовые дорожки своими руками.
48. Чем подкармливать морковь в конце лета.
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.