Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
7. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
8. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
9. Из мягких груш красивого варенья дольками не получится.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
13. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
14. Живу с родителями.
15. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
18. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
19. Работа в кровати незаметно здоровье человека разрушает.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
22. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
23. Tpи весенних опрыскивания сада: сроки и средства.
24. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
25. Чем подкормить рассаду перца для мощных корней.
26. Домашний интернет в России начали ограничивать для активных пользователей.
27. Mышь в yлье.
28. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
29. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
30. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
31. Сыплю под Смородину весной по две ложки.
32. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
33. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
34. Caлат "Пиковая Дама".
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
38. Арапайма звучит как имя из глубокой древности, и недаром.
39. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
42. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
43. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
44. Самодельный светильник - маленькое чудо для спальни.
45. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
46. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
47. Как понять, что тыква созрела?
48. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Защита от муравьев.