Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
2. Мне 37, молодая и здоровая была, но за год постарела.
3. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
4. Найти хорошую работу в России становится практически невозможно для большинства граждан.
5. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
6. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
7. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
8. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
9. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
10. Урологи из сша новую технологию увеличения разработали.
11. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
12. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
13. Этo oдин из тех рецептов, которые всегда выручают.
14. Первая обработка сада от паразитов весной: полный гайд.
15. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
16. Горсть миндаля в день может заметно улучшить состояние кожи.
17. Чем подкормить рассаду перца для мощных корней.
18. Mышь в yлье.
19. Нежный пирог черный принц из варенья.
20. Hикогда не ставьте забор обратной стороной к соседу!
21. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
22. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
23. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
24. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
25. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
26. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
27. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
28. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
29. Арапайма звучит как имя из глубокой древности, и недаром.
30. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
31. Формировать смородиновый куст можно как весной, так и осенью.
32. Секрет крупного озимого чеснока - простая подкормка при посадке!
33. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
34. Красивые садовые дорожки своими руками.
35. Создать овальные подносы можно легко, используя только свои руки.
36. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
37. Эти малыши, размером 5-10 см.
38. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
39. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
40. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
41. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.
42. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
43. Знаете, зачем завязывают ботву чеснока в узел?
44. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
45. Как ухаживать за сливой, чтобы собрать щедрый урожай.
46. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
47. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
48. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
49. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
50. Бюджетная отмостка - это практичное и недорогое решение для защиты фундамента от влаги и осадков.