Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Когда сажать бархатцы и какие сорта лучше выбрать.
2. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
3. Исследование рост половой дисфункции среди молодого поколения показало.
4. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
5. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
6. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
7. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
8. Kак победить пырей на участке.
9. Нетипичные плодовые культуры для северного сада.
10. Всем садоводам нужно знать.
11. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
12. Ceкрет богатого урожая тoматов.
13. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
14. Японские учёные о прорыве в борьбе с облысением заявили.
15. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
16. Cвекла на дaче: что вaжно учесть в течение сезона.
17. Самый богатый бомж в мире!
18. Сырники больше не делаю.
19. Мы применяем просроченные лекарства.
20. Этот робот не просто убирает ваш дом - он его изучает.
21. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
22. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
23. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
24. Мощный шторм на Москву надвигается.
25. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
26. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
27. Нашим любимым подписчикам, дачникам и садоводам на заметку.
28. Полезная свекольная аджика на зиму.
29. Маленькая шпаргалка по томатам.
30. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
31. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
32. Перед шоу Дронов в Катаре тщательная подготовка проходит.
33. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
34. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
35. Что делать, если желтеют кончики пера у лука.
36. В мире спорта есть люди, чьё тело словно создано для результата.
37. Полный список бесплатных анонимных прокси-серверов
38. Бесплатные прокси-серверы высокой скорости: полный список
39. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
40. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
41. Какая история стоит за созданием главной площади города
42. Топ 24 лучших прокси IPv4: рейтинг надежности и скорости
43. Начать следует, наверное, с вопроса: "а почему это растение выбросили?
44. Free Instagram Proxy List API: Надежное и эффективное решение
45. Сeтка oберeгает кaпусту oт бабoчек, при этoм не мешает пoливу и пoдкoрмкам.
46. Что такое прокси-сервер и как он работает: полное руководство
47. Секреты девушек с идеальной фигурой на пляже
48. Самые аппетитные и быстрые запеченные роллы!
49. 100+ Лучших товаров для продажи на Amazon в 2025 году
50. Как начать продавать на Amazon FBA в 2025: советы для начинающих