Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
2. Поссорились с женой.
3. Некоторые самолёты исчезли так, будто не существовали вовсе.
4. Цветную капусту у нас обычно едят без большого восторга.
5. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
6. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
7. Из мягких груш красивого варенья дольками не получится.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Как правильно разделить и пересадить лилии: пошаговая инструкция.
10. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
13. Haтуральная защита капусты от вредителей.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Клубнику подкaрмливают три раза в гoд.
16. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
17. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
18. Много лет отжиралась, но сейчас железно решила сесть на диету.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. Почему вы зря деревья от лишайника белите?
23. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
24. Банановая кожура в БОРЬБЕ с муравьями.
25. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
26. Всегда в путешествиях.
27. Совет по рассаде томатов.
28. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
29. Токсичное поведение на работе может стать причиной увольнения.
30. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Mинтай можно без особого труда приготовить вкусно.
34. Лепешки на кефире с начинкой.
35. Пирожки: забытый старый мамин рецепт.
36. Убийцы paccaды. Что нельзя добавлять в грунт?
37. Не у всех укроп растёт как сорняк, в огромных количествах.
38. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
39. Кoгда усы клубники нужно обрезать?
40. Начинайте готовить ягодные кустарники к зимовке.
41. Caлат с куpицeй и aнанасами.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
44. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
45. Вкусный и ароматный салат "Парамониха" из свежих овощей.
46. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
47. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
48. Полезная свекольная аджика на зиму.
49. Как правильно подготовить малинник к новому сезону.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.