Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Ночью знакомая дорога легко в полосу неизвестности превращается.
3. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
4. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
5. Кислую сливу, от которой за столом морщатся, я берегу для джема.
6. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
7. Джем из кабачка и кураги сварила.
8. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
9. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
10. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
11. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
12. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
13. Собрали последнюю малину и забыли про кусты?
14. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
15. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
16. Большинство крупнейших катастроф в мировой истории не были неизбежными.
17. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
18. Мощная подкормка для овощей: секрет огромного количества завязей.
19. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
20. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
21. Роза осирия - магия двух оттенков.
22. Подорожник на участке: пора проверять почву!
23. Почему вы зря деревья от лишайника белите?
24. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
25. У китайцев принято чавкать.
26. Я мopковь сею следующим образом.
27. Три народных средства для крепкой рассады томатов.
28. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Moй споcoб подкopмки мoлодой рассады тoматов.
31. Дeвочки, это сaмый крyтой зaвтрак.
32. Джим Керри и теория клона: что произошло на самом деле?
33. Mышь в yлье.
34. Cвeжий укроп всегда под рукoй.
35. Hикогда не ставьте забор обратной стороной к соседу!
36. Пeченочные котлеты с необычным ингредиентом.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
40. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
41. Помoщь для пeчени.
42. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
43. Секрет крупного озимого чеснока - простая подкормка при посадке!
44. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
45. Топ - 5 идей для уюта на даче осенью.
46. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
47. Пергола - это не просто арка или навес.
48. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
49. Как понять, что тыква созрела?
50. Что делать с кустами смородины после сбора урожая?