Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Россияне снова смогут оформлять иммиграционные визы в США.
2. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
3. Всю жизнь терпеть не могу своё имя - Валентина.
4. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
5. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
6. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. У моего отца дочь от первого брака была.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
11. Живу с родителями.
12. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
13. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
14. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
15. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
16. Здоровый быт начинается с внимания к предметам, которые вас окружают.
17. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
18. Много лет отжиралась, но сейчас железно решила сесть на диету.
19. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
20. Малина в июне в правильной подкормке нуждается.
21. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
22. Плитка из ведерка от майонеза: дачный шик своими руками.
23. Архивные фото Ирины шейк из юности.
24. Всегда в путешествиях.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Никогда не выращивайте томаты и перец без этого!
29. Фунчоза с овощами.
30. Hикогда не выращивайте tomаты и перец без этого!
31. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
32. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
33. Убийцы paccaды. Что нельзя добавлять в грунт?
34. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
35. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
36. Как правильно ухаживать за фиалками.
37. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
38. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
39. Уже давно делаю по этому рецепту!
40. Россиян ожидает резкое повышение тарифов на электроэнергию.
41. Яркий акцент для сада.
42. Что делать, если листья огурцов стали "Мраморные"?
43. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
44. Создать овальные подносы можно легко, используя только свои руки.
45. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
46. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
47. Вкусный рецепт бургера с курочкой.
48. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
49. Знаете, зачем завязывают ботву чеснока в узел?
50. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.