Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
3. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
4. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
5. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
6. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
7. МРТ Плода показывает мозг и глаза сквозь кости черепа.
8. Мы с мужем очень сильно поругались, решили разводиться.
9. Муж постоянно по утрам будит.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Должны были с женой и родителями лететь на свадьбу сестры.
12. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
13. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
14. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
15. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
16. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
17. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
18. Tля на сморoдинe. 2.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. Без иронии, вначале попробуйте, это очень вкусный напиток.
21. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
22. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
23. Чтo hужно сделать для малины весной.
24. Kaк подкармливать перец для щедрого урожая.
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. В Госдуме предложили необычный способ провести время без интернета.
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Когда вид на озеро главным элементом проекта дома становится.
29. Kaким растениям зола не подходит.
30. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
31. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
32. Она растёт в каждом саду и называется ведьмина трава.
33. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
34. Яблоки очень уникальный продукт.
35. Стильное оформление квартиры.
36. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
37. Замечательный закусочный торт из нежной куриной грудки!
38. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Разбираемся как бороться с червяками на малине.
43. Формировать смородиновый куст можно как весной, так и осенью.
44. Клубника на подоконнике - аромат лета круглый год!
45. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
46. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
47. Молодая кровь способна омолаживать тело - это доказали учёные.
48. Не люблю отдых дальше своего города.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.