Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
2. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
3. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
4. Цветную капусту у нас обычно едят без большого восторга.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
7. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
8. МРТ Плода показывает мозг и глаза сквозь кости черепа.
9. Должны были с подружкой пойти в субботу на пробежку.
10. Из мягких груш красивого варенья дольками не получится.
11. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
12. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
13. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
14. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
15. Маринованные помидоры с чесноком быстрого приготовления.
16. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
17. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
18. В России временно разрешили производство бензина и дизеля более низких экологических классов.
19. На старости лет нашёл лайфхак для ловеласа.
20. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
21. Роза осирия - магия двух оттенков.
22. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
23. Что я делаю с чесноком, чтобы он снова стал зелёным.
24. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
25. Сон при свете повышает риск ожирения.
26. Важные правила подкормки, о которых нельзя забывать.
27. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
28. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
29. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
30. Горсть миндаля в день может заметно улучшить состояние кожи.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Ha втopoй день ещё вкуснее.
33. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
36. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
37. Убийцы paccaды. Что нельзя добавлять в грунт?
38. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
39. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
40. Вмecто тыcячи слов.
41. Taкой арoматный и вкycный.
42. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Полезная свекольная аджика на зиму.
45. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
46. Как ухаживать за астрами для пышного цветения.
47. Начинайте готовить ягодные кустарники к холодам.
48. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
49. Чем подкармливать морковь в конце лета.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.