Где найти человека, который сделает парсер для магазина?


Ответить на тему
 
Автор Сообщение

Создавать темы 31-Янв-2013 15:59

Topic has been split from Техническая часть

infobisgod
 

Муррка ®

Создавать темы 05-Фев-2013 02:38

31001Муррка, WP навряд ли потянет БД весом 30Гб + придется ломать голову, как подставлять цены поставщиков.
Мое решение:
1. пишем парсер (скорее всего десктопный), который будет переделывать базу с сайта дилера в экселевский файл. Цена от 500р и выше.
2. ищем плагин экспорта/импорта
3. устанавливаем и тестим
Был дико занят в эти дни, сейчас изучил вопрос, спасибо большое. Если я всё правильно понял, что к чему, то Ты чертовски прав!
Вопросы:
1. Где найти человека, который составит грамотный парсер?
2. Будет ли этот парсер делать автоапдейты этого экселевского файла, а тот файл автоапдейтить страницу магазина? Это ведь технически реально? :)
 

nds24

Создавать темы 05-Фев-2013 08:27 (спустя 5 часов)

34279Вопросы:
1. Где найти человека, который составит грамотный парсер?
http://anonym.to/?http://workzilla.ru/
http://anonym.to/?http://freelance.ru/
http://anonym.to/?https://www.free-lance.ru/
Публикуешь задание и ждешь, пока будет несколько предложений. В задании не указываешь стоимость, а просишь, чтобы они указали свою (хотя бы примерную).
Когда я заказываю подобную работу, разброс цен просто умиляет, иной раз за 600 рублей соглашаются (т.е. $20), а некоторые указывают $1500 (я не шучу!)
342792. Будет ли этот парсер делать автоапдейты этого экселевского файла, а тот файл автоапдейтить страницу магазина? Это ведь технически реально? :)
Можно сделать разовый парсер, который будет работать отдельно от сайта и обрабатывать базу. Можно интегрировать парсер в любую систему и он будет делать это автоматически.
НО!
С базой в 30 Гб это:
1. Практически невозможно, т.к. скрипт будет работать целую вечность, хотя, возможно, я недооцениваю мощности современных компьютеров. В любом случае, если парсер написать неоптимизированным, то ничего не выйдет, поэтому его должен писать знающий человек и 500 рублей тут явно не хватит.
2. Если скрипт будет выполняться на сервере (т.е. в автоматическом режиме), то потребуется хостинг с такими параметрами, который будет стоить нереально много.
Поэтому единственный вариант - сделать так, как говорит izi, т.е. выполнять его на своем компе (десктопная версия).
3. Вордпресс не справится с такой базой и упадет :)
Решение в твоем случае...
Хрен его знает, какое. Я бы точно отказался от Вордпресса, т.к. не забывай, что это в первую очередь движок для блога, а не площадка для реализации сложнейшего каталога с фильтрами, импортом и удобной системой заказа. Не делай из собаки ездовую лошадь.
Нужно смотреть в сторону серьезных систем, которые потянут нагрузку и будут корректно работать с большими базами. К таким системам вордпресс явно не относится.
Все вышесказанное - ИМХО.
P.S. В моей веб-студии пару лет назад был клиент, который хотел примерно то же, что и ты.
Мы с ним работали достаточно долго и сделали сайт с автообновлением прайсов от кучи поставщиков запчастей, в итоге он сейчас работает и радуется. Но система получилась сложнейшая и ее стоимость превышала 7 000$
 

infobisgod

Создавать темы 06-Фев-2013 11:41 (спустя 1 день 3 часа)

34422Муррка,
1. Ссылки уже скинули. Когда я заказывал парсер киноафиши с яндекса, то парсер-плагин для сайта мне готовы были сделать за 200-300 баксом + сроки до 2 недель, что, конечно же, мне нравилось. Решил заказать дескропную версию, т.к. прогу для ПК: стоимость была 50-100 баксов. В итоге я нашел чувака, который сделал мне за 400р и за 1,5 дня :) Сейчас запускаю парсер раз в неделю, работаю час и заливаю инфу на сайт.
2. Автообновление можно сделать, но готов, что фрилансеры загнут цену. Хотя я могу ошибаться.
34437izi, Не поделишься контактами человека, который сделал за 400 р и 1,5 дня?)
Тоже есть что парсить.
34452unandrew, аська 3два955пять9один7
пс: его месяц в аське уже не было
 

unandrew

Создавать темы 06-Фев-2013 12:23 (спустя 42 минуты)

izi, благодарю за контакт.
Действительно не отвечает.
Если нужно, мой сотрудник программист, пишет парсеры в среднем за 75-120$ за 1 сайт.
Я потому и удивился, когда узнал, что 400 р и 1,5 дня..
Вобщем если нужно - пишите сайт, я скажу точную стоимость парсинга. Или сразу дам контакты прогера - как удобнее..
 

izi

Создавать темы 06-Фев-2013 12:29 (спустя 5 минут)

unandrew, возможно цена была низкая из-за того, что я ему написал алгоритм работы на русском языке, ему осталось его перевести в программный, дописать и все запаковать :)
Хотя он до высланного алгоритма сказал, что 400р, точно не помню.
 

Dingo

Создавать темы 06-Фев-2013 22:22 (спустя 9 часов)

hostcms знаю у людей выдерживал 5 миллионов наименований ( автодетали)
 

Муррка ®

Создавать темы 15-Фев-2013 17:23 (спустя 8 дней)

Пока что пришли к следующим выводам:
1. WP жёстко не подходит под эти цели.
2. Забирать такую базу с чужого сайта регулярно парсером означает по количеству запросов то же самое, что DDoSить этот сайт.
Что делаем:
1. Идёт подготовка к работе с компаниями-поставщиками на тему того, чтобы добиться всё же от них каких-то продвижений, в конце концов мы будем зарабатывать им деньги (дельту между их оптом и нашей розницей).
2. Ищем программиста, который бы занялся сайтом поплотнее.
 

izi

Создавать темы 15-Фев-2013 18:34 (спустя 1 час 11 минут)

47855
2. Забирать такую базу с чужого сайта регулярно парсером означает по количеству запросов то же самое, что DDoSить этот сайт.
Насколько я помню, прайс на одной странице или нет? Если да, то о ддоса при парсинге не должно быть, т.к. идет работа с одной страницы.
 

sim0n

Создавать темы 16-Фев-2013 23:07 (спустя 1 день 4 часа)

если сделать 100 потоков то сайт должен выдержать ну или задержку просто сделать
izi, досят как раз таки 1 страницу)
 
Показать сообщения:    
Ответить на тему