Сбор статистики продаж на 3ddd

Автор
Сообщение
Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва
Цитата Aivory:

Скрипт зависает при сборе информации на модели, которая имеет статус про, но не имеет продаж

большое спасибо, поправим. 

Возраст:
Пол: М
На сайте c: 19.06.2021
Сообщения: 20
Откуда:
Цитата tonik2002:
Есть вероятность, что залогинишься, а твой пароль окажется у автора скрипта

Зачем они ему? Для уголовного дела что ли?

Однако, если скрипт только кликает по страничкам и парсит выдачу, зачем ему вообще впринципе нужен логин и пароль? Ведь для всех этих манипуляций должно быть достаточным просто открыть сайт 3ддд, на котором пользователь уже залогинен. В таком случае единственное, что можно умыкнуть это сессионная cookie, но разлогинившись после парсинга по идее она станет недействильной. Но это опять таки для параноиков.

Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва
Цитата tonik2002:
Не буду пользоваться. Есть вероятность, что залогинишься, а твой пароль окажется у автора скрипта и твоему аккаунту в один прекрасный день придет ппц. Кто бы что не говорил: "да мы не такие", "это так не работает". По моему опыту, так все и работает. 9 раз из 10 обманывают все и ничего не докажешь. Бесплатно может быть только мышь.

Спасибо за ваше мнение, понимаю ваши опасения. Именно поэтому я выкладываю исходный код скрипта, чтобы любой желающий на этом форуме мог его изучить и высказать свои обоснованные опасения или их отсутствие. Приходите в эту ветку через месяцок, надеюсь и протестировавших будет больше, и мнений разных соберем и баги подправим.   

Возраст:
Пол: М
На сайте c: 23.09.2009
Сообщения: 7346
Откуда: Киев
Цитата tonik2002:
Не буду пользоваться

И я не буду.

Возраст:
Пол: М
На сайте c: 19.06.2021
Сообщения: 20
Откуда:
Цитата kophysty:
Именно поэтому я выкладываю исходный код скрипта, чтобы любой желающий на этом форуме мог его изучить и высказать свои обоснованные опасения или их отсутствие.

Дык между сорсами и экзешником может не быть ничего общего. Сколько тут людей найдется кто сумеет сбилдить проект или вообще хотя бы запустить без экзешника? Один, два..

Возраст: 33
Пол: М
На сайте c: 12.11.2010
Сообщения: 70
Откуда: Новосиб

В целом штука интересная. Но все же, логиниться через сторонний софт,такое себе занятие .Тут и исходные коды не помогут,ведь кто будет изучать скрипт, прогу и иные темы, сильно не шаря в этом. По сути, тут как отдать логин и пароль от мобильного банка.Сегодня все ок, а завтра база с логинами и паролями продается где- нибудь за символические 500 р. И это не паранойя ,это так устроено в мире.

По теме статы.

Я уже давно  понял, кроме общей цифры в месяц и количества продаж,по сути ничего не надо. Ну по крайней мере мне) сидеть в екселе и вести отчетку Для физика ,так и не понял зачем надо. Когда моделей переваливает за 1000, это ад . Сидеть и вбивать что то ,юзать скрипты и проги.Хм

В чем соль?

Возраст: 101
Пол: М
На сайте c: 19.01.2012
Сообщения: 34
Откуда: Оттуда
Цитата pocmok:
Цитата kophysty:
Именно поэтому я выкладываю исходный код скрипта, чтобы любой желающий на этом форуме мог его изучить и высказать свои обоснованные опасения или их отсутствие.

Дык между сорсами и экзешником может не быть ничего общего. Сколько тут людей найдется кто сумеет сбилдить проект или вообще хотя бы запустить без экзешника? Один, два..

согласен но ничего не мешает самому собрать экзешник из соуса, тут  https://github.com/Slazzo/3ddd_stats  сам скрипт парсинга, можете почитать, запустить самостоятельно и получить статистику, что правда не добитый

Цитата semeniy:

Скрипт собирает статистику с моделей на первой странице, а на следующие страницы не переключается.

да собирает только первую страницу из каждого вывода средств пока что, у самого продажи влезаеют в одну страницу, также нет удобной филтраций для ползывателей с многими моделями, сам тестил только до 100 моделей и мне уже показалось очень загруженно все, поправимо как время будет

Возраст: 39
Пол: М
На сайте c: 14.06.2012
Сообщения: 11705
Откуда: Москва
Цитата tonik2002:
Бесплатно может быть только мышь

Мышь в сыроловке?

Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва

Параллельно с работой над скриптом приходится вести работу по удержанию и усилению доверия к нему на форуме. С первой волной вроде справились, но вот началась новая. Не скрою – это задевает, когда хочешь сделать что-то полезное, а тебя постоянно подозревают в том, что ты делаешь что-то плохое. Но также я абсолютно согласен с тем, что когда ты не знаешь разработчика – впереди сначала шагает недоверие. Первое желание – это сказать: «не хотите, не пользуйтесь, я никого не принуждаю». Но нет, я так не скажу, потому что я убежден, что делаю полезное дело и я хочу заслужить ваше доверие, я хочу, чтобы вы, в итоге, пользовались скриптом и, возможно, когда-нибудь сказали «спасибо, чувак, ты сделал полезную вещь, я постоянно этим пользуюсь». Поэтому я отвечаю на вопросы и привожу аргументы, чтобы повысить доверие к тому, что делаю.

1.       Я действую абсолютно открыто. Меня зовут Копыстынский Алексей, в Яндексе куча моих дурацких фоток, ссылок на мои ранние статьи, мой ФБ, ИП и вообще все… разве что в гости я вас не приглашаю, ибо, сами понимаете, Корона.

2.       У меня есть агентство www.wellwall.ru   Вы можете найти там очень много информации обо мне, моих проектах. Я дорожу клиентами и я никуда не денусь.

3.       Я зарегистрирован на 3ddd как автор с 2015 года. Конечно, мои модели приносят копейки, но это все равно – деньги и я не собираюсь плевать в колодец, из которого сам пью воду.

4.       Скрипт создан, в первую очередь, для меня. Мне интересно, я люблю статистику, хочу сделать его и поделиться им с остальными, испытать чувство удовлетворения и заняться другими проектами. Кто захочет – добровольно задонатит, когда скрипт станет действительно рабочим или попросит меня разработать другой скрипт для других задач.

5.       Я открыто выкладываю исходный код скрипта. Любой может его просмотреть, задать вопросы и я на них отвечу.

6.       Логин в аккаунт требуется потому, что так происходит парсинг данных через phyton. Библиотека силениум, на которой работает скрипт имеет свой собственный драйвер хрома и он не связан с тем, который открыт у пользователя, и скрипту нужно еще раз залогиниться в аккаунт, чтобы начать собирать статистику. JS может, но там есть другие ограничения, в т.ч. гораздо больше времени на разработку (об этом я уже писал ранее). Вероятно, позже можно будет переписать скрипт полностью на JS, но пока логика скрипта в сохранении всех данных локально на компе пользователя и он работает именно таким образом, т.к. изначально был написан на phyton.   

7.       Ваш встроенный или установленный антивирус, с очень высокой долей вероятности предупредит вас о том, что экзешник подозрительный, если бы это было действительно так. Уверен, что у вас стоит куча вылеченного софта, лекарство от которых требует добавления в исключения и прочего. Так что давайте не будем лукавить – даже если софт вызывает недоверие, мы все равно часто этим пренебрегаем, потому что это удобно.  

8.       Есть куча удобных абсолютно бесплатных скриптов и софта, которым мы все пользуемся, преодолев свое недоверие, это и soulburn scripts, и collect asset, и Lightshot, и куча чего еще, поэтому с аргументом "все бесплатное – это мышеловка" я в корне не согласен.

Вероятно, найдется, человек, который кодит и сможет поручиться за мой скрипт, что он безопасен. Буду очень признателен. Также я подумаю, как можно связать .exe с кодом на гитхаб или, м.б. как-то раскомпилировать ехешник, чтобы можно было сравнить его с гитхабовским кодом.  

В связи со всем вот этим, заключаю, что за «чистоту» скрипта я отвечаю своей головой, я дорожу своей репутацией и новые знакомства, клиенты и просто поддержка для меня важнее, чем чужие пароли от чего бы то ни было (а в коде нет к этому даже предпосылок). Поэтому продолжаю неспешную работу, надеюсь на ваше участие, отзывы, пожелания. Скоро выложу обновление.

Возраст: 39
Пол: М
На сайте c: 14.06.2012
Сообщения: 11705
Откуда: Москва

Винда действительно очень осторожна в этом вопросе:

Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва
Цитата Yehat:

Винда действительно очень осторожна в этом вопросе:

Думаю, что это происходит из-за того, что в последней версии скрипта, как писал ранее, решил отказаться от использования консоли, т.к. это лишнее действие для пользователя и в нее сыпется разный мусор. Чтобы это сделать используется модуль win32, который обращается к процессу винды ‘noconsole’. Судя по всему, у смартскрина именно это и вызывает недоверие. 

Вот в этих местах:

Интересно, что Аваст тоже сначала ругается, но после отправки .exe-шника на проверку, он выдает сообщение, что с файлом все ок. Предлагаю проделать то же самое для вашего спокойствия. Хотя у меня она на скрипт не ругается. 

А тем временем обновил скрипт, выявил несколько ошибок, исправил момент, из-за которого скрипт спотыкался на нумерации страниц, когда моделей много.

Ссылка на собранный скрипт версия 2.1: https://yadi.sk/d/fpy-XDhXKvqbxA 

Ссылка на гитхаб: https://github.com/kophysty/3ddd-parser-selenium-v2 

Схема та же: 1. Копируем в любое место, 2. Запускаем .exe 3. Логинимся 4. В папке Result по пути скрипта ищем .csv с сегодняшней датой  

Буду рад отзывам и комментариям.

Возраст: 36
Пол: М
На сайте c: 05.01.2014
Сообщения: 666
Откуда: Russia
Не получаю конечного файла в резалт папке
Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва
Цитата D_art_S:
Не получаю конечного файла в резалт папке

посмотрите по F12 -> console, какую ошибку пишет? Визуально парсинг по всем страницам прошел? График открылся?

Возраст: 36
Пол: М
На сайте c: 05.01.2014
Сообщения: 666
Откуда: Russia

Цитата kophysty:
Визуально парсинг по всем страницам прошел?

визуально да

Цитата kophysty:
посмотрите по F12 -> console, какую ошибку пишет? Визуально парсинг по всем страницам прошел? График открылся?

!Python script error (division by zero)!

Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва

Понял, что недостаточно информативен вывод ошибок в консоли браузера, поэтому добавил еще кусок кода для более тщательного анализа происходящего + поправил ошибку, которая потенциально не позволяла последний раз сохранить .csv файл.

Кстати, в прошлый раз еще было добавлено - ошибки, которые относятся к скрипту, теперь помечаются, как "!Python script error" - не перепутать.

Обновил, залил. Протестируйте сейчас, пожалуйста. Если будет ошибка, то будьте добры сразу из консоли, на что ругается. 

GitHub V2.2: https://github.com/kophysty/3ddd-parser-selenium-v2.2 

.exe V2.2:  https://yadi.sk/d/OyGJ7thJd9TLuA 

Очень жду ваших комментариев по работе последней  версии скрипта и чуть позже выложу скрин и обзор статистики, собранной на основе моих собственных продаж. 

Возраст: 39
Пол: М
На сайте c: 14.06.2012
Сообщения: 11705
Откуда: Москва

Я не понял, как это работает? При запуске ничего не происходит. Вообще ничего (только появляется окно командной стоки винды и сразу закрывается). Папка Result не создаётся. Если я уже залогинен, надо разлогиниться? Разлогинивался - но тоже ничего. Если я использую несколько браузеров, в каком мне проверять? Гугл? Яндекс? Как это объяснить программе? Можно сделать всё как-то поочевидней? Как я узнаю, запущена ли программа? Запустится ли вторая или надо отстрелить первую? Как я узнаю, что пошёл какой-то процесс сбора данных?

Возраст:
Пол: М
На сайте c: 28.05.2015
Сообщения: 141
Откуда: Москва

Попробую переубедить скептиков в важности анализа и сбора статистики.

Итак, давайте посмотрим на мою статистику продаж, выгруженную с помощью скрипта. Что тут есть интересного и какие выводы на основе этого я могу сделать?

Видно, что модель “Socks for store” у нас в лидерах по кол-ву продаж.

Но опускаемся ниже и видим, что показатель 11 руб./день  (money_average) на самом деле очень низкий. Потому что модель продается аж с 2018 и по факту динамика у нее так-себе.

А вот действительно удачной моделью оказался “Манекен спортивный Nike” – он продается быстрее всех – 25 руб./день. А еще интересно, что несмотря на ~ в два раза меньшие продажи Манекена на 3dsky, 3dsky принес в два раза больше денег. Какой вывод из этого я могу сделать? Вероятно, что данная модель будет пользоваться хорошим спросом на иностранных стоках. Чего, например, не скажешь про мою модель “MDM shop equipment”, которую покупали, в основном, на 3ddd.

Аналогичный вывод можно сделать про модель “Кроссовки Nike Air Max 97” – несмотря на небольшие продажи в целом и низкую востребованность на 3ddd, ее очень хорошо покупали на 3dsky и по этому показателю, она близка к моим самым продаваемым Носкам, поэтому, вероятно, несмотря невысокую прибыль здесь у нее очень хорошие перспективы на западных стоках.    

И вообще в целом у меня интересна картина между продажам и деньгам на 3ddd / 3dsky – 3ddd продает в два раза больше, а 3dsky при этом приносит в два раза больше денег.      

Далее. Очень перспективная модель “Сет одежды 1 на оборудовании МДМ” – несмотря на то, что она в самом конце списка продаж, у нее очень высокий показатель руб./день. Кстати, этот показатель также хорошо видно на графике – его можно примерно увидеть по резкому углу кривой продаж модели.

Можно и дальше погрузиться в анализ и сделать больше интересных выводов, особенно если у вас много моделей.

Поэтому несмотря на кажущуюся очевидность «больше денег – лучше», из моего личного примера видно, что почти каждая модель интересна по-своему, а увидеть это можно только проведя подобный анализ.

Надеюсь, я вас заинтересовал. Давайте допилим скрипт вместе. Ссылку на самую актуальную версию все время теперь буду также оставлять в начале самого первого поста. 

Цитата Yehat:

Я не понял, как это работает? При запуске ничего не происходит. Вообще ничего (только появляется окно командной стоки винды и сразу закрывается). Папка Result не создаётся. Если я уже залогинен, надо разлогиниться? Разлогинивался - но тоже ничего. Если я использую несколько браузеров, в каком мне проверять? Гугл? Яндекс? Как это объяснить программе? Можно сделать всё как-то поочевидней? Как я узнаю, запущена ли программа? Запустится ли вторая или надо отстрелить первую? Как я узнаю, что пошёл какой-то процесс сбора данных?

По большому счету все, что нужно сделать – это запустить .exe-шник и ждать.

Но вопросы хорошие – есть нюансы, спасибо.

Отвечу по пунктам:

1. Для того, чтобы скрипт работал нужен установленный браузер Chrome, желательно последней или близкой к последней версии, т.к. скрипт использует его драйвера. 

2. Разлогиниваться, закрывать другие версии хрома или другие браузеры, по идее, не нужно. При запуске .exe файла скрипт запускает свою собственную версию браузера Chrome, в которой так и будет написано сверху: «Браузером Chrome управляет автоматизированное тестовое ПО (на скрине).

3. Узнать запущенна ли программа можно по новому открывшемуся окну браузера Chrome с приглашением залогиниться и пустым окном консоли windows рядом. Также в диспетчере задач, если скрипт запущен, будет виден соответствующий процесс  3ddd_stat_collector.exe (при закрытии окна консоли закроется и сам процесс со скриптом).

4. Если скрипт работает верно, ты вы будете видеть, как быстро открываются и закрываются окна с вашими моделями. Когда парсинг закончится – откроется окно с браузером и графиком.  

5. У меня вторая запущенная копия скрипта не конфликтует с первой, но для чистоты эксперимента, если в Диспетчере висит одна, то лучше ее завершить.  

Как предположение, почему в вашем случае скрипт не запускается, вероятно у вас старая версия Хрома, попробуйте обновить. Еще я предположил, что есть ошибки, которые могут сразу закрывать консоль не давая запуститься скрипту, как в вашем случае, поэтому я обновил версию скрипта, где все-таки будем оставлять консоль открытой, чтобы можно было увидеть, что пошло не так, если браузер не открылся.  И последний момент, который пока приходит в голову: при запуске скрипт просит доступ для выхода в сеть, соответственно если ранее он был заблокирован брендмауэром, либо смартскрином, то может потребоваться добавить его в исключения. Хотя у меня каждая новая версия спрашивает отдельного разрешения.

Обновил, залил:  

GitHub v2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3 

.exe v2.3: https://yadi.sk/d/Rv7ImNsGdcdz_A 

Читают эту тему: