Сбор статистики продаж на 3ddd

Автор
Сообщение
На сайте c 28.05.2015
Сообщений: 141
Москва

Параллельно с работой над скриптом приходится вести работу по удержанию и усилению доверия к нему на форуме. С первой волной вроде справились, но вот началась новая. Не скрою – это задевает, когда хочешь сделать что-то полезное, а тебя постоянно подозревают в том, что ты делаешь что-то плохое. Но также я абсолютно согласен с тем, что когда ты не знаешь разработчика – впереди сначала шагает недоверие. Первое желание – это сказать: «не хотите, не пользуйтесь, я никого не принуждаю». Но нет, я так не скажу, потому что я убежден, что делаю полезное дело и я хочу заслужить ваше доверие, я хочу, чтобы вы, в итоге, пользовались скриптом и, возможно, когда-нибудь сказали «спасибо, чувак, ты сделал полезную вещь, я постоянно этим пользуюсь». Поэтому я отвечаю на вопросы и привожу аргументы, чтобы повысить доверие к тому, что делаю.

1.       Я действую абсолютно открыто. Меня зовут Копыстынский Алексей, в Яндексе куча моих дурацких фоток, ссылок на мои ранние статьи, мой ФБ, ИП и вообще все… разве что в гости я вас не приглашаю, ибо, сами понимаете, Корона.

2.       У меня есть агентство www.wellwall.ru   Вы можете найти там очень много информации обо мне, моих проектах. Я дорожу клиентами и я никуда не денусь.

3.       Я зарегистрирован на 3ddd как автор с 2015 года. Конечно, мои модели приносят копейки, но это все равно – деньги и я не собираюсь плевать в колодец, из которого сам пью воду.

4.       Скрипт создан, в первую очередь, для меня. Мне интересно, я люблю статистику, хочу сделать его и поделиться им с остальными, испытать чувство удовлетворения и заняться другими проектами. Кто захочет – добровольно задонатит, когда скрипт станет действительно рабочим или попросит меня разработать другой скрипт для других задач.

5.       Я открыто выкладываю исходный код скрипта. Любой может его просмотреть, задать вопросы и я на них отвечу.

6.       Логин в аккаунт требуется потому, что так происходит парсинг данных через phyton. Библиотека силениум, на которой работает скрипт имеет свой собственный драйвер хрома и он не связан с тем, который открыт у пользователя, и скрипту нужно еще раз залогиниться в аккаунт, чтобы начать собирать статистику. JS может, но там есть другие ограничения, в т.ч. гораздо больше времени на разработку (об этом я уже писал ранее). Вероятно, позже можно будет переписать скрипт полностью на JS, но пока логика скрипта в сохранении всех данных локально на компе пользователя и он работает именно таким образом, т.к. изначально был написан на phyton.   

7.       Ваш встроенный или установленный антивирус, с очень высокой долей вероятности предупредит вас о том, что экзешник подозрительный, если бы это было действительно так. Уверен, что у вас стоит куча вылеченного софта, лекарство от которых требует добавления в исключения и прочего. Так что давайте не будем лукавить – даже если софт вызывает недоверие, мы все равно часто этим пренебрегаем, потому что это удобно.  

8.       Есть куча удобных абсолютно бесплатных скриптов и софта, которым мы все пользуемся, преодолев свое недоверие, это и soulburn scripts, и collect asset, и Lightshot, и куча чего еще, поэтому с аргументом "все бесплатное – это мышеловка" я в корне не согласен.

Вероятно, найдется, человек, который кодит и сможет поручиться за мой скрипт, что он безопасен. Буду очень признателен. Также я подумаю, как можно связать .exe с кодом на гитхаб или, м.б. как-то раскомпилировать ехешник, чтобы можно было сравнить его с гитхабовским кодом.  

В связи со всем вот этим, заключаю, что за «чистоту» скрипта я отвечаю своей головой, я дорожу своей репутацией и новые знакомства, клиенты и просто поддержка для меня важнее, чем чужие пароли от чего бы то ни было (а в коде нет к этому даже предпосылок). Поэтому продолжаю неспешную работу, надеюсь на ваше участие, отзывы, пожелания. Скоро выложу обновление.

На сайте c 14.06.2012
Сообщений: 14951
Москва

Винда действительно очень осторожна в этом вопросе:

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Yehat:

Винда действительно очень осторожна в этом вопросе:

Думаю, что это происходит из-за того, что в последней версии скрипта, как писал ранее, решил отказаться от использования консоли, т.к. это лишнее действие для пользователя и в нее сыпется разный мусор. Чтобы это сделать используется модуль win32, который обращается к процессу винды ‘noconsole’. Судя по всему, у смартскрина именно это и вызывает недоверие. 

Вот в этих местах:

Интересно, что Аваст тоже сначала ругается, но после отправки .exe-шника на проверку, он выдает сообщение, что с файлом все ок. Предлагаю проделать то же самое для вашего спокойствия. Хотя у меня она на скрипт не ругается. 

А тем временем обновил скрипт, выявил несколько ошибок, исправил момент, из-за которого скрипт спотыкался на нумерации страниц, когда моделей много.

Ссылка на собранный скрипт версия 2.1: https://yadi.sk/d/fpy-XDhXKvqbxA 

Ссылка на гитхаб: https://github.com/kophysty/3ddd-parser-selenium-v2 

Схема та же: 1. Копируем в любое место, 2. Запускаем .exe 3. Логинимся 4. В папке Result по пути скрипта ищем .csv с сегодняшней датой  

Буду рад отзывам и комментариям.

На сайте c 05.01.2014
Сообщений: 843
Russia
Не получаю конечного файла в резалт папке
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата D_art_S:
Не получаю конечного файла в резалт папке

посмотрите по F12 -> console, какую ошибку пишет? Визуально парсинг по всем страницам прошел? График открылся?

На сайте c 05.01.2014
Сообщений: 843
Russia

Цитата kophysty:
Визуально парсинг по всем страницам прошел?

визуально да

Цитата kophysty:
посмотрите по F12 -> console, какую ошибку пишет? Визуально парсинг по всем страницам прошел? График открылся?

!Python script error (division by zero)!

На сайте c 28.05.2015
Сообщений: 141
Москва

Понял, что недостаточно информативен вывод ошибок в консоли браузера, поэтому добавил еще кусок кода для более тщательного анализа происходящего + поправил ошибку, которая потенциально не позволяла последний раз сохранить .csv файл.

Кстати, в прошлый раз еще было добавлено - ошибки, которые относятся к скрипту, теперь помечаются, как "!Python script error" - не перепутать.

Обновил, залил. Протестируйте сейчас, пожалуйста. Если будет ошибка, то будьте добры сразу из консоли, на что ругается. 

GitHub V2.2: https://github.com/kophysty/3ddd-parser-selenium-v2.2 

.exe V2.2:  https://yadi.sk/d/OyGJ7thJd9TLuA 

Очень жду ваших комментариев по работе последней  версии скрипта и чуть позже выложу скрин и обзор статистики, собранной на основе моих собственных продаж. 

На сайте c 14.06.2012
Сообщений: 14951
Москва

Я не понял, как это работает? При запуске ничего не происходит. Вообще ничего (только появляется окно командной стоки винды и сразу закрывается). Папка Result не создаётся. Если я уже залогинен, надо разлогиниться? Разлогинивался - но тоже ничего. Если я использую несколько браузеров, в каком мне проверять? Гугл? Яндекс? Как это объяснить программе? Можно сделать всё как-то поочевидней? Как я узнаю, запущена ли программа? Запустится ли вторая или надо отстрелить первую? Как я узнаю, что пошёл какой-то процесс сбора данных?

На сайте c 28.05.2015
Сообщений: 141
Москва

Попробую переубедить скептиков в важности анализа и сбора статистики.

Итак, давайте посмотрим на мою статистику продаж, выгруженную с помощью скрипта. Что тут есть интересного и какие выводы на основе этого я могу сделать?

Видно, что модель “Socks for store” у нас в лидерах по кол-ву продаж.

Но опускаемся ниже и видим, что показатель 11 руб./день  (money_average) на самом деле очень низкий. Потому что модель продается аж с 2018 и по факту динамика у нее так-себе.

А вот действительно удачной моделью оказался “Манекен спортивный Nike” – он продается быстрее всех – 25 руб./день. А еще интересно, что несмотря на ~ в два раза меньшие продажи Манекена на 3dsky, 3dsky принес в два раза больше денег. Какой вывод из этого я могу сделать? Вероятно, что данная модель будет пользоваться хорошим спросом на иностранных стоках. Чего, например, не скажешь про мою модель “MDM shop equipment”, которую покупали, в основном, на 3ddd.

Аналогичный вывод можно сделать про модель “Кроссовки Nike Air Max 97” – несмотря на небольшие продажи в целом и низкую востребованность на 3ddd, ее очень хорошо покупали на 3dsky и по этому показателю, она близка к моим самым продаваемым Носкам, поэтому, вероятно, несмотря невысокую прибыль здесь у нее очень хорошие перспективы на западных стоках.    

И вообще в целом у меня интересна картина между продажам и деньгам на 3ddd / 3dsky – 3ddd продает в два раза больше, а 3dsky при этом приносит в два раза больше денег.      

Далее. Очень перспективная модель “Сет одежды 1 на оборудовании МДМ” – несмотря на то, что она в самом конце списка продаж, у нее очень высокий показатель руб./день. Кстати, этот показатель также хорошо видно на графике – его можно примерно увидеть по резкому углу кривой продаж модели.

Можно и дальше погрузиться в анализ и сделать больше интересных выводов, особенно если у вас много моделей.

Поэтому несмотря на кажущуюся очевидность «больше денег – лучше», из моего личного примера видно, что почти каждая модель интересна по-своему, а увидеть это можно только проведя подобный анализ.

Надеюсь, я вас заинтересовал. Давайте допилим скрипт вместе. Ссылку на самую актуальную версию все время теперь буду также оставлять в начале самого первого поста. 

Цитата Yehat:

Я не понял, как это работает? При запуске ничего не происходит. Вообще ничего (только появляется окно командной стоки винды и сразу закрывается). Папка Result не создаётся. Если я уже залогинен, надо разлогиниться? Разлогинивался - но тоже ничего. Если я использую несколько браузеров, в каком мне проверять? Гугл? Яндекс? Как это объяснить программе? Можно сделать всё как-то поочевидней? Как я узнаю, запущена ли программа? Запустится ли вторая или надо отстрелить первую? Как я узнаю, что пошёл какой-то процесс сбора данных?

По большому счету все, что нужно сделать – это запустить .exe-шник и ждать.

Но вопросы хорошие – есть нюансы, спасибо.

Отвечу по пунктам:

1. Для того, чтобы скрипт работал нужен установленный браузер Chrome, желательно последней или близкой к последней версии, т.к. скрипт использует его драйвера. 

2. Разлогиниваться, закрывать другие версии хрома или другие браузеры, по идее, не нужно. При запуске .exe файла скрипт запускает свою собственную версию браузера Chrome, в которой так и будет написано сверху: «Браузером Chrome управляет автоматизированное тестовое ПО (на скрине).

3. Узнать запущенна ли программа можно по новому открывшемуся окну браузера Chrome с приглашением залогиниться и пустым окном консоли windows рядом. Также в диспетчере задач, если скрипт запущен, будет виден соответствующий процесс  3ddd_stat_collector.exe (при закрытии окна консоли закроется и сам процесс со скриптом).

4. Если скрипт работает верно, ты вы будете видеть, как быстро открываются и закрываются окна с вашими моделями. Когда парсинг закончится – откроется окно с браузером и графиком.  

5. У меня вторая запущенная копия скрипта не конфликтует с первой, но для чистоты эксперимента, если в Диспетчере висит одна, то лучше ее завершить.  

Как предположение, почему в вашем случае скрипт не запускается, вероятно у вас старая версия Хрома, попробуйте обновить. Еще я предположил, что есть ошибки, которые могут сразу закрывать консоль не давая запуститься скрипту, как в вашем случае, поэтому я обновил версию скрипта, где все-таки будем оставлять консоль открытой, чтобы можно было увидеть, что пошло не так, если браузер не открылся.  И последний момент, который пока приходит в голову: при запуске скрипт просит доступ для выхода в сеть, соответственно если ранее он был заблокирован брендмауэром, либо смартскрином, то может потребоваться добавить его в исключения. Хотя у меня каждая новая версия спрашивает отдельного разрешения.

Обновил, залил:  

GitHub v2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3 

.exe v2.3: https://yadi.sk/d/Rv7ImNsGdcdz_A 

На сайте c 14.06.2012
Сообщений: 14951
Москва
Цитата Slazzo:
обновление  �https://github.com/Slazzo/3ddd_stats   

а чо с этим делать? просто запустить? как?

 

Цитата kophysty:
Обновил, залил:   GitHub v2.3:https://github.com/kophysty/3ddd-parser-selenium-v2.3    .exe v2.3:https://yadi.sk/d/Rv7ImNsGdcdz_A   

Запустил. Консоль открылась и сразу закрылась, ничего не произошло. Хром последний. Брендмауер ничего не спрашивал. Только SmartScreen при старте, я ему разрешил.

Цитата Slazzo:
скопировать текст и запустить в консоль в открытой вкладке 3ддд, например chrome -> F12 (Developer tools) -> console 

Круто, работает! Причём в яндекс-браузере даже быстрей графики отдупляет.

UPD

После нескольких запусков перестал работать. Октрывает страницу, немного парсит и пишет No Data

На сайте c 14.06.2012
Сообщений: 14951
Москва
Не, со страницы профиля тоже не работает.
На сайте c 16.05.2009
Сообщений: 581
Киев

У меня всё работает. 

Хочу еще раз поблагодарить автора, за благое и нужное дело!!!

Несколько предложений:

- отключить по умолчанию галочку Annotation (без неё график быстрее работает)

- в табличке добавить строку, в которой будет отображаться суммарные значения выделенных моделей

- график сделать с возможностью выбирать данные по неделям, месяцам, годам

На сайте c 14.06.2012
Сообщений: 14951
Москва

Короче, помог сброс кэша:

localStorage.removeItem('3ddd_stats_cache')

Slazzo, спасибо!smiley-yahoo.gif

UPD, только это работает ровно на 1 раз. Потом снова надо сбрасывать кэш.

На сайте c 16.05.2009
Сообщений: 581
Киев

Было бы очень хорошо, если бы администрация сайта взяла за основу этот скрипт и сделала подобную статистику продаж. 

На сайте c 14.06.2012
Сообщений: 14951
Москва
Нее, я ещё 7 лет ожидания не выдержу.
На сайте c 06.01.2014
Сообщений: 255

Решился все таки запустить скрипт, но по моему ничего не происходит, в консоли мигает черточка и всё.

Версия хрома последняя

Понял в чём была проблема, в моделях висела модель на доработке, на ней ловил ступор скрипт. 

Но дело в том что статистику скрипт собрал не за все время, и не на все модели. Плюс еще модели на килиллице отображает коряво.

На сайте c 14.06.2012
Сообщений: 14951
Москва
Цитата uskut:
Решился

Бери скрипт Slazzo

На сайте c 06.01.2014
Сообщений: 255
Цитата Yehat:
Бери скрипт Slazzo

что-то не нашел сообщения Slazzo в ветке. Он их удалил?

На сайте c 06.01.2014
Сообщений: 255
Цитата Slazzo:
github.com/Slazzo/3ddd_stats

что-то не разобрался что тут скачивать smiley-unknw.gif

На сайте c 13.06.2015
Сообщений: 918
Ukraine, Kyiv
uskut
How to run там есть.
Читают эту тему: