Сбор статистики продаж на 3ddd

Автор
Сообщение
На сайте c 28.05.2015
Сообщений: 141
Москва

UPD от 22.07

Тут все время буду выкладывать последнюю самую актуальную версию. Тестируем скрипт и отписываемся о результатах. Принцип работы такой:

1.Качаем с Яндекса по ссылке папку со скриптом и exe-шником в любое место, 2. Запускаем файл 3ddd_stat_collector.exe 3. Логинимся в открывшемся окне браузера (закрывать другие версии браузера, разлогиниваться и проч. - не нужно, но у вас обязательно должен быть установленный Chrome) 4. Наблюдаем за тем, как скрипт собирает статистику со страниц с вашими моделями  5. В папке Result по пути скрипта ищем .csv с сегодняшней датой - открываем в excel и изучаем полную статистику продаж своих моделей за все время продаж  6.  Любуемся открывшимся в браузере графиком продаж.  7. При повторном запуске скрипт сработает уже намного быстрее и добавит в таблицу только последние изменения.

Ссылку на GitHub кидаю для того, чтобы сомневающиеся всегда имели возможность изучить открытый код каждой новой версии скрипта.   

Скрины полученных из скрипта данных - ниже в этом посте. 

Если что-то пошло не так (нет файла в папке Result, не появился график и проч.), то нажимаем в браузере F12, переходим во вкладку "Console" и ищем заголовок начинающийся с "!Python script error". Далее кидайте его в ветку или мне в личку и будем разбираться.  

Последняя рабочая версия:

GitHub V2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3 

 .exe V2.3:  https://yadi.sk/d/Rv7ImNsGdcdz_A 

---------------------------------------------------------------------------------------------

Всем привет! Начну с главного: речь пойдет о скрипте, который предназначен для сбора, анализа и хранения статистики продаж ваших моделей на 3ddd.

Лично для меня предложенная в профиле статистика очень неинформативна. Обладая небольшим количеством моделей (у меня их пока всего 7) всю статистику по продажам я переносил руками в excel. Но потом прикинул, что когда их будет 20, 30, 50 это будет уже не по приколу и нужно этот процесс либо автоматизировать, либо заканчивать заниматься ерундой.

В итого написал скрипт, который делает ЭТО. Вся доступная в профиле инфа по продажам собирается и выгружается в .csv файл в виде таблицы. Потом я подумал, что скрипт получился прикольный, а главное – полезный, и, скорее всего, он пригодится многим другим авторам. Так скрипт оброс дополнительными идеями, данными для сбора и добрался до бета-версии.

Общее описание скрипта

На данный момент он собирает в таблицу информацию, состоящую из двух основных блоков:

1.     Базовая первичная информация о моделях (собирается при первом запуске). Названия моделей, количество комментариев, лайков, дату загрузки, рендер, вес, количество продаж, сумму продаж с момента создания и до последнего вывода денег. Последний показатель – усредненный для каждой модели, он рассчитывается делением общей суммы выведенных средств на общее количество продаж и умножением на продажи каждой отдельной модели. На данный момент сортировка моделей происходит от наиболее прибыльной.    

2.     Накопительные данные о продажах – обновляются при каждом новом запуске. Это уже все точные цифры о продажах, которые доступны в профиле с момента последнего вывода гонорара в разделе «статистика продаж». Тут все просто: дата, сумма продажи и показатель количества продаж в день (подробнее об этом ниже). Данный блок обновляется после каждого запуска скрипта – он проверяет все новые данные по всем моделям и добавляет их к выгруженным ранее. Также после каждого запуска новые комментарии и лайки будут добавлены в скобках в соответствующих графах. Новые модели добавляются новым столбцом. Логично запускать скрипт каждый раз перед выводом денег, т.е. до «обнуления» информации в разделе «статистика продаж». Но можно это делать и чаще – скрипт просто обновит/добавит данные, если таковые есть.

Также для каждой модели добавил такой показатель как «продажи в день» – это, своего рода, дополнительный (на мой взгляд даже более важный и интересный) показатель эффективности модели помимо общего дохода – скорость продажи. Т.е. модель может за два года принести 10 000, а может за два месяца.

Вся эта информация сохраняется локально на компе пользователя в виде билдов в формате .csv после каждого запуска скрипта.      

Принцип работы и нюансы

Чтобы сразу развеять чьи-то возможные опасения скажу, что скрипт не хранит и не собирает личных данных пользователя, поэтому для запуска каждый раз нужно логиниться с вводом логина и пароля. Все данные о продажах также хранятся только локально на вашем компе. Т.к. вся информация выгружается в .csv файл, то таблица выводится без форматирования / стилизации. Такое полотно с данными, но на мой вкус вполне удобоваримое и читаемое. Если скрипт будет востребован, то в будущем, возможно, добавлю интерфейс с доп. настройками сортировки, экспорта и оформления данных для лучшего восприятия / читаемости. Пример, как выглядит таблица на основе моего аккаунта – во вложении. Деньги замазал, на всякий случай, вдруг какие-нибудь правила нарушу :)

Для работы скрипта нужно зарегистрироваться в сервисе rucaptcha.com, это сервис, который разгадывает каптчу. Без этого бот не сможет подключиться к аккаунту и загрузить данные. Одно разгадывание капчи стоит в сервисе 16 копеек. Т.е. даже если каждый день в течение года снимать статистику, то это обойдется примерно в 120 руб. Более элегантного решения пока не придумал.

Пока скрипт работает через командную строку. Принцип простой: запускаем exe-шник, скрипт подсказывает вам все, что требуется ввести, далее немного ждем и получаем .csv файл со всеми собранными данными.

Дальнейшие планы

Как я уже сказал выше, если скрипт будет востребован и появится какая-то дополнительная мотивация, то возможно добавлю более дружественный интерфейс с возможностью дополнительных опций, типов сортировки и прочего.  Также в планах есть добавить шифрование собираемых данных и привязку конкретной копии скрипта к макадресу.

Пока скрипт находится на стадии тестирования и его работа опробована только на моем аккаунте. Наверняка всплывут баги и ошибки. Поэтому для его дальнейшего развития требуются человек пять бета-тестеров, которые будут готовы в течение некоторого, неопределенного пока периода, протестировать его у себя, давать подробный фидбек, проверять полученные цифры, сообщать об ошибках, делиться идеями по улучшению. Желательно, чтобы у тестировщиков был большой объем моделей, чтобы проверить как скрипт справится с работой над сбором большого объема данных.  

Пока это все, что я хотел рассказать. Хотелось бы верить, что работа проделана не зря и скрипт будет востребован. Буду рад вашим комментариям, пожеланиям по функционалу, идеям. Добровольцев прошу откликнуться здесь же в теме, как наберется несколько человек – подготовлю инструкцию, как и что делать.  

На сайте c 06.03.2016
Сообщений: 38
Днепр
Расходимся, ничего интересного )))
На сайте c 17.10.2010
Сообщений: 2010
Саха (Якутия)

бот подключается к моему аккаунту? серьезно?

... подожду когда Марат с Мишей что то запилят, "скоро"... 

На сайте c 14.06.2012
Сообщений: 14949
Москва

Рак на горе уже два раза свистнул и слон в зоопарке сдох, а мы всё ждём статистику.

Даже если скрипт безвредный и пушистый, то вот такое отображение через Эксель это

 

Цитата kophysty:
скрипт подсказывает вам все, что требуется ввести

Хотелось бы подробностей в этом месте.

На сайте c 27.04.2016
Сообщений: 2236

Yehat

По слухам можно выбрать розовый фон

На сайте c 28.05.2015
Сообщений: 141
Москва
Забавно ситуация. Вроде хочешь что-то полезное для сообщества сделать, а в ответ дизлайки и насмешки. Похоже переоценил полезность скрипта, приношу извинения сообществу. Ну, по крайней мере похоже, что больше времени на него не стоит тратить. )
На сайте c 31.12.2016
Сообщений: 387
Это все хорошо, но у меня на данный момент за несколько лет уже больше 9к продаж и следить за статистикой 250-ти моделей вообще нет интереса. К чему тратить столько времени на ознакомление с такой информацией? Здесь есть список в профиле где описана модель и количество ее покупок. К чему еще более подробная статистика, непонятно
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Yehat:
Хотелось бы подробностей в этом месте.

токен с рукаптчи, логин, пароль

На сайте c 23.06.2009
Сообщений: 2332
Ukraine
мне была бы интересна только одна цифра... сколько всего денег заработала определенная модель, или раздельно количество продаж с 3ддд и ская, что бы эту цифру можно было примерно вычислить.
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата X_N:
мне была бы интересна только одна цифра... сколько всего денег заработала определенная модель, или раздельно количество продаж с 3ддд и ская, что бы эту цифру можно было вычислить.

на основе собранной информации такое сравнение в скрипте можно запросто реализовать. 

На сайте c 13.08.2020
Сообщений: 584
Как по мне идея статистики интересная! Можно понять сезонность, и актуальность модели в заданный период времени. Потому как устаревание никто не отменял. Я так подозреваю что в стандартной статистики может быть модель с большим количеством продаж, которая уже пару лет не продается. И наоборот могут быть модели у которых продажи начинают увеличивается, но они болтаются где то в низу статистики. Все же как мне кажется, это больше полезно тем кто не первый год на 3ddd и не одна сотня моделей в профиле.
На сайте c 14.06.2012
Сообщений: 14949
Москва

Цитата zalu:
Здесь есть список в профиле где описана модель и количество ее покупок. К чему еще более подробная статистика, непонятно

Количество покупок почти ничего не говорит о том, сколько принесла модель. Цены то разные по времени и по месту покупки.

Цитата kophysty:
логин, пароль

Ну не знаю, чет как-то неее.

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата zalu:
К чему тратить столько времени на ознакомление с такой информацией?

На мой взгляд excel - лучший инструмент для анализа данных и продаж. Возможность экспорта данных в excel, лично для меня - это очень удобная и полезная функция. 

Во-первых, как тут уже заметили выше, вы можете анализировать продажи по сезонности.

Во-вторых можно видеть какая модель популярнее на 3dsky, а какая на 3ddd

В-третьих вы можете увидеть, какая модель быстрее всего продавалась, а не больше всего принесла. На мой взгляд это даже более важный показатель. По этому показателю более правильно оценивать новые модели. Если у вас в топе продаж висит модель 5-летней давности, это уже не особо актуальная информация

В четвертых - анализировать продажи, это в принципе интересно. 

Вероятно, мое мнение измениться, когда у меня будет 250 моделей, как у вас и я вообще забью на анализ, но пока мне скрипт кажется очень полезным помощником.

На сайте c 24.05.2009
Сообщений: 9323
Скрипт вызвал бы ажиотаж, если бы можно было смотреть не свою статистику.
На сайте c 20.04.2014
Сообщений: 1445
Россия!
Цитата grol69:

бот подключается к моему аккаунту? серьезно?

... подожду когда Марат с Мишей что то запилят, "скоро"... 

Страшно, согласен. Надеюсь, что к обновлению 34 года прикрутят эту фишку на сайте.

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Yehat:
вот такое отображение через Эксель это

.csv формат, в который собираются данные этим скриптом не поддерживает форматирования. Это просто сухая таблица, которую можно открыть в экселе, об этом я написал в первом посте.

Если бы было ради чего стараться, то скрипт мог и бы и красивые экселевские файлы с форматированием создавать и в виде собственного интерфейса с сортировками и фильтрами всю инфу отображать. Вопрос нужности и мотивации.

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Slazzo:

если хотите чтобы люди пробовали ваш скрипт нужно его сделать публичным/прозрачным, какой-то там exe мало что внутри и нет гарантий что скрыто не сливает куда-то что-то, перепишите на javascript и не нужно будет никуда вбивать пароли или каптчи.  

да это без проблем, можно и на github исходник выложить. В Ехе скомпилирован, чтобы пользоваться проще было: запустил - получил .csv с данными. Вряд ли кто-то из пользователей захочет себе доп библиотеки ставить, чтобы пользоваться скриптом. 

Поясните, пожалуйста, по поводу JS не очень понял, как вы это видите. Переписать можно, но это дольше, труднее и какой смысл? Сейчас он написан на phyton, если переписать, суть не изменится - в любом случае, чтобы данные парсить, скрипту нужен доступ к аккаунту, а для этого нужно разгадать каптчу, ввести пароль и логин, на каком бы языке он не был написан. Или у вас есть иное виденье, как можно доступ к статистике получить? 

На сайте c 14.06.2012
Сообщений: 14949
Москва

Если доступ даст юзер (залогинится сам вручную), скрипт же может просто собрать инфу с нужных страниц, да? И капчу в баню, плиз, она вообще не при делах.

Круто бы ещё графики строить, это наглядней. Например, график общего дохода по месяцам от самого начала.

На сайте c 09.08.2014
Сообщений: 48
Ukraine

Странно, меня без капчи пускает.

В целом, идея более подробной статистики отличная. Хоть у меня и нет моделей, за которыми нужно следить, но ценность статистики  я понимаю. Хорошо бы ели б в ЛК была бы кнопочка "скачать CSV" .

По самому скрипту, я вижу две проблемы:

1) Логин и пароль. Как многие здесь писали, логином и паролем не особо то и хочется делится. Да, конечно, все понимают, что без этих данных не удастся получить доступ к статистике, но всё же вводить их в какие-то скрипты почему-то не особо хочется.

2) rucaptcha.com - вы серьёзно? Капча - это защита от ботов. А Ру-капча это сервис, который обходит эту защиту. И вы на этом форуме, предлагаете скрипт (по сути бота), который обходит систему защиты этого форумаsmiley-shok.gif. Так до бана не далеко. Причём и для вас и для тех, кто использует скрипт.

Если найдёте способ как решить две этих проблемы, тогда найдётся люди, которые захотят пользоваться.

Может стоит предложить этот скрипт разработчикам, чтоб они его в ЛК интегрировали?

На сайте c 28.05.2015
Сообщений: 141
Москва

Цитата Yehat:

Если доступ даст юзер (залогинится сам вручную), скрипт же может просто собрать инфу с нужных страниц, да? И капчу в баню, плиз, она вообще не при делах.

Поясню. На данный момент сбор статистики происходит путем непосредственного обращения скрипта к серверу через requests. Это самый быстрый способ собрать статистику. В этом случае ему нужно обязательно залогиниться на сервер, так же как пользователю, загрузить текстовую информацию, обработать, проанализировать и сохранить в заданном виде в формат .csv файла. Соответственно, решение каптчи неотъемлемая часть этого процесса, а сам скрипт решить ее не может, поэтому подключаем рукаптчу. 

Подумал, что есть еще второй вариант, который будет намного медленнее, особенно если у пользователя 100+ моделей, но избавит от необходимости использовать сторонние сервисы. Через библиотеку Selenium можно работать непосредственно с браузером пользователя, тогда пользователь будет сам логиниться и вводить свои данные через стандартную форму в браузере. Далее при пользователе скрипт начнет последовательно перебирать все страницы, с которых нужно собрать информацию. Опять же потребуется время, чтобы переписать и протестировать скрипт в таком варианте. Но хотелось бы, прежде оценить потребность в этих доработках, насколько вообще стоит этим заниматься. 

Цитата Yehat:
Круто бы ещё графики строить, это наглядней. Например, график общего дохода по месяцам от самого начала.

да, это все можно реализовать даже в .csv файле. И картинки моделей подтягивать для наглядности. 

Цитата sergeykashanin:
Странно, меня без капчи пускает.

потому что, каптча невидимая

Цитата sergeykashanin:
И вы на этом форуме, предлагаете скрипт (по сути бота), который обходит систему защиты

да, все верно, именно это я и предлагаю - скрипт-бота, который помогает пользователю собрать данные в .csv файл )

Подумаем над вторым вариантом, который я озвучил. 

И, как обещал, выложу все на GitHub. Чтобы все было прозрачно. 

Читают эту тему: