kophysty

Попробую переубедить скептиков в важности анализа и сбора статистики. Итак, давайте посмотрим на мою статистику продаж, выгруженную с помощью скрипта. Что тут есть интересного и какие выводы на основе этого я могу сделать? [[link:image_uri:481574,]][[image:481574,sky_image_forum]][[/link]] [[link:image_uri:481576,]][[image:481576,sky_image_forum]][[/link]] Видно, что модель “Socks for store” у нас в лидерах по кол-ву продаж. Но опускаемся ниже и видим, что показатель 11 руб./день  (money_average) на самом деле очень низкий. Потому что модель продается аж с 2018 и по факту динамика у нее так-себе. А вот действительно удачной моделью оказался “Манекен спортивный Nike” – он продается быстрее всех – 25 руб./день. А еще интересно, что несмотря на ~ в два раза меньшие продажи Манекена на 3dsky, 3dsky принес в два раза больше денег. Какой вывод из этого я могу сделать? Вероятно, что данная модель будет пользоваться хорошим спросом на иностранных стоках. Чего, например, не скажешь про мою модель “MDM shop equipment”, которую покупали, в основном, на 3ddd. Аналогичный вывод можно сделать про модель “Кроссовки Nike Air Max 97” – несмотря на небольшие продажи в целом и низкую востребованность на 3ddd, ее очень хорошо покупали на 3dsky и по этому показателю, она близка к моим самым продаваемым Носкам, поэтому, вероятно, несмотря невысокую прибыль здесь у нее очень хорошие перспективы на западных стоках.     И вообще в целом у меня интересна картина между продажам и деньгам на 3ddd / 3dsky – 3ddd продает в два раза больше, а 3dsky при этом приносит в два раза больше денег.       Далее. Очень перспективная модель “Сет одежды 1 на оборудовании МДМ” – несмотря на то, что она в самом конце списка продаж, у нее очень высокий показатель руб./день. Кстати, этот показатель также хорошо видно на графике – его можно примерно увидеть по резкому углу кривой продаж модели. Можно и дальше погрузиться в анализ и сделать больше интересных выводов, особенно если у вас много моделей. Поэтому несмотря на кажущуюся очевидность «больше денег – лучше», из моего личного примера видно, что почти каждая модель интересна по-своему, а увидеть это можно только проведя подобный анализ. Надеюсь, я вас заинтересовал. Давайте допилим скрипт вместе. Ссылку на самую актуальную версию все время теперь буду также оставлять в начале самого первого поста.  Цитата Yehat: Я не понял, как это работает? При запуске ничего не происходит. Вообще ничего (только появляется окно командной стоки винды и сразу закрывается). Папка Result не создаётся. Если я уже залогинен, надо разлогиниться? Разлогинивался - но тоже ничего. Если я использую несколько браузеров, в каком мне проверять? Гугл? Яндекс? Как это объяснить программе? Можно сделать всё как-то поочевидней? Как я узнаю, запущена ли программа? Запустится ли вторая или надо отстрелить первую? Как я узнаю, что пошёл какой-то процесс сбора данных? По большому счету все, что нужно сделать – это запустить .exe-шник и ждать. Но вопросы хорошие – есть нюансы, спасибо. Отвечу по пунктам: 1. Для того, чтобы скрипт работал нужен установленный браузер Chrome, желательно последней или близкой к последней версии, т.к. скрипт использует его драйвера.  2. Разлогиниваться, закрывать другие версии хрома или другие браузеры, по идее, не нужно. При запуске .exe файла скрипт запускает свою собственную версию браузера Chrome, в которой так и будет написано сверху: «Браузером Chrome управляет автоматизированное тестовое ПО (на скрине). 3. Узнать запущенна ли программа можно по новому открывшемуся окну браузера Chrome с приглашением залогиниться и пустым окном консоли windows рядом. Также в диспетчере задач, если скрипт запущен, будет виден соответствующий процесс  3ddd_stat_collector.exe (при закрытии окна консоли закроется и сам процесс со скриптом). 4. Если скрипт работает верно, ты вы будете видеть, как быстро открываются и закрываются окна с вашими моделями. Когда парсинг закончится – откроется окно с браузером и графиком.   5. У меня вторая запущенная копия скрипта не конфликтует с первой, но для чистоты эксперимента, если в Диспетчере висит одна, то лучше ее завершить.   Как предположение, почему в вашем случае скрипт не запускается, вероятно у вас старая версия Хрома, попробуйте обновить. Еще я предположил, что есть ошибки, которые могут сразу закрывать консоль не давая запуститься скрипту, как в вашем случае, поэтому я обновил версию скрипта, где все-таки будем оставлять консоль открытой, чтобы можно было увидеть, что пошло не так, если браузер не открылся.  И последний момент, который пока приходит в голову: при запуске скрипт просит доступ для выхода в сеть, соответственно если ранее он был заблокирован брендмауэром, либо смартскрином, то может потребоваться добавить его в исключения. Хотя у меня каждая новая версия спрашивает отдельного разрешения. Обновил, залил:   GitHub v2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3 .exe v2.3: https://yadi.sk/d/Rv7ImNsGdcdz_A [[link:image_uri:481575,]][[image:481575,sky_image_forum]][[/link]]

Понял, что недостаточно информативен вывод ошибок в консоли браузера, поэтому добавил еще кусок кода для более тщательного анализа происходящего + поправил ошибку, которая потенциально не позволяла последний раз сохранить .csv файл. Кстати, в прошлый раз еще было добавлено - ошибки, которые относятся к скрипту, теперь помечаются, как "!Python script error" - не перепутать. Обновил, залил. Протестируйте сейчас, пожалуйста. Если будет ошибка, то будьте добры сразу из консоли, на что ругается.  GitHub V2.2: https://github.com/kophysty/3ddd-parser-selenium-v2.2 .exe V2.2:  https://yadi.sk/d/OyGJ7thJd9TLuA Очень жду ваших комментариев по работе последней  версии скрипта и чуть позже выложу скрин и обзор статистики, собранной на основе моих собственных продаж. 

Цитата D_art_S: Не получаю конечного файла в резалт папке посмотрите по F12 -> console, какую ошибку пишет? Визуально парсинг по всем страницам прошел? График открылся?

Цитата Yehat: Винда действительно очень осторожна в этом вопросе: [[link:image_uri:481073,]][[image:481073,sky_image_forum]][[/link]] Думаю, что это происходит из-за того, что в последней версии скрипта, как писал ранее, решил отказаться от использования консоли, т.к. это лишнее действие для пользователя и в нее сыпется разный мусор. Чтобы это сделать используется модуль win32, который обращается к процессу винды ‘noconsole’. Судя по всему, у смартскрина именно это и вызывает недоверие.  Вот в этих местах: [[image:481071,]] [[link:image_uri:481072,]][[image:481072,sky_image_forum]][[/link]] Интересно, что Аваст тоже сначала ругается, но после отправки .exe-шника на проверку, он выдает сообщение, что с файлом все ок. Предлагаю проделать то же самое для вашего спокойствия. Хотя у меня она на скрипт не ругается.  А тем временем обновил скрипт, выявил несколько ошибок, исправил момент, из-за которого скрипт спотыкался на нумерации страниц, когда моделей много. Ссылка на собранный скрипт версия 2.1: https://yadi.sk/d/fpy-XDhXKvqbxA Ссылка на гитхаб: https://github.com/kophysty/3ddd-parser-selenium-v2 Схема та же: 1. Копируем в любое место, 2. Запускаем .exe 3. Логинимся 4. В папке Result по пути скрипта ищем .csv с сегодняшней датой   Буду рад отзывам и комментариям.

Параллельно с работой над скриптом приходится вести работу по удержанию и усилению доверия к нему на форуме. С первой волной вроде справились, но вот началась новая. Не скрою – это задевает, когда хочешь сделать что-то полезное, а тебя постоянно подозревают в том, что ты делаешь что-то плохое. Но также я абсолютно согласен с тем, что когда ты не знаешь разработчика – впереди сначала шагает недоверие. Первое желание – это сказать: «не хотите, не пользуйтесь, я никого не принуждаю». Но нет, я так не скажу, потому что я убежден, что делаю полезное дело и я хочу заслужить ваше доверие, я хочу, чтобы вы, в итоге, пользовались скриптом и, возможно, когда-нибудь сказали «спасибо, чувак, ты сделал полезную вещь, я постоянно этим пользуюсь». Поэтому я отвечаю на вопросы и привожу аргументы, чтобы повысить доверие к тому, что делаю. 1.       Я действую абсолютно открыто. Меня зовут Копыстынский Алексей, в Яндексе куча моих дурацких фоток, ссылок на мои ранние статьи, мой ФБ, ИП и вообще все… разве что в гости я вас не приглашаю, ибо, сами понимаете, Корона. 2.       У меня есть агентство www.wellwall.ru  Вы можете найти там очень много информации обо мне, моих проектах. Я дорожу клиентами и я никуда не денусь. 3.       Я зарегистрирован на 3ddd как автор с 2015 года. Конечно, мои модели приносят копейки, но это все равно – деньги и я не собираюсь плевать в колодец, из которого сам пью воду. 4.       Скрипт создан, в первую очередь, для меня. Мне интересно, я люблю статистику, хочу сделать его и поделиться им с остальными, испытать чувство удовлетворения и заняться другими проектами. Кто захочет – добровольно задонатит, когда скрипт станет действительно рабочим или попросит меня разработать другой скрипт для других задач. 5.       Я открыто выкладываю исходный код скрипта. Любой может его просмотреть, задать вопросы и я на них отвечу. 6.       Логин в аккаунт требуется потому, что так происходит парсинг данных через phyton. Библиотека силениум, на которой работает скрипт имеет свой собственный драйвер хрома и он не связан с тем, который открыт у пользователя, и скрипту нужно еще раз залогиниться в аккаунт, чтобы начать собирать статистику. JS может, но там есть другие ограничения, в т.ч. гораздо больше времени на разработку (об этом я уже писал ранее). Вероятно, позже можно будет переписать скрипт полностью на JS, но пока логика скрипта в сохранении всех данных локально на компе пользователя и он работает именно таким образом, т.к. изначально был написан на phyton.    7.       Ваш встроенный или установленный антивирус, с очень высокой долей вероятности предупредит вас о том, что экзешник подозрительный, если бы это было действительно так. Уверен, что у вас стоит куча вылеченного софта, лекарство от которых требует добавления в исключения и прочего. Так что давайте не будем лукавить – даже если софт вызывает недоверие, мы все равно часто этим пренебрегаем, потому что это удобно.   8.       Есть куча удобных абсолютно бесплатных скриптов и софта, которым мы все пользуемся, преодолев свое недоверие, это и soulburn scripts, и collect asset, и Lightshot, и куча чего еще, поэтому с аргументом "все бесплатное – это мышеловка" я в корне не согласен. Вероятно, найдется, человек, который кодит и сможет поручиться за мой скрипт, что он безопасен. Буду очень признателен. Также я подумаю, как можно связать .exe с кодом на гитхаб или, м.б. как-то раскомпилировать ехешник, чтобы можно было сравнить его с гитхабовским кодом.   В связи со всем вот этим, заключаю, что за «чистоту» скрипта я отвечаю своей головой, я дорожу своей репутацией и новые знакомства, клиенты и просто поддержка для меня важнее, чем чужие пароли от чего бы то ни было (а в коде нет к этому даже предпосылок). Поэтому продолжаю неспешную работу, надеюсь на ваше участие, отзывы, пожелания. Скоро выложу обновление.

Цитата tonik2002: Не буду пользоваться. Есть вероятность, что залогинишься, а твой пароль окажется у автора скрипта и твоему аккаунту в один прекрасный день придет ппц. Кто бы что не говорил: "да мы не такие", "это так не работает". По моему опыту, так все и работает. 9 раз из 10 обманывают все и ничего не докажешь. Бесплатно может быть только мышь. Спасибо за ваше мнение, понимаю ваши опасения. Именно поэтому я выкладываю исходный код скрипта, чтобы любой желающий на этом форуме мог его изучить и высказать свои обоснованные опасения или их отсутствие. Приходите в эту ветку через месяцок, надеюсь и протестировавших будет больше, и мнений разных соберем и баги подправим.   

Цитата Aivory: Скрипт зависает при сборе информации на модели, которая имеет статус про, но не имеет продаж [[image:479764,]] большое спасибо, поправим. 

Цитата semeniy: Цитата kophysty: 502 модели это как раз то количество, на котором хотелось проверить работоспособность скрипта Скрипт собирает статистику с моделей на первой странице, а на следующие страницы не переключается. Спасибо за комментарий, такая же просьба: из консоли браузера пришлите ошибки, которые показывает, но, похоже, уже догадываюсь в чем проблема. У меня только одна страница, поэтому не было этого бага. Сегодня постараюсь внести правки и выложить обновленную версию. 

Цитата D_art_S: Цитата kophysty: Поэтому если у вас что-то пошло не так, то нажимайте F12 и присылайте мне ошибку – будем разбираться. В какой-то момент скрипт останавливается. Сначала анализирует продажи, потом просто начинает переключаться с модельки на модель и стопает без результата Спасибо за комментарий и тестирование. 502 модели это как раз то количество, на котором хотелось проверить работоспособность скрипта) Пришлите, пожалуйста, мне в личку какую ошибку выдает при этом в консоли браузера. F12 и там вкладка Console. Вот такого вида примерно что-то должно быть. Нужно понять на какой странице и с какой ошибкой багается  [[link:image_uri:479746,]][[image:479746,sky_image_forum]][[/link]] И очень прошу, по возможности, отписаться тех, кто еще потестил, в т.ч. у кого все без проблем прошло.

Всем добрый день, вашему вниманию обновленная версия скрипта. Решили объединить усилия со Slazzo , который великодушно предоставил свои наработки и исходный код на JS для визуализации графиков в браузере. Итак, об изменениях и что мы имеем в обновленной версии.  - логика скрипта осталась прежней, но теперь скрипт состоит из двух частей на phyton и JavaScript: сначала скрипт собирает всю информацию о продажах из вашего аккаунта и сохраняет ее в виде .csv локально на вашем компе, далее на основе этих данных строятся графики в браузере. Первый парсинг может занять некоторое время, но при следующих запусках скрипта будут подгружаться только новые данные о продажах. - новая версия скрипта учитывает абсолютно все продажи моделей на основе истории всех операций, т.е. теперь вся статистика 100% точная и корректная  - добавил подсчет и сравнение продаж на 3ddd и 3dsky в штуках, в деньгах и сравнение в процентах (спойлер – это очень интересная статистика) - упростил взаимодействие со скриптом - пользователю больше ничего не нужно вводить в консоль: запускаем, логинимся и ждем. Далее откроется график с продажами (можно сохранить его через ctrl + s), а в папке “result” по пути расположения скрипта сохранится .csv с датой выгрузки Если раньше ошибки выводились в консоль винды, то теперь они выводятся в консоль браузера. Поэтому если у вас что-то пошло не так, то нажимайте F12 и присылайте мне ошибку – будем разбираться. И, как и раньше, выкладываю полный код на GitHub: https://github.com/kophysty/3ddd-parser-selenium-v2 Рабочую версию скрипта можно скачать здесь: https://yadi.sk/d/GeXOrAKBb1hX9Q [[link:image_uri:479745,]][[image:479745,sky_image_forum]][[/link]]

Цитата Slazzo: Цитата kophysty примерно 200 линий JS скрипт с графиками и парсерами, пока что не доделанный но уже рабочий, и у меня к сожеленю только одна модель на продаже но должно работать хоть с сотнями, разделение по цветам и фильтр вроде тоже есть, вертикальные маркеры это сума и время вывод бабосов, если есть желание допилить отпишитесь я уже на это потратил часиков 4 и опоздал в паб   круто! вот это движуха началась в ветке. )  Не терпится потестить.  Конечно, тот факт, что, по сути, вся инфа по продажам моделей оказалась доступна на сайте сильно меняет логику и подход к решению задачи. К разработке JS скрипта, думаю, подключился бы чуть позже, но хочется довести дело до конца - уже спортивный интерес. Интересно будет сравнить эти два разных подхода к сбору статистики. И, спасибо за поддержку )

Цитата Slazzo: только у меня в "История операций" только вывод средств значится, и в "Статистике продаж" только история после последнего вывода?   все транзакции - это активные ссылки, внутрь проваливаетесь и там продажи будут

Цитата mr.spoilt: Точными их можно сделать, если спарсить и работать с данными, во вкладке "История операций", там при клике по транзакции открывается таблица с точными данными, датой продаж и ценой продажи. Вау. Спасибо вам за этот пост, вы мне просто глаза открыли (вероятно, не только мне). Я, честно, не знал, что все продажи по всем моделям хранятся на сайте в таком виде. Я представляю, каким дьявольским смехом смеялись админы, когда наблюдали за нашими потугами рассчитать ранние продажи.   Что ж. Придется снова переписать скрипт, но уже основываясь на точных данных продаж всех моделей.  А по поводу скорости работы excel, думаю, проблема решится, т.к. все цифры в этом случае у нас будет считать python, а не excel. Кроме того, .csv сам по себе легче, чем .xlsx, поэтому открываться тоже быстрее будет.   

Цитата Yehat: * а если не уберёг? Не фатально же? да нет, конечно. Просто тогда во-первых: статистика продаж опять рассчитается исходя из усредненных значений, а не точных; второй момент: нельзя будет составить сравнительную характеристику продаж на 3ddd и 3dsky за предыдущий период. Я планирую добавить такой показатель для каждой модели в ближайшее время 

Как обещал, обновил скрипт и записал видео с демонстрацией его работы. Открытый код скрипта можете посмотреть / скачать с моего репозитория на GitHub: https://github.com/kophysty/3ddd-parser-selenium Готовый к работе скомпилированный exe-шник с рабочей структурой папок можно скачать здесь:https://disk.yandex.ru/d/IU099FZV2mjujQ Видео с демонстрацией работы: https://www.youtube.com/watch?v=2st2JEMZ_yY Хотел сначала затереть цифры в видео, но без них, на мой взгляд, смысл демонстрации убивается напрочь. Плюс, подумал я, может быть, сделаю приятное кому-то, кто так хотел посмотреть на чужую статистику продаж. Мне особо хвастаться не чем, но с драной овцы – хоть шерсти клок )  Еще раз в двух словах основное по работе скрипта: 1.     Запускаем скрипт 2.     Логинимся в браузере, нажимаем букву ‘y’ и затем Enter 3.     Скрипт собирает статистику продаж из вашего аккаунта 4.     В папке “Result” cохраняется .csv файл со всей собранной информацией 5.     При повторном запуске скрипт сравнивает сохраненное ранее с текущими обновлениями в аккаунте и создает новый файл с новой датой. (если скрипт повторно запущен в этот же день, то .csv с текущей датой просто перезаписывается)           * теперь берегите папку “dates”, так в ней хранится вся ваша собранная ранее статистика. Перед созданием .csv файлов скрипт анализирует именно ее.

Цитата Slazzo: видно что даже не интересовались вопросом прежде чем сделать выводы, есть Client-side storage как раз для JS, есть также возможность сгенерироывть файл предложить узеру сохранить в файл без никаких плагинов все уже в браузерах Не хочу ни с кем соревноваться и на звание гуру в JS не претендую. Но спасибо за ваше участие, приятно, что все большей людей предлагают разные варианты решения задачи. Речь шла именно об автономном сохранении файлов самой софтиной по заданной структуре папок. Я понимаю, что пользователь может и сам указать путь для сохранения файла и этот вариант удобен в случае, если нужно сохранить один-два отдельных файла. Но логика моего скрипта построена так, что он анализирует локальные .json файлы, сохраненные ранее, затем сохраняет новый .json и после этого снова перебирает локальные .json-ы, чтобы сохранить финальный .csv. Есть еще ряд сценариев, которые также, скорее всего, вызовут трудности. Можете заглянуть в мой Github за подробностями, если вам действительно интересно. Соответственно пользователю нужно будет указывать пути и расположения .json-ов при каждой итерации или обращении скрипта к файлам. А т.к. в перспективе возможно сохранение и добавление в .csv имиджей для каждой модели, которые тоже нужно будет сначала сохранить локально, генерирование графиков и проч., то и для этого также потребуются доп. действия от пользователя. Как по мне, то все это очень сложно. Пока мне эта схема видится тупиковой.    Поэтому на данный момент скрипт написан именно на python. Да, есть свои нюансы, но пока я считаю, что для парсинга/анализа это оптимальный вариант.

Цитата pocmok: заставить юзера раз в n месяцев открыть dev tools (F12) и скопировать PHPSESSID куку Да что вы!  Тут разгадывание капчи бурю негодования вызвало, а вы про поиск и копирование пользователем данных из dev tools своими руками говорите. Facebook по F12 большими красными буквами предупреждает, что это опасно.     Кроме того, расширение для браузера столкнется с теми же проблемами, что и скрипт на JS, которые я описал выше – невозможность обновлять локальные файлы на пользовательском компе (вернее это возможно, но это будет уже нарушение правил безопасности браузера). А хранение данных статистики пользователей где-то кроме их компа я даже не рассматриваю по ряду очевидных причин.   На самом деле скрипт уже переписан на selenium и отлично у меня работает, так что скоро выложу его тут для тестирования, осталось только видос записать с демонстрацией работы.   

Цитата Slazzo: JS скрипт можно запустить уже в залогиненую сесию Такой вариант подходит для решения разовых задач, но навскидку пользовательский JS-скрипт не поможет решить нашу задачу, т.к. в формате обсуждаемого варианта мы храним и обрабатываем статистику локально на компе пользователя. Если мы будем запускать JS-скрипт в залогиненной сессии, мы не сможем брать информацию из локальных .json файлов, в которых хранится информация от предыдущих сессий. Аналогичная проблема встает и с передачей собранной статистики обратно на комп пользователя для сохранения в .json, обработки и выгрузки в .csv.    Selenium под phyton будет делать все примерно то же самое, но только с компа пользователя и без костылей, которые нас ожидают в случае с JS. Исходник текущего скрипта: https://github.com/kophysty/3ddd_parse.git Выложу тут обновленную версию скрипта, когда будет готова.  Цитата sergeykashanin: Может стоит предложить этот скрипт разработчикам, чтоб они его в ЛК интегрировали? буду рад взаимодействовать с администрацией сайта, если будет какая-то обратная связь и работать в озвученных условиях, а пока - решаем вопрос, как можем 

Цитата Yehat: Если доступ даст юзер (залогинится сам вручную), скрипт же может просто собрать инфу с нужных страниц, да? И капчу в баню, плиз, она вообще не при делах. Поясню. На данный момент сбор статистики происходит путем непосредственного обращения скрипта к серверу через requests. Это самый быстрый способ собрать статистику. В этом случае ему нужно обязательно залогиниться на сервер, так же как пользователю, загрузить текстовую информацию, обработать, проанализировать и сохранить в заданном виде в формат .csv файла. Соответственно, решение каптчи неотъемлемая часть этого процесса, а сам скрипт решить ее не может, поэтому подключаем рукаптчу.  Подумал, что есть еще второй вариант, который будет намного медленнее, особенно если у пользователя 100+ моделей, но избавит от необходимости использовать сторонние сервисы. Через библиотеку Selenium можно работать непосредственно с браузером пользователя, тогда пользователь будет сам логиниться и вводить свои данные через стандартную форму в браузере. Далее при пользователе скрипт начнет последовательно перебирать все страницы, с которых нужно собрать информацию. Опять же потребуется время, чтобы переписать и протестировать скрипт в таком варианте. Но хотелось бы, прежде оценить потребность в этих доработках, насколько вообще стоит этим заниматься.  Цитата Yehat: Круто бы ещё графики строить, это наглядней. Например, график общего дохода по месяцам от самого начала. да, это все можно реализовать даже в .csv файле. И картинки моделей подтягивать для наглядности.  Цитата sergeykashanin: Странно, меня без капчи пускает. потому что, каптча невидимая Цитата sergeykashanin: И вы на этом форуме, предлагаете скрипт (по сути бота), который обходит систему защиты да, все верно, именно это я и предлагаю - скрипт-бота, который помогает пользователю собрать данные в .csv файл ) Подумаем над вторым вариантом, который я озвучил.  И, как обещал, выложу все на GitHub. Чтобы все было прозрачно. 

Цитата Slazzo: если хотите чтобы люди пробовали ваш скрипт нужно его сделать публичным/прозрачным, какой-то там exe мало что внутри и нет гарантий что скрыто не сливает куда-то что-то, перепишите на javascript и не нужно будет никуда вбивать пароли или каптчи.   да это без проблем, можно и на github исходник выложить. В Ехе скомпилирован, чтобы пользоваться проще было: запустил - получил .csv с данными. Вряд ли кто-то из пользователей захочет себе доп библиотеки ставить, чтобы пользоваться скриптом.  Поясните, пожалуйста, по поводу JS не очень понял, как вы это видите. Переписать можно, но это дольше, труднее и какой смысл? Сейчас он написан на phyton, если переписать, суть не изменится - в любом случае, чтобы данные парсить, скрипту нужен доступ к аккаунту, а для этого нужно разгадать каптчу, ввести пароль и логин, на каком бы языке он не был написан. Или у вас есть иное виденье, как можно доступ к статистике получить? 

Цитата Yehat: вот такое отображение через Эксель это .csv формат, в который собираются данные этим скриптом не поддерживает форматирования. Это просто сухая таблица, которую можно открыть в экселе, об этом я написал в первом посте. Если бы было ради чего стараться, то скрипт мог и бы и красивые экселевские файлы с форматированием создавать и в виде собственного интерфейса с сортировками и фильтрами всю инфу отображать. Вопрос нужности и мотивации.

Цитата zalu: К чему тратить столько времени на ознакомление с такой информацией? На мой взгляд excel - лучший инструмент для анализа данных и продаж. Возможность экспорта данных в excel, лично для меня - это очень удобная и полезная функция.  Во-первых, как тут уже заметили выше, вы можете анализировать продажи по сезонности. Во-вторых можно видеть какая модель популярнее на 3dsky, а какая на 3ddd В-третьих вы можете увидеть, какая модель быстрее всего продавалась, а не больше всего принесла. На мой взгляд это даже более важный показатель. По этому показателю более правильно оценивать новые модели. Если у вас в топе продаж висит модель 5-летней давности, это уже не особо актуальная информация В четвертых - анализировать продажи, это в принципе интересно.  Вероятно, мое мнение измениться, когда у меня будет 250 моделей, как у вас и я вообще забью на анализ, но пока мне скрипт кажется очень полезным помощником.

Цитата X_N: мне была бы интересна только одна цифра... сколько всего денег заработала определенная модель, или раздельно количество продаж с 3ддд и ская, что бы эту цифру можно было вычислить. на основе собранной информации такое сравнение в скрипте можно запросто реализовать. 

Цитата Yehat: Хотелось бы подробностей в этом месте. токен с рукаптчи, логин, пароль

Забавно ситуация. Вроде хочешь что-то полезное для сообщества сделать, а в ответ дизлайки и насмешки. Похоже переоценил полезность скрипта, приношу извинения сообществу. Ну, по крайней мере похоже, что больше времени на него не стоит тратить. )

UPD от 22.07 Тут все время буду выкладывать последнюю самую актуальную версию. Тестируем скрипт и отписываемся о результатах. Принцип работы такой: 1. Качаем с Яндекса по ссылке папку со скриптом и exe-шником в любое место, 2. Запускаем файл 3ddd_stat_collector.exe 3. Логинимся в открывшемся окне браузера (закрывать другие версии браузера, разлогиниваться и проч. - не нужно, но у вас обязательно должен быть установленный Chrome) 4. Наблюдаем за тем, как скрипт собирает статистику со страниц с вашими моделями  5. В папке Result по пути скрипта ищем .csv с сегодняшней датой - открываем в excel и изучаем полную статистику продаж своих моделей за все время продаж  6.  Любуемся открывшимся в браузере графиком продаж.  7. При повторном запуске скрипт сработает уже намного быстрее и добавит в таблицу только последние изменения. Ссылку на GitHub кидаю для того, чтобы сомневающиеся всегда имели возможность изучить открытый код каждой новой версии скрипта.    Скрины полученных из скрипта данных - ниже в этом посте.  Если что-то пошло не так (нет файла в папке Result, не появился график и проч.), то нажимаем в браузере F12, переходим во вкладку "Console" и ищем заголовок начинающийся с "!Python script error". Далее кидайте его в ветку или мне в личку и будем разбираться.   Последняя рабочая версия: GitHub V2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3  .exe V2.3:  https://yadi.sk/d/Rv7ImNsGdcdz_A --------------------------------------------------------------------------------------------- Всем привет! Начну с главного: речь пойдет о скрипте, который предназначен для сбора, анализа и хранения статистики продаж ваших моделей на 3ddd. Лично для меня предложенная в профиле статистика очень неинформативна. Обладая небольшим количеством моделей (у меня их пока всего 7) всю статистику по продажам я переносил руками в excel. Но потом прикинул, что когда их будет 20, 30, 50 это будет уже не по приколу и нужно этот процесс либо автоматизировать, либо заканчивать заниматься ерундой. В итого написал скрипт, который делает ЭТО. Вся доступная в профиле инфа по продажам собирается и выгружается в .csv файл в виде таблицы. Потом я подумал, что скрипт получился прикольный, а главное – полезный, и, скорее всего, он пригодится многим другим авторам. Так скрипт оброс дополнительными идеями, данными для сбора и добрался до бета-версии. Общее описание скрипта На данный момент он собирает в таблицу информацию, состоящую из двух основных блоков: 1.     Базовая первичная информация о моделях (собирается при первом запуске). Названия моделей, количество комментариев, лайков, дату загрузки, рендер, вес, количество продаж, сумму продаж с момента создания и до последнего вывода денег. Последний показатель – усредненный для каждой модели, он рассчитывается делением общей суммы выведенных средств на общее количество продаж и умножением на продажи каждой отдельной модели. На данный момент сортировка моделей происходит от наиболее прибыльной.     2.     Накопительные данные о продажах – обновляются при каждом новом запуске. Это уже все точные цифры о продажах, которые доступны в профиле с момента последнего вывода гонорара в разделе «статистика продаж». Тут все просто: дата, сумма продажи и показатель количества продаж в день (подробнее об этом ниже). Данный блок обновляется после каждого запуска скрипта – он проверяет все новые данные по всем моделям и добавляет их к выгруженным ранее. Также после каждого запуска новые комментарии и лайки будут добавлены в скобках в соответствующих графах. Новые модели добавляются новым столбцом. Логично запускать скрипт каждый раз перед выводом денег, т.е. до «обнуления» информации в разделе «статистика продаж». Но можно это делать и чаще – скрипт просто обновит/добавит данные, если таковые есть. Также для каждой модели добавил такой показатель как «продажи в день» – это, своего рода, дополнительный (на мой взгляд даже более важный и интересный) показатель эффективности модели помимо общего дохода – скорость продажи. Т.е. модель может за два года принести 10 000, а может за два месяца. Вся эта информация сохраняется локально на компе пользователя в виде билдов в формате .csv после каждого запуска скрипта.       Принцип работы и нюансы Чтобы сразу развеять чьи-то возможные опасения скажу, что скрипт не хранит и не собирает личных данных пользователя, поэтому для запуска каждый раз нужно логиниться с вводом логина и пароля. Все данные о продажах также хранятся только локально на вашем компе. Т.к. вся информация выгружается в .csv файл, то таблица выводится без форматирования / стилизации. Такое полотно с данными, но на мой вкус вполне удобоваримое и читаемое. Если скрипт будет востребован, то в будущем, возможно, добавлю интерфейс с доп. настройками сортировки, экспорта и оформления данных для лучшего восприятия / читаемости. Пример, как выглядит таблица на основе моего аккаунта – во вложении. Деньги замазал, на всякий случай, вдруг какие-нибудь правила нарушу :) Для работы скрипта нужно зарегистрироваться в сервисе rucaptcha.com, это сервис, который разгадывает каптчу. Без этого бот не сможет подключиться к аккаунту и загрузить данные. Одно разгадывание капчи стоит в сервисе 16 копеек. Т.е. даже если каждый день в течение года снимать статистику, то это обойдется примерно в 120 руб. Более элегантного решения пока не придумал. Пока скрипт работает через командную строку. Принцип простой: запускаем exe-шник, скрипт подсказывает вам все, что требуется ввести, далее немного ждем и получаем .csv файл со всеми собранными данными. Дальнейшие планы Как я уже сказал выше, если скрипт будет востребован и появится какая-то дополнительная мотивация, то возможно добавлю более дружественный интерфейс с возможностью дополнительных опций, типов сортировки и прочего.  Также в планах есть добавить шифрование собираемых данных и привязку конкретной копии скрипта к макадресу. Пока скрипт находится на стадии тестирования и его работа опробована только на моем аккаунте. Наверняка всплывут баги и ошибки. Поэтому для его дальнейшего развития требуются человек пять бета-тестеров, которые будут готовы в течение некоторого, неопределенного пока периода, протестировать его у себя, давать подробный фидбек, проверять полученные цифры, сообщать об ошибках, делиться идеями по улучшению. Желательно, чтобы у тестировщиков был большой объем моделей, чтобы проверить как скрипт справится с работой над сбором большого объема данных.   Пока это все, что я хотел рассказать. Хотелось бы верить, что работа проделана не зря и скрипт будет востребован. Буду рад вашим комментариям, пожеланиям по функционалу, идеям. Добровольцев прошу откликнуться здесь же в теме, как наберется несколько человек – подготовлю инструкцию, как и что делать.   [[link:image_uri:481577,]][[image:481577,sky_image_forum]][[/link]] [[link:image_uri:481578,]][[image:481578,sky_image_forum]][[/link]]

Спасибо, попробую.   Видео 1080ti