Гібридні моделі і методи прогнозування рекомендацій для інтернет-магазину
Михайло Шварц / науковадисертація
Опис:
Шварц М.Є. Гібридні моделі і методи прогнозування рекомендацій для
інтернет-магазину. – Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня кандидата технічних наук
(доктора філософії) за спеціальністю 01.05.03 – «Математичне і програмне
забезпечення обчислювальних машин і систем» – Національний університет
«Львівська політехніка» , Міністерство освіти і науки України, Львів, 2019.
Зміст дисертації. У дисертаційній роботі розв’язано наукове завдання
розроблення і дослідження гібридних моделей і методів прогнозування
рекомендацій для інтернет-магазину, які можуть бути використані і при
функціонуванні інших суб’єктів електронної комерції, таких, як електронні
торгові ряди, інтернет-вітрини, інформаційно-пошукові системи, пошукові
системи в глобальній мережі Інтернет. Основне призначення рекомендаційних
систем – надання рекомендацій користувачам при виборі предметів, які
найбільше відповідають їх інтересам та вподобанням. Предметами можуть
бути товари, об’єкти або послуги.
Розробленню і впровадженню рекомендаційних систем сприяв стрімкий
розвиток інформаційно-комунікаційних технологій, а саме, Інтернет, як
всесвітньої мережі для зберігання і передачі інформації, а також Всесвітньої
павутини (WWW, Word Wide Web). На даний час в Інтернеті зберігається
1,2∙10 9
сайтів, які містять 16,2∙10 70
байтів інформації. Прогнозується, що до
2020 року цей показник зросте до 44∙10 70 байтів. Таким чином на даний час
проблема полягає не у відсутності інформації, а у відсутності ефективних
механізмів пошуку інформації. Сучасні пошукові системи (Google, Yahoo)
повертають значно більший об’єм інформації, ніж користувач здатний
обробити. Користувачеві може не вистачати знань, часу або досвіду, або того
й іншого, щоб вибрати те, що відповідає його потребам. Користувач явно або
побічно надає системі інформацію про свої уподобання. Таким чином,
рекомендаційна система для інтернет-магазину подається у вигляді системи
(програми), що використовує певний алгоритм фільтрації та наявну 3
інформацію про потреби користувача, щоб рекомендувати йому набір об'єктів,
які він вважає найбільш корисними для себе.
У дисертаційній роботі отримав подальший розвиток метод розрахунку
коефіцієнтів подібності векторів профілів користувачів і векторів профілів
предметів, який на відміну від існуючих, використовує демографічні
характеристики користувачів, що дозволяє підвищити точність прогнозування
рекомендацій і визначати коефіцієнти подібності для нового користувача і
нового предмета.
На основі концепції застосування в одному методі категоріальної,
мішаної і числової кластеризації вперше розроблено метод пошуку груп
користувачів, який адаптується до розрідженості матриці користувач-предмет.
Отримав подальший розвиток метод мішаної кластеризації, який
використовується для кластеризації категоріально-числових векторів профілів
користувачів і, на відміну від існуючих, автоматично вибирає центри
кластерів і дозволяє зменшити час пошуку груп користувачів при високій
точності виділення груп.
Отримав подальший розвиток метод збільшення різноманітності
рекомендованих предметів, який дозволяє врахувати оцінки подібних товарів
в околі товарів активного користувача і вирішує проблему «довгого хвоста».
Удосконалено метод прогнозування рекомендацій для користувачів
інтернет-магазину, який, на відміну від інших існуючих методів, використовує
алгоритм пошуку асоціативних правил Apriori за допомогою адаптивної зміни
підтримки асоціативних правил.
У першому розділі виділені основні класи електронної комерції,
показано, що інтернет-магазин є одною із основних систем електронної
комерції, виконана класифікація і виділені основні види інтернет-магазинів,
наведені основні кроки роботи інтернет-магазину, розроблена структура
роботи інтернет-магазину, показана область застосування рекомендаційних
систем в структурі роботи інтернет-магазину, наведені структури Веб-сайтів
для інтернет-магазину, показано зв’язок структури Веб-сайту із процесом 4
надання рекомендацій, наведені основні метрики ефективності роботи
інтернет-магазину, виділені особливості застосування рекомендаційних
систем в роботі інтернет-магазину. До таких метрик належать: кількість
відвідувачів веб-сайту інтернет магазину, коефіцієнт конверсії, коефіцієнт
супутніх продаж, коефіцієнт додаткових продаж. Показано, що в інтернет-
магазині можна виділити три види рекомендаційних систем: вхідна
рекомендаційна система, рекомендаційна система супутніх продаж,
рекомендаційна система додаткових продаж. Сформульована загальна задача
пошуку найкращої рекомендації: для заданої множини користувачів і заданої
множини предметів рекомендаційна система для інтернет-магазину повинна
рекомендувати користувачу такі предмети, які будуть відповідати його
дійсним потребам.
У другому розділі дисертаційної роботи розроблена формальна модель
задачі прогнозування рекомендацій методом колаборативної (спільної)
фільтрації для інтернет-магазину. Показано, що формальна модель включає
множину користувачів, множину предметів, матрицю користувач-предмет.
Елементами матриці користувач-предмет є рейтингові числові оцінки, які
користувачі виставляють вибраним предметам. Наведені особливості
формальної моделі для прогнозування рекомендацій з урахуванням груп
користувачів. Дана характеристика метрик подібності векторів в
багатовимірному просторі. Виконано порівняння існуючих методів
розрахунку коефіцієнтів подібності в методі зваженої суми для прогнозування
рекомендацій. Проведено теоретичне і експериментальне дослідження таких
метрик подібності, як косинусна відстань, коефіцієнт кореляції Пірсона,
обернена евклідова відстань. Показано, що найбільшу точність дає обернена
евклідова відстань. Удосконалено метод розрахунку коефіцієнтів подібності,
який, на відміну від існуючих, використовує обернену евклідову відстань між
векторами профілів користувачів і демографічних характеристик
користувачів, показано можливість застосування цього методу для рішення
задачі «холодного старту». 5
У третьому розділі дисертаційної роботи розроблено гібридний метод
пошуку груп користувачів, який адаптується до розрідженості матриці
користувач-предмет. Суть методу полягає в тому, що він використовує чітку
кластеризацію, мішану кластеризацію і категоріальну кластеризацію. Вибір
методу залежить від коефіцієнта розрідженості матриці користувач-предмет.
При малій розрідженості використовується модифікований метод k-середніх,
При великій розрідженості використовується двохетапний метод
категоріальної і чіткої числової кластеризації. При деякому середньому
значенні коефіцієнта розрідженості використовується запропонований в
роботі метод мішаної кластеризації. Для сформованих груп користувачів
показано застосування прогнозування рекомендацій для групи в цілому, а не
для кожного окремого користувача в групі. Розроблено новий метод мішаної
кластеризації, який враховує категоріальні і числові складові вектора профілю
користувача і автоматично вибирає центри кластерів; показано застосування
методів прогнозування рекомендацій для груп користувачів; розроблено метод
прогнозування рекомендацій на основі пошуку асоціативних правил за
допомогою алгоритму Apriori, який використовує алгоритм пошуку
асоціативних правил за допомогою адаптивної зміни підтримки асоціативних
правил. Розроблено метод прогнозування рекомендацій для супутніх продаж
(cross-selling), режиму додаткових продаж (up-selling) і режиму
післяпродажної роботи (e-mail marketing), розроблено метод збільшення
різноманітності товарів, які пропонує інтернет-магазин і дозволяє вирішити
проблему «довгого хвоста».
У четвертому розділі дисертаційної роботи розроблено інформаційне
забезпечення для тестування моделей і методів прогнозування рекомендацій
для інтернет-магазину, розроблена структура математичного забезпечення,
розроблена структура програмного забезпечення, яка дозволяє вибрати метод
прогнозування рекомендацій, метод пошуку груп користувачів, метод
прогнозування рекомендацій в групі користувачів, метод прогнозування
рекомендацій для формування додаткових продаж, метод прогнозування
рекомендацій для супутніх продаж, метод прогнозування рекомендацій для
післяпродажного супроводу користувача, метод розрахунку точності
прогнозування, величину поділу тестової матриці користувач-предмет на
прогнозовану і тестову частини. Наведені результати експериментальних
досліджень розроблених моделей, методів і алгоритмів. Експериментальні
дослідження проведені на тестовому наборі даних MoviLens.
Ключові слова: рекомендаційна система, інтернет-магазин,
прогнозування рекомендацій, колаборативна фільтрація, групи користувачів,
мішана кластеризація, асоціативні правила.
Шварц М.Є. Гібридні моделі і методи прогнозування рекомендацій для
інтернет-магазину. – Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня кандидата технічних наук
(доктора філософії) за спеціальністю 01.05.03 – «Математичне і програмне
забезпечення обчислювальних машин і систем» – Національний університет
«Львівська політехніка» , Міністерство освіти і науки України, Львів, 2019.
Зміст дисертації. У дисертаційній роботі розв’язано наукове завдання
розроблення і дослідження гібридних моделей і методів прогнозування
рекомендацій для інтернет-магазину, які можуть бути використані і при
функціонуванні інших суб’єктів електронної комерції, таких, як електронні
торгові ряди, інтернет-вітрини, інформаційно-пошукові системи, пошукові
системи в глобальній мережі Інтернет. Основне призначення рекомендаційних
систем – надання рекомендацій користувачам при виборі предметів, які
найбільше відповідають їх інтересам та вподобанням. Предметами можуть
бути товари, об’єкти або послуги.
Розробленню і впровадженню рекомендаційних систем сприяв стрімкий
розвиток інформаційно-комунікаційних технологій, а саме, Інтернет, як
всесвітньої мережі для зберігання і передачі інформації, а також Всесвітньої
павутини (WWW, Word Wide Web). На даний час в Інтернеті зберігається
1,2∙10 9
сайтів, які містять 16,2∙10 70
байтів інформації. Прогнозується, що до
2020 року цей показник зросте до 44∙10 70 байтів. Таким чином на даний час
проблема полягає не у відсутності інформації, а у відсутності ефективних
механізмів пошуку інформації. Сучасні пошукові системи (Google, Yahoo)
повертають значно більший об’єм інформації, ніж користувач здатний
обробити. Користувачеві може не вистачати знань, часу або досвіду, або того
й іншого, щоб вибрати те, що відповідає його потребам. Користувач явно або
побічно надає системі інформацію про свої уподобання. Таким чином,
рекомендаційна система для інтернет-магазину подається у вигляді системи
(програми), що використовує певний алгоритм фільтрації та наявну 3
інформацію про потреби користувача, щоб рекомендувати йому набір об'єктів,
які він вважає найбільш корисними для себе.
У дисертаційній роботі отримав подальший розвиток метод розрахунку
коефіцієнтів подібності векторів профілів користувачів і векторів профілів
предметів, який на відміну від існуючих, використовує демографічні
характеристики користувачів, що дозволяє підвищити точність прогнозування
рекомендацій і визначати коефіцієнти подібності для нового користувача і
нового предмета.
На основі концепції застосування в одному методі категоріальної,
мішаної і числової кластеризації вперше розроблено метод пошуку груп
користувачів, який адаптується до розрідженості матриці користувач-предмет.
Отримав подальший розвиток метод мішаної кластеризації, який
використовується для кластеризації категоріально-числових векторів профілів
користувачів і, на відміну від існуючих, автоматично вибирає центри
кластерів і дозволяє зменшити час пошуку груп користувачів при високій
точності виділення груп.
Отримав подальший розвиток метод збільшення різноманітності
рекомендованих предметів, який дозволяє врахувати оцінки подібних товарів
в околі товарів активного користувача і вирішує проблему «довгого хвоста».
Удосконалено метод прогнозування рекомендацій для користувачів
інтернет-магазину, який, на відміну від інших існуючих методів, використовує
алгоритм пошуку асоціативних правил Apriori за допомогою адаптивної зміни
підтримки асоціативних правил.
У першому розділі виділені основні класи електронної комерції,
показано, що інтернет-магазин є одною із основних систем електронної
комерції, виконана класифікація і виділені основні види інтернет-магазинів,
наведені основні кроки роботи інтернет-магазину, розроблена структура
роботи інтернет-магазину, показана область застосування рекомендаційних
систем в структурі роботи інтернет-магазину, наведені структури Веб-сайтів
для інтернет-магазину, показано зв’язок структури Веб-сайту із процесом 4
надання рекомендацій, наведені основні метрики ефективності роботи
інтернет-магазину, виділені особливості застосування рекомендаційних
систем в роботі інтернет-магазину. До таких метрик належать: кількість
відвідувачів веб-сайту інтернет магазину, коефіцієнт конверсії, коефіцієнт
супутніх продаж, коефіцієнт додаткових продаж. Показано, що в інтернет-
магазині можна виділити три види рекомендаційних систем: вхідна
рекомендаційна система, рекомендаційна система супутніх продаж,
рекомендаційна система додаткових продаж. Сформульована загальна задача
пошуку найкращої рекомендації: для заданої множини користувачів і заданої
множини предметів рекомендаційна система для інтернет-магазину повинна
рекомендувати користувачу такі предмети, які будуть відповідати його
дійсним потребам.
У другому розділі дисертаційної роботи розроблена формальна модель
задачі прогнозування рекомендацій методом колаборативної (спільної)
фільтрації для інтернет-магазину. Показано, що формальна модель включає
множину користувачів, множину предметів, матрицю користувач-предмет.
Елементами матриці користувач-предмет є рейтингові числові оцінки, які
користувачі виставляють вибраним предметам. Наведені особливості
формальної моделі для прогнозування рекомендацій з урахуванням груп
користувачів. Дана характеристика метрик подібності векторів в
багатовимірному просторі. Виконано порівняння існуючих методів
розрахунку коефіцієнтів подібності в методі зваженої суми для прогнозування
рекомендацій. Проведено теоретичне і експериментальне дослідження таких
метрик подібності, як косинусна відстань, коефіцієнт кореляції Пірсона,
обернена евклідова відстань. Показано, що найбільшу точність дає обернена
евклідова відстань. Удосконалено метод розрахунку коефіцієнтів подібності,
який, на відміну від існуючих, використовує обернену евклідову відстань між
векторами профілів користувачів і демографічних характеристик
користувачів, показано можливість застосування цього методу для рішення
задачі «холодного старту». 5
У третьому розділі дисертаційної роботи розроблено гібридний метод
пошуку груп користувачів, який адаптується до розрідженості матриці
користувач-предмет. Суть методу полягає в тому, що він використовує чітку
кластеризацію, мішану кластеризацію і категоріальну кластеризацію. Вибір
методу залежить від коефіцієнта розрідженості матриці користувач-предмет.
При малій розрідженості використовується модифікований метод k-середніх,
При великій розрідженості використовується двохетапний метод
категоріальної і чіткої числової кластеризації. При деякому середньому
значенні коефіцієнта розрідженості використовується запропонований в
роботі метод мішаної кластеризації. Для сформованих груп користувачів
показано застосування прогнозування рекомендацій для групи в цілому, а не
для кожного окремого користувача в групі. Розроблено новий метод мішаної
кластеризації, який враховує категоріальні і числові складові вектора профілю
користувача і автоматично вибирає центри кластерів; показано застосування
методів прогнозування рекомендацій для груп користувачів; розроблено метод
прогнозування рекомендацій на основі пошуку асоціативних правил за
допомогою алгоритму Apriori, який використовує алгоритм пошуку
асоціативних правил за допомогою адаптивної зміни підтримки асоціативних
правил. Розроблено метод прогнозування рекомендацій для супутніх продаж
(cross-selling), режиму додаткових продаж (up-selling) і режиму
післяпродажної роботи (e-mail marketing), розроблено метод збільшення
різноманітності товарів, які пропонує інтернет-магазин і дозволяє вирішити
проблему «довгого хвоста».
У четвертому розділі дисертаційної роботи розроблено інформаційне
забезпечення для тестування моделей і методів прогнозування рекомендацій
для інтернет-магазину, розроблена структура математичного забезпечення,
розроблена структура програмного забезпечення, яка дозволяє вибрати метод
прогнозування рекомендацій, метод пошуку груп користувачів, метод
прогнозування рекомендацій в групі користувачів, метод прогнозування
рекомендацій для формування додаткових продаж, метод прогнозування
рекомендацій для супутніх продаж, метод прогнозування рекомендацій для
післяпродажного супроводу користувача, метод розрахунку точності
прогнозування, величину поділу тестової матриці користувач-предмет на
прогнозовану і тестову частини. Наведені результати експериментальних
досліджень розроблених моделей, методів і алгоритмів. Експериментальні
дослідження проведені на тестовому наборі даних MoviLens.
Ключові слова: рекомендаційна система, інтернет-магазин,
прогнозування рекомендацій, колаборативна фільтрація, групи користувачів,
мішана кластеризація, асоціативні правила.
Доступні формати:
PDFчитайте також:
В бібліотеці зібрані всі книги українською мовою в електронному (txt, rtf, doc, pdf, fb2, epub, mobi, djvu) та паперовому форматі. Книжку можна безкоштовно скачати клікнувши на необхідний Вам формат для iPad, iPhone, Android, Kindle, Kobo та інших читалок або купити паперовий варіант тексту з доставкою по Україні. Сайт бібліотеки оптимізований для роботи на телефонах, смартфонах(айфон, анроїд) і планшетах. Потрібну книгу Ви можете легко знайти за допомогою пошуку.