Анализ оттока клиентов: постановка задачи и ключевые показатели
Привет! Давайте разберемся, как SAS Enterprise Miner 15.2 поможет вам эффективно бороться с оттоком клиентов. Ключ к успеху — предиктивная аналитика, а именно метод CHAID (Chi-squared Automatic Interaction Detection). Он позволяет строить деревья решений, предсказывающие вероятность ухода клиента. Это позволит вам проактивно реагировать и удерживать ценных клиентов, повышая эффективность принятия решений и оптимизируя бизнес-процессы.
Постановка задачи: снизить уровень оттока клиентов на Х% в течение Y месяцев, увеличив LTV (пожизненную ценность клиента) на Z%. Для этого нам нужно:
- Определить ключевые показатели (KPI): Churn rate (процент оттока), Customer Lifetime Value (LTV), Customer Acquisition Cost (CAC), Retention rate (процент удержания клиентов).
- Собрать и подготовить данные: демографические данные клиентов, история покупок, взаимодействие с сервисом, информация о жалобах и обращениях в поддержку. Качество данных – критично для точности модели.
- Выбрать подходящий метод: CHAID в SAS Enterprise Miner – оптимальный вариант для анализа категориальных переменных и построения интерпретируемых моделей.
Пример KPI: Допустим, текущий churn rate составляет 15%. Наша цель – снизить его до 10% за 6 месяцев, увеличив LTV на 20%. Для этого нам нужно улучшить удержание клиентов и/или привлечь более лояльных клиентов.
Важность данных: Качество данных напрямую влияет на точность прогнозирования. Необходимо провести тщательную очистку и предобработку данных, устранив выбросы, заполнив пропуски и преобразовав данные в нужный формат. Например, необходимо категоризировать непрерывные переменные, чтобы CHAID мог их эффективно использовать.
Преимущества SAS Enterprise Miner 15.2: интуитивный интерфейс, широкий набор инструментов для data mining, возможность интеграции с другими SAS-продуктами, высокая производительность и масштабируемость. Встроенная документация (SAS Enterprise Miner 15.2: Reference Help) поможет вам разобраться во всех нюансах работы с программой.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, предиктивная аналитика, прогнозирование оттока, удержание клиентов, KPI, data mining, оптимизация бизнес-процессов.
Метод CHAID в SAS Enterprise Miner 15.2: алгоритм и особенности применения
Давайте детально разберем, как работает метод CHAID (Chi-squared Automatic Interaction Detection) в SAS Enterprise Miner 15.2 для прогнозирования оттока клиентов. CHAID — это мощный алгоритм построения деревьев решений, идеально подходящий для анализа категориальных переменных и выявления значимых факторов, влияющих на вероятность ухода клиента. В отличие от других алгоритмов, CHAID не только строит дерево, но и проводит статистический тест хи-квадрат на каждой стадии, обеспечивая надежность результатов.
Алгоритм CHAID: Алгоритм итеративно разделяет данные на подгруппы, исходя из значений предикторов. На каждом шаге выбирается предиктор, который наиболее сильно влияет на целевую переменную (отток/удержание). Для этого CHAID проверяет статистическую значимость различий в распределении целевой переменной между группами, образованными разными значениями предиктора, используя тест хи-квадрат. Если разница статистически значима (p-value ниже заданного порога), узел делится. Процесс продолжается до тех пор, пока не будут достигнуты критерии остановки (например, минимальный размер узла или максимальная глубина дерева). обеспечение
Особенности применения в SAS Enterprise Miner 15.2: SAS Enterprise Miner предоставляет удобный интерфейс для построения и настройки моделей CHAID. Вы можете указать критерии остановки, методы обработки пропущенных данных, тип теста хи-квадрат (Pearson, likelihood ratio) и другие параметры. Кроме того, программа автоматически вычисляет важность предикторов и визуализирует результаты в виде дерева решений, что значительно упрощает интерпретацию модели.
Преимущества метода CHAID:
- Интерпретируемость: полученные деревья решений легко понимать и объяснять, что важно для принятия обоснованных бизнес-решений.
- Обработка категориальных переменных: CHAID эффективно работает с категориальными данными, что часто встречается в данных о клиентах (пол, возрастная группа, тип продукта).
- Выявление взаимодействий: CHAID способен выявлять взаимодействия между предикторами, что позволяет получить более глубокое понимание факторов, влияющих на отток.
Пример: Предположим, мы используем CHAID для прогнозирования оттока клиентов телеком-оператора. В результате моделирования мы получили дерево, в котором ключевыми предикторами оказались тарифный план, частота обращений в службу поддержки и возрастная группа. Это позволит нам разработать целевые маркетинговые кампании для удержания клиентов из рисковых групп.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, дерево решений, прогнозирование оттока, анализ данных, предиктивная аналитика, тест хи-квадрат.
Моделирование оттока клиентов: построение и валидация модели CHAID
После подготовки данных и выбора метода CHAID в SAS Enterprise Miner 15.2, переходим к самому процессу построения и валидации модели. Этап критически важен для обеспечения точности прогнозирования оттока клиентов. Неправильно построенная модель может привести к неэффективному использованию ресурсов и неправильным стратегическим решениям. В SAS Enterprise Miner 15.2 процесс прост и интуитивно понятен, но требует внимательного подхода к настройке параметров.
Построение модели: В SAS Enterprise Miner 15.2 вы укажете целевую переменную (например, “отток” – бинарная переменная: 1 – клиент ушел, 0 – остался) и предикторы (демографические данные, история покупок, интенсивность использования сервиса и т.д.). Программа автоматически построит дерево решений CHAID, разделяя данные на основе статистической значимости различий в распределении целевой переменной между группами, образованными различными значениями предикторов. Важно правильно настроить параметры модели, такие как максимальная глубина дерева, минимальный размер узла, уровень значимости (alpha) для теста хи-квадрат. Слишком глубокое дерево может привести к переобучению (overfitting), а слишком мелкое – к недообучению (underfitting).
Валидация модели: После построения модели необходимо оценить ее качество и убедиться, что она обобщается на новые данные. Для этого используют методы валидации, такие как кросс-валидация (k-fold cross-validation) или разделение данных на обучающую и тестовую выборки. Кросс-валидация более надежна, так как использует все наблюдения для обучения и тестирования модели. Разделение данных на обучающую и тестовую выборки проще, но менее информативно, особенно при небольшом количестве данных.
Оценка качества модели: Качество модели оценивают с помощью метрики, таких как точность (accuracy), полнота (recall), точность (precision), F1-мера, AUC-ROC (площадь под кривой ROC). Выбор метрики зависит от конкретной задачи. Например, если важно минимизировать количество неправильно классифицированных клиентов, которые ушли, то важнее полнота. Если важно минимизировать количество ложных положительных результатов, то важнее точность.
Пример: Допустим, после кросс-валидации наша модель CHAID показывает точность 85%, полноту 80% и AUC-ROC 0.9. Эти показатели свидетельствуют о хорошем качестве модели и ее способности точно прогнозировать отток клиентов.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, моделирование оттока, валидация модели, кросс-валидация, метрики качества модели, точность, полнота, precision, F1-мера, AUC-ROC.
Интерпретация результатов и выбор оптимальной модели прогнозирования оттока
После построения и валидации модели CHAID в SAS Enterprise Miner 15.2, необходимо тщательно интерпретировать полученные результаты и выбрать оптимальную модель для прогнозирования оттока клиентов. Это ключевой этап, от которого зависит эффективность дальнейших действий по удержанию клиентов. SAS Enterprise Miner 15.2 предоставляет инструменты для визуализации и анализа результатов, что значительно упрощает процесс интерпретации.
Интерпретация дерева решений: CHAID генерирует дерево решений, где каждый узел представляет подмножество клиентов, а ветви — различные значения предикторов. Листья дерева содержат прогнозы вероятности оттока для соответствующих групп клиентов. Анализируя структуру дерева, можно выделить ключевые факторы, влияющие на отток, и определить группы клиентов с высоким риском ухода.
Оценка важности предикторов: SAS Enterprise Miner 15.2 позволяет оценить важность каждого предиктора в модели. Это помогает сфокусироваться на наиболее значимых факторах и принять целевые решения по удержанию клиентов. Например, если модель показывает, что частота обращений в службу поддержки является важным предиктором, то необходимо улучшить качество обслуживания клиентов.
Сравнение разных моделей: Часто строится не одна, а несколько моделей CHAID с разными параметрами (например, разной глубиной дерева). Для выбора оптимальной модели используются метрики качества (точность, полнота, F1-мера, AUC-ROC). Модель с наилучшими показателями выбирается в качестве окончательной модели для прогнозирования оттока.
Пример: Предположим, мы сравнили три модели CHAID с разной глубиной дерева. Модель A имеет точность 80%, полноту 75% и AUC-ROC 0.85. Модель B имеет точность 85%, полноту 70% и AUC-ROC 0.88. Модель C имеет точность 82%, полноту 80% и AUC-ROC 0.9. В этом случае, модель C является оптимальной, так как имеет наибольшее значение AUC-ROC и хорошие показатели точности и полноты.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, интерпретация результатов, выбор оптимальной модели, метрики качества, точность, полнота, F1-мера, AUC-ROC, важность предикторов.
Удержание клиентов: применение результатов прогнозирования и оптимизация бизнес-процессов
После выбора оптимальной модели прогнозирования оттока клиентов с помощью CHAID в SAS Enterprise Miner 15.2, наступает самый практический этап – применение полученных результатов для удержания клиентов и оптимизации бизнес-процессов. Это не просто анализ данных, а инструмент для принятия целевых решений, позволяющий сосредоточить ресурсы на наиболее эффективных мероприятиях.
Сегментация клиентов: Модель CHAID разделяет клиентов на группы с разной вероятностью оттока. Это позволяет разработать целевые стратегии удержания для каждой группы. Например, клиентам с высоким риском оттока можно предложить специальные скидки, программы лояльности или индивидуальные предложения. Клиентам с низким риском оттока достаточно стандартных мер по удержанию.
Персонализированные предложения: Зная факторы, влияющие на отток для каждой группы клиентов, можно разработать персонализированные предложения, учитывающие индивидуальные потребности и предпочтения. Это повысит эффективность маркетинговых кампаний и увеличит процент удержания клиентов.
Оптимизация бизнес-процессов: Анализ результатов модели CHAID может выявить проблемы в бизнес-процессах, которые способствуют оттоку клиентов. Например, если модель показывает, что длительное время ожидания на линии поддержки повышает вероятность оттока, то необходимо улучшить качество обслуживания клиентов.
Пример: Допустим, модель CHAID выявила, что клиенты, использующие определенный тип тарифа, чаще уходят. В этом случае, можно пересмотреть условия этого тарифа, предложить альтернативные варианты или разработать специальные программы лояльности для этих клиентов.
Ключевые слова: удержание клиентов, оптимизация бизнес-процессов, персонализированные предложения, сегментация клиентов, применение результатов прогнозирования, CHAID, SAS Enterprise Miner 15.2.
В этом разделе мы представим таблицу с примерами данных, которые могут быть использованы для прогнозирования оттока клиентов с помощью метода CHAID в SAS Enterprise Miner 15.2. Данные приведены в иллюстративных целях и не отражают реальные данные какой-либо компании. Важно помнить, что качество и полнота данных критически важны для точности прогнозирования. Необходимо обеспечить чистоту данных, обработав пропуски и выбросы, а также преобразовав данные в нужный формат перед построением модели. В реальном сценарии вам потребуется значительно больший объем данных для получения надежных результатов.
Ниже представлена таблица, содержащая информацию о клиентах, включая их демографические данные, историю взаимодействия с компанией и показатель оттока (1 – клиент ушел, 0 – клиент остался). Эти данные могут быть использованы как обучающая выборка для построения модели CHAID в SAS Enterprise Miner. Помните, что для достижения высокой точности прогнозирования необходимо использовать значительно большее количество данных.
Обратите внимание на разнообразие типов данных: категориальные (пол, регион, тип тарифа) и числовые (возраст, средний чек, количество обращений в поддержку). Правильное преобразование и обработка данных, включая кодирование категориальных переменных, является важным этапом преди моделирования.
ID клиента | Пол | Возраст | Регион | Тип тарифа | Средний чек | Количество обращений в поддержку | Отток |
---|---|---|---|---|---|---|---|
1 | Мужской | 35 | Москва | Базовый | 1500 | 1 | 0 |
2 | Женский | 28 | Санкт-Петербург | Премиум | 3000 | 0 | 0 |
3 | Мужской | 45 | Москва | Базовый | 1000 | 3 | 1 |
4 | Женский | 32 | Екатеринбург | Оптимальный | 2000 | 2 | 0 |
5 | Мужской | 50 | Москва | Премиум | 4000 | 1 | 0 |
6 | Женский | 25 | Санкт-Петербург | Базовый | 1200 | 0 | 1 |
7 | Мужской | 40 | Новосибирск | Оптимальный | 2500 | 4 | 1 |
8 | Женский | 38 | Москва | Премиум | 3500 | 0 | 0 |
9 | Мужской | 22 | Санкт-Петербург | Базовый | 800 | 2 | 1 |
10 | Женский | 42 | Екатеринбург | Оптимальный | 1800 | 1 | 0 |
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, данные для моделирования, предикторные переменные, целевая переменная, отток клиентов.
В процессе прогнозирования оттока клиентов с помощью SAS Enterprise Miner 15.2 и метода CHAID часто возникает необходимость сравнить несколько моделей, построенных с различными параметрами или на основе разных подмножеств данных. Это позволяет выбрать наиболее эффективную модель, обеспечивающую оптимальный баланс между точностью прогнозирования и интерпретируемостью результатов. Ниже представлена сравнительная таблица, иллюстрирующая результаты валидации трех моделей CHAID, построенных с разными настройками алгоритма. Данные в таблице являются иллюстративными и не отражают результаты реального проекта.
Обратите внимание на метрики качества моделей: точность (Accuracy), полнота (Recall), точность (Precision), F1-мера и AUC-ROC. Выбор оптимальной модели зависит от конкретных целей и приоритетов. Например, если важно минимизировать процент неправильно классифицированных клиентов, которые ушли (ложноотрицательные результаты), то полнота (Recall) будет более важной метрикой. В то же время, если важно минимизировать количество ложных положительных результатов (неправильно классифицированных клиентов как ушедших), то важнее точность (Precision). AUC-ROC дает общее представление о качестве модели и её способности разделять клиентов на группы с высоким и низким риском оттока.
Анализ таблицы показывает, что Модель С демонстрирует наилучшее значение AUC-ROC, что указывает на её высокую дискриминационную способность. Однако, Модель А имеет более высокую полноту. Выбор оптимальной модели зависит от баланса между точностью и полнотой, а также от стоимости ложноположительных и ложноотрицательных результатов. Например, более высокая полнота может быть важна, если стоимость потери клиента значительно выше стоимости дополнительных маркетинговых усилий для клиентов с низким риском оттока (ложноположительные).
Метрика | Модель A | Модель B | Модель C |
---|---|---|---|
Accuracy | 0.82 | 0.85 | 0.80 |
Recall | 0.85 | 0.75 | 0.78 |
Precision | 0.78 | 0.82 | 0.81 |
F1-мера | 0.81 | 0.78 | 0.79 |
AUC-ROC | 0.88 | 0.86 | 0.90 |
Максимальная глубина дерева | 3 | 5 | 4 |
Минимальный размер узла | 100 | 50 | 75 |
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, сравнение моделей, метрики качества, точность, полнота, Precision, F1-мера, AUC-ROC, выбор оптимальной модели.
В этом разделе мы ответим на часто задаваемые вопросы по применению метода CHAID в SAS Enterprise Miner 15.2 для прогнозирования оттока клиентов. Надеемся, что эта информация поможет вам лучше понять процесс и избежать распространенных ошибок. Помните, что успех в прогнозировании оттока зависит от множества факторов, включая качество данных, правильный выбор параметров модели и правильную интерпретацию результатов.
Вопрос 1: Какой тип данных лучше подходит для использования с CHAID?
CHAID оптимально работает с категориальными переменными. Однако, его можно применять и к числовым данным, предварительно разделив их на интервалы (биннинг). Выбор метода биннинга зависит от характера распределения данных. В SAS Enterprise Miner есть несколько методов биннинга, позволяющих найти оптимальное разбиение данных.
Вопрос 2: Как выбрать оптимальные параметры модели CHAID?
Выбор оптимальных параметров (максимальная глубина дерева, минимальный размер узла, уровень значимости) — итеративный процесс. Рекомендуется экспериментировать с разными параметрами и сравнивать результаты с помощью кросс-валидации и метрик качества (AUC-ROC, точность, полнота). Важно найти баланс между точностью и сложностью модели, избегая переобучения.
Вопрос 3: Что делать, если модель CHAID плохо прогнозирует отток?
Плохая точность модели может быть связана с некачественными данными, неправильным выбором предикторов или неудачным подбором параметров модели. Необходимо проверить качество данных, добавить новые предикторные переменные, изменить параметры модели и повторить процесс моделирования. Рассмотрите возможность использования других методов прогнозирования, если CHAID не дает удовлетворительных результатов. Обратите внимание на наличие многоколлинеарности между предикторами, что может отрицательно повлиять на точность модели.
Вопрос 4: Как использовать результаты прогнозирования на практике?
Результаты модели CHAID позволяют сегментировать клиентов по риску оттока и разработать целевые стратегии удержания для каждой группы. Это может включать специальные предложения, персонализированные маркетинговые кампании и улучшение качества обслуживания.
Вопрос 5: Какие инструменты SAS Enterprise Miner используются для работы с CHAID?
В SAS Enterprise Miner 15.2 для работы с CHAID используется узел “Decision Tree”. Этот узел позволяет настроить параметры модели, построить дерево решений и оценить его качество. Дополнительные узлы используются для подготовки данных, визуализации результатов и создания отчетов.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, FAQ, прогнозирование оттока, часто задаваемые вопросы.
В этом разделе представлена таблица, демонстрирующая пример прогнозирования оттока клиентов на основе модели CHAID, построенной в SAS Enterprise Miner 15.2. Важно понимать, что это всего лишь иллюстративный пример, и для получения достоверных результатов необходимо использовать реальные данные и более объемную выборку. Качество прогнозирования прямо пропорционально качеству и объему использованных данных. Не забудьте провести тщательную подготовку данных перед построением модели, обработка пропущенных значений и выбросов является критически важным этапом.
Таблица содержит информацию о группах клиентов, сгруппированных моделью CHAID по вероятности оттока. Каждая группа характеризуется набором значений предикторных переменных и прогнозируемой вероятностью оттока. Вероятность оттока представлена в процентах. Чем выше значение вероятности, тем выше риск того, что клиент уйдет. Эта информация может быть использована для разработки целевых маркетинговых кампаний по удержанию клиентов из групп с высокой вероятностью оттока. Например, клиентам из группы с вероятностью оттока более 70% можно предложить специальные скидки, программы лояльности или индивидуальные предложения.
Обратите внимание на важность интерпретации результатов модели. Не стоит слепо доверять прогнозам, необходимо критически оценить полученные результаты и учесть дополнительные факторы, которые могут влиять на отток клиентов. Например, сезонность, экономические факторы или изменения в рыночной конъюнктуре.
Группа клиентов | Пол | Возраст | Тип тарифа | Средний чек | Вероятность оттока (%) |
---|---|---|---|---|---|
Группа 1 | Мужской | Базовый | 85 | ||
Группа 2 | Женский | 30-40 | Базовый | 1000-2000 | 60 |
Группа 3 | Мужской | >40 | Премиум | >3000 | 15 |
Группа 4 | Женский | 30-40 | Премиум | 2000-3000 | 30 |
Группа 5 | Мужской | 30-40 | Оптимальный | 2000-3000 | 40 |
Группа 6 | Женский | Оптимальный | 70 | ||
Группа 7 | Мужской | >40 | Оптимальный | >2500 | 25 |
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, прогнозирование оттока, сегментация клиентов, вероятность оттока.
Выбор оптимальной модели для прогнозирования оттока клиентов – критически важный этап. В SAS Enterprise Miner 15.2 мы можем построить несколько моделей CHAID с различными параметрами и сравнить их эффективность. Эта сравнительная таблица демонстрирует результаты валидации трех моделей, построенных с разными настройками алгоритма. Важно понимать, что данные в таблице являются иллюстративными и не отражают результаты реального проекта. Для получения достоверных результатов необходимо использовать реальные данные и большие объемы информации.
Обратите внимание на ключевые метрики оценки качества моделей: точность (Accuracy), полнота (Recall), точность (Precision), F1-мера и AUC-ROC (площадь под кривой ROC). Каждая метрика отражает разные аспекты качества модели. Например, точность показывает общее количество правильно классифицированных наблюдений, полнота – долю правильно идентифицированных случаев оттока, а точность – долю правильных прогнозов оттока среди всех прогнозов оттока. F1-мера является гармоническим средним точности и полноты, а AUC-ROC характеризует способность модели разделять клиентов на группы с высоким и низким риском оттока. Выбор оптимальной модели зависит от конкретных целей и приоритетов бизнеса. Например, если важно минимизировать количество пропущенных случаев оттока, то более важной метрикой будет полнота.
Анализ таблицы позволяет сравнить модели по различным метрикам и выбрать наиболее подходящую для конкретной задачи. Например, если важно достичь высокой точности прогнозирования, то можно выбрать модель с более высоким значением Accuracy. Однако, необходимо учитывать и другие метрики, так как высокая точность может быть достигнута за счет снижения полноты. Оптимальный выбор модели – компромисс между разными метриками и бизнес-целями.
Метрика | Модель A | Модель B | Модель C |
---|---|---|---|
Accuracy | 0.83 | 0.87 | 0.85 |
Recall | 0.78 | 0.75 | 0.82 |
Precision | 0.86 | 0.90 | 0.88 |
F1-мера | 0.82 | 0.82 | 0.85 |
AUC-ROC | 0.89 | 0.91 | 0.90 |
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, сравнение моделей, метрики качества, Accuracy, Recall, Precision, F1-мера, AUC-ROC, выбор оптимальной модели.
FAQ
Часто возникают вопросы при использовании SAS Enterprise Miner 15.2 и метода CHAID для прогнозирования оттока клиентов. Этот раздел посвящен ответам на наиболее распространенные из них. Помните, что эффективность прогнозирования зависит от множества факторов: качества данных, правильной подготовки данных, выбора соответствующих параметров модели и адекватной интерпретации результатов. Не бойтесь экспериментировать с разными параметрами и методами, но всегда проверяйте результаты на независимой выборке (тестовой выборке или с помощью кросс-валидации).
Вопрос 1: Какие данные необходимы для построения модели CHAID?
Для эффективного прогнозирования оттока нужны качественные данные, описывающие клиентов и их взаимодействие с компанией. Это могут быть демографические данные (возраст, пол, местоположение), история покупок, интенсивность использования продукта или сервиса, история обращений в службу поддержки, данные о платежах, участие в программах лояльности и другие релевантные показатели. Чем больше данных, тем точнее будет прогноз, но важно обеспечить чистоту данных, устранив пропуски и выбросы.
Вопрос 2: Как обрабатывать пропущенные значения в данных?
Пропущенные значения могут существенно повлиять на точность модели. В SAS Enterprise Miner есть несколько способов обработки пропущенных значений: удаление наблюдений с пропущенными значениями, заполнение пропущенных значений средним, медианой или модой, использование специальных алгоритмов импутации. Выбор метода зависит от конкретного набора данных и характера пропусков. Важно протестировать разные методы и выбрать наиболее подходящий.
Вопрос 3: Как избежать переобучения модели?
Переобучение (overfitting) происходит, когда модель слишком хорошо подстраивается под обучающую выборку и плохо обобщается на новые данные. Для избежания переобучения необходимо использовать кросс-валидацию, ограничить глубину дерева решений, увеличить минимальный размер узлов в дереве. Также следует внимательно отслеживать метрики качества модели на тестовой выборке.
Вопрос 4: Какие метрики используются для оценки качества модели CHAID?
Для оценки качества модели CHAID используются различные метрики, такие как точность (Accuracy), полнота (Recall), точность (Precision), F1-мера и AUC-ROC. Выбор конкретных метрик зависит от целей бизнеса и приоритетов.
Ключевые слова: SAS Enterprise Miner 15.2, CHAID, FAQ, прогнозирование оттока, подготовка данных, метрики качества модели.