File size: 6,745 Bytes
7241e34
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
import pandas as pd

def build_df(

    visits_df: pd.DataFrame,

    ads_activity_df: pd.DataFrame,

    surf_depth_df: pd.DataFrame,

    primary_device_df: pd.DataFrame,

    cloud_usage_df: pd.DataFrame,

    users_df: pd.DataFrame = pd.DataFrame(),

) -> pd.DataFrame:
    # 1. Создаём копии, чтобы не изменять исходные датафреймы
    visits_df = visits_df.copy()
    ads_df = ads_activity_df.copy()
    surf_df = surf_depth_df.copy()
    device_df = primary_device_df.copy()
    cloud_df = cloud_usage_df.copy()
    users_df = users_df.copy()
    users_df_empty = not users_df.empty

    # 2. Базовая очистка данных
    visits_df = visits_df.drop_duplicates(
        subset=["date", "daytime", "session_id", "user_id", "website_category"]
    )
    ads_df = ads_df.drop_duplicates(subset=["user_id"])
    if users_df_empty:
        users_df = users_df.drop_duplicates(subset=["user_id"])

    # 3. Нормализация значений visits_df
    daytime_map = {
        "утро": "morning",
        "день": "day",
        "вечер": "evening",
        "ночь": "night",
    }
    visits_df["daytime"] = visits_df["daytime"].replace(daytime_map)

    # Нормализуем категории сайтов: "Category 18" -> "category_18" 
    visits_df["website_category"] = (
        visits_df["website_category"]
        .astype(str)
        .str.strip()
        .str.replace(" ", "_", regex=False)
        .str.lower()
    )

    # Преобразуем date в datetime.date, чтобы корректно считать количество уникальных дней активности
    visits_df["date"] = pd.to_datetime(visits_df["date"], errors="coerce").dt.date

    # 4. Генерация признаков из visits_df на уровне пользователя (1 user_id = 1 строка)
    # 4.1. Признаки интенсивности
    base_stats_df = visits_df.groupby("user_id").agg(
        total_sessions=("session_id", "nunique"),         
        unique_days=("date", "nunique"),                  
        n_unique_categories=("website_category", "nunique") 
    )

    # Среднее число сессий в день (страховка от деления на 0)
    base_stats_df["sessions_per_day"] = base_stats_df["total_sessions"] / base_stats_df[
        "unique_days"
    ].replace(0, 1)

    # 4.2. Доли активности по времени суток (shares)
    daytime_shares_df = pd.crosstab(
        visits_df["user_id"],
        visits_df["daytime"],
        normalize="index",
    )

    # Фиксируем набор колонок, чтобы при отсутствии какого-то времени суток в данных структура не менялась
    expected_daytimes = ["morning", "day", "evening", "night"]
    daytime_shares_df = daytime_shares_df.reindex(
        columns=expected_daytimes, fill_value=0.0
    )
    daytime_shares_df.columns = [
        f"daytime_{c}_share" for c in daytime_shares_df.columns
    ]

    # Наиболее активное время суток (категориальный признак на основе максимум-доли)
    base_stats_df["most_active_daytime"] = (
        daytime_shares_df.idxmax(axis=1)
        .str.replace("daytime_", "", regex=False)
        .str.replace("_share", "", regex=False)
    )

    # 4.3. Доли активности по категориям сайтов
    webcat_shares_df = pd.crosstab(
        visits_df["user_id"],
        visits_df["website_category"],
        normalize="index",
    )

    # Стабильный порядок колонок (для воспроизводимости результатов)
    webcat_cols = sorted(webcat_shares_df.columns)
    webcat_shares_df = webcat_shares_df.reindex(columns=webcat_cols, fill_value=0.0)
    webcat_shares_df.columns = [f"web_{c}_share" for c in webcat_shares_df.columns]

    # Максимальная доля среди категорий - признак концентрации интересов пользователя
    base_stats_df["top_category_share"] = webcat_shares_df.max(axis=1)

    # 4.4. Финальная сборка visits-признаков
    visits_features_df = pd.concat(
        [base_stats_df, daytime_shares_df, webcat_shares_df], axis=1
    ).reset_index()

    # 5. Нормализация ads_activity (приводим к единым англоязычным категориям)
    ads_activity_map = {
        "очень редко": "very_rarely",
        "редко": "rarely",
        "умеренно": "moderately",
        "часто": "often",
        "очень часто": "very_often",
    }
    ads_df["ads_activity"] = ads_df["ads_activity"].replace(ads_activity_map)

    # 6. Нормализация surf_depth (унификация категорий глубины просмотра)
    surf_depth_map = {
        "поверхностно": "shallow",
        "средне": "medium",
        "глубоко": "deep",
    }
    surf_df["surf_depth"] = surf_df["surf_depth"].replace(surf_depth_map)

    # 7. Нормализация primary_device (унификация категорий устройства)
    primary_device_map = {
        "смартфон": "smartphone",
        "ПК": "pc",
        "ноутбук": "laptop",
        "планшет": "tablet",
    }
    device_df["primary_device"] = device_df["primary_device"].replace(
        primary_device_map
    )

    # 7. Нормализация cloud_usage (bool -> category)
    cloud_usage_map = {
        False: "not",
        True: "yes",
    }
    cloud_df["cloud_usage"] = cloud_df["cloud_usage"].replace(cloud_usage_map)

    # 8. Объединение всех таблиц по user_id
    # Если передан users_df - используем его как базу (там целевая переменная), иначе собираем только признаки
    if users_df_empty:
        features_df = users_df.merge(visits_features_df, on="user_id", how="left")
        features_df = features_df.merge(ads_df, on="user_id", how="left")
    else:
        features_df = ads_df.merge(visits_features_df, on="user_id", how="left")

    features_df = features_df.merge(surf_df, on="user_id", how="left")
    features_df = features_df.merge(device_df, on="user_id", how="left")
    features_df = features_df.merge(cloud_df, on="user_id", how="left")

    return features_df