Pandas

groupby ленив — ничего не считает, пока не запущена операция. agg сводит группу к одной строке на ключ; transform возвращает ту же форму, что и вход, транслируя значение группы на каждую строку; apply — гибкий, но медленный запасной путь. Только transform кладёт агрегат группы на строки без merge.

Агрегируют продажи на сотрудника, затем подтягивают имя. Группируют продажи по emp_id и суммируют num_sales, затем объединяют с именами по emp_id: df_sales.groupby('emp_id')['num_sales'].sum().reset_index().merge(df_names, on='emp_id')[['emp_name','num_sales']].

Series — подписанный 1-D столбец; DataFrame — 2-D таблица из выровненных Series с общим индексом. .loc выбирает по метке, .iloc — по позиции. На RangeIndex совпадают, но расходятся при фильтрации или своём индексе — .loc[0] ищет метку 0, её может не быть, а .iloc[0] берёт первую строку.

Сортируют по времени, затем убирают дубликаты, оставляя последнюю строку на ключ: df.sort_values('updated_at').drop_duplicates('order_id', keep='last'). Сортировка делает keep='last' синонимом «самой свежей»; без неё останется строка, оказавшаяся последней в файле, а не свежайшее обновление.

fillna(0) годится для настоящих нулей, но занижает измерение, делая «неизвестно» нулём. Среднее сохраняет среднее, но сжимает дисперсию и может течь между train/test. Forward-fill годится для упорядоченных рядов, но на неупорядоченных тянет чужое значение. Каждый лжёт, когда механизм пропусков не тот, что предполагает.

Обнуляют неоплаченное через where, затем один groupby. Строят paid = df['amount'].where(df['status'].eq('paid'), 0), берут месяц из order_ts и суммируют: df.assign(paid=paid, m=df['order_ts'].dt.to_period('M')).groupby(['country','m'])['paid'].sum(). where хранит все строки, покрывая все месяцы.

Передайте validate='many_to_one': pandas проверяет уникальность правого ключа и на fan-out кидает MergeError, а не молча размножает заказы и раздувает SUM(amount). Добавьте indicator=True и фильтр _merge == 'left_only' для несопоставленных — оба ловят это в момент merge.

pivot разворачивает длинное в широкое: df.pivot(index='cohort_month', columns='activity_month', values='users'). melt — обратное, широкое в длинное. pivot годится, только если пара индекс/столбец уникальна; если ячейка может повторяться, pivot_table(..., aggfunc='sum') агрегирует коллизии.

resample требует DatetimeIndex, поэтому сначала set_index('date'), затем resample('W')['events'].sum() даёт недельные суммы (неделя до воскресенья). Далее .rolling(4, min_periods=1).mean() — 4-недельное среднее. В отличие от groupby по номеру недели, resample заполняет пустые недели.

df[mask]['price'] = 0 — цепочечная индексация: df[mask] строит временную копию, запись идёт туда, а df не трогается — поэтому NaN остаются, и pandas предупреждает. Чинят одним индексатором: df.loc[df['price'].isna(), 'price'] = 0 (или .fillna). Правило: один .loc/.iloc на запись.

.apply(axis=1) крутит Python-цикл с боксингом объектов на строку и диспетчеризацией — доминируют эти накладные, а не арифметика. Заменяют столбцовыми C-операциями по массивам: булевы маски, np.where/np.select, аксессоры .str/.dt. Это превращает минуты в секунды.

Самообъединяют таблицу по managerId == id, чтобы поставить каждого сотрудника рядом с его менеджером, затем фильтруют, где зарплата сотрудника больше менеджерской. Ключ объединения связывает менеджера строки с его собственной строкой, ставя две зарплаты рядом.

Читают по частям через read_csv(chunksize=...) и агрегируют каждый чанк (chunked groupby), так в памяти лишь один чанк. Режут вес явным dtype= — даункаст чисел, category для строк низкой кардинальности — и usecols. Когда chunked pandas всё равно буксует — DuckDB или Polars.

Берут первый заказ каждого клиента, затем долю немедленных. Индексы строк первых заказов получают через groupby('customer_id')['order_date'].idxmin(), выбирают эти строки и считают среднее булева order_date == customer_pref_delivery_date, умноженное на 100, округляя до 2.

Считают, сколько сотрудников подчинено каждому менеджеру, затем оставляют менеджеров, прошедших порог, и находят их имена. Группируют по managerId через size(), берут индекс, где счёт >= 5, и возвращают имена сотрудников, чей id в этом множестве.

Агрегируют заказы на покупателя, затем подтягивают дату регистрации. Группируют orders по buyer_id для даты первого заказа (min(order_date)) и числа заказов (size), объединяют это с users по buyer_id == user_id и считают delta_days = (first_order - join_date).dt.days.

Строят ключ месяца и вспомогательные столбцы для approved, затем группируют. Задают month = trans_date.dt.strftime('%Y-%m'), добавляют is_approved = (state == 'approved') и approved_amount = amount.where(state == 'approved', 0).

MultiIndex оправдан на иерархических данных — groupby по нескольким ключам — давая срез .xs/.loc с выравниванием по уровням без суррогатного ключа. Многостолбцовый .agg даёт MultiIndex-столбцы; .reset_index() и склейка кортежей уплощают их.

Это поиск на момент времени (point-in-time). Оставляют изменения не позднее целевой даты, берут последнее такое изменение каждого продукта (max change_date, например через idxmax после сортировки или groupby) и читают его new_price.

Фильтруют до поездок, где обе стороны не забанены, затем берут дневное среднее флага отмены. Объединяют users дважды — по client_id и по driver_id — чтобы привязать бан-статус каждой стороны, оставляют строки, где ни один не забанен, ограничивают диапазоном дат и группируют по дню.