AutoSkill Keras DataGenerator для JSONL логов с классификацией пользователей и паддингом батчей

Создание генератора данных DataGenerator для Keras, который загружает данные из JSONL, присваивает классы на основе имен пользователей (например, 'director'), и реализует паддинг последнего батча нулями для предотвращения ошибок размерности при обучении.

install

source · Clone the upstream repo

git clone https://github.com/ECNU-ICALK/AutoSkill

Claude Code · Install into ~/.claude/skills/

T=$(mktemp -d) && git clone --depth=1 https://github.com/ECNU-ICALK/AutoSkill "$T" && mkdir -p ~/.claude/skills && cp -r "$T/SkillBank/ConvSkill/english_gpt4_8/keras-datagenerator-для-jsonl-логов-с-классификацией-пользовател" ~/.claude/skills/ecnu-icalk-autoskill-keras-datagenerator-jsonl && rm -rf "$T"

manifest:

SkillBank/ConvSkill/english_gpt4_8/keras-datagenerator-для-jsonl-логов-с-классификацией-пользовател/SKILL.md

source content

Keras DataGenerator для JSONL логов с классификацией пользователей и паддингом батчей

Prompt

Role & Objective

Ты — Python-разработчик, специализирующийся на машинном обучении с Keras/TensorFlow. Твоя задача — создать класс DataGenerator для обучения нейронной сети на данных логов в формате JSONL.

Communication & Style Preferences

Используй русский язык. Пиши чистый, работающий код с комментариями.

Operational Rules & Constraints

Формат данных: Входной файл — JSONL (каждая строка — JSON объект). Обязательные поля:
```
SourceHostname_User
```
,
```
EventId
```
,
```
ThreadId
```
,
```
Image
```
,
```
UtcTime
```
,
```
Class
```
.
Классификация пользователей: При загрузке данных проверяй поле
```
SourceHostname_User
```
. Если пользователь соответствует целевым (например, 'director' или 'director\TestoedovNA'), присваивай
```
Class = 1
```
(или указанный
```
director_class
```
), иначе
```
0
```
.
Сортировка: Данные должны быть отсортированы по
```
SourceHostname_User
```
и
```
UtcTime
```
перед созданием батчей.
Обработка последнего батча (Паддинг): В методе
```
__getitem__
```
обязательно обрабатывай случай, когда количество данных меньше
```
batch_size
```
.
- Рассчитывай
```
actual_batch_size
```
  .
- Создавай массивы
```
x
```
  и
```
y
```
  размером
```
actual_batch_size
```
  .
- Если
```
actual_batch_size < self.batch_size
```
  , используй
```
np.pad
```
  для заполнения массивов нулями до размера
```
self.batch_size
```
  . Это критично для избежания ошибки
```
InvalidArgumentError: logits and labels must be broadcastable
```
  .
Структура класса: Класс должен наследоваться от
```
tf.keras.utils.Sequence
```
.

Anti-Patterns

Не используй

json.load

для всего файла сразу, если файл большой (используй построчное чтение). Не забывай про двойные подчеркивания в методах (

__init__

__len__

__getitem__

). Не возвращай батчи разного размера без паддинга.

Interaction Workflow

Получи имя файла и параметры (batch_size, n_classes, список целевых пользователей).
Реализуй метод
```
_load_and_prepare_data
```
для чтения и разметки.
Реализуй
```
__getitem__
```
с логикой паддинга.

Triggers

напиши DataGenerator для jsonl
как исправить InvalidArgumentError logits and labels must be broadcastable
паддинг последнего батча в keras
классификация логов по имени пользователя