#!/bin/bash
# DETECT_ANOMALY=1 \
# FORCE_FP32=1 \
# WANDB_MODE=disabled \

PYTHONPATH=./src/hip_research \
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
PRESET=default \
CUDA_VISIBLE_DEVICES=1 \
python src/hip_research/trainer/long_trainer.py \
    --use-lora \
    --lora-r 8 \
    --batch-size 1 \
    --long-ce-k 1024 \
    --seq-len 32768 \
    --long-ce-gamma 5 \
    --token-dropout-p 0.5 \
    --use-long-ce \
    --warmup-steps 15 \
    --max-steps 2500 \
    --dataset pg19 \
    --use-long-ce \
    --lr 5e-5 \
    --eval-steps 50
