#!/bin/bash
#
#SBATCH --time=72:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=16
#SBATCH --job-name=vit_cdadam
#SBATCH --output=vit_cdadam.o%j
##SBATCH --error=vit_cdadam.e%j
##SBATCH --mail-type=BEGIN,END
#SBATCH --gres=gpu:A100:1
#
# End of embedded SBATCH options
#

source ~/.bashrc
source activate mlopt
#154020 lr=5e-4
python ../../main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.0005 --epoch 40 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.005 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --client_weight_decay 0.0 --sketch_size 80001 --server_opt_name cdadam --vit_patch_size 8

#153693 lr=0.001
python ../../main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.0005 --epoch 40 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.005 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --client_weight_decay 0.0 --sketch_size 80001 --server_opt_name cdadam --vit_patch_size 8

#148425 lr=2e-4
#python ../../main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.0002 --epoch 40 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.005 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --client_weight_decay 0.0 --sketch_size 80000 --server_opt_name cdadam --vit_patch_size 8

#147574 sketch_size=8e4
#python ../../main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.005 --epoch 40 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.005 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --client_weight_decay 0.0 --sketch_size 80000 --server_opt_name cdadam --vit_patch_size 8

# 147489 sketch_size=8e6
#python ../../main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 40 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.005 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --client_weight_decay 0.0 --sketch_size 8000000 --server_opt_name cdadam --vit_patch_size 8