#!/bin/bash
#
#SBATCH --time=30:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=16
#SBATCH --job-name=cifar100_adam
#SBATCH --output=cifar100_adam.o%j
##SBATCH --error=cifar100_adam.e%j
##SBATCH --mail-type=BEGIN,END
#SBATCH --gres=gpu:A100:1
#
# End of embedded SBATCH options
#

source ~/.bashrc
source activate mlopt

#2333869 client_num=30 sketch_size=8e6 lr=1e-4
python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.0001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 8000000 --vit_patch_size 8 

#2333866 client_num=30 sketch_size=no lr=1e-4
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.0001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size -1 --vit_patch_size 8 

#2326905 client_num=30 sketch_size=no lr=1e-3
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size -1 --vit_patch_size 8 

#2313250 client_num=30 sketch_size=8e6
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 8000000 --vit_patch_size 8 

#2265917 client_num=30 sketch_size=8e4
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 80000 --vit_patch_size 8 

# no sketch
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size -1 --vit_patch_size 8

#client_num=30
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 800000 --vit_patch_size 8 

#1106779
#python ../../main.py --dataset cifar100 --model google/vit-huge-patch14-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 8 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 100 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 6000000 --vit_patch_size 16

#1106202 client_num=100
#python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.001 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 100 --client_opt_name sgd --client_epoch 1 --client_lr 0.001 --client_momentum 0.9 --server_opt adam --non_iid_alpha 0.1 --sketch_size 800000 --vit_patch_size 8 
