#!/bin/bash
#
#SBATCH --time=30:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=16
#SBATCH --job-name=cifar100_fetch
#SBATCH --output=cifar100_fetch.o%j
##SBATCH --error=cifar100_fetch.e%j
##SBATCH --mail-type=BEGIN,END
#SBATCH --gres=gpu:A100:1
#
# End of embedded SBATCH options
#

source ~/.bashrc
source activate mlopt

#2288276 sketch_size=8e4
python ../../main.py --dataset cifar100 --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.5 --epoch 200 --analysis loss --log_interval 5 --batch_size 64 --momentum 0.9 --weight_decay 1e-4 --run_from_scratch 1 --client_num 30 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.9 --server_opt fetchsgd --non_iid_alpha 0.1 --sketch_size 80000 --vit_patch_size 8 

