#!/bin/bash
#
#SBATCH --time=72:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=16
#SBATCH --job-name=sst_cams
#SBATCH --output=sst_cams.o%j
##SBATCH --error=sst_cams.e%j
##SBATCH --mail-type=BEGIN,END
#SBATCH --gres=gpu:A100:1
#
# End of embedded SBATCH options
#

source ~/.bashrc
source activate mlopt

#1718669 sketch size=2e6 lr=0.001
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.0  --sketch_size 2000000 --server_opt_name cams --base_opt adam

#1726296 sketch size=2e5 lr=0.01
python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 0.01 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.0  --sketch_size 200000 --server_opt_name cams --base_opt adam


#1718426 sketch size=2e5 lr=0.001
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-4 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.0  --sketch_size 200000 --server_opt_name cams --base_opt adam


#1718426 sketch size=2e5 lr=0.001
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.0  --sketch_size 200000 --server_opt_name cams --base_opt adam


#1716311 sketch size=2e5 lr=0.001
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-6 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.9  --sketch_size 200000 --server_opt_name cams --base_opt adam
