#!/bin/bash
#
#SBATCH --time=72:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=16
#SBATCH --job-name=sst_adam
#SBATCH --output=sst_adam.o%j
##SBATCH --error=sst_adam.e%j
##SBATCH --mail-type=BEGIN,END
#
# End of embedded SBATCH options
#

source ~/.bashrc
source activate mlopt
# 167541 167550cpu eval
python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-6 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.9  --sketch_size 2000000 --server_opt_name adam --clip_tau 0.5 --no_train --do_eval

#133507 server_opt=adamw
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 2e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 0.01 --run_from_scratch 1 --scheduler cosine --lr_min 1e-6 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.9  --sketch_size 2000000 --server_opt_name adamw --clip_tau 0.5

# 127886
#python ../../main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-6 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.9  --sketch_size 2000000 --server_opt_name adam --clip_tau 0.5