fedml-1.配置＆运行&自定义

• 官方文档
• repo

克隆fedml库

git clone https://github.com/FedML-AI/FedML.git

• 参阅源码
• 参考样例，测试环境
  • FedML/iot/anomaly_detection_for_cybersecurity FedML/python/setup.py

wsl - cuda

• 参考

安装支持wsl的Nvidia驱动

• 下载地址

下载安装cuda

• 不要下载最新版11.7，pytorch目前不支持

  sudo apt update
  sudo apt install build-essential #安装c++ make等环境
  wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda_11.6.2_510.47.03_linux.run
  sudo bash cuda_11.6.2_510.47.03_linux.run

环境变量

• 在目录~/.bashrc下 追加

  export CUDA_HOME=/usr/local/cuda
  export PATH=$PATH:$CUDA_HOME/bin
  export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

• 生效，并安装需要的库

  source ~/.bashrc
  sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

• 检查是否成功

  nvcc -V

  nvcc: NVIDIA (R) Cuda compiler driver
  Copyright (c) 2005-2022 NVIDIA Corporation
  Built on Tue_May__3_18:49:52_PDT_2022
  Cuda compilation tools, release 11.7, V11.7.64
  Build cuda_11.7.r11.7/compiler.31294372_0

安装 cudnn

下载安装

• 参考

  sudo apt-get install zlib1g
  https://developer.nvidia.com/rdp/cudnn-download
  tar -xvf cudnn-linux-x86_64-8.4.1.50_cuda11.6-archive.tar.xz
  sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
  sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
  sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

• 后来发现这种方式使用cnn时会报错，找不到cudnn cnn的动态链接库，改用以下方法

  conda install -c nvidia cudnn

Table 1. Supported NVIDIA Hardware and CUDA Version

cuDNN Package	Supported NVIDIA Hardware	CUDA Toolkit Version	CUDA Compute Capability	Supports static linking?1
cuDNN 8.4.1 for CUDA 11.x2	NVIDIA Ampere Architecture NVIDIA Turing™ NVIDIA Volta™ NVIDIA Pascal™ NVIDIA Maxwell® NVIDIA Kepler™	11.7	SM 3.5 and later	Yes
		11.6
		11.5
		11.4
		11.3
		11.2		No
		11.1
		11.0
cuDNN 8.4.1 for CUDA 10.2	NVIDIA Turing NVIDIA Volta Xavier™ NVIDIA Pascal NVIDIA Maxwell NVIDIA Kepler	10.2	SM 3.0 and later	Yes

安装配置fedml

• 参考-（bilibili视频的方法已经过时）

安装Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
## 最后一步选yes，让脚本自动配置环境变量
## 根据输出的内容决定下面source的文件
source /root/.bashrc

添加Miniconda源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --set show_channel_urls yes #设置搜索时显示通道地址

安装fedml

conda create --name fedml python=3.7
conda activate fedml
conda install --name fedml pip
pip install fedml -i https://pypi.douban.com/simple

备忘

常用pip源：
豆瓣：https://pypi.douban.com/simple
阿里：https://mirrors.aliyun.com/pypi/simple
中国科技大学 ：https://pypi.mirrors.ustc.edu.cn/simple/
清华大学： https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 ：https://pypi.mirrors.ustc.edu.cn/simple/

• python包：wasabi-控制台打印和格式化工具包
  

安装fedml环境

• 进入FEDML仓库，FedML/python，运行setup.py
• pytorch安装地址，根据cuda版本选择命令，去掉 -c forge（不从官网下载）

  python3 setup.py install

• 卸载pytorch，重新按照cuda版本进行安装

conda uninstall *torch* cudatoolkit
conda install pytorch torchvision torchaudio cudatoolkit=11.6

运行demo

iot

• 运行iot物联网demo

server

conda activate fedml
bash run_server.sh

client-1

conda activate fedml
bash run_client.sh 1

client-2

conda activate fedml
bash run_client.sh 2

• 后来发现这个demo适用于树莓派、Jeston Nano设备，需要进行一定的配置
• 这个样例中有自定义data loader和trainer，比较有参考价值

mpi_torch_fedopt_mnist_lr_example

• 配置文件中，以simulation模式运行的
• 位置，以simulation模式运行，单进程

bash run_step_by_step_example.sh 2

• 参数为2时可以完成训练，参数（即worker）过大，会出现以下提示，怀疑是内存不够

  ===================================================================================
  =   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES
  =   PID 5218 RUNNING AT tt
  =   EXIT CODE: 9
  =   CLEANING UP REMAINING PROCESSES
  =   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES
  ===================================================================================
  YOUR APPLICATION TERMINATED WITH THE EXIT STRING: Killed (signal 9)
  This typically refers to a problem with your application.
  Please see the FAQ page for debugging suggestions

• 训练完成后会在目录./tmp/下生成一个模型文件fedml，执行cat

  cat fedml

  输出为

  training is finished!
  <fedml.arguments.Arguments object at 0x7ff03c13b210>

使用GPU进行训练

修改配置文件

• 修改config/fedml_config.yaml文件device_args标签下的内容

  device_args:
    worker_num: 3
    using_gpu: true
    gpu_mapping_file: config/gpu_mapping.yaml #mapping文件位置
    gpu_mapping_key: mapping_tt #使用的mapping

修改mapping文件

• 在文件config/gpu_mapping.yaml下增加节点mapping_tt

mapping_tt:
    tt: [4] #只有一个节点tt，一个gpu

• 增加节点的格式如下，为每个hostname指定在每个gpu下有多少进程

  ## config_cluster0:
  ##     host_name_node0: [num_of_processes_on_GPU0, num_of_processes_on_GPU1, num_of_processes_on_GPU2, num_of_processes_on_GPU3, ..., num_of_processes_on_GPU_n]
  ##     host_name_node1: [num_of_processes_on_GPU0, num_of_processes_on_GPU1, num_of_processes_on_GPU2, num_of_processes_on_GPU3, ..., num_of_processes_on_GPU_n]
  ##     ......
  ##     host_name_node_m: [num_of_processes_on_GPU0, num_of_processes_on_GPU1, num_of_processes_on_GPU2, num_of_processes_on_GPU3, ..., num_of_processes_on_GPU_n]

• 运行，前面配置了4个进程，worker_num配置为3，这里参数就写3， 3个worker + 1个server

  bash run_step_by_step_example.sh 3

• 过程中在bash中看到输出

  [FedML-Server(0) @device-id-0] [Thu, 28 Jul 2022 20:54:06] [INFO] [gpu_mapping_mpi.py:51:mapping_processes_to_gpu_device_from_yaml_file_mpi] process_id = 2, GPU device = cuda:0
  [FedML-Server(0) @device-id-0] [Thu, 28 Jul 2022 20:54:06] [INFO] [device.py:78:get_device] device = cuda:0

• taskmgr中查看独显占用情况
  

• 说明确实使用了gpu

cross_silo 运行

• 非单进程模拟，多个设备运行

config/fedml_config.yaml

• 配置节点comm_args

  comm_args:
    backend: "GRPC"
    grpc_ipconfig_path: config/grpc_ipconfig.csv

grpc_ipconfig.csv

• 安装pip install grpcio，使用grpc协议进行通信
• 在/config下创建该文件，写入编号-ip，0为server，1...n为worker

receiver_id	ip
0	127.0.0.1
1	127.0.0.1
2	127.0.0.1

结果

• 没有找到输出的模型文件，只在最后一轮结束后找到了以下输出

  [FedML-Server(0) @device-id-0] [Fri, 29 Jul 2022 22:54:08] [INFO] [fedml_aggregator.py:195:test_on_server_for_all_clients] ################test_on_server_for_all_clients : 49
  [FedML-Server(0) @device-id-0] [Fri, 29 Jul 2022 22:54:12] [INFO] [fedml_aggregator.py:225:test_on_server_for_all_clients] {'training_acc': 0.796526336274001, 'training_loss': 1.8660167525693983}
  [FedML-Server(0) @device-id-0] [Fri, 29 Jul 2022 22:54:13] [INFO] [fedml_aggregator.py:257:test_on_server_for_all_clients] {'test_acc': 0.8005698005698005, 'test_loss': 1.8635211240936371}

fedml自定义

fedml运行参数

• fedml运行时需要几个参数

参数	含义	可选值
–cf	配置文件	/
–rank	序号，server为0	0,1,2,3
–role	server 或 client	server, client

fedml运行流程

args = fedml.init()

## init device
device = fedml.device.get_device(args)

## load data
dataset, output_dim = fedml.data.load(args)

## load model
model = fedml.model.create(args, output_dim)

## start training
fedml_runner = FedMLRunner(args, device, dataset, model)
fedml_runner.run()

• DataLoader, Model, Trainer都是可以自定义的
• 参考

DataLoader的自定义

• 支持MNN，pytorch的DataLoader
• 输出数据集和输出的维数

模型的自定义

• 支持pytorch的神经网络模型，torch.nn

Trainer的自定义

from fedml.core import ClientTrainer

class MyModelTrainer(ClientTrainer): #继承ClientTrainer
    def get_model_params(self):
        return self.model.cpu().state_dict()

    def set_model_params(self, model_parameters):
        self.model.load_state_dict(model_parameters)

    def train(self, train_data, device, args): #实现模型的训练
        pass

    def test(self, test_data, device, args):
        pass

    def test_on_the_server(
        self, train_data_local_dict, test_data_local_dict, device, args=None
    ) -> bool: #实现对模型的评估

        return True

用qemu虚拟机模拟多台机器（未完成）

安装

• 参考连接

Ninja的安装

sudo apt install ninja-build

pkg-config

wget https://download.qemu.org/qemu-7.1.0-rc0.tar.xz
tar xvJf qemu-7.1.0-rc0.tar.xz
cd qemu-7.1.0-rc0
./configure
make

• 使用虚拟机环境，需要对qemu配置显卡直通