関根 功織
Federated Learning (FL) は各クライアントがモデルを学習し, サーバがそのモデルの重みを収集し, 統合したモデルを構築, 重み配布をすることで, クライアントの学習データを秘匿しつつ, 全体最適化を行う方法である. Split Computing (SC) は, クライアント, サーバで処理を分割することで, クライアントの学習, 推論データを秘匿しつつ, 処理負担を軽減する方法である. この FL と SC を組み合わせた方法として Split-GP が提案されている. Split-GP では各クライアントは使用モデルの前半部分ををクライアントモデルとして, サーバは後半部分をサーバモデルとして使う. 訓練時は, 各クライアントが特徴を抽出し, 中間特徴量をサーバに送信する. このときクライアント側の勾配も計算し保存する. サーバは送られてきた中間特徴量から損失を計算し, クライアントに勾配を返送する. このとき, サーバはこの勾配に基づいてサーバモデルを更新する. クライアントは受け取った勾配を用いてクライアント側の勾配と合わせて逆伝搬を行い, クライアントモデルを更新する. 推論時には, 各クライアントはまず自身のモデルにて推論する. 推論結果が不確かである場合にサーバモデルに推論をオフロードする. しかし, この手法はクライアントの浅い層で推論を終えることができる Multi-Exit を採用しているため, より個別化性能を高められる可能性がある. また, 同一 FL フレームワーク内に存在する, 悪意のあるクライアントによって, 他のクライアントのモデルが汚染される可能性がある. 本研究では, 各クライアントでサーバからの勾配の逆伝搬を行わないことで, 他クライアントからの影響を受けず, 各クライアントごとの分布を判別することに特化した個別化性能が高い, クライアント固有のモデルを構築する. サーバでは各クライアントから作られたサーバモデルを統合することで, どの分でも対応できる汎化モデルを構築する. このとき, 非独立同分布データ下での精度,クライアントにおけるメモリ使用量について検証する.
