İngilizce - Türkçe çeviri (v1.4 yeni)
?İngilizce
In the study seeking to answer the question “How can full training be performed on large language models despite hardware limitations?”, model parameters, gradients, and optimizer states were distributed across GPUs. The proposed method has formed the basis for today's PyTorch Fully Sharded Data Parallel technology cite{otuzaltı}.
They conducted a performance comparison using LORA and P-Tuning-v0 optimization techniques on the ChatGLM-0B language model in their FATE-LLM model, developed for the industrial application of LLM. They concluded that LORA optimization is more cost-effective, with 0.000\% for LORA and 0.000\% for P-Tuning-v0 in the language model they trained with the AdvertiseGen dataset cite{s0}.
They used the LLaMA-0-0B LLM in their fine-tuning model, which they named FedBiOT. They conducted work on federated architectures with 0 clients using the GSM-0K dataset for Math Problem Solving, 0 clients using the Rosetta dataset for Code Generation, and 0 clients using the Dolly dataset for Question Answering. The proposed FedBiot method has a lower computational load compared to offsite-tuning and FedOT methods due to having the fewest trainable parameters cite{s0}.
In their work on natural language understanding and text generation, they propose a framework called FL-GLM. In this work, where the input and output blocks are placed on the client side, key encryption is performed between the client and server. Similar results to the chatGLM model were obtained using optimization methods such as client-batching and server-hierarchical cite{s0}.
Türkçe
“Donanım sınırlamalarına rağmen büyük dil modellerindeTam eğitim nasıl gerçekleştirilebilir?” sorusuna cevap arayan çalışmada, model parametreleri, gradyanlar ve optimize edici durumları GPU'lar arasında dağıtıldı. Önerilen yöntem, günümüzün PyTorch Tamamen Parçalanmış Veri Paralel teknolojisinin temelini oluşturmuştur cite{otuzaltı}.
Endüstriyel LLM uygulaması için geliştirilen FATE-LLM modellerinde ChatGLM-0B dil modeli üzerinde LORA ve P-Tuning-v0 optimizasyon tekniklerini kullanarak bir performans karşılaştırması yaptılar. LORA optimizasyonunun daha uygun maliyetli olduğu sonucuna vardılar; LORA için %0,000 ve P-Tuning-v0 için %0,000, AdvertiseGen veri kümesiyle eğittikleri dil modelinde cite{s0}.
İnceayar modellerinde LLaMA-0-0B LLM'yi kullandılar ve bu modele FedBiOT adını verdiler. Matematiksel Problem Çözme için GSM-0K veri setini kullanan 0 istemci, Kod Üretimi için Rosetta veri setini kullanan 0 istemci ve Soru Cevaplama için Dolly veri setini kullanan 0 istemci ile federasyon mimarileri üzerinde çalışmalar yürüttüler. Önerilen FedBiot yöntemi, en az eğitilebilir parametreye sahip olması nedeniyle, uzaktan ayarlama ve FedOT yöntemlerine kıyasla daha düşük hesaplama yüküne sahiptir cite{s0}.
Doğal dil anlama ve metin üretimi üzerine yaptıkları çalışmada, FL-GLM adı verilen bir çerçeve önerdiler. Bu çalışmada, giriş ve çıkış blokları istemci tarafında yer alırken, istemci ve sunucu arasında anahtar şifrelemesi gerçekleştirilir. İstemci gruplama ve sunucu hiyerarşisi gibi optimizasyon yöntemleri kullanılarak chatGLM modeline benzer sonuçlar elde edildi cite{s0}.