【機械学習】GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法が登場、一体どんな手法なのか?
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。
科学ニュース＋
投稿時速：21res/h
トランプ政権に交代した途端に国防総省が国家安全保障につながる研究への資金援助を次々に廃止
-
8res 1.0res/h 42.8%
【ナゾロジー】あなたの記憶は本物?脳が作り出す“偽の思い出”の恐怖
-
9res 1.2res/h 28.5%
トランプ政権に交代した途端に国防総省が国家安全保障につながる研究への資金援助を次々に廃止
-
23res 0.6res/h 14.2%
【材料】形成速度は100倍向上…北大、切れると強くなる自己強化ゲル開発
-
91res 1.6res/h 14.2%
【食】ソーセージやベーコンなどの「赤身の加工肉」を食べることが認知症リスクの増加に関連している
-
6res 0.8res/h 0.0%
【化学】カテキンとビタミンEを組み合わせた強い抗酸化物質合成に成功 昭和大
-
9res 1.2res/h 0.0%
【ナショジオ】謎の深海生物「ブタ尻虫」がSNSで話題に、いったい何者? 大きさはヘーゼルナッツほど
-
1res 0.1res/h 0.0%
【宇宙開発】民間2例目の月面着陸、米企業ファイアフライ・エアロスペースが成功
-
2res 0.2res/h 0.0%
【宇宙】宇宙論の鍵を握る超空洞「ボイド」、その役割と重要性
-
2res 0.2res/h 0.0%
【AI】AIを無能にすると思われていた「屋内トレーニング」で逆にAIが賢くなったとの研究結果
-
2res 0.2res/h 0.0%
【解説/物理】時空の外に存在する量子幾何学を求めて
