可変幅トランスフォーマー

Transformerの各層の幅を固定せず、可変にする「×-shaped > <former」アーキテクチャを提案。これにより、層ごとの計算役割の違いを考慮し、モデルの性能向上と効率化を目指す。

• Transformerの各層の幅を固定せず可変にするアーキテクチャ「×-shaped > <former」を提案。
• 層ごとの計算役割の違いを考慮したモデル設計を目指す。
• モデルの性能向上と計算効率化の両立を目的とする。
• 可変幅により、より柔軟なニューラルネットワーク構造が可能になる。