Su vocalista Jonathan Kärn comentaba lo siguiente acerca del tema:
"Swing By Swing es la primera canción que escribimos cuando comenzamos el proceso de composición para nuestro próximo álbum "Shelter". Es probablemente la canción que más me recuerda a nuestro primer disco "Keep Your Head High". Creo que nuestros fans podrán apreciar eso. Es probablemente una de las canciones más pop del disco, pero aún con un toque de pesadez nórdica, así que yo diría que sin duda es más afiliada. Líricamente la canción trata en realidad acerca de cómo de mal y rota está nuestra sociedad."
