"$" — символ приглашения, означает что терминал готов принять команду от имени непривилегированного пользователя, т.е. не root.
"#" — означает что команду необходимо выполнять от пользователя root.

Источники: 1, 2