value属性は、ボタンの値を指定します。input要素で作られると違い、button要素のvalue属性の値はユーザには見えず、ユーザーエージェントがデータセットを作る時にのみ、コントロールの値として使われます。
Internet Explorerなどは、value属性の値を初期値と見なし、内容を現在値と見てしまう為、value属性の値が全く無視されてしまいます。