結論

HTML5のドキュメント宣言は <!DOCTYPE html> という形式で記述します。
仕様上、大文字・小文字の区別はありませんが、一般的には、大文字で「DOCTYPE」を記述するのが通例です。

詳細説明

HTML5 ロゴHTML文書では「ドキュメント宣言」といって、冒頭に特定のコードを記述するルールがあります。

たとえばHTML4.01では次のように記述するのが一般的です。

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">

これが HTML5 の場合はもっと簡素化され、HTMLのバージョンやDTDの指定が不要になったため、 !DOCTYPE html と記述します。

さて。神経質な人はここでちょっとした疑問を抱きます。
プログラミングでよくある問題。大文字と小文字の区別です。

<!DOCTYPE html>

もしくは…

<!doctype html>

よく使われるのが上記の２つ。
HTML5 でのドキュメント宣言は大文字「!DOCTYPE html」か小文字「!doctype html」か、どちらが正しいのでしょうか？

正解は「どちらでも正しい」です。

基本的に、単純なHTML5のドキュメント宣言では大文字小文字を厳密に区別しません。
つまり、以下のような記述がすべて有効になります。

<!doctype html>
<!DOCTYPE html>
<!DOCTYPE HTML>
<!DoCtYpE hTmL>

大文字と小文字がゴチャ混ぜになっていてもOKです。
しかし、いくつかのサイトを確認すると <!DOCTYPE html> というように、「!DOCTYPE」を大文字で、「html」を小文字で記述するパターンが多く見受けられます。

その理由は「XHTMLとしてHTML5を扱っている」から。
どちらかというと古い慣習的なものですが、厳密にSGML/XMLとしても扱いたい場合は <!DOCTYPE html> と記述するのが無難です。