ホーム画面でアイコンを長押しすると、アイコンがブルブル震え、左上に×マークあらわれるので、その×マークをクリックすると削除可能
その間、アイコンの移動も可

iTuneで同期している場合は注意が必要