土地の売買契約の際に、完全に買主側の都合（例えば気が変わった等）で建築契約を結ばずに土地の契約が無効となった場合には、手付金は返却されないと売主の不動産業者は言っていましたがそのとおりなのでしょうか？

契約書には、建築請負契約が締結されない場合には、手付金等が100%返るという記述はありますが、その理由などを規定している記述はありません。

ただし、土地の売買契約書には契約者の契約不履行に関する罰則規定が入っていますが、買主の一方的な理由で建築契約が結ばれなかった場合はこういった不履行にあたるのでしょうか？

停止条件付の土地の売買契約でわざと請負契約を結ばずに契約を白紙にするということが、土地の売買契約の債務不履行にあたるかどうかというご質問ですね。
契約書の内容を見ないとなんとも言えませんが・・

買主の一方的な理由で停止条件を逆手にとって契約を解除するというのは民法における信義則（民法１条２項）に反するのではないかと思います。

信義則・・・権利の行使や義務の履行は、信義に従い、誠実にこれをすべきものとされている、信義誠実の原則ともいわれている。