서울행정법원-2023-구합-73656 (2025.07.18)

사 건

2023구합73656 종합소득세등부과처분취소

원 고

지AA

피 고

○○세무서장 외 2명

변 론 종 결

2025. 5. 23.

판 결 선 고

2025. 7. 18.

주 문

1. 피고 OO세무서장이 2020. 6. 18. 원고에게 한, 별지 1 목록 ‘취소를 구하는 세액’란 기재 금액(가산세 포함)의 각 종합소득세 부과처분 및 2016년 1월분부터 2016년7월분까지의 월별 이자에 관한 각 825,000원(가산세 포함)의 이자소득세(원천세) 부과처분, 피고 ★★★세무서장이 2020. 6. 19. 원고에게 한 별지 1 목록 ‘취소를 구하는 세액’란 기재 금액(가산세 포함)의 각 부가가치세 부과처분을 각 취소한다.

2. 원고의 피고 ※※세무서장에 대한 청구를 모두 기각한다.

3. 소송비용 중 원고와 피고 OO세무서장, 피고 ★★★세무서장 사이에 생긴 부분은 위 피고들이, 원고와 피고 ※※세무서장 사이에 생긴 부분은 원고가 각 부담한다.

청 구 취 지

주문 제1항 및 피고 ※※세무서장이 2020. 6. 18. 원고에게 한 별지 1 목록 ‘취소를 구하는 세액’란 기재 금액(가산세 포함)의 각 부가가치세 부과처분을 각 취소한다.

이 유

1. 처분의 경위

가. 원고는 주식회사 △△종합건설(이하 ‘이 사건 회사’라 한다)의 회장으로 재직하면서, △△종합건설(이하 ‘이 사건 사업체’라 한다) 등 개인사업체도 운영하였다. 지BB은 원고의 아들이고 이 사건 회사의 최대주주이자 대표이사였다.

나. 서울지방국세청장은 2019. 2. 19.부터 2019. 7. 2.까지 원고에 대하여 2014년부터 2017년까지 각 과세기간에 관한 개인통합조사를 실시한 다음, 피고들에게 다음과 같은 내용을 포함한 과세자료 통보를 하였다(이하 순서대로 ‘처분사유 ①’과 같이 지칭한다).

① 원고는 2012년 하반기부터 2017년경까지 이 사건 회사에 ※※시 ◆◆동 610-68잡종지 1,064㎡(이하 ‘※※시 토지’라 한다)를 임대료 없이 사용하게 함. 반면 원고는 2010. 10. 22. 주식회사 ▢▢▢▢(이하 ‘▢▢▢▢’라 한다)에 이 사건 토지를 임대료 총 1억 원, 임대차기간 2011. 4. 1.부터 2012. 3. 31.까지로 하여 임대(이하 ‘종전 ※※시 토지 임대차계약’이라 한다)하였음. 소득세법 내지 부가가치세법상 부당행위계산 부인규정을 적용하여 종전 ※※시 토지 임대차계약상 임대료를 시가로 보아 이를 2015년부터 2017년까지 각 과세기간의 종합소득에 관한 원고의 총수입금액에, 2015년 제1기부터 2017년 제2기까지 각 과세기간에 대한 부가가치세 과세표준에 각 가산하여야 함.

② 원고는 2003. 9.경부터 2017. 12.경까지 지BB에게 서울 ★★★구 ☆☆동 117-4대 1,721.3㎡(이하 ‘★★★구 토지’라 한다)를 임대(이하 ‘★★★구 토지 임대차계약’이라 한다)하고, 지BB은 ★★★구 토지 지상에 연면적 10,715.65㎡인 건물(이하 ‘★★★구 건물’이라 한다)을 신축하여 2005. 6.부터 ▼▼▼▼▼에 임대(이하 그 계약을 ‘★★★구 건물 임대차계약’이라 한다)하였음. ★★★구 토지 임대차계약상 보증금, 임대료는 다음과 같은데, 소급감정(기준시점: 2014. 1. 1.) 결과 그 임대료 시가는 연 726,156,500원(이하 ‘이 사건 소급감정가액’이라 한다)이므로, 소득세법 내지 부가가치세법상 부당행위계산 부인 규정을 적용하여 다음 임대료와 이 사건 소급감정가액의 차액을 2015년부터 2017년까지 각 과세기간의 종합소득에 관한 원고의 총수입금액에, 2015년 제1기부터 2017년 제2기까지 각 과세기간에 대한 부가가치세 과세표준에 각 가산하여야 함.

< 표 생략 >

③ 원고는 2014년부터 2017년까지 각 과세기간의 종합소득에 관해 개인 신용카드사용액 중 602,366,807원(= 2014년 사용분 103,626,662원 + 2015년 사용분 169,075,177원 + 2016년 사용분 178,950,414원 + 2017년 사용분 150,714,554원)을 이 사건 사업체의 필요경비로 계상하였는데, 이를 필요경비로 인정할 수 없음.

④ 원고의 특수관계인이 2015. 12. 14. ◈◈◈◈대종회로부터 1억 원을 대여기간 6개월, 이자 월 3백만 원으로 하여 차용하였는데, 원고가 2016. 1. 15.부터 2016. 7. 29.까지 위 특수관계인 대신 ◈◈◈◈대종회에 이자 합계 2,100만 원을 지급함. 원고는 그 이자소득세를 원천징수하였어야 했는데, 이를 원천징수하지 아니하였음.

다. 원고에게, 피고 OO세무서장은 2020. 6. 18. 처분사유 ①~③을 들어 별지 1 목록 ‘당초 고지세액’란 기재 금액(가산세 포함)의 각 종합소득세 부과처분을, 처분사유 ④를 들어 2016년 1월분부터 2016년 7월분까지의 월별 이자에 관한 7건의 각 825,000원(가산세 포함)의 이자소득세(원천세) 부과처분을 하였고, 피고 ※※세무서장은 2020. 6. 18. 처분사유 ①을 들어 같은 목록 ‘당초 고지세액’란 기재 금액(가산세 포함)의 각 부가가치세 부과처분을, 피고 ★★★세무서장은 2020. 6. 19. 처분사유 ②를 들어 같은 목록 ‘당초 고지세액’란 기재 금액(가산세 포함)의 각 부가가치세 부과처분을 하였다.

라. 조세심판원은 2023. 5. 8. 위 각 부과처분에 대한 원고의 심판청구에 관해, 처분사유 ②에 관련된 원고 주장을 받아들여 ‘이 사건 소급감정가액을 ★★★구 토지의 임대료 시가로 볼 수 없고, ★★★구 건물 임대차계약상 임대료를 건물분과 토지분으로 안분하여 ★★★구 토지의 임대료 시가를 산정하라’는 취지의 재조사결정을 하였다.

마. 피고 OO세무서장, 피고 ★★★세무서장은 2023. 7. 13. ★★★구 건물 임대차계약상 임대료에 ‘★★★구 토지의 공시지가 ÷ (★★★구 토지의 공시지가 + ★★★구 건물의 기준시가)’를 곱한 금액을 ★★★구 토지의 임대료 시가로 보아 위 재조사결정에 따른 감액경정처분을 하였고, 이에 피고 OO세무서장의 위 각 종합소득세 부과처분, 피고 ★★★세무서장의 위 각 부가가치세 부과처분은 별지 1 목록 ‘취소를 구하는 세액’란 기재 금액(가산세 포함) 부분만이 남아있다(이하 남아있는 위 각 처분 부분과 감액이 이루어지지 않은 피고 OO세무서장의 각 이자소득세 부과처분, 피고 ※※세무서장의 각 부가가치세 부과처분을 통틀어 ‘이 사건 처분’이라 한다).

[인정근거] 다툼 없는 사실, 갑 제1 내지 8호증, 을 제1 내지 6, 20, 24, 25호증의 각 기재(가지번호 있는 것은 각 가지번호 포함, 이하 같다), 변론 전체의 취지

2. 관계 법령

별지 기재와 같다.

3. 이 사건 처분의 위법 여부

가. 처분사유 ①에 관하여

1) 원고의 주장 요지

※※시 토지 인근은 모두 견본주택 부지로 사용되는 지역이고 부동산 침체기인 2012년~2017년 사이에 다른 임대 수요도 없었다. 이에 원고는 ▢▢▢▢가 건축한 견본주택의 유지·관리 등을 이 사건 회사에 맡기는 대신 ※※시 토지의 임대료를 지급받지 않는 방법으로 견본주택이 계속 유지되도록 함으로써 추후 ※※시 토지를 ▢▢▢▢에 다시 임대하여 높은 임대료를 지급받을 수 있었으므로, 이 사건 회사로부터 ※※시 토지의 임대료를 지급받지 않은 것에 경제적 합리성이 있다.

2) 판단

가) 소득세법 제41조의 부당행위계산 부인 규정은 거주자의 행위 또는 계산이 특수관계인 간의 거래로서 객관적으로 같은 조 제2항 각호 소정의 조세의 부담을 부당하게 감소시키는 유형의 거래에 해당하는 경우에는 세법상 이를 부인하여 법령이 정하는 방법으로 소득금액을 계산함으로써 공평과세를 실현하고자 함에 그 취지가 있다. 따라서 특수관계인 사이의 거래가 사회통념이나 거래관행에 비추어 합리적인 경제인이 취할 정상적인 거래로 볼 수 없어 조세의 부담을 부당하게 감소시킨 것으로 인정되면 충분하고 반드시 당사자에게 조세회피의 목적이 있거나 경제적 손실이 있어야 하는 것은 아니다. 부가가치세법 제29조 제4항 제3호가 사업자가 대가를 받지 않고 특수관계인에게 사업용 부동산을 임대하는 경우 그 용역의 시가를 부가가치세의 과세표준으로 삼도록 규정한 것도 사업자가 특수관계인과의 거래로 인하여 부당하게 조세를 회피하는 것을 막고자 함에 그 취지가 있다(대법원 2009. 9. 24. 선고 2007두7505 판결 등 참조).

나) 앞서 든 증거들 및 변론 전체의 취지에 따라 인정할 수 있는 다음의 각 사정에 비추어 보면, 원고가 특수관계인인 이 사건 회사에 ※※시 토지를 무상으로 사용하도록 한 것은 경제적 합리성이 없는 것으로서 조세를 부당하게 감소시키는 행위라고 봄이 타당하다. 원고의 이 부분 주장은 이유 없다.

(1) 종전 ※※시 토지 임대차계약상 2011. 4. 1.부터 2012. 3. 31.까지 ※※시 토지의 임대료가 총 1억 원에 달하였는데, 원고는 2012년 하반기부터 2017년경까지 이 사건 회사에 임대료 없이 ※※시 토지를 사용하도록 하였다.

(2) 원고는 ※※시 토지 지상 견본주택의 유지·관리를 이 사건 회사에 맡기는 대신 이 사건 회사로부터 임대료를 받지 않았다고 주장하나, 원고 주장에 의하더라도 ※※시 토지 지상의 견본주택은 ▢▢▢▢가 건축한 후 종전 ※※시 토지 임대차계약 종료 무렵 이 사건 회사에 매각되었다는 것이므로, 위 견본주택의 소유자도 아닌 원고가이를 유지·관리하는 대가로 이 사건 회사로 하여금 ※※시 토지를 무상으로 사용하도록 하였다는 것은 그 합리성이 없다. 나아가 ※※시 토지에 견본주택이 계속 유지되도록 함으로써 원고가 지급받을 수 있었던 임대료 액수보다 훨씬 큰 가치의 증대가 있었다고 볼 만한 자료도 없다(원고는 견본주택이 계속 유지됨에 따라 2018년 ※※시 토지를 ▢▢▢▢에 다시 임대할 때 과거 2억 원의 임대료보다 더 높은 6억 원의 임대료를 지급받을 수 있었다고 주장하나, 2018. 6. 29. ▢▢▢▢와 임대차계약을 체결한 것은 원고가 아닌 주식회사 루첸파크3)였고 위 임대료는 ※※시 토지 및 그 지상 견본주택 모두에 관한 것이었으므로, 원고의 위 주장은 이유 없다).

(3) 이 사건 회사는 ▢▢▢▢로부터 ※※시 토지 지상 견본주택을 취득하고 ‘남양주 호평△△△△아파트’, ‘하남유시티△△△△아파트’의 분양사업에 이를 실제 사용하였다. 원고가 이 사건 회사에 ※※시 토지를 사용할 수 있도록 한 기간 동안 제3자에게 ※※시 토지를 임대하려고 하였다는 등의 사정이 엿보이지도 않는바, 이 사건 회사는 언제라도 자신의 분양사업에 사용할 수 있는 견본주택용 부지로서 ※※시 토지를 확보한 상태였다고도 볼 수 있고, 실제 분양사업에 사용한 건수가 적다는 사정만으로 원고가 이 사건 회사로부터 임대료를 수취하지 않은 것에 경제적 합리성이 있다고 보이지도 않는다.

나. 처분사유 ②에 관하여

1) 원고의 주장 요지

★★★구 토지 임대차계약은 ★★★구 토지만의 임대차계약인 반면, ★★★구 건물 임대차계약은 실질적으로 ★★★구 토지 및 ★★★구 건물에 관한 임대차계약이므로 후자에서의 임대료를 단순히 토지분과 건물분으로 안분하여 산정한 토지분 임대료를 ★★★구 토지의 임대료 시가로 볼 수 없고, 건물의 기준시가와 토지의 공시지가를 기준으로 안분하는 것은 객관적이고 합리적인 방법에 해당하지도 않는다.

2) 판단

앞서 든 증거들, 갑 제11, 13호증, 을 제9, 10호증의 각 기재 및 변론 전체의 취지에 따라 인정할 수 있는 다음의 각 사정, 즉 ① 지BB은 ★★★구 토지 임대차계약에 따라 ★★★구 토지의 사용권을 확보한 후 ★★★구 건물을 신축한 것인 점, ② 한국 마사회는 ★★★구 건물 임대차계약에 따라 그 부지인 ★★★구 토지의 사용권이 확보되어 있는 ★★★구 건물의 사용권을 확보한 것이므로 ★★★구 건물 임대차계약상 임대료에는 실질적으로 그 부지인 ★★★구 토지의 사용에 관한 대가가 포함되어 있는 점 등에 비추어 보면, 객관적이고 합리적인 방법에 의한 것이라면 ★★★구 건물 임대차계약의 임대료 중 ★★★구 토지의 임대료 시가에 상응하는 금액 부분을 특정하는 것 자체가 위법하다고 보이지는 않는다.

그런데 앞서 든 증거들, 갑 제9, 10호증의 각 기재 및 변론 전체의 취지에 따라 인정할 수 있는 다음의 각 사정, 즉 ① 토지의 공시지가와 건물의 기준시가가 동일한 비율로 시가를 반영하고 있다고 볼 만한 자료가 없는 점, ② 토지의 공시지가와 건물의 기준시가는 그 산정주체, 산정방법 등이 전혀 다른 제도로서 일반적으로 건물의 기준시가의 시가반영률은 공시지가의 그것에 미치지 못하여 왔던 것으로 알려져 왔는데 그와 같은 사정에 변동이 있었다고 볼 만한 자료가 없는 점, ③ 이에 토지의 공시지가와 건물의 기준시가를 기준으로 하여 ★★★구 건물 임대차계약상 임대료를 토지분과 건물분으로 안분하게 되면 토지분 임대료가 과대평가되어 그 토지에 대한 임대료 시가가 실제보다 크게 산정되는 결과 원고에 대한 종합소득세액과 부가가치세액이 많아지는 결과가 초래될 수 있는 점(대법원 2009. 4. 23. 선고 2007두10884 판결 참조) 등에 비추어 보면 ★★★구 토지의 공시지가와 ★★★구 건물의 기준시가를 기준으로 ★★★구 건물 임대차계약상 임대료를 토지분과 건물분으로 안분하는 것은 객관적이고 합리적인 방법이라고 보기 어렵다.

이에 대하여 피고들은 ▼▼▼▼▼가 ★★★구 건물의 임대료 산정 목적으로 감정평가법인에 감정평가를 의뢰하여 받은 감정평가서(을 제12호증)에 ★★★구 토지의 기초가격이 19,450,690,000원, ★★★구 건물의 기초가격이 12,370,249,560원으로 기재되어 있는데 그 ‘토지 기초가격 ÷ (토지 기초가격 + 건물 기초가격)’ 비율인 약 61.13%가 ‘★★★구 토지의 공시지가 ÷ (★★★구 토지의 공시지가 + ★★★구 건물의 기준시가)’ 비율인 52.04%~53.89%보다 크므로 처분사유 ②에 따른 처분이 정당세액 범위 내에 있다고 주장한다. 그러나 위 감정평가를 한 감정평가법인은 ★★★구 건물의 임대료를 임대사례비교법에 의하여 산정하면서 적산법에 따라 그 적정성 여부를 검토하는 과정에서 공시지가기준법에 의하여 토지 기초가격을, 원가법에 의하여 건물 기초가격을 산정한 것으로서 ★★★구 토지와 ★★★구 건물의 시가 산정이 그 감정의 목적이 아니었던 점, ★★★구 건물과 같은 상업용 건물은 수익성이 시가에 큰 영향을 미치는데 원가법은 이를 반영하지 못하는 점, 토지와 건물의 시가 비율이 토지 임대료와 건물 임대료의 시가 비율과 동일한 수준이라고 볼 만한 자료도 없는 점 등에 비추어 보면, 피고들이 주장하는 사정만으로는 처분사유 ②에 따른 처분이 정당세액 범위 내에 있다고 단정할 수 없으므로, 피고들의 위 주장은 받아들일 수 없다.

결국 원고의 위 주장은 이유 있다.

다. 처분사유 ③에 관하여

1) 원고의 주장 요지

피고들이 필요경비로 인정하지 아니한 신용카드 사용금액 602,366,807원 중 현대백화점카드 사용금액을 제외한 우리카드, 기업비씨카드 사용금액 395,186,648원은 필요경비에 해당한다.

2) 판단

가) 필요경비는 납세의무자에게 유리한 것이고 그 필요경비를 발생시키는 사실관계의 대부분은 납세의무자가 지배하는 영역 안에 있는 것이어서 그가 입증하는 것이 손쉽다는 점을 감안해 보면, 납세의무자가 입증활동을 하지 않고 있는 필요경비에 대해서는 부존재의 추정을 용인하여 납세의무자에게 입증의 필요성을 인정하는 것이 공평의 관념에도 부합된다(대법원 2004. 9. 23. 선고 2002두1588 판결 참조).

나) 관련 법령의 내용과 앞서 든 증거들 및 변론 전체의 취지에 따라 인정할 수 있는 다음의 각 사정에 비추어 보면, 피고들이 원고의 신용카드 사용금액 602,366,807원을 필요경비로 인정하지 않은 것에 위법이 있다고 보이지 않는다. 이와 다른 전제에 있는 원고의 위 주장은 이유 없다.

(1) 소득세법 제160조 제1항은 ‘사업자는 소득금액을 계산할 수 있도록 증명서류 등을 갖춰 놓고 그 사업에 관한 모든 거래 사실이 객관적으로 파악될 수 있도록 복식부기에 따라 장부에 기록·관리하여야 한다’고 규정하고 있고, 구 국세기본법(2019. 12. 31. 법률 제16841호로 개정되기 전의 것) 제85조의3 제2항은 그와 같은 장부와 증거서류의 보관기간을 법정신고기한이 지난 날로부터 5년간으로 규정하고 있다.

서울지방국세청장이 원고에 대해 개인통합조사를 실시한 무렵인 2019. 2. 19.부터 2019. 7. 2.까지는 원고에 대한 2015년~2017년 각 귀속 종합소득세에 관한 법정신고기한이 5년이 도과하기 전이었는데 원고는 위 신용카드 사용금액이 필요경비라는 점을 뒷받침할 만한 증거서류 등을 갖추고 있지 않았다.

(2) 원고가 필요경비로 계상한 신용카드 사용금액의 사용처에는 주유소, 음식점, 병원, 약국, 스파, 호텔, 아울렛, 편의점 등이 다수 포함되어 있다. 이 사건 사업체에는 달리 직원이 존재하지 않으므로 그 사업을 위해 위와 같은 사용처에서 경비를 사용할 필요성이 낮을 것으로 보이는데 원고는 어떠한 이유로 위와 같은 사용처에서 신용카드를 사용한 것인지에 대하여 구체적으로 밝히고 있지 않다.

라. 처분사유 ④에 관하여

1) 원고의 주장 요지

원고는 소득세법상 원천징수의무를 부담하는 자에 해당하지 않는다.

2) 판단

가) 소득세법 제127조 제1항 제1호는 ‘국내에서 거주자나 비거주자에게 이자소득을 지급하는 자는 이 절의 규정에 따라 그 거주자나 비거주자에 대한 소득세를 원천징수 하여야 한다’고 규정하고, 제2항은 ‘제1항에 따른 원천징수를 하여야 할 자를 대리하거나 그 위임을 받은 자의 행위는 수권 또는 위임의 범위에서 본인 또는 위임인의 행위로 보아 제1항을 적용한다’고 정하고 있다.

나) 이때 거주자나 비거주자에게 지급되는 이자소득금액에 대하여 원천징수의무를 부담하는 소득세법 제127조 제1항 제1호에서의 이자소득을 지급하는 자는 특별한 사정이 없는 한 계약 등에 의하여 자신의 채무이행으로서 이자소득금액을 실제 지급하는 자를 의미한다(대법원 2018. 4. 24. 선고 2017두48543 판결 등 참조). 그런데 원고가 ◈◈◈◈대종회에 지급한 이자와 관련하여 계약 등에 의하여 채무를 부담하는 자는 이 사건 회사이므로(을 제15호증), 원고는 위 이자 지급과 관련하여 ‘자신의 채무이행으로서 이자소득금액을 실제 지급하는 자’에 해당하지 않고, 이에 원고는 소득세법 제127조 제1항 제1호에 의하여는 위 이자 지급에 관한 원천징수의무를 부담하지 않는다.

나아가 소득세법 제127조 제2항에 따라 ‘원천징수의무자를 대리하거나 그 위임을 받은 자로서 그 수권이나 위임의 범위 안에서 원천징수의무를 부담하는 자’는 소득세법 제127조 제1항 각호의 소득금액을 지급해야 할 자로부터 원천납세의무자에 대한 소득금액의 지급과 아울러 원천징수업무, 즉 원천납세의무자로부터 소득세를 원천징수 하는 업무와 원천징수한 소득세를 관할 세무서에 납부할 업무 등을 수권 또는 위임받은 자를 말한다. 이러한 원천징수업무의 위임은 명시적으로뿐만 아니라 묵시적으로도 이루어질 수 있으나, 원천징수의 성격과 효과 등에 비추어 볼 때 묵시적 위임이 있다고 하기 위하여는 명시적 위임이 있는 경우와 동일시할 수 있을 정도로 위임 의사를 추단할 만한 사정이 있어야 한다(대법원 2014. 7. 24. 선고 2010두21952 판결 등 참조). 그런데 피고들이 제출한 증거만으로는 원고가 이 사건 회사로부터 원천징수업무의 위임을 받았다고 인정하기에 부족하고, 달리 이를 인정할 증거가 없다.

따라서 원고의 위 주장은 이유 있다.

마. 소결론: 취소의 대상 및 범위

이 사건 처분 중 처분사유 ②, ④로 인한 부분은 위법하다. 처분사유 ②는 피고 삼성세무서장의 각 종합소득세 부과처분, 피고 ★★★세무서장의 각 부가가치세 부과처분에 관련되는데 위 피고들이 제출한 증거만으로 그 정당세액을 계산할 수 없으므로 그 전부를 취소할 수밖에 없다. 나아가 처분사유 ④는 피고 삼성세무서장의 각 이자소득세(원천세) 부과처분에 관련되는데 그 처분사유가 전부 인정되지 아니하므로 위 각이자소득세(원천세) 부과처분은 전부 취소되어야 한다.

4. 결론

그렇다면 원고의 피고 OO세무서장에 대한 청구, 피고 ★★★세무서장에 대한 청구는 이유 있으므로 이를 모두 인용하고, 원고의 피고 ※※세무서장에 대한 청구는 이유 없으므로 이를 모두 기각하기로 하여 주문과 같이 판결한다.