Databricks unity catalog table Spark.sql() 혼란기 (2024-02-15)

오늘 일하다가 발견한 문제인데, 아직 해결을 못했다.
Azure databricks로 unity catalog 테이블 조회시 spark sql로 데리고온 데이터프레임 건수랑 sql쿼리 날려서 가지고온 건수가 다르다… 같은 쿼리인데… 😳 스파크는 3.5 버전인데…
왜그런지 삽질하다가 회의 잡혀서 끝나고나니 퇴근시간이라 접어두고 집가는중이다… 문제를 까먹을까봐 일단 적고 해결책 찾으면 글 써둬야겠다,,,

Hoxy… 지나가다 저 문제 해결방법 아시면,, 댓글 부탁드리겠습니다 (꾸벅)