더비창고방

오늘 일하다가 발견한 문제인데, 아직 해결을 못했다. Azure databricks로 unity catalog 테이블 조회시 spark sql로 데리고온 데이터프레임 건수랑 sql쿼리 날려서 가지고온 건수가 다르다… 같은 쿼리인데… 😳 스파크는 3.5 버전인데… 왜그런지 삽질하다가 회의 잡혀서 끝나고나니 퇴근시간이라 접어두고 집가는중이다… 문제를 까먹을까봐 일단 적고 해결책 찾으면 글 써둬야겠다,,, Hoxy… 지나가다 저 문제 해결방법 아시면,, 댓글 부탁드리겠습니다 (꾸벅)

공식 doc link : https://druid.apache.org/docs/0.20.0/development/extensions-core/s3.html 참고 블로그 link : https://til.songyunseop.com/druid/setting_druid_with_emr.html EMR과 함께 Druid를 셋팅해보자! — 전지적 송윤섭시점 TIL 1.0 documentation Docs » EMR과 함께 Druid를 셋팅해보자! Edit on GitHub EMR과 함께 Druid를 셋팅해보자! Versions Druid 0.12.0 Java 1.8.0_161 과정 Java 설치 sudo yum install -y java-1.8.0-openjdk-devel.x86_64 druid User 추가..

https://medium.com/@emergeit/realtime-data-streaming-with-apache-kafka-apache-pinot-apache-druid-and-apache-superset-e67161eb9666 Realtime data streaming with Apache Kafka, Apache Pinot, Apache Druid and Apache Superset Index medium.com Druid 솔루션에대해 공부해보고자 실시간 데이터처리 파이프라인 아키텍처를 찾던중, 위글을 접하게 되었다. 참고해서 실습해본 과정을 기록하고자 한다. Toy project Architecture 개요 플랫폼 : AWS ec2 서버 데이터 파이프라인 구성환경 java version : op..

[목차] 개요 1.1 es-kibana 사용자 인증 및 관리 보안 설정 방법 2.1 elasticsearch 다중 노드 클러스터 사용자 인증 설정 2.2 kibana 사용자 인증 설정 1. 개요 1.1 es-kibana 사용자 인증 및 관리 목표 사용자 별로 ID/PW 를 부여하여, ID/PW를 이용하여 elasticsearch와 kibana 접속이 가능토록 한다. elasticsearch 내부에 .security index를 생성하여 사용자 정보를 저장하여 사용자 계정관리를 한다. 구성도 2. 사용자 인증 설정 방법 elasticsearch-kibana 사용자 인증 설정에는 3단계가 있다 elastic search 다중노드 클러스터 보안 설정 Kibana 보안설정 시스템 계정의 password 설정 2..