DS 썸네일형 리스트형 01. 텐서플로우 와 간단한 신경망 구현 실습 텐서 플로우 - 텐서플로우는 딥러닝 프레임워크이다. - 현재 2020년 06월 기준 최신 버전은 2.0 이다. - 2.0 버전에서는 텐서플로우에 케라스가 포함되어있다. - 케라스는 고수준의 api 를 제공 한다. - 구글 클라우드를 사용하면 GPU/TPU 를 사용 할 수 있는 colab 을 사용하여 텐서플로우 및 sklearn, 등 머신러닝에 필요한 거의 모든패키지가 제공되며, 필요한 패키지 설치 가능하다, 또한 구글 드라이브에 저장된 데이터를 사용 할 수있으며, 외부 데이터를 불러와 사용 할 수 도 있다. 텐서플로우 난수 및 정규분포 생성 - 텐서 플로우 난수 생성 #균일한 분포의 난수를 출력 해준다. #tf.random.uniform(모양, 최소값, 최대값) #모양: 행렬, shape 을 말한다. r.. 더보기 elasticsearch cluster and filebeat with kibana 파일 분석을 위해 엘라스틱 과 filebeat , kibana 를 사용하도록 한다.spring boot 어플리케이션에서 발생하는 로그를 filebeat 로그 수집기를 통해 엘라스틱 으로 쌓은 후 kibana 를 통한 대시보드로 모니터링 하도록 한다. 최종적인 결과는 아래 그림과 같다. # 파일 분석 시스템의 구성 설명 3 대의 물리적 머신에 엘라스틱서치를 클러스터링 하도록 한다.standby / active 로 구성 하기 위해 3대의 노드들 모두 master 설정을 하였다.master 노드들 도한 데이터를 저장 하도록 한다.아래 설치 정보들은 모든 노드들에 공통으로 적용 한다. elasticsearch 의 jvm.option 설정은 하지 않았음. 시스템 퍼포먼스는 테스트 진행후 해도 되기때문에 나중에 하.. 더보기 계층형 테이블 구조 및 쿼리 참고: 원문: http://mikehillyer.com/articles/managing-hierarchical-data-in-mysql/구글 번역문: http://hmjkor.tistory.com/472 계층적 데이터 처리를 위해 검색해본 결과 참고 사이트 를 발견하게 됨.조직도 와 같은 구조의 데이터를 테이블에 넣고 단순히 부모와 자식간 형태로만 저장 하려고 하였으나, 쿼리를 할때마다 순환을 해야 하기 때문에 많은 소요 시간이 필요하게 된다. 단순히 부모와 자식간 관계만 있을 경우의 테이블 구조와 query:CREATE TABLE nav_map( id INT AUTO_INCREMENT PRIMARY KEY , name VARCHAR(50), pid INT ); ALTER TABLE nav_map AUT.. 더보기 mac cassandra 설치 및 시작 cassandra 설치 #brew install cassandra cassandra 시작#brew services start cassandra 더보기 자동 증가 컬럼생성 방법 mysql, postgresql 을 예로 설명 하도록 한다.mysql 에서는 테이블 생성시 auto_increment 라는 키워드를 붙혀주면 해당 컬럼이 자동 증가 된다. 하지만 postgresql 에서는 생성 방법이 조금 다르다.먼저 sequence 를 생성후 해당 시퀀스를 사용하여 컬럼의 값을 자동 증가 되도록 하게 한다. ============== mysql ===================== create table Member( id bigint auto_increment primary key, name varchar(100) not null, age int null ); ============= postgresql ============= #시퀀스 생성 create sequence membe.. 더보기 데이터베이스 인덱싱 생성 방법 create index on (, ,,,,);인덱싱 테이블의 컬럼들을 인덱싱 해놓을 경우 사용. 더보기 Postgresql-9.6 Master Slave replication config OS: CensOS 7DB: Postgresql 9.6 Master DB : IP: 10.10.10.10Slave DB : IP: 10.10.10.11Slave DB : IP: 10.10.10.12 구성: 마스터 와 두대의 슬레이브 로 구성하여 Replication 하도록 한다.구성 1 10.10.10.10 | |10.10.10.11 10.10.10.12두대의 slave 서버가 마스터를 바라보고 있는 형태이다.(장단점은?)구성 210.10.10.10 -> 10.10.10.11 -> 10.10.10.12마스터 서버가 slave 1 을 바라보고,slave 2 는 slave 1 을 바라보도록 한다.(장단점은?)위의 두가지 설정의 다른점:pg_hba.conf 파일에서 replication 서버 주소를 바라보고 .. 더보기 postgresql install and change data directory on Centos 7 현재 CentOS 7 에서 yum 으로 설치시 최신 버전이 9.2 인것 같다.현재 최신 베타 버전은 10 이다.안정화 버전인 9.6을 설치해보고 싶었고, 3억건의 데이터를 저장하기 위해 추가로 마운트 한 디스크로 데이터 디렉터리 위치를 변경하고 싶었다. 현재 postgrsql 설치 가능한 버전 보기 #yum list postgresql* 설치 가능한 버전이 9.2 로 나온다. - rpm 으로 설치 #rpm -Uvh https://yum.postgresql.org/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm 재확인 #yum list postgresql* 설치 가능한 버전 목록 중에 postgresql96-server 가 보인다. 설치 #yum -y i.. 더보기 이전 1 2 다음
