app에서 데이타 통신을하는 api서버가 있다 각 인터페이스별 평균 응답시간을 아파치 로그를 활용하여 구해봤다 서버는 apache+tomcat, spring으로 구현한 서버이다 hadoop과 spark, python 설정은 Python and Spark로 로그 파일 분석 (with hadoop) 을 참고 하자 1. 아파치 TransferLog 로그파일에 응답 시간 남기기 우선 분석하기 전에 아파치 로그에 응답 시간을 추가로 기록하도록 하자 /etc/httpd/conf.d/ssl.conf 경로에서 아래를 편집했다. 물론. 설정 파일이 있는 경로와 이름은 서버마다 틀릴 수 있다 1 2 3 4 5 6 <VirtualHost _default_:443> ....
Spark를 이용한 파일 분석 spark도 잘 모르고 hadoop도 잘 모르는 상태에서 진행해서 틀린 부분이 있을 것이다. 참고로 OSX에서 진행된 작업이다. 설정 1. Hadoop를 설치 하고 실행한다 2. hdfs상에 파일을 올린다. 1 2 cd /logs hdfs dfs -put test.log /input/ 아래와 같이 파일 브라우징이 가능하다 아래에서 올라간 파일을 확인! http://localhost:50070/explorer.html#/input 3. spark의 python 커맨드 테스트.. $SPARK_HOME/bin/pyspark 하둡을 켜고 pyspark를 실행하면 아래와 같이 나온다 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Python 2....
요즘 파이썬 공부중인데 연습겸 10초마다 webserver가 죽었는지 체크하는 간단한 프로그램을 만들어 봤다. 아래코드에는 아래 나열된 사항들에 대한 코딩이 적용되어 있다 http request thread(timer 대응) logging사용법 try-except 예외처리 raise throw json parsing 및 데이타 읽기 방법 string 처리 ServerCheck.py 파일 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 import threading import urllib....
centos 6에 3.5.1 버전을 설치 하는 command line 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 yum install zlib-devel -y yum install openssl openssl-devel -y wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tar.xz xz -d Python-3.5.1.tar.xz # 혹시 xz가 없다면 yum install xz 로 설치 하라. tar -xvf Python-3.5.1.tar cd Python-3.5.1 ./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib" make && make altinstall # pip설치 curl -k -O https://bootstrap.pypa.io/get-pip.py python3.5 get-pip.py 간단한 프로그램에는 Python이 좋은듯 java는 프로젝트 구성하기도 귀찮고…