Workbook

Enabling and disabling services during start up in GNU/Linux

Albert — Mon, 20 Oct 2014 09:39:34 +0900

Link : www.aboutlinux.info/2006/04/enabling-and-disabling-services-during_01.html

April 01, 2006 Posted by Ravi

This guide shows you how to enable and disable services in Linux. This is the command line method of enabling and disabling services. Some Linux distributions like Fedora, Ubuntu and so on do provide a GUI front-end as well.

In any Linux distribution, some services are enabled to start at boot up by default.

On my machine, I have PCMCIA, Cron, Postfix Mail Transport Agent ... just to name a few, which start during boot up.

You should run only those services that are absolutely necessary. Disable the rest, as they can be potential security risks and also waste hardware resources.

For example, my machine does not have any PCMCIA cards so I can safely disable it. Same is the case with Postfix which is also not used.

So how do you disable these services so that they are not started at boot time?

The answer to that depends on the type of Linux distribution you are using.

True, many Linux distributions including Ubuntu bundle with them a GUI front end to accomplish the task which makes it easier to enable and disable the system services.

But there is no standard GUI utility common across all Linux distributions. And this makes it worth while to learn how to enable and disable the services via the command line.

Most Linux distributions have one thing in common. That being, all the start-up scripts are stored in the /etc/init.d/ directory.

Update: As pointed out in the comments below, some Linux distributions such as Slackware use the BSD style of init scripts which are in /etc/rc.d

Lets say, you want to enable Apache web server in different run levels. Then you should have a script related to the Apache web server in the /etc/init.d/ directory.

The script is usually created at the time of installing the software. And in my machine (which runs Ubuntu), it is named apache2. Where as in Red Hat, it is named httpd. Usually, the script will have the same name as the process or daemon.

Here I will explain different ways of enabling and disabling the system services.

How to enable and disable services in Red Hat

Red Hat, Fedora, and Red Hat based Linux distributions such as CentOS make use of the script called chkconfig to enable and disable the system services running in Linux.

How to enable a service

As an example, lets enable the Apache web server to start in run levels 2, 3, and 5. This is how it is done.

We first add the service using chkconfig script. Then turn on the service at the desired run levels.

# chkconfig httpd --add
# chkconfig  httpd  on --level 2,3,5

This will enable the Apache web server to automatically start in the run levels 2, 3 and 5. You can check this by running the command -

# chkconfig --list httpd

How to disable a service

# chkconfig httpd off
# chkconfig httpd --del

Red Hat/Fedora also have a useful script called service which can be used to start or stop any service. For example, to start Apache web server using the service script, the command is as follows -

# service httpd start

and to stop the service...

# service httpd stop

The options being start, stop and restart which are self explanatory.

How to enable or disable services in Debian / Ubuntu

To Enable and disable services across runlevels in Debian, Ubuntu, and other Debian based Linux distributions we use a script called update-rc.d.

How to enable a service

As an example, to enable Apache web server in Debian, do the following -

# update-rc.d apache2 defaults

... this will enable the Apache web server to start in the default run levels of 2,3,4 and 5. Of course, you can do it explicitly by giving the run levels instead of the defaults keyword as follows:

# update-rc.d apache2 start 20 2 3 4 5 . stop 80 0 1 6 .

The above command modifies the sym-links in the respective /etc/rcX.d directories to start or stop the service in the destined runlevels. Here X stands for a value of 0 to 6 depending on the runlevel. One thing to note here is the dot (.) which is used to terminate the set which is important. Also 20 and 80 are the sequence codes which decides in what order of precedence the scripts in the /etc/init.d/ directory should be started or stopped.

To enable the service only in runlevel 5, you do this instead -

# update-rc.d apache2  start 20 5 . stop 80 0 1 2 3 4 6 .

How to disable a service

To disable the service in all the run levels, you execute the command:

# update-rc.d -f apache2 remove

Here -f option which stands for force is mandatory.

How to enable or disable services in Gentoo

Gentoo Linux also uses a script to enable or disable services during boot-up. The name of the script is rc-update. Gentoo has three default run levels. They are -

boot,
default and
nonetwork.

How to enable a service

Lets set Apache web server to start in the default runlevel.

# rc-update add apache2 default

How to disable a service

To remove the web server, use the del option as follows.

# rc-update del apache2

List all running services

To list all the running services at your run level and check their status, you use the rc-status command.

# rc-status --all

How to enable and disable services manually

I remember the first time I started using Linux, there were no such scripts to aid the user in enabling or disabling the services during start-up.

You did it the old fashioned way which was creating or deleting symbolic links in the respective /etc/rcX.d/ directories. Here X in rcX.d is a number which stands for the runlevel.

As an example, here is a listing of all the services started in runlevel 5 in my PC running Ubuntu.

ls -l /etc/rc5.d

And the output is ...

lrwxrwxrwx 1 root root  26 2012-03-18 21:10 S20apache2 -> ../init.d/apache2
lrwxrwxrwx 1 root root  20 2011-10-27 12:46 S20kerneloops -> ../init.d/kerneloops
lrwxrwxrwx 1 root root  17 2012-03-19 13:09 S20postfix -> ../init.d/postfix
lrwxrwxrwx 1 root root  27 2011-10-27 12:46 S20speech-dispatcher -> ../init.d/speech-dispatcher
... Shortened for brevity ...
lrwxrwxrwx 1 root root  22 2011-10-27 12:46 S99acpi-support -> ../init.d/acpi-support
lrwxrwxrwx 1 root root  21 2011-10-27 12:46 S99grub-common -> ../init.d/grub-common
lrwxrwxrwx 1 root root  18 2011-10-27 12:46 S99ondemand -> ../init.d/ondemand
lrwxrwxrwx 1 root root  18 2011-10-27 12:46 S99rc.local -> ../init.d/rc.local

As you can see, all the content in the /etc/rc5.d directory are symbolic links pointing to the corresponding script in the /etc/init.d directory.

There can be two kinds of symbolic links in the /etc/rcX.d/ directories.

One starts with the character 'S' followed by a number between 0 and 99 to denote the priority, followed by the name of the service you want to enable.

The second kind of symlink has a name which starts with a 'K' followed by a number and then the name of the service you want to disable.

So in any /etc/rcX.d directory, at any given time, for each service, there should be only one symlink of the 'S' OR 'K' variety but not both.

So coming back to our Apache example, suppose I want to enable Apache web server in the run level 5 but want to disable it in all other run levels, I do the following:

First to enable the service for run level 5, I move into /etc/rc5.d/ directory and create a symlink to the apache service script residing in the /etc/init.d/ directory as follows:

# cd /etc/rc5.d/
# ln -s /etc/init.d/apache2 S20apache2

This creates a symbolic link in the /etc/rc5.d/ directory which the system interprets as - start (S) the apache service before all the services which have a priority number greater than 20.

If you do a long listing of the directory /etc/rc5.d in your system, you can find a lot of symlinks similar to the one below.

# ls -l /etc/rc5.d |grep apache2
lrwxrwxrwx 1 root root  26 2012-03-18 21:10 S20apache2 -> ../init.d/apache2

Now if I start a service, I will want to stop the service while rebooting or while moving to single user mode and so on. So in those run levels I have to create the symlinks starting with character 'K'.

So going back to the apache2 service example, if I want to automatically stop the service when the system goes into run level 0, 1 or 6, I will have to create the symlinks in the /etc/rc0.d, /etc/rc1.d/, /etc/rc6.d/ directories as follows -

# cd /etc/rc0.d
# ln -s /etc/init.d/apache2 K80apache2

One interesting aspect here is the priority. Lower the number, the higher is the priority.

So since the starting priority of apache2 is 20 - that is apache starts way ahead of other services during startup, we give it a stopping priority of 80.

There is no hard and fast rule for this but usually, you follow the formula as follows:

If you have 'N' as the priority number for starting a service, you use the number (100-N) for the stopping priority number and vice versa.

리눅스에서 서비스 설정하기

Albert — Mon, 20 Oct 2014 09:29:46 +0900

tobby48.egloos.com/1175861

1. 런레벨 이해하기
리눅스의 machine state는 총 7개로 이루어져있다. 이는 리눅스의 시스템 가동 상태에 따라 달라지는데

이를 런레벨이라고 한다. 우리가 서비스를 등록할때 어떤 런레벨에서 서비스를 자동 실행할 것인지를

결정하게 되기 때문에 간단히 런레벨에 대해 알아보도록 하겠다.

런레벨의 정의는 /etc/inittab에 주석으로 설명이 잘되어 있다.

# vi /etc/inittab

....
# Default runlevel. The runlevels used by RHS are:
#   0 - halt (Do NOT set initdefault to this) 종료모드
#   1 - Single user mode 단일 사용자 모드
#   2 - Multiuser, without NFS (The same as 3, if you do not have networking) 다중 사용자 텍스트 모드
#   하지만 NFS를 쓰지 않는다.
#   3 - Full multiuser mode 다중 사용자 텍스트 모드
#   4 - unused 사용하지 않는다.
#   5 - X11 다중사용자 X windows 모드
#   6 - reboot (Do NOT set initdefault to this) 재가동 모드
#
id:5:initdefault:

맨아래 설정은 부팅시 리눅스 시스템의 가동 방식을 정한다. 5번은 윈도우 부팅시 X windows 시스템에

서 로그인하도록 하는 방식이다. 일반 텍스트 모드는 3번을 지정하면 된다.

4번은 쓰지 않는 것이라기 보다는 사용자가 스스로 서비스를 구성할 수 있는 사용자 정의 런레벨이라

할 수 있다. 나머지는 리눅스 시스템에서 사용하는 런레벨이다.

2. chkconfig로 서비스 설정하기
chkconfig는 쉽게 서비스를 등록하거나 삭제, 혹은 특정 런레벨에서 서비스를 실행시키는 설정을 가능

하게 합니다. man page를 보면 자세한 설명이 나온다.

일단 새로운 서비스를 등록하기 전에 사전 작업이 필요하다.

1) /etc/rc.d/init.d라는 디렉토리에 실행시킬 실행 스크립트를 넣어줘야 한다.

- 이 디렉토리는 시스템 부팅시 초기화 과정 에서 실행 될 서비스들의 실행 스크립트가 모여있는 디렉

토리이다. 그 rc.d 하위의 rc.0, rc.1, rc.2 디렉토리는 각 런레벨에 따라 실행될 스크립트들이 init.d에 있

는 스크립트 파일의 링크들을 가지고 있다.

그런 다음에 해당 스크립트에 실행 priority, 중지 priority를 설정하는 엔트리를 넣어주고,

chkconfig, description는 필수적으로 입력해야 서비스에 등록된다. 그외에 엔트리들은 옵션사항이다.

# vi /etc/rc.d/init.d/sendmail
#!/bin/bash
#
# sendmail      This shell script takes care of starting and stopping
#               sendmail.
#
# chkconfig: 2345 80 30
# description: Sendmail is a Mail Transport Agent, which is the program \
#              that moves mail from one machine to another.
# processname: sendmail
# config: /etc/mail/sendmail.cf
# pidfile: /var/run/sendmail.pid
....

chkconfig:run-level시작 우선순위종료 우선순위
run-level은 실행될 수 있는 런레벨을 지정한다. 위에서 2345는 레벨 2, 3, 4, 5라면 이 서비스는 시작된다
는 의미가 된다. 런레벨을 -로 입력하면 어떤 레벨에서든지 시작하지 않겠다는 뜻이다. 즉, 부팅시 자
동 시작을 안하겠다는 것이다.

2) service 등록
# chkconfig --add
service name은 init.d에 있는 스크립트의 파일명이 된다.

# chkconfig --add sendmail
sendmail 서비스를 등록한다.
add할 경우 chkconfig 엔트리에 내용대로 런레벨의 on/off가 적용된다.

3) service on/off/reset
해당 서비스를 on/off할 것인 지를 정한다.
만일,
# chkconfig sendmail off
라고 하면, on 되어 있는 모든 런레벨을 off해버린다.

# chkconfig sendmail on
엔트리의 내용대로 런레벨의 on이 되어 진다.

# chkconfig --level 2345 sendmail on
위의 명령어는 런레벨 2,3,4,5에서 sendmail 서비스를 시작하겠다는 뜻이다.

# chkconfig sendmail reset
reset은 on/off 설정을 원래대로 돌리는 것이다. 현재 sendmail이 2,3,4,5 레벨에서 실행하게 되어 있지만,
이후에 2,3을 off시켰다고 하자. 그런다음 reset을 하면 다시 2,3이 on으로 설정된다.

4) 서비스 삭제
# chkconfig --del sendmail
sendmail서비스를 삭제한다.

4) 서비스 리스트 보기
# chkconfig --list
이것은 모든 서비스 리스트를 보여주는 것이다.

# chkconfig --list sendmail
list중에 sendmail만 보여준다.

How to disable a service

# chkconfig httpd off
# chkconfig httpd --del

# service httpd start

and to stop the service...

# service httpd stop

The options being start, stop and restart which are self explanatory.

Swap 메모리

Albert — Fri, 17 Oct 2014 11:30:50 +0900

Swap 메모리

c or linux 2012/01/05 12:04

시작하며..

리눅스의 swap 메모리에 대해서 이해한다.

본론

만약 어플리케이션의 RAM 용량이 차면, swap 메모리가 자동으로 늘어나도록 되어 있다. 하드디스크의 디스크를 swap 메모리로 만들기 때문에 속도가 느려진다. 또한 RAM의 용량보다 2배로 swap 메모리를 잡도록 되어 있다. (참조 : http://vr.org/docs/centos/4/html/rhel-sag-en-4/ch-swapspace.html) 시스템 엔지니어는 이런 이슈로 리눅스 서버를 셋팅할 때 swap 영역을 얼마나 잡을지 판단해야 한다. 때로는 개발자가 이 부분을 고쳐 성능을 향상 시킬 수 있다. (참고 : https://wiki.archlinux.org/index.php/Swap)

개인적으로는 메모리가 갑자기 부족한 경우를 제외하고는 swap 자체를 안쓰는 것을 선호한다. 성능상 swap 메모리를 쓰는 것보다 swap in , swap out이 성능을 무너뜨리는 것을 많이 봐왔다. 또한 너무 크게 사용하는 것도 경계한다. (난 보수적인 사람이 되었나 보다… 아직 적절히 활용한 대용량 처리 사례를 못해봐서 그런지도 모르겠다. ) 차라리 RAM 하나 더 꽂는게 더 나은 것 같다.

하지만 DB나, 오픈 소스 대용량 처리 어플리케이션의 경우에서는 swap을 많이 활용하려고 하고 있다는 사실이다. 어떻게 하든 속도를 내기 위해서 메모리에서 처리하려다 보니 swap을 쓸 수 밖에 없는 구조로 가고, 너무 많이 써서 문제가 되니 다시 mlock으로 막는 구조로 가는 부분으로 처리하는 형태로 가고 있다.

1. swap 및 ram 메모리 상태 보기

free 명령어를 이용해서 간단히 살펴볼 수 있다.

# free
             total       used       free     shared    buffers     cached
Mem:       4150252    3991868     158384          0      78504    2265916
-/+ buffers/cache:    1647448    2502804
Swap:      2096472        208    2096264

2. Swap 메모리 설정하는 방법

리눅스 커널 2.6부터 swap 메모리를 설정할 수 있다. swap 영역은 dd 명령어와 mkswap 명령어를 이용해서 swap을 만들 수 있다. (http://www.artwork.com/gdsii/qckvu/faq/linux_swap.htm) 이렇게 만들어진 영역은 swap 메모리로 쓰고 있다는 뜻이다. 아래의 예는 swap을 2G 정도만 쓰고 있다는 것을 의미한다.

# cat /proc/swaps
Filename Type Size Used Priority
/dev/cciss/c0d0p2 partition 2096472 208 -1

3. Swap 메모리 사용 빈도 설정 방법

swap 메모리를 사용 빈도를 확인하는 방법은 vm.swappiness 정보를 보는 것이다. centos를 비롯한 일부 서버는 디폴트로 60으로 잡혀 있다.

]# sysctl vm.swappiness (또는 cat /proc/sys/vm/swappiness 으로 확인 가능)
vm.swappiness = 60

vm.swapiness 정보는 커널 파라미터이며 swap 영역을 얼마나 더 보겠냐 (또는 회피하겠냐)는 의미를 가지고 있다. (kernel's preference (or avoidance) of swap space) 여기에 0의 값을 넣으면 swap을 최대한 쓰지 않겠다는 의미이다. 만약 100은 하드디스크의 swap영역을 최대한 활용하겠다는 의미이다.

제일 이슈는 swap 메모리가 많이 잡혀 있는 것보다 얼마나 사용하고 있는지를 측정하는 것이 좋다. free나 cat /proc/swaps 명령어를 이용해서 해결할 수 있다.

만약 swap 메모리를 쓰지 않으려면, vm.swappiness를 0으로 셋팅하면 된다.

/etc/sysctl.conf 에 ‘vm.swappiness=0 ‘ 설정을 추가하고, ‘echo 0 > /proc/sys/vm/swappiness ‘ 명령어를 이용해서 적용한다.

* Reference

http://forums.gentoo.org/viewtopic.php?t=175419

5. Swappiness (2.6 kernels)
Since 2.6, there has been a way to tune how much Linux favors swapping out to disk compared to shrinking the caches when memory gets full.

ghoti adds:
When an application needs memory and all the RAM is fully occupied, the kernel has two ways to free some memory at its disposal: it can either reduce the disk cache in the RAM by eliminating the oldest data or it may swap some less used portions (pages) of programs out to the swap partition on disk.
It is not easy to predict which method would be more efficient.
The kernel makes a choice by roughly guessing the effectiveness of the two methods at a given instant, based on the recent history of activity.

Before the 2.6 kernels, the user had no possible means to influence the calculations and there could happen situations where the kernel often made the wrong choice, leading to thrashing and slow performance. The addition of swappiness in 2.6 changes this.

또한 vfs_cache_pressure 라는 값을 0으로 잡아, 커널의 cache를 빨리 날려줄 수 있도록 한다. linux에서는 어플에서 처리한 남는 메모리를 바로 free되지 않고 buffer cache에 남게 한다. 이를 이용하면 free memory를 더 확보할 수 있다.

4. swap in, swap out 확인하는 방법

sar 명령어를 이용하면 메모리 상태를 확인할 수 있다.

]# sar -r -s 11:41:00
Linux 2.6.9-78.ELsmp

11시 41분 kbmemfree kbmemused %memused kbbuffers kbcached kbswpfree kbswpused %swpused kbswpcad
11시 42분 5932304 10700956 64.33 358820 1087040 2096280 192 0.01 0
Average: 5932304 10700956 64.33 358820 1087040 2096280 192 0.01 0

sar 명령어의 –B 파라미터는 swapping 통계를 낸다.

]# sar -B 2 5
Linux 2.6.9-78.ELsmp

11시 41분 28초 pgpgin/s pgpgout/s   fault/s majflt/s
11시 41분 30초      2.04     75.51     21.43      0.00
11시 41분 32초      0.00      0.00    359.49      0.00
11시 41분 34초      0.00    258.46     19.49      0.00

5. 이슈

jvm 영역에서 사용된 메모리는 언제나 swap 영역으로 이동될 수 있다.
jvm 에서 nio를 사용하는 경우 (예, DirectBuffer) 에는 리눅스 운영체제가 언제든지 swap 영역으로 이동할 수 있다. 이를 방지하기 위해서는 mlock/mlockall 시스템 콜을 이용해서 특정 virtual address를 ram 에 묶어 둘 수 있게 한다.

mlock을 쓰는 방식이 cassandra 0.6.5 에서 추가되었다.

ElasticSearch 설치 및 샘플 사용기

Albert — Wed, 08 Oct 2014 16:59:51 +0900

출처: http://www.mimul.com/pebble/default/2012/02/23/1329988075236.html

ElasticSearch 설치 및 샘플 사용기

Get Started with ElasticSearch

1. ElasticSearch란?
- 특징
. 분산 검색 엔진 : 하나의 shard 가 깨졌을 때에, 다른 replica 되어 있는 곳에서 자동적으로 이동하여 보여줌으로써 SPOF 제거.
. 다중 타입을 가지는 다중 Tenant(하나 이상의 인덱스를 지원, 인덱스마 다 하나 이상의 타입을 지원, index level 별로 컨트롤 가능).
. JSON을 사용하여 index Data를 다루기 편함.
. index 구성을 다양한곳에 가능. 메모리, (분산)파일시스템, NoSQL 등
. 문서 지향(미리 스키마 정의를 할 필요 없음, 색인 작업의 사용자 정의를 위해 스키마는 타입마다 정의할 수 있음).
. 장기간 지속을 위해 신뢰, 비동기 쓰기 가능.
. 실시간 검색 가능
. 설치 및 사용이 비교적 쉬움.
. 다양한 API/클라이언트 모듈 지원.

- 아키텍처

2. 설치 및 구동
- 설치(mimul01, mimul02 클러스터링 구조)

wget --no-check-certificate 
 https://github.com/downloads/elasticsearch/elasticsearch/
  elasticsearch-0.19.0.RC2.tar.gz
tar zvfz elasticsearch-0.19.0.RC2.tar.gz
ln -s elasticsearch-0.19.0.RC2 elasticsearch
//아래처럼 실행 및 설정 옵션을 추가/수정한다.

- File Descriptors
. -Des.max-open-files=true

- Memory Settings
. bootstrap.mlockall=true(default : false) //호출한 프로세스의 주소 공간에 대응되는 모든 페이지에 대한 페이징을 금지. 만약 true 일 경우, -Xms 와 -Xmx 할당 크기를 동일하게 맞추어 주는 것이 좋다.

- config/elasticsearch.yml 환경 설정(JSON 방식도 있음)
. cluster.name: 유니크한 클러스트 네임 지정.
. network.bind_host: mimul01 //해당 호스트 이름.
. network.publish_host: mimul01 //해당 호스트 이름.
. network.host: mimul01 //해당 호스트 이름.
. 9200 : http, 9300 : tcp 통신하는 디폴트 포트임.
. path.data: /logs/elasticsearch-data1,/logs/elasticsearch-data2
. path.logs: /logs/elasticsearch-log
.discovery.zen.ping.unicast.hosts: ["mimul01:9300", "mimul02:9300"]

- /config/logging.yml(log4j 기반 로그 설정)

- index 설정
. index.compound_format : 기본 false고, open file handles 갯수 조정이 필요.
. index.term_index_interval
> 값이 크면 reader/searcher 에서 memory 사용은 적게 하나, random access 가 느려짐.
> 값이 작으면 reader/searcher 에서 memory 사용은 많이 하나, random access 가 빨라짐.

- API
. HTTP, thrift, memcached 지원.
. parameter option 으로 ?pretty=true 를 주면 JSON 타입을 읽기 편함.
. JSONP 지원.

- Query & Filter
. Query는 full text와 Terms, Filter는 Terms만 지원.
. Query는 Scoring 가능, Filter는 Scoring 불가능.
. Query는 응답 속도 늦고, Filter는 응답속도 빠름.
. Query는 캐싱 안되고, Filter는 캐싱됨.

- 구동

> bin/elasticsearch -f -Xmx1g -Xms1g -Des.max-open-files=true 
-Des.config=config/elasticsearch.yml
// -f :  //Foreground 로 실행
// -f 생략하면 Background 로 실행 
//포트 바꿀 경우 아래 옵션 사용
//-Des.http.port=14000
//-Des.transport.tcp.port=9400

3. ElasticSearch 구동 확인
- 정상 구동 확인

[mimul01]/logs> curl -X GET http://mimul01:9200/
{
  "ok" : true,
  "status" : 200,
  "name" : "Lasher",
  "version" : {
    "number" : "0.19.0.RC2",
    "snapshot_build" : false
  },
  "tagline" : "You Know, for Search"
}

- cluster state 확인
. http://mimul01:9200/_status
. http://mimul01:9200/_cluster/health
. http://mimul01:9200/_cluster/state

- API 테스트(인덱스 생성/조회)

> curl -XPUT 'http://mimul01:9200/myindex/user/mimul' -d '{ "name" : "HoJin Ha" }'
{"ok":true,"_index":"myindex","_type":"user","_id":"mimul","_version":1}

> curl -XGET 'http://mimul01:9200/myindex/user/mimul?pretty=true'
{
  "_index" : "myindex",
  "_type" : "user",
  "_id" : "mimul",
  "_version" : 1,
  "exists" : true, "_source" : { "name" : "HoJin Ha" }

- Admin Tool

> plugin -install mobz/elasticsearch-head
http://mimul01:9200/_plugin/head/

ELK Stack 설치 및 테스트

Albert — Wed, 08 Oct 2014 16:49:28 +0900

elasticsearch-1.3.4 / logstash-1.4.2 / kibana-3.1.1 기준으로 재 테스트

==> 수정사항은 아래에 표기를 따로 하겠슴.

Elasticsearch 1.0.1, Logstash 1.4.0, Kibana 3.0.0 GA installation and Kibana Tutorial

Real-time Big Data 2014/04/15 10:18

얼마전 ELK Stack이 Splunk 대체 Solution으로서 적합한가에 대해 논하고자 글을 적었다. ELK Stack을 사용해보고 Splunk와 비교하기 위해 글을 적으며 ELK Stack의 간단한 소개와 설치, 설정, 사용법에 대해 다룬 적이 있다.

하지만 얼마 지나지않아 Elasticsearch, Logstash, Kibana가 새로운 버전을 선보였다. 이에 이 글에서는 새로워진 ELK Stack을 사용해보고자 설치와 설정 및 사용법에 대해 설명한다.

ELK Stack이 무엇인지 잘 모른다면 이전 글을 참고하길 바란다.

설치 및 설정

아래의 내용은 1대의 Server 환경에서 설치 및 설정한 경우이며, Elasticsearch는 1.0.1, Logstash는 1.4.0 GA, Kibana는 3.0.0 GA를 사용하였다.

Elasticsearch 설치 및 설정

(1) Elasticsearch 홈페이지에서 Elasticsearch의 zip파일을 다운받아 unzip한다.

(2) Elasticsearch 모니터링을 위한 Plugin을 설치 한다.

$ bin/plugin --install mobz/elasticsearch-head

(3) config/elasticsearch.yml의 node.name을 지정한다. 이는 노드 식별을 위한 이름이므로 유일성과 의미를 가진 이름을 사용한다.

Logstash 설치 및 설정

(1) Elasticsearch 홈페이지에서 Logstash의 zip파일을 다운받아 unzip한다.

(2) Logstash Config File을 생성하여 다음과 같이 저장한다.

input {

file {

path => "/var/log/apache2/access.log"

type => "apache"

}

filter {

grok {

type => "apache"

pattern => "%{COMBINEDAPACHELOG}"

}

date {

type => "apache"

match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]

}

output {

            elasticsearch {
                host => localhost
            }
            stdout { codec => rubydebug }
}

==> logstach1.4.3 버젼에서 Error 가 발생되어 output 부분은 수정함.

Kibana 설치 및 설정

(1) Elasticsearch 홈페이지에서 Kibana의 zip파일을 다운받아 unzip한다.

(2) unzip한 파일은 Elasticsearch의 Plugin에 넣어 사용한다. 경로는 다음과 같다.

path/to/elasticsearch/plugins/kibana/_site

(3) path/to/elasticsearch/plugins/kibana/_site/config.js의 Elasticsearch Server URL을 지정한다.

(예: elasticsearch: "http://localhost:9200")

==> config.js 파일에서 localhost 를 실제 IP 로 작성해야, 다른 서버에서는 접속 가능한 것 같다.

실행

Elasticsearch 실행

unzip한 Elasticsearch 디렉토리안에서 실행한다.

$ bin/elasticsearch

Logstash 실행

unzip한 Logstash 디렉토리안에서 실행한다.

$ bin/Logstash -f logstash.conf

logstash.conf는 앞서 생성한 Logstash의 Config File이다.

Kibana 실행

Elasticsearch의 Plugin안에 넣었기 때문에 따로 실행할 필요가 없다.

http://localhost:9200/_plugin/kibana/#/dashboard에서 Kibana가 잘 뜨는지 확인한다.

사용

Dashboard 생성

(1) http://localhost:9200/_plugin/kibana/#/dashboard에서 Blank Dashboard를 클릭한다.

(2) 설정 아이콘을 클릭한다.

(3) Dashboard의 Title을 입력하고 저장하면 새로운 Dashboard가 생성된다.

Panel 생성

(1) 'ADD A ROW' 버튼을 클릭 한다.

(2) Rows의 Title을 입력하고, 'Create Row' 버튼을 클릭하여 Row를 생성한 후 저장하고 창을 닫는다.

(3) Panel 생성을 위해 'Add panel to empty row' 버튼을 클릭한다.

(4) Panel Type을 선택하고 저장한후 창을 닫는다. 여기서는 'histogram'을 선택하였다.

(5) Panel의 Title 및 사용자가 원하는 설정을 하고난 후 'Add Panel' 버튼을 클릭하여 Panel을 생성하고 창을 닫는다.

(6) 위에서 선택한 Type의 Panel이 생성되었음을 확인할수 있다.

Query

다양한 Query를 이용하여 Search하고 결과를 확인할 수 있다.

(Query문의 종류 : http://lucene.apache.org/core/3_5_0/queryparsersyntax.html )

Apache로그를 이용하여 위와 같은 작업을 거쳐 Dashboard를 완성해 보았다.

Reference Sites

(1) Elasticsearch : http://www.elasticsearch.org/

(2) ELK Download : http://www.elasticsearch.org/overview/elkdownloads/

(3) Logstash 1.4.0 Docs : http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash

(4) Elasticsearch 1.x version set up : http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html

(5) Whats cooking kibana : http://www.elasticsearch.org/blog/whats-cooking-kibana/

Tomcat 의 logging.properties 및 log 디렉토리 설정

Albert — Wed, 08 Oct 2014 16:24:01 +0900

원본 : http://linuxism.tistory.com/519

Tomcat 의 logging.properties 및 log 디렉토리 설정

Web/WAS 2012/04/04 23:55

안녕하세요..

오늘 살펴볼 주제는 Tomcat 의 log 관련설정법입니다.

많은 개발자들이 개발환경으로 Tomcat 을 많이 사용하고 있습니다. 그리고 log 처리는 log4j를 사용합니다.

그러나 JDK에서 기본으로 제공하는 Logging 클래스도 꽤 쓸만한 기능을 제공하고 있습니다.

java.util.logging 추상 클래스가 바로 그것인데요, 이 클래스를 상속받아 구현한 클래스를 줄여서 JULI 라고 부릅니다.

운영시에야 효율을 위해 최소한의 로그를 남기는것이 좋겠지만, 반대로 개발시에는 최대한의 많은 로그를 남기는것이 디버깅에 효과적입니다.

1. logging.properties의 위치

a) 기본적인 Global 설정은 tomcat 디렉토리의 conf 입니다.

- 이곳에 파일을 두고 설정하면 해당 컨테이너에 등록되는 모든 Application설정을 한방에 할수 있습니다.

b) Application 별로 설정하고 싶다면, /WEB-INF/classes/ 밑에 logging.properties 를 두면 됩니다.

2. 설정방법

- 기본적으로 제공하는 핸들러는 java.util.logging.FileHandler 와 java.util.logging.ConsoleHandler 가 있습니다.

- java.util.logging.ConsoleHandler 는 기본출력 (catalina.out)으로 출력하는 핸들러이고,

- java.util.logging.FileHandler 는 날짜별로 롤링되는 특정파일에 출력하는 핸들러입니다.

- level 은 다음과 같이 ALL, FINEST, FINER, FINE, CONFIG, INFO, WARNING, SEVERE를 지원하며

- 오늘쪽으로 갈수록 로그량이 적습니다.

3. 설정예제

- org.apache.tomcat.util.net.TcpWorkerThread 클래스에 대해서 로그를 추가하고 싶을때

ex)

org.apache.tomcat.util.net.TcpWorkerThread.level = ALL

org.apache.tomcat.util.net.TcpWorkerThread.handler = java.util.logging.ConsoleHandler

- org.apache.tomcat.util.net 하위 클래스에 대해서 로그를 추가하고 싶을때

ex)

org.apache.tomcat.util.net.level = ALL

org.apache.tomcat.util.net.handler = java.util.logging.ConsoleHandler

이런식으로 로깅하고 싶은 클래스 또는 패키지를 지정해서 .level = XXX , .handler = java.util.logging.ConsoleHandler 를 달아주기만 하면 됩니다.

참 쉽죠~?

출처 - http://cafe.naver.com/hermeneus.cafe?iframe_url=/ArticleRead.nhn%3Farticleid=98&

===================================================================================

tomcat 로그 저장 위치 변경 하기

tomcat logs 디렉토리(${catalina.base}/logs)에 저장되는 로그는 아래와 같은 곳에서 설정이 가능합니다.

- catalina.out

${catalina.base}/bin/catalina.sh

- host-manager, localhost, manager

${catalina.base}/conf/logging.properties

- localhost_access_log

${catalina.base}/conf/server.xml

로그 저장 위치를 원하는 곳으로 변경 하는 방법은 두가지로 생각해 볼 수 있습니다.

첫번째는 logging.properies, catalina.sh, server.xml 등에서 디렉토리를 변경하는 방법이고

두번째는 ${catalina.base}/logs 디렉토리를 원하는 디렉토리로 soft link 시키는 방법입니다.

1. 각 설정에서 logging 디렉토리 변경

# vi /usr/local/tomcat/conf/logging.properties

변경 전

1catalina.org.apache.juli.FileHandler.level = FINE

1catalina.org.apache.juli.FileHandler.directory = ${catalina.base}/logs

1catalina.org.apache.juli.FileHandler.prefix = catalina.

변경 후

1catalina.org.apache.juli.FileHandler.level = FINE

1catalina.org.apache.juli.FileHandler.directory = /var/log/tomcat

1catalina.org.apache.juli.FileHandler.prefix = catalina.

# vi /user/local/tomcat/bin/catalina.sh

변경 전

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out

변경 후

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT=/var/log/tomcat/catalina.out

# vi /user/local/tomcat/conf/server.xml

변경 전

directory="logs" prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u %t "%r" %s %b" />

변경 후

directory="/var/log/tomcat" prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u %t "%r" %s %b" />

2. ${catalina.base}/logs 디렉토리를 원하는 디렉토리로 soft link

# ln -s /var/log/tomcat /usr/local/tomcat/logs

리눅스(Linux) 포트(port) 열기, 방화벽(firewall) 설정/해제 등 안내

Albert — Wed, 08 Oct 2014 14:40:24 +0900

리눅스(Linux) 포트(port) 열기, 방화벽(firewall) 설정/해제 등 안내
--------------------------------------

리눅스 port를 열기 위해서는 iptables를 통해서, 포트를 열고 막고를 할 수 있습니다.

아래의 예제 부분만 따라 하시면 해당 port에 대해 모두 열 수 있습니다.
Inbound (외부에서 서버로 들어오는) , Outbound( 서버에서 외부로 나가는 ) 모두 port를 열기 위해서는 아래의 iptables로 INPUT, OUPUT 을 해주면 모두 열립니다.
권한은 root에서 해주시기 바랍니다.

iptables -I INPUT 1 -p tcp --dport 5900 -j ACCEPT
iptables -I OUTPUT 1 -p tcp --dport 5900 -j ACCEPT

예를 들면 ) FTP port 21번을 열고 싶다.
#iptables -I INPUT 1 -p tcp --dport 21 -j ACCEPT
#iptables -I OUTPUT 1 -p tcp --dport 21 -j ACCEPT

#service iptables save
#/etc/init.d/iptables restart

*확인 /etc/sysconfig/iptables (직접 추가해도 가능.)

Maven 기초 사용법

Albert — Wed, 01 Oct 2014 10:44:50 +0900

※ 참고용으로 링크 합니다. 원글 주소 http://javacan.tistory.com/129

Maven 기초 사용법

Maven-Gradle-Ant 2008/12/17 10:32

필자의 경우 Maven을 사용한지 2년이 넘어가는 데, Maven을 접한 이후 특별한 제약이 없는 한 Maven을 이용해서 프로젝트를 진행하고 있다. 흔히 Maven을 Ant와 비슷한 빌드(build) 도구로 생각하기도 하는데, Ant가 Build에 초점이 맞춰져 있다면 Maven은 프로젝트의 빌드 라이프사이클 기반 프레임워크를 제공하는데 초점이 맞춰져 있다.

본 글에서는 Maven을 이용해서 프로젝트를 생성하는 방법과, 디렉토리 구조, POM 파일 기본 구성, Maven 라이프 사이클 그리고 Maven 프로젝트를 이클립스 프로젝트로 생성하는 방법을 살펴보도록 하겠다.

본 글의 내용 중 일부를 현재 메이븐 버전인 3.2에 맞게 수정했다. - 2014년 7월

Maven 설치

http://maven.apache.org/ 사이트를 방문하면, 최신 버전의 메이븐을 다운로드 받을 수 있다. 이 글을 쓰는 시점에서 메이븐 최신 버전은 3.2.2다. 바이너리 배포판을 다운로드 받은 아무 곳이나 원하는 디렉토리에 압축을 푼다. 설치 과정은 다음과 같다.

다운로드 받은 파일의 압축을 푼다. 예, apache-maven-3.2.2.zip 파일의 압축을 C:에 풀면 c:\apache-maven-3.2.2 디렉토리가 생성된다.
PATH 환경 변수에서 메이븐 bin 디렉토리를 추가한다.
예) PATH=c:\apache-maven-3.2.2\bin;%PATH%
JAVA_HOME 환경 변수가 올바르게 설정되어 있는지 확인한다. 참고로, 메이븐 3.2 버전은 자바 1.6 이상을 요구한다.
설치를 끝냈으면, 다음 명령어를 실행해서 메이븐이 올바르게 동작하는지 확인한다.

환경 변수를 모두 설정해 주었다면 아래의 명령어를 사용해서 Maven이 제대로 실행되는 지 확인해보자.

C:\Users\madvirus>mvn -version

Apache Maven 3.2.2 (45f7c06d68e745d05611f7fd14efb6594181933e; 2014-06-17T22:51:42+09:00)

Maven home: C:\devtool\apache-maven-3.2.2\bin\..

Java version: 1.7.0_05, vendor: Oracle Corporation

Java home: C:\Java\jdk1.7.0_05\jre

Default locale: ko_KR, platform encoding: MS949

OS name: "windows 7", version: "6.1", arch: "amd64", family: "windows"

Maven 프로젝트 생성하기

설치가 끝났다면 Maven 프로젝트를 생성해 보자. 명령 프롬프트에서 아래 명령어를 실행하면 된다. (아래 명령어를 처음 실행할 경우 꽤 오랜 시간이 걸리는데, 그 이유는 Maven이 필요한 플러그인과 모듈을 다운로드 받기 때문이다. Maven 배포판은 최초로 Maven을 사용하는 데 필요한 모듈만 포함하고 있고, 그 외에 archetype 플러그인, compiler 플러그인 등 Maven을 사용하는 데 필요한 모듈은 포함하고 있지 않다. 이들 모듈은 실제로 필요할 때 Maven 중앙 리포지토리에서 로딩된다.)

mvn archetype:generate

위 명령어를 실행하면 Maven 프로젝트를 생성하는 데 필요한 정보를 입력하라는 메시지가 단계적으로 뜨고, 각 항목별로 알맞은 값을 입력해주면 된다. 아래는 실행 화면 예이다. 붉은색으로 표시한 것은 입력한 값이다.

C:\Users\madvirus>mvn archetype:generate

[INFO] Scanning for projects...

[INFO]

[INFO] ------------------------------------------------------------------------

[INFO] Building Maven Stub Project (No POM) 1

[INFO] ------------------------------------------------------------------------

[INFO]

...생략

Choose archetype:

1: remote -> br.com.ingenieux:elasticbeanstalk-service-webapp-archetype (A Maven Archetype Encompassing RestAssured, Jetty, Jackson, Guice and Jersey for Publishing JAX-RS-based Services on AWS' Elastic Beanstalk Service)

2: remote -> br.com.otavio.vraptor.archetypes:vraptor-archetype-blank (A simple project to start with VRaptor 4)

...생략

436: remote -> org.apache.maven.archetypes:maven-archetype-quickstart (An archetype which contains a sample Maven project.)

437: remote -> org.apache.maven.archetypes:maven-archetype-site (An archetype which contains a sample Maven site which demonstrates some of the supported document types like

APT, XDoc, and FML and demonstrates how to i18n your site. This archetype can be layered

upon an existing Maven project.)

...생략

1090: remote -> uk.ac.rdg.resc:edal-ncwms-based-webapp (-)

Choose a number or apply filter (format: [groupId:]artifactId, case sensitive contains): 436: [엔터]

Choose version:

1: 1.0-alpha-1

2: 1.0-alpha-2

3: 1.0-alpha-3

4: 1.0-alpha-4

5: 1.0

6: 1.1

Choose a number: 6: [엔터]

Define value for property 'groupId': : net.madvirus

Define value for property 'artifactId': : sample

Define value for property 'version': 1.0-SNAPSHOT: : [엔터]

Define value for property 'package': net.madvirus: : [엔터]

Confirm properties configuration:

groupId: net.madvirus

artifactId: sample

version: 1.0-SNAPSHOT

package: net.madvirus

Y: : [엔터]

[INFO] ----------------------------------------------------------------------------

[INFO] Using following parameters for creating project from Old (1.x) Archetype: maven-archetype-quickstart:1.1

[INFO] ----------------------------------------------------------------------------

[INFO] Parameter: groupId, Value: net.madvirus

[INFO] Parameter: packageName, Value: net.madvirus

[INFO] Parameter: package, Value: net.madvirus

[INFO] Parameter: artifactId, Value: sample

[INFO] Parameter: basedir, Value: C:\Users\madvirus

[INFO] Parameter: version, Value: 1.0-SNAPSHOT

[INFO] project created from Old (1.x) Archetype in dir: C:\Users\madvirus\sample

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 25:52 min

[INFO] Finished at: 2014-07-02T15:17:56+09:00

[INFO] Final Memory: 12M/111M

[INFO] ------------------------------------------------------------------------

C:\Users\madvirus>

위 과정에서 실제로 입력하는 값은 다음과 같다.

groupId - 프로젝트 속하는 그룹 식별 값. 회사, 본부, 또는 단체를 의미하는 값이 오며, 패키지 형식으로 계층을 표현한다. 위에서는 net.daum.cafe를 groupId로 이용하였다.
artifactId - 프로젝트 결과물의 식별 값. 프로젝트나 모듈을 의미하는 값이 온다. 위에서는 simple-app을 artifactId로 이용하였다.
version - 결과물의 버전을 입력한다. 위에서는 기본 값인 1.0-SNAPSHOT을 사용하였다.
package - 기본적으로 생성할 패키지를 입력한다. 별도로 입력하지 않을 경우 groupId와 동일한 구조의 패키지를 생성한다.

Maven 프로젝트의 기본 디렉토리 구조

archetype:generate 골이 성공적으로 실행되면, artifactId에 입력한 값과 동일한 이름의 디렉터리가 생성된다. 위 경우에는 현재 디렉터리에 sample 이라는 하위 디렉터리가 생성된다. 위 과정에서 선택한 archetype은 maven-archetype-quickstart 인데, 이 archetype을 선택했을 때 생성되는 디렉터리 구조는 다음과 같다.

sample
├─src
│   ├─main
│   │ └─java
│   │      └─net
│   │          └─madvirus
│   │              └─App.java
│   ├─test
│       └─java
│           └─net
│               └─madvirus
│                   └─AppTest.java
└─pom.xml

기본적으로 생성되는 디렉터리를 포함한 Maven 프로젝트의 주요 디렉터리는 다음과 같다.

src/main/java - 자바 소스 파일이 위치한다.
src/main/resources - 프로퍼티나 XML 등 리소스 파일이 위치한다. 클래스패스에 포함된다.
src/main/webapp - 웹 어플리케이션 관련 파일이 위치한다. (WEB-INF 디렉터리, JSP 파일 등)
src/test/java - 테스트 자바 소스 파일이 위치한다.
src/test/resources - 테스트 과정에서 사용되는 리소스 파일이 위치한다. 테스트 시에 사용되는 클래스패스에 포함된다.

기본적으로 생성되지 않은 디렉터리라 하더라도 직접 생성해주면 된다. 예를 들어, src/main 디렉터리에 resources 디렉터리를 생성해주면 Maven은 리소스 디렉터리로 인식한다.

컴파일 해보기/테스트 실행 해보기/패키지 해보기

이제 간단하게 컴파일과 테스트를 실행해보자. 소스 코드를 컴파일 하려면 다음과 같은 명령어를 실행해주면 된다.

C:\Users\madvirus\sample>mvn compile

[INFO] Scanning for projects...

[INFO]

[INFO] ------------------------------------------------------------------------

[INFO] Building sample 1.0-SNAPSHOT

[INFO] ------------------------------------------------------------------------

[INFO]

[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ sample ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory C:\Users\madvirus\sample\src\main\resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:compile (default-compile) @ sample ---

[INFO] Compiling 1 source file to C:\Users\madvirus\sample\target\classes

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 2.205 s

[INFO] Finished at: 2014-07-03T09:51:15+09:00

[INFO] Final Memory: 11M/110M

[INFO] ------------------------------------------------------------------------

컴파일 된 결과는 target/classes 디렉터리에 생성된다.

테스트 클래스를 실행해보고 싶다면, 다음과 같은 명령어를 사용하면 된다.

$ mvn test

[INFO] Scanning for projects...

[INFO]

[INFO] ------------------------------------------------------------------------

[INFO] Building sample 1.0-SNAPSHOT

[INFO] ------------------------------------------------------------------------

[INFO]

[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ sample ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory /Users/madvirus/sample/src/main/resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:compile (default-compile) @ sample ---

[INFO] Compiling 1 source file to /Users/madvirus/sample/target/classes

[INFO]

[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ sample ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory /Users/madvirus/sample/src/test/resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:testCompile (default-testCompile) @ sample ---

[INFO] Compiling 1 source file to /Users/madvirus/sample/target/test-classes

[INFO]

[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ sample ---

...최초 실행시 관련 플러그인 파일 다운로드

-------------------------------------------------------

T E S T S

-------------------------------------------------------

Running net.madvirus.AppTest

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.005 sec

Results :

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 10.238 s

[INFO] Finished at: 2014-07-03T22:20:08+09:00

[INFO] Final Memory: 13M/228M

[INFO] ------------------------------------------------------------------------

그러면, 테스트 코드를 컴파일한 뒤 테스트 코드를 실행한다. 그리고 테스트 성공 실패 여부를 화면에 출력한다. 컴파일 된 테스트 클래스들은 target/test-classes 디렉터리에 생성되고, 테스트 결과 리포트는 target/surefire-reports 디렉터리에 저장된다.

(아무것도 한게 없으니 당연하지만) 모든 코드가 정상적으로 만들어지고 테스트도 통과했으니, 이제 배포 가능한 jar 파일을 만들어보자. 아래 명령어를 실행하면 프로젝트를 패키징해서 결과물을 생성한다.

$ mvn package

[INFO] Scanning for projects...

[INFO]

[INFO] ------------------------------------------------------------------------

[INFO] Building sample 1.0-SNAPSHOT

[INFO] ------------------------------------------------------------------------

[INFO]

[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ sample ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory /Users/madvirus/sample/src/main/resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:compile (default-compile) @ sample ---

[INFO] Nothing to compile - all classes are up to date

[INFO]

[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ sample ---

[INFO] Using 'UTF-8' encoding to copy filtered resources.

[INFO] skip non existing resourceDirectory /Users/madvirus/sample/src/test/resources

[INFO]

[INFO] --- maven-compiler-plugin:2.5.1:testCompile (default-testCompile) @ sample ---

[INFO] Nothing to compile - all classes are up to date

[INFO]

[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ sample ---

[INFO] Surefire report directory: /Users/madvirus/sample/target/surefire-reports

-------------------------------------------------------

T E S T S

-------------------------------------------------------

Running net.madvirus.AppTest

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.005 sec

Results :

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0

[INFO]

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ sample ---

[INFO] Building jar: /Users/madvirus/sample/target/sample-1.0-SNAPSHOT.jar

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 1.783 s

[INFO] Finished at: 2014-07-03T22:21:59+09:00

[INFO] Final Memory: 8M/156M

[INFO] ------------------------------------------------------------------------

mvn package가 성공적으로 실행되면, target 디렉터리에 프로젝트 이름과 버전에 따라 알맞은 이름을 갖는 jar 파일이 생성된다. 위 예제의 경우에는 sample-1.0-SNAPSHOT.jar 파일이 생성된 것을 확인할 수 있다.

POM 파일 기본

Maven 프로젝트를 생성하면 pom.xml 파일이 프로젝트 루트 디렉터리에 생성된다. 이 pom.xml 파일은 Project Object Model 정보를 담고 있는 파일로서, 이 파일에서 다루는 주요 설정 정보는 다음과 같다.

프로젝트 정보 - 프로젝트의 이름, 개발자 목록, 라이센스 등의 정보를 기술
빌드 설정 - 소스, 리소스, 라이프 사이클 별 실행할 플러그인 등 빌드와 관련된 설정을 기술
빌드 환경 - 사용자 환경 별로 달라질 수 있는 프로파일 정보를 기술
POM 연관 정보 - 의존 프로젝트(모듈), 상위 프로젝트, 포함하고 있는 하위 모듈 등을 기술

archetype:create 골 실행시 maven-archetype-quickstart Archetype을 선택한 경우 생성되는 pom.xml 파일은 다음과 같다.

[기본으로 생성되는 pom.xml 파일]

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

net.madvirus

sample

1.0-SNAPSHOT

jar

sample

http://maven.apache.org

UTF-8

junit

3.8.1

test

위 POM 파일에서 프로젝트 정보를 기술하는 태그는 다음과 같다.

- 프로젝트 이름
- 프로젝트 사이트 URL

POM 연관 정보는 프로젝트간 연관 정보를 기술하는데, 관련 태그는 다음과 같다.

- 프로젝트의 그룹 ID 설정
- 프로젝트의 Artifact ID 설정
- 버전 설정
- 패키징 타입 설정. 위 코드의 경우 프로젝트의 결과 Artifact가 jar 파일로 생성됨을 의미한다. jar 뿐만 아니라 웹 어플리케이션을 위한 war나 JEE를 위한 ear 등의 패키징 타입이 존재한다.
- 이 프로젝트에서 의존하는 다른 프로젝트 정보를 기술한다.
- - 의존하는 프로젝트 POM 정보를 기술
  - - 의존하는 프로젝트의 그룹 ID
  - - 의존하는 프로젝트의 artifact ID
  - - 의존하는 프로젝트의 버전
  - - 의존하는 범위를 설정

의존 설정

부분의 설정에 대해서 좀 더 살펴보도록 하자.

Maven을 사용하지 않을 경우 개발자들은 코드에서 필요로 하는 라이브러리를 각각 다운로드 받아야 한다. 예를 들어, 아파치 commons DBCP 라이브러리를 사용하기 위해서는 DBCP 뿐만 아니라 common pool 라이브러리도 다운로드 받아야 한다. 물론, commons logging을 비롯한 라이브러리도 모두 추가로 다운로드 받아 설치해 주어야 한다. 즉, 코드에서 필요로 하는 라이브러리 뿐만 아니라 그 라이브러리가 필요로 하는 또 다른 라이브러리도 직접 찾아서 설치해 주어야 한다.

하지만, Maven을 사용할 경우에는 코드에서 직접적으로 사용하는 모듈에 대한 의존만 추가해주면 된다. 예를 들어, commons-dbcp 모듈을 사용하고 싶은 경우 다음과 같은 코드만 추가해주면 된다.

    commons-dbcp
    commons-dbcp
    1.2.1
< /dependency>

그러면, Maven은 commons-dbcp 뿐만 아니라 commons-dbcp가 의존하는 라이브러리가 자동으로 처리해준다. 실제로 1.2.1 버전의 commons-dbcp 모듈의 pom.xml 파일을 보면 의존 부분이 다음과 같이 설정되어 확인할 수 있다.

      commons-collections
      commons-collections
      2.1


      commons-pool
      commons-pool
      1.2


      javax.sql
      jdbc-stdext
      2.0
      true


      junit
      junit
      3.8.1
      test


      xml-apis
      xml-apis
      2.0.2


      xerces
      xerces
      2.0.2

Maven은 commons-dbcp 모듈을 다운로드 받을 때 관련 POM 파일도 함께 다운로드 받는다. (다운로드 받은 파일은 로컬 리포지토리에 저장되는데 이에 대한 내용은 뒤에서 다시 설명하겠다.) 그리고 POM 파일에 명시한 의존 모듈을 함께 다운로드 받는다. 즉, commons-dbcp 1.2.1 버전의 경우 commons-collections 2.1 버전과 commons-pool 1.2 버전 등을 함께 다운로드 받는다. 이런 식으로 반복해서 다운로드 받은 모듈이 필요로 하는 모듈을 다운로드 받고 이들 모듈을 현재 프로젝트에서 사용할 클래스패스에 추가해준다.

따라서, 개발자는 일일이 필요한 모듈을 다운로드 받을 필요가 없으며, 현재 코드에서 직접적으로 필요로 하는 모듈에 대해서만 로 추가해주면 된다. 나머지 의존은 모두 Maven이 알맞게 처리해준다.

search.maven.org 사이트에서 POM 정보 찾기

Maven을 사용할 때 자주 찾게 되는 사이트가 search.maven.org 이다. search.maven.org는 Maven 중앙 리포지토리에 등록된 POM 정보를 검색해주는 기능을 제공해준다. 이 사이트를 통해서 추가할 라이브러리의 설정 정보를 구할 수 있다.

의존의 scope: compile, runtime, provided, test

앞의 pom.xml 파일에서 부분을 보면 를 포함하고 있는 것과 그렇지 않은 것이 존재한다는 것을 알 수 있다. 는 의존하는 모듈이 언제 사용되는 지를 설정할 때 사용되며, 에 올 수 있는 값은 다음의 네 가지가 존재한다.

compile - 컴파일 할 때 필요. 테스트 및 런타임에도 클래스패스에 포함된다. 를 설정하지 않을 경우 기본 값은 compile 이다.
runtime - 런타임에 필요. JDBC 드라이버 등이 예가 된다. 프로젝트의 코드를 컴파일 할 때는 필요하지 않지만, 실행할 때 필요하다는 것을 의미한다. 배포시 포함된다.
provided - 컴파일 할 때 필요하지만, 실제 런타임 때에는 컨테이너 같은 것에서 기본으로 제공되는 모듈임을 의미한다. 예를 들어, 서블릿이나 JSP API 등이 이에 해당한다. 배포시 제외된다.
test - 테스트 코드를 컴파일 할 때 필요. Mock 테스트를 위한 모듈이 예이다. 테스트 시에 클래스패스에 포함되며, 배포시 제외된다.

원격 리포지토리와 로컬 리포지토리

Maven은 컴파일이나 패키징 등 작업을 실행할 때 필요한 플러그인이나 pom.xml 파일의 등에 설정한 모듈을 Maven 중앙 리포지토리에서 다운로드 받는다. 현재 중앙 리포지토리의 주소는 http://repo1.maven.org/maven2/ 이다.

원격 리포지토리에서 다운로드 받은 모듈은 로컬 리포지토리에 저장된다. 로컬 리포지토리는 [USER_HOME]/.m2/repository 디렉터리에 생성되며, 로컬 리포지토리에는 다음과 같은 형식의 디렉터리를 생성한 뒤 다운로드 받은 모듈을 저장한다.

[groupId]/[artifactId]/[version]

예를 들어, commons-dbcp 1.2.1 버전의 경우, 모듈 및 관련 POM 파일이 저장되는 디렉터리는 다음과 같다.

[USER_HOME]/.m2/repository/commons-dbcp/commons-dbcp/1.2.1

위 디렉터리에 저장되는 파일은 패키징 된 모듈 파일, pom 파일, 그리고 소스 코드 다운로드 옵션을 실행한 경우에는 소스 코드를 포함한 jar 파일이 포함된다.

일단 원격 리포지토리로부터 파일을 다운로드해서 로컬 리포지토리에 저장하면, 그 뒤로는 로컬 리포지토리에 저장된 파일을 사용하게 된다.

Maven 라이프사이클(Lifecycle)과 플러그인 실행

본 글의 서두에 Maven은 프로젝트의 라이프사이클 기반 프레임워크를 제공한다고 했다. 앞서 프로젝트를 생성한 뒤 컴파일하고(mvn compile), 테스트 하고(mvn test), 패키징 하는(mvn package) 과정을 정해진 명령어를 이용해서 실행했는데, 이때 compile, test, package는 모두 빌드 라이프사이클에 속하는 단계이다.

Maven은 clean, build (default), site의 세 가지 라이프사이클을 제공하고 있다. 각 라이프사이클은 순서를 갖는 단계(phase)로 구성된다. 또한, 각 단계별로 기본적으로 실행되는 플러그인(plugin) 골(goal)이 정의되어 있어서 각 단계마다 알맞은 작업이 실행된다. 아래 표는 디폴트 라이프사이클을 구성하고 있는 주요 실행 단계를 순서대로 정리한 것이다.

[표] 디폴트 라이프사이클의 주요 단계(phase)

단계	설명	단계에 묶인 플러그인 실행
generate-sources	컴파일 과정에 포함될 소스를 생성한다. 예를 들어, DB 테이블과 매핑되는 자바 코드를 생성해주는 작업이 이 단계에서 실행된다.
process-sources	필터와 같은 작업을 소스 코드에 처리한다.
generate-resources	패키지에 포함될 자원을 생성한다.
process-resources	필터와 같은 작업을 자원 파일에 처리하고, 자원 파일을 클래스 출력 디렉토리에 복사한다.	resources:resources
compile	소스 코드를 컴파일해서 클래스 출력 디렉터리에 클래스를 생성한다.	compiler:compile
generate-test-sources	테스트 소스 코드를 생성한다. 예를 들어, 특정 클래스에서 자동으로 테스트 케이스를 만드는 작업이 이 단계에서 실행된다.
process-test-sources	필터와 같은 작업을 테스트 소스 코드에 처리한다.	resources:testResources
generate-test-resources	테스트를 위한 자원 파일을 생성한다.
process-test-resources	필터와 같은 작업을 테스트 자원 파일에 처리하고, 테스트 자원 파일을 테스트 클래스 출력 디렉터리에 복사한다.
test-compile	테스트 소스 코드를 컴파일해서 테스트 클래스 추력 디렉터리에 클래스를 생성한다.	compiler:testCompile
test	테스트를 실행한다.	surefire:test
package	컴파일 된 코드와 자원 파일들을 jar, war와 같은 배포 형식으로 패키징한다.	패키징에 따라 다름 jar - jar:jar war - war:war pom - site:attach-descriptor ejb - ejb:ejb
install	로컬 리포지토리에 패키지를 복사한다.	install:install
deploy	생성된 패키지 파일을 원격 리포지토리에 등록하여, 다른 프로젝트에서 사용할 수 있도록 한다.	deploy:deploy

라이프사이클의 특정 단계를 실행하려면 다음과 같이 mvn [단계이름] 명령어를 실행하면 된다.

mvn test
mvn deploy

라이프사이클의 특정 단계를 실행하면 그 단계의 앞에 위치한 모든 단계가 실행된다. 예를 들어, test 단계를 실행하면 test 단계를 실행하기에 앞서 'generate-sources' 단계부터 'test-compile' 단계까지 각 단계를 순서대로 실행한다. 각 단계가 실행될 때는 각 단계에 묶인 골(goal)이 실행된다.

플러그인을 직접 실행할 수도 있다. mvn 명령어에 단계 대신 실행할 플러그인을 지정하면 된다.

mvn surefire:test

단, 플러그인 골을 직접 명시한 경우에는 해당 플러그인만 실행되기 때문에 라이프사이클의 단계가 실행되지는 않는다.

플러그인 골(Plugin Goal)

Maven에서 플러그인을 실행할 때에는 '플러그인이름:플러그인지원골'의 형식으로 실행할 기능을 선택한다. 예를 들어, compiler:compile은 'compiler'는 플러그인에서 'compile' 기능(goal)을 실행한다는 것을 뜻한다.

맺음말

이번 글에서는 Maven의 기본 사용법을 살펴봤다. Maven이 제공하는 의존 관리는 개발자를 jar 지옥(?)에서 구해준다는 것을 알 수 있었다. 또한, Maven은 표준화된 라이프사이클을 제공하고 있기 때문에 개발자가 컴파일-테스트-패키징 등의 과정을 손으로 정의하지 않아도 되며, 개발자는 Maven이 제공하는 단계 중 필요한 단계만 실행하면 된다. 그럼, 나머지 작업(컴파일, 테스트 실행, jar 파일 생성)은 모두 Maven이 처리해준다.

다음 글에서는 많이 사용되고 있는 개발툴인 이클립스에서 Maven 프로젝트를 import하는 방법과 컴파일러 버전을 명시하는 방법을 살펴보도록 하겠다.

관련 자료:

Maven 홈 페이지: http://maven.apache.org
Maven: The Definitive Guide (Sonatype, Oreilly)
Maven 컴파일러 버전 설정