AWS EC2 HTTPS

💡 Things I learned

✔️ Shell

커널과 사용자 간의 다리 역할을 하는 인터페이스
사용자로부터 명령을 받아 실행하는 역할

✔️ SSH

Secure SHell
원격 컴퓨터에 접속하기 위해 사용되는 보안 프로그램
👍🏻 강력한 암호화 기능을 구현해 모든 데이터가 암호화되어 높은 보안을 지원한다는 장점

암호화를 해 줘서 보안상 안전하다는 장점
인증키, 키 페어(.pem)같은 것들이 바로 SSH라는 보안 방식이 적용된 서버에서 필요한 파일

🔑 작동 원리: KEY

SSH 작동원리의 가장 핵심은 바로 KEY

✔️ 비대칭키 방식 사용자와 서버가 서로의 정체를 증명(인증)하기 위해 비대칭키가 필요하다.
비대칭키 키 페어 = 공개 키(.pub) + 개인 키(.pem)
사용자가 키 페어를 만들어 서버에게 공개키를 주고, 개인 키는 자신이 가지고 있는다.
서버는 공개키를 받아
한 값(시험지)를 생성한다.
사용자는 서버로부터 시험지를 받아 자기가 가지고 있는 개인 키를 사용하여 이 시럼지를 푼다.
키 페어는 하나의 세트이기 때문에, 공개키와 개인키가 같은 키페어야지만 이 시험지를 출 수 있다.
서버는 사용자가 푼 시험지를 처음에 자신이 생성한 값과 비교하고, 두 값이 같으면 접속 허용!

✔️ 대칭키 방식
이제 사용자와 서버가 서로가 누구인지 알았으니 정보 주고받음
정보를 주고받는 과정에서 정보가 새어나가지 않게 정보를 암호화
이 떄 사용되는 암호화 키가 바로 대칭키 방식
서버와 사용자 모두 한 개의 키만을 사용하여 암호화

✔️ EC2

Amazon Elastic Compute Cloud
AWS에서 원격으로 제어할 수 있는 가상의 컴퓨터를 빌리는 것(클라우드 컴퓨터)
후불제로 사용한 만큼 비용을 지불하기에 Elastic
또 원하는 만큼 성능, 용량을 자유롭게 설정할 수 있어 Elastic하기도 하다.

✔️ AMI

Amazon Machine Image
master image for the creation of vertual servers(known as EC2)
machine images are like templates with OS(linux, ubuntu), region, system architecture(32 or 64bit) that determine the user’s operating environment
EC2 인스턴스를 생성하는 template

✔️ VPC

Amazon Virtual Private Cloud
가상 네트워킹 환경
VPC에 EC2, RDS 인스턴스와 같은 리소스를 추가한다.
VPC를 사용함으로서 VPC별로 네트워크를 구성할 수 있고, VPC는 독립죈 네트워크처럼 작동
다른 VPC와 통신하기 위해서는 인터넷 게이트웨이 사용

💡 참고 https://medium.com/harrythegreat/aws-%EA%B0%80%EC%9E%A5%EC%89%BD%EA%B2%8C-vpc-%EA%B0%9C%EB%85%90%EC%9E%A1%EA%B8%B0-71eef95a7098

✔️ 서브넷

VPC의 IP 주소 범위
VPC를 또 잘게 쪼갠다.
그래서 VPC보다 서브넷 마스크가 더 높게 되고, 아이피 번호는 더 작게 된다.
서브넷을 만드는 이유는 더 많은 네트워크 망을 만들기 위해서.
서브넷끼리는 라우터를 통해 통신

정리하자면, AWS > VPC > 서브넷 순이다.

✔️ SSL인증서란?

Secure Sockets Layer
서버에 대한 인증, 데이터 암호화 기반 인터넷 보안 프로토콜
사용 포트: HTTPS의 경우 HTTP를 위한 SSL/TLS 보안 터널 형성을 위해 443 포트 사용

SSL은 사용자와 웹 서버 사이를 이동하는 모든 데이터를 암호화해서 누가 가로채더라도 볼 수 없도록 한다.
예를 들어, 쇼핑몰에서 신용카드 정보를 입력하면 SSL로 암호화되어 누군가가 정보를 가로채도 무작위 글자만 볼 수 있음.
SSL은 두 통신 장치 사이에 핸드셰이크라는 인증 프로세스를 한다.

그래서 SSL을 사용하면, SSL인증서가 있는 웹사이트만 실행할 수 있다.
SSL인증서는 신분증같은 역할을 해서 웹사이트 접속을 가능하게 한다.
SSL인증서에는 웹 사이트의 공개 키가 포함되어 있다.
그리고 웹 서버에는 개인 키가 있어 공개 키를 해독할 수 있음
CA는 SSL인증서 발급을 담당한다.

SSL인증서 관련 프로세스에는 다음과 같은 보안 기술이 탑재되어 있음

• 하나의 키로 암호화/복호화를 하는 대칭 암호화 방식
• 한 쌍의 키 페어로 암호화/복호화를 하는 바대칭 암호화 방식
• authentication 신분 확인
• digital signature
• CA(certificate Authority)

핸드셰이크

통신을 하려는 브라우저와 웹 서버가 서로 암호화 통신을 시작할 수 있도록 신분을 확인하고, 필요한 정보를 클라이언트와 서버가 주거니 받거니 하는 과정

💡 참고 https://brunch.co.kr/@sangjinkang/38 https://aws-hyoh.tistory.com/39

✔️ TLS

Transport Layer Security
SSL보다 업데이트 된 암호화 프로토콜

✔️ TCP 프로토콜

Transmission Control Protocol
인터넷 콘텐츠를 전달하는 프로토콜
두 개의 호스트를 연결하고 데이터 스트림 교환하게 해 줌
HTTP는 TCP 프로토콜의 일종이다.

✔️ FTP 프로토콜

File Trasnfer Protocol

✔️ SFTP 프로토콜

SSH 파일 전송 프로토콜
보안을 위해 사용되는 파일 전송 프로토콜

✔️ HTTP 🆚 HTTPS

HTTPS: Hypertext Transfer Over SSL
SSL위에 HTTP 적용, 따라서 SSL을 적용한 도메인만이 https:// 주소를 가질 수 있다.

HTTP 포트번호는 일반적으로 80번을 사용한다면, HTTPS는 443이 할당되어 있다.

✔️ HTTP ▶️ HTTPS 바꾸는 방법

🛠️ Let’s Encrypt

무료로 TLS/SSL인증서를 쉽게 가져오고 설치할 수 있는 방법을 제공하는 CA(인증 기관)
무료의 SSL인증서를 발급받아 웹 서버에서 암호화된 HTTPS를 사용할 수 있음
Certbot라는 소프트웨어를 제공함으로써 구현할 수 있게 합니다.
90일동안 사용가능하지만 간단한 명령어로 자동갱신 가능

✔️ Let’s Encrypt SSL 인증서 발급 방법

⭐️ Nginx

• 인증 및 설치를 위해 nginx 플러그인 사용
  

⭐️ standalone

• 웹 서버 동작을 멈추고 이 사이트의 네트워킹을 통해 사이트 유효성 확인 후 SSL인증서 발급
  
• 80포트로 가상 standalone 웹서버를 띄워 인증서 발급
  
• 동시에 여러 도메인 발급 가능
  
• 자동갱신 가능
  
  

⭐️ webroot

• 사이트 디렉토리 내에 인증서 유효성을 확인할 수 있는 파일을 업로드하여 인증서 발급
• 서버 중단 없이 인증서 발급 가능
• 인증 명령에 하나의 도메인 인증서만 발급 가능
• 자동갱신 가능
  

⭐️ DNS

• 도메인을 쿼리해 확인되는 TXT레코드로 사이트 유효성 확인
• 와일드 카드 방식
• 서버 관리자가 도메인 DNS를 관리, 수정할 수 있어야 함
• 인증서 갱신할 때마다 DNS에서 TXT값 변경 필요

✅ 가비아에서 도메인 구매하기

✔️ 구매하기

• 참고 https://velog.io/@b1rdn2w/%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%ED%98%91%EC%97%85-Spring-Boot-%EC%84%9C%EB%B2%84-%EA%B5%AC%EC%B6%95-3-AWS-EC2-HTTPS-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0

✅ AWS Route 53

✔️ 호스팅 영역 생성

• 도메인 이름: 가비아에서 구매한 도메인 이름 입력

✔️ 레코드 세트 생성

• EC2 IP연결 값: EC2 Public IP값 입력

✔️ 네임서버 설정

가비아에서 네임서버 설정해야 함
NS유형의 레코드 4가지의 값(ns-000)을 등록한다.
. 은 생략하고 등록

✅ SSL 인증서 발급 Let’s Encrypt

✔️ SSH로 EC2인스턴스에 접속해 certbot설치

업데이트

sudo apt update
sudo apt upgrade
sudo add-apt-repository ppa:certbot/certbot

✔️ Certbot의 Nginx 패키지 설치

sudo apt install -y certbot python3-certbot-nginx

✔️ Nginx Configuration 설정 (🔺 건너뛰기)

server_name을 구매한 도메인 이름으로 바꿔준다.

sudo vim /etc/nginx/sites-available/default

도메인 이름으로 바꾼 뒤 잘 되는지 테스트

sudo nginx -t

✔️ Nginx reload (🔺 건너뛰기)

sudo systemctl reload nginx

✔️ HTTPS에 대한 방화벽 허용 설정

AWS EC2인스턴스는 기본적으로 방화벽이 비활성화되어 있다고 한다.

sudo ufw status

✔️ SSL 인증서 받기

원하는 도메인을 지정해서 Nginx 플러그인으로 인증서 획득

sudo certbot --nginx -d 도메인
이메일 입력
## Let's Encrypt 이메일에 추가되고 싶은지 아닌지 선택
## 기존 HTTP 연결 요청을 HTTPS로 자동으로 바꿔줄 것인지 선택

certbot: 인증서를 다운받고 설치하는 명령어
--nginx: 해당 도메인에 대한 소유주가 자신임을 인증하기 위해 이용할 플러그인
도메인 관리자의 이메일 주소를 입력하라고 함(만료일에 대한 정보 메일로 전송해 줌)
약관에 대한 동의 (A)/(C) 를 묻는데 동의에 선택하는 (A)

✔️ key 잘 발급되었는지 확인

4개의 .pem, 1개의 readme가 생성되었는지 확인
이 파일들은 /etc/letsencrypt/live/[도메인주소]에 대한 심볼릭 링크이다.

## ll /etc/letsencrypt/live/ 내 도메인
ls -al /etc/letsencrypt/live/drugstoreproject.shop

✔️ 도메인 서버 테스트

도메인을 입력하고 submit
https://www.ssllabs.com/ssltest/

➡️ Nginx 설정으로 가기

✔️ Certbot 자동갱신

• Let’s Encrypt의 인증서는 90일동안만 유효해서 90일마다 갱신해주어야 한다.
  
• 설치하는 과정에서 /etc/cron.d 에 자동으로 갱신시켜주는 명령어가 추가되어 있었다!
  
• 갱신 프로세스가 잘 동작하는지 확인하기 위해 다음과 같은 명령어를 입력하고, 오류가 나지 않으면 잘 동작하는 것
  

sudo certbot renew --dry-run

✔️ 이제 발급이 완료되었으므로 /etc/letsencrypt/live/도메인 경로에 fullchain.pem , privkey.pem 이 발급되었을 것이다. (🔺 건너뛰기)

• 새로 터미널 탭 열고
• root계정으로 해당 경로로 이동 🔴 바로 cd /etc/letsencrypt/live/도메인으로 실행하니 동작하지 않았다!
  이유: /etc/ is usually restricted, needs elevated permissions.
  To get elevated permissions, use sudo
  However, cd with sudo might not work bc cd is a shell-built-in command.
  To solve, open a shell with sudo and then navigate.
  

sudo -s
cd /etc/letsencrypt/live/drugstoreproject.shop/

✔️ pem을 PKCS12형식으로 변경 (🔺 건너뛰기)

• .pem은 스프링부트에서 인식을 못한다.
• 따라서 PKCS12형식으로 변경해주어야 한다.
• 변경할 때 비밀번호를 설정해야 하는데 이 비밀번호 꼭 기억할 것(나중에 yaml파일에 설정함)
• 결과물: keystore.p12
• 변경 후 나가려면 exit치면 된다.

sudo openssl pkcs12 -export -in fullchain.pem -inkey privkey.pem -out keystore.p12 -name ttp -CAfile chain.pem -caname root

✔️ 모든 HTTPS설정 끝! Nginx 서버 restart (🔺 건너뛰기)

sudo service nginx restart

✅ FileZilla (🔺 건너뛰기)

FileZilla에서 keystore.p12 파일 로컬로 가져오기

✔️ FileZilla에 새로운 사이트 추가

• FileZilla Client 설치

  프로토콜: SFTP
  호스트: AWS EC2 퍼블릭 IPv4
  사용자: ubuntu
  로그온 유형: 키 파일
  키 파일(pem이 존재하는 경로)
  

🔴 FileZilla에서 keystore.p12이 있는 경로 /etc/letsencrypt/live/도메인로 들어가려고 하는데 계속 실패

권한이 없다고 떴다.
결국 keystore.p12를 home/ububtu로 옮겨 거기서 로컬로 받아옴
로컬 원하는 장소에 저장 후 이후에 SpringBoot에 추가

✔️ 여기까지 과정 총정리

✅ SpringBoot Setting (🔺 건너뛰기)

✔️ Resources에 SSL인증서 파일 넣기

✔️ yaml 파일에 설정 추가

server:
  ssl:
    key-store: classpath:keystore.p12
    key-store-type: "PKCS12"
    key-store-password: ENC(i5PeoNKddffOFHGj/baHbHVAsek6cRQK) //PKCS12변경할 때 사용한 비밀번호

🔴 도메인 연결이 안 됨

여기까지 따라했으나 http://drugstoreproject.shop:8080/swagger-ui/index.html 쳐도 스웨거 화면이 404로 뜸

🔵 nginx config를 수정하였다.

1. Open Nginx Configuration

sudo nano /etc/nginx/sites-available/drugstoreproject.shop

1. Update config

1. Check syntax error in Nginx Configuration

sudo nginx -t

1. Reload nginx

sudo systemctl reload nginx

그랬더니 스웨거 화면은 잘 나오게 되었음!

그러나 아직도 https://는 되지를 않는다ㅠㅠ

🔴 https 해결

https://로 도메인을 연결하면 이런 화면이 뜸

그리고 https://drugstoreproject.shop:8080/swagger-ui/index.html는 ERR_SSL_PROTOCOL_ERROR이 뜬다.

✅ Nginx conf 설정

✔️ Nginx의 nginx.conf, sites-available, sites-enabled

• /ets/nginx/nginx.conf
  Nginx 설정에 관한 블록 작성
  이 파일에서 sites-enabled폴더에 있는 파일들을 include하여 가져온다.
  
  

• /ets/nginx/sites-available
  가상 서버 환경에 대한 설정 파딜들이 위치한 디렉토리
  
  
• /ets/nginx/sites-enabled
  sites-available에 있는 가상 서버 파일들 중에서 실행시키고 싶은 파일을 symbolic link로 연결한 폴더
  이 폴더에 위치한 가상서버 환경 파일들을 읽어 실제 서버를 세팅함!
  

💡 결론

우리는 /ets/nginx/sites-available아래 새로운 drugstoreproject.shop이라는 파일을 만들고,
폴더 sites-enabled에 심볼릭 링크를 만들어 sites-enabled가 drugstoreproject.shop을 가리키도록 할 것이다!

➕ symbolic link

링크를 연결해 원본 파일을 직접 사용하는 것과 같은 효과를 내는 링크
폴더 바로가기 같은 개념
특정 폴더에 링크를 걸어 원본파일을 사용하기 위해 쓴다.

✔️ nginx.conf

nginx.conf을 열어보면

cd /etc/nginx
vi nginx.conf

가장 아래에 이런 설정이 있어야 한다.

1. /etc/nginx/conf.d 아래에 있는 모든 .conf 파일들을 inclue한다.
   
2. /etc/nginx/sites-enabled의 모든 파일들을 include한다.
   

✅ Nginx 설정

1️⃣ sites-available 설정(Create and configure a New Site Configuration)

sudo nano /etc/nginx/sites-available/drugstoreproject.shop

2️⃣ 다음과 같이 입력 저장 command + O 나가기 command + X

server {
    listen 80;
    server_name drugstoreproject.shop www.drugstoreproject.shop;
    return 301 https://drugstoreproject.shop$request_uri;
}

server {
    listen 443 ssl http2;
    server_name drugstoreproject.shop www.drugstoreproject.shop;

    ssl_certificate /etc/letsencrypt/live/drugstoreproject.shop/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/drugstoreproject.shop/privkey.pem;

    location / {
        proxy_pass http://localhost:8080;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

server {
   if ($host = drugstoreproject.shop) {
        return 301 https://$host$request_uri;
   }
   listen 80;
   server_name drugstoreproject.shop;
        return 404;
}

(1) 80포트로 들어오는 요청, 즉 http로 들어오는 요청을 https로 리다이렉션을 한다.

(2) https://로 들어오는 요청을 서비스 중인 포트로 연결한다.

• proxy_pass: 프록시 주소, 백엔드 운영 서버 ip
  
  • 🔴 두 번째 server 블록 proxy_pass는 http://localhost:8080; 이다.
    
  • http ⭕️
    
  • https ❌
    
  • 8080포트에서는 spring boot앱이 실행되고 있는 상태
    
• proxy_set_header Host $http_host; : HTTP request의 Host 헤더 값, 클라이언트가 요청한 원래 호스트 주소
  
• X-Real-IP : 실제 방문자의 원격 IP주소
  
• X-Forwarded-For : 클라이언트가 프록시 처리한 모든 서버의 IP주소를 포함하는 목록
  
• X-Forwarded-Proto : HTTP구조로 http 또는 https를 의미
  

(3) 도메인 이름이 다르면 404에러 처리

3️⃣ Enable the new site
create a symbolic link해서 sites-enabled로 연결
우리가 만든 config파일을 sites-enabled 디렉토리에 링크해준다.

sudo ln -s /etc/nginx/sites-available/drugstoreproject.shop /etc/nginx/sites-enabled/

잘 만들어졌는지 확인하고 싶으면

cd /etc/nginx/sites-enabled
ls -l

4️⃣ default site를 삭제한다.
그래서 아까 sites-available/default는 건너뛰라고 한거다…

sudo rm /etc/nginx/sites-enabled/default

5️⃣ Config에 syntax error 없는지 확인

sudo nginx -t

6️⃣ reload nginx

sudo systemctl reload nginx

✅ Error Log 보기

1️⃣ Error Log있는 디렉토리로 가기

cd /var/log/nginx

ls해보면 error.log있을 것이다.

2️⃣ View error.log content

cat error.log

🔴 여기까지 했더니 502에러

그래도 https://drugstoreproject.shop/는 잘 되었는데, Nginx Config설정을 하고 오니 502 에러가 떴다.

에러 로그를 찍어 보니 이렇게 나왔다.

🔵 이 에러는 config파일 문제 때문에 생긴다.
nginx config에서 443으로 들어온 요청은 http로 우리 서비스와 연결을 시켜줘야 한다.
그래서 두 번째 server 블록 proxy_pass를 https가 아닌 http로 고쳐주니 잘 실행되었다.
` http://localhost:8080;`이렇게 바꾸기

⭐️ 성공한 모습

💡 참고

• AWS EC2, 가비아, nginx, Certbot, FileZilla(이걸로 따라할 것) https://un-lazy-midnight.tistory.com/172

• 도메인 연결하는 방법 https://olrlobt.tistory.com/89

• Nginx Config 설정하는 방법 https://velog.io/@coastby/Nginx-SSL-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0

• Filezilla: 파일질라로 파일 업로드/다운로드 하기 https://velog.io/@ky0_hw/AWS-ec2-Filezilla%ED%8C%8C%EC%9D%BC%EC%A7%88%EB%9D%BC%EB%A1%9C-%ED%8C%8C%EC%9D%BC-%EC%97%85%EB%A1%9C%EB%93%9C%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C%ED%95%98%EA%B8%B0