管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
, }( c" c* n" I9 b" g3 M1 v
+ E+ F) a4 W: c8 `/ e- ###更新仓库! R) n. K" F! p2 n
- 2 ]4 \- L2 L* [! B
- apt-get update -y+ }$ D7 o3 {+ N8 k0 z
- apt-get install wget -y7 B& k- F; ~0 {; l# @! U
- #下载nginx和相关软件包
复制代码 0 d/ {) Z8 d1 I9 q/ ~/ ~# y; e
( L7 V' j9 I2 v* F \pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
- O7 y6 n; N) a' O+ \2 m; \* G" d6 a- Q0 q- v; ]) m
- cd /usr/local/src- |( o4 L+ T5 Q- [! W- `8 Q
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
* C) f- ^/ r. I1 Y' b- | - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>) C, b7 e& }% V) ?( q* M5 l- D' {
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
5 J! Y! m4 J/ G! _- f1 g: b - tar xf pcre-8.33.tar.gz- [" c) Z, y) J6 o
- tar xf zlib-1.2.8.tar.gz3 x+ m: y' m' i3 w( J* c1 L
- #安装编译环境1 d' Y- l* [7 o6 X3 b/ ]% d3 ?
复制代码 ) s: o) R: Z% W5 H3 Z! t8 k+ Q( @
7 P# _. Q- p+ ]' }/ P9 s' C" j apt-get install build-essential libtool -y* ~5 }! s% |9 ~1 v
#创建nginx用户
0 o* Z- y3 V y8 O2 K3 C
8 L3 T9 A5 x! V所谓的unprivileged user
' M8 p$ O3 j" w X* U! l _3 C% E
- useradd -s /bin/false -r -M -d /nonexistent www
" c- n$ Q# n4 G( a4 H, N - #开始编译安装
! L5 }. ]5 l: J7 B& e6 \
' a1 F5 H3 T9 h5 j2 R2 g- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \: b/ g4 U+ q7 N0 h
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module+ {0 v) D' F. \7 X+ Z
- make, o( u; e4 g! }% {
- make install4 W" f4 ~9 h" ^# A( I+ `
- #给文件夹授权
复制代码 ! A( a/ {9 Z/ `3 o4 A5 @% p! ^
/ Y$ x) L" g7 C; C) Dchown -R www:www /usr/local/nginx
# ]+ s( S2 ]1 n+ n8 k#修改配置文件
7 f: j6 u* o% `4 q4 Q0 v% V) B9 kvim nginx.conf
8 `: ?5 b# f7 ?; X9 R& }* k" b8 G7 Z, X. t5 ?
user www www;8 o5 g6 j. _* x3 {
worker_processes 1;. j/ u# V! }! |( u1 {$ H/ p
error_log logs/error.log;
; m' D' A* s8 n7 A }; Ipid logs/nginx.pid;0 K% {, y: Q' Z) i3 B8 E1 f( C
worker_rlimit_nofile 65535;! }9 W) a( `2 y5 R: y0 v) [
events {! h C: u( {3 `/ O- s
use epoll;! R% S3 q5 t8 m1 D- T' @
worker_connections 65535;
+ J3 d7 H, ~# b7 h3 [6 h2 P) U- e}: Y7 b) ?0 Z# x9 W) J) c+ k# X
http {! ~; i* N( Z$ w. T5 T
include mime.types;
9 w K1 D/ w5 U default_type application/octet-stream;
5 k* I% l1 f, X- R, P6 f4 A include /usr/local/nginx/conf/reverse-proxy.conf;" |! W1 Z" e! y6 {, H
sendfile on;
/ C4 ^& O& |, h" f/ `+ I keepalive_timeout 65;
8 e. l8 a, U7 j) R/ \. s" D9 H6 t gzip on;
. C) n* d5 a, p! e client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户7 s# z3 {; ^4 Y( |. \
client_body_buffer_size 256k;
' o: C5 H5 P0 {0 W# R9 d6 f client_header_timeout 3m;
4 |8 p1 y: G8 y client_body_timeout 3m;
! y' {% v9 t* h" ~- k send_timeout 3m;. B& f! X$ D |4 L( B* ~
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
- W% M( r/ q7 F6 [7 t- _6 ^ proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
! ]+ v9 S9 }* \& {, @ proxy_send_timeout 300s;
( l% r2 S/ f' x) X* i proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
) g# p; j8 C7 I% _# e proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
7 n) b5 p. d F# A; `. i8 a; `4 ^( _) K proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
y# { A) l4 `# l proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
6 [; \/ b5 s, w# { q# j8 S proxy_ignore_client_abort on; #不允许代理端主动关闭连接3 \, s9 J* h$ S
server {; h: a h- r; r. P2 l2 y
listen 80;4 p6 i8 ^4 @8 z/ j ^% q) H6 p. v
server_name localhost;1 s' I+ X$ U& m3 c4 l8 T
location / {
4 J+ Y; |6 x h. y' Z root html;5 ?; @9 d I6 ~( J
index index.html index.htm;
7 }8 c0 f$ {, v% l S2 b5 o. ? }
1 Q: v$ r2 M2 K# F/ f) z error_page 500 502 503 504 /50x.html;
; p5 [: _6 L) G8 u) } location = /50x.html {
; w2 W2 y$ o: X, x( ], | root html;% `8 l0 |/ Q7 n# s1 C1 g7 s1 g
}0 t3 \. }) K5 @6 Z) t' C
}
6 o( i1 m5 }. ~5 ? c' G. G3 Z}
$ l5 V9 R4 ~# I9 Q8 z @% U+ [, Y8 [0 E: G
编辑反向代理服务器配置文件:
% _5 U* Q6 q3 l7 x5 J$ j# x; A/ ~/ [& F8 l, @
vim /usr/local/nginx/conf/reverse-proxy.conf D5 _% W5 D# L# ?
; V$ _! G, l% ~9 L$ w3 Kserver9 Z& U E# b& G
{
* g; V3 X; w3 `( B$ ^% v! K listen 80;
$ U0 H1 t! |/ n: @9 x: O" H9 r server_name xxx123.tk;
# o) B& u/ A# E4 x location / {
" r! p2 l2 M7 X) ^$ y1 y5 @/ ] A proxy_redirect off;
9 w0 [: y. |5 P: l- Z* j proxy_set_header Host $host;
6 ~ B% V* [. N5 b' E% ?0 v proxy_set_header X-Real-IP $remote_addr;, z7 r' x k. a6 R
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;6 C1 j3 E: r$ G" k$ d7 R
proxy_pass http://192.168.10.38:3000;, q5 T4 N1 U( ~( A+ [, P) T
}5 v! G8 B. ^0 M; E
access_log logs/xxx123.tk_access.log;
# z4 a8 u+ P$ ?: L6 l$ Z5 O5 D}
5 o! b( S( o) I9 _! z + g% r3 z- \9 _5 _9 z
server9 ?* f% u3 j- a6 |0 V; U
{
7 L1 A1 J! T( { listen 80;
, @ x% V, c; B: O9 g) ` server_name xxx456.tk;5 d! r3 s, h# I5 H5 I) [7 Z
location / {
. ?, k+ D5 V" E( D9 ~* o* r& f; S proxy_redirect off;
$ s, J2 O9 u& Z4 |$ K- A" I5 f proxy_set_header Host $host;$ Q. Z+ t8 Q* Z6 L, t
proxy_set_header X-Real-IP $remote_addr;
* y- V) v6 I- H1 X. S proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;& T; F9 E8 b2 \3 V
proxy_pass http://192.168.10.40:80;
5 F F: ^; ~5 z! g }
- p) F* c: Z8 N! g access_log logs/xxx456.tk_access.log;% S- ?4 M" n& h7 o% {* q$ n Y2 v
}8 ]- }5 A, S/ m Q* a
" W6 I! C: u/ \% C/ a z然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。( c! C* w% ~" [
- [% n4 B1 L1 r! E0 Supstream monitor_server {
& L1 [ @- b r$ q) c server 192.168.0.131:80;
- p6 }$ e: W. K T- v4 i server 192.168.0.132:80;# y D. r0 J/ ^$ W; {! Z5 q/ ]
}
S% L9 ?+ D- H4 i# P( J
3 h8 |& C0 J# iserver# K- K7 \! k; u, b/ ?
{" h: ^3 E; w% E3 m& n3 \3 ?
listen 80;
$ T0 a# z8 k9 t6 x1 ]$ F server_name nagios.xxx123.tk;
- ~, j- z" q# G( J6 i& d8 F2 B location / {
0 b+ J( b9 I9 v5 D3 v proxy_redirect off;* I2 I! G/ @5 D! k9 X
proxy_set_header Host $host;# w8 E( `6 `7 C; C; E* ]
proxy_set_header X-Real-IP $remote_addr;
* B, A2 d# {2 z, e" T proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
1 _% ]; o5 y" J; U' ?' |$ a proxy_pass http://monitor_server;
3 N; C* k/ A7 S9 N7 j+ n }8 b) A7 {" j4 t
access_log logs/nagios.xxx123.tk_access.log;
& g5 x" h8 @' k! q' N9 R7 {}
% c8 u! c- ^" Z- C5 ~2 ]) F' e- X$ L* p, ?
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
& F m \8 Q0 R! k6 ~& d0 A
) _2 M; I3 Q" X) M1 {log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '% O% [- m, D. a" S8 L
'$status $body_bytes_sent "$http_referer" '$ C9 f1 A: B- a. W0 |0 F$ H
'"$http_user_agent" $HTTP_X_Forwarded_For';3 v$ N, _& X& o; N7 o
: N( S. j/ l4 T6 o, T, L+ ^
access_log logs/access.log access;* a2 z6 V- i: R: O) V
3 U6 S" {8 ~8 Z2 z1 n0 P再看看原来日志的格式长什么样:
! J, r, b4 T! L5 Z& |$ f4 B* _& M, C9 Z1 J) m, }
1
! E# T( s7 ?9 E' ]: L2
! j, K' S! C: r" g% n: R/ E& o3) n( g& e% x8 g3 d2 @
4
' ^" z) F$ r4 ^& i7 b" p5
$ A: `8 x' t: K+ \#log_format main '$remote_addr - $remote_user [$time_local] "$request" '6 V5 [6 z/ o, k1 V
# '$status $body_bytes_sent "$http_referer" '
2 G6 w; F; s9 |/ N# '"$http_user_agent" "$http_x_forwarded_for"';4 }! ]4 S5 o2 L6 y* ^ W3 h6 L; i Q
* }3 s h- M9 X4 a5 W#access_log logs/access.log main;
6 M3 u- z7 C+ O3 c& y7 o看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查5 ] u0 X! G4 x% H& ^& B1 {8 L& [
' o: |( o: C8 l5 J, p _; o$ z; p1, y) D: B# \% g& |4 _/ z
2
. k8 x) m6 K# [4 L1 z$ R. [, H3# i' ^8 E9 ?. P$ w+ I
4
2 d2 e# v( q8 f7 t+ S& n, c55 L( E7 o `# F6 S/ B! L
66 T/ K5 N) s0 F! k: h) h
7
! N* @$ C. x, p1 a% }3 k8
1 x' S! k6 w, U) z9 }proxy_connect_timeout 300s;( n8 J$ c1 g/ X7 ?; D/ \
proxy_read_timeout 300s;
. o: N9 L" e+ V( `0 xproxy_send_timeout 300s;" O* P5 R+ o" j, H. ? c; L
proxy_buffer_size 64k;
- d0 B8 I' Z/ ?3 `8 j; Z0 rproxy_buffers 4 32k;
$ J( u A. |. H# I5 C- z- \proxy_busy_buffers_size 64k;
$ D1 D/ u5 n2 J6 |* t. Oproxy_temp_file_write_size 64k;
8 d7 J6 W8 {! G- f7 {3 Yproxy_ignore_client_abort on;
+ d. s2 i) y" ?- s, d) n# f报错日志:- W5 i [; b5 E/ d& C7 E
8 B1 c3 l, q4 N% C/ z, D...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。9 ]- X9 z8 H9 j U
# c) x# w( Q; f3 X1 q: ~- `. m
PS:关于域名转发" G3 t4 q2 R0 T9 q- I: _" q/ S
) ?5 S3 L7 Z8 w: ^2 a* S所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
' H& D+ K! F0 c+ _/ ?2 C' ]$ j |
|