管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04. ?" r' a4 z0 b* j8 n7 f
! H, Z3 u7 v/ r8 r+ K7 n) I- ###更新仓库
4 @2 ^* v" T2 Y& C5 T2 H8 \
& X, u% l0 O* s% t+ O6 ]0 m- apt-get update -y
$ R7 g3 k# [8 w4 `" @ - apt-get install wget -y* i2 W( C/ F- P
- #下载nginx和相关软件包
复制代码
; S' w* ^. N* A2 g$ c4 g; S# r4 x2 Z6 I
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。. T9 m, I' Z2 @( s3 k
+ p: W2 M% f! o' L: i% \, u- cd /usr/local/src
- N) \- d% ]' D7 K, l, J5 ?# s - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>0 H x/ L8 s& `. i$ r
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
6 r2 J3 n; _. y% _2 j - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>& `( ?2 C- V+ f3 B4 W$ R
- tar xf pcre-8.33.tar.gz
9 F" U; W/ e5 w. c3 o {+ C9 u - tar xf zlib-1.2.8.tar.gz5 V( p1 z* O" V- r# i7 d# M
- #安装编译环境; E( J+ Y+ M: i& h
复制代码
$ e5 P" ~4 Y- Q- S; n9 o& P
# n# I H) T6 h5 L apt-get install build-essential libtool -y
6 T7 Y8 z" R( M9 U* O% e- ?#创建nginx用户
4 p5 {$ X2 X9 |+ M/ P r
0 O/ M, y, ]. P. X% d- J/ i所谓的unprivileged user5 H/ O, P) L4 D' C U: B7 J+ f) z
2 S) U4 J6 s3 m' o" x' N+ a
- useradd -s /bin/false -r -M -d /nonexistent www
/ r, K; d9 V. ^ N" h - #开始编译安装& g3 w! l ^$ N5 L4 v! l4 l
- / I' t. D3 {7 g [& X" |3 q
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
6 z; W$ K2 D0 M) g+ q- s - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
u+ N, t1 a: c0 k% o1 i - make
' ?* p9 F5 ?% c c0 a* J( D - make install
3 h, h, Y# X; t: A5 v% U& ?" N# k) w - #给文件夹授权
复制代码
/ S! z! O. N5 d+ f* I8 ^: d " U U7 g ]' R6 W( Q3 i
chown -R www:www /usr/local/nginx
3 \4 j0 }% t! j+ s C#修改配置文件; A2 x+ g# o h3 \ b$ W7 }) W
vim nginx.conf
2 I2 i$ f4 g! _' F$ i8 f. d3 n" Y" A+ w1 y% @" a0 f7 j. V; t7 L
user www www;
4 r. m0 r6 R1 h* g- Jworker_processes 1;0 r% Z. v9 f: {' D( I
error_log logs/error.log;- b& {( G, \0 F% U4 j! n$ w6 f
pid logs/nginx.pid;( ^+ I) F7 n& a9 F
worker_rlimit_nofile 65535;
: Q7 P% X7 b" B: |events {
1 a3 J$ Y; X" e) c( t' w use epoll;
7 i% h0 v1 S' S; y worker_connections 65535;' _# h, @/ z" W; \- t
}. {5 s: k5 f! @ v2 c% y9 y
http {, t( F3 a! R* \# [: W- Q
include mime.types;
& X1 L% N0 y; u+ a default_type application/octet-stream;: Q8 G+ S+ h' C
include /usr/local/nginx/conf/reverse-proxy.conf;& V2 w+ c3 J4 v( G" S% N7 ]
sendfile on;
) U/ ` ]) g; I) d keepalive_timeout 65;' t* N$ X0 K2 F1 X5 m
gzip on;7 C6 Y0 |3 I4 x! Y% G1 j6 C" y
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户+ Q' N+ b" Z: W- J% i
client_body_buffer_size 256k;$ q- L: J3 l# W) Q/ Y! S( C' w
client_header_timeout 3m;! j# C+ m# ?/ [6 w0 K6 d3 _
client_body_timeout 3m;( D9 s% E% E9 h) Y& @3 ]3 |$ {5 R
send_timeout 3m;
0 X; f+ p+ f Z2 t" {' ` proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)3 V+ \3 M$ J# t+ s3 W
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
) F% d |, P0 I# b proxy_send_timeout 300s;; I' K( Q" \- `. m
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小. v% S0 v3 _/ ~9 v: \4 ^
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置- I, ?, O4 T. ~7 u8 |
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
. i4 u# D* J" f/ ]! l proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘0 d3 g" ?9 _; z( G: w k
proxy_ignore_client_abort on; #不允许代理端主动关闭连接+ K& s) H+ j s3 o& y" g
server {
. Y) M# K+ m! ] A listen 80;, A: I9 z- I0 y; J& n
server_name localhost;8 U, [' p' j+ t2 z, I' K
location / {
7 X1 e [3 R) R) M% T root html;
R9 M! I" z; G3 I index index.html index.htm;
1 r" Y9 k5 t7 o4 u) W }% [ m: a/ K7 Z( u6 p, t/ A
error_page 500 502 503 504 /50x.html;& P! N4 d) g" g3 ~5 B) ^
location = /50x.html {5 m4 D! }( r; N" f
root html;; A" ~3 {+ N, o& E0 v5 ^. r: b9 m
}
( \5 k# b ?& e% E1 ] }
! C" V( i* z7 b" R}
8 r6 }. q6 C8 h. K- u6 P; x' ~$ m5 _! @ p7 n+ {. {
编辑反向代理服务器配置文件:
' _( Z5 R, E. `/ @3 }! |6 ]' z" x. v7 U
vim /usr/local/nginx/conf/reverse-proxy.conf
, K+ ]5 a5 a6 k# n6 A6 O: u( t( d n" y. i, ~0 L
server
. v. C: } `* U{
! r* z0 x1 w, l7 M( ?& g) o listen 80;
1 \+ G+ E; G+ z+ s( v) V$ H4 c) O server_name xxx123.tk;
: N/ r$ c0 ]8 k0 x# ^ location / {3 X/ L3 G. J- O: a3 x J _
proxy_redirect off;
& E- ~0 t( @) F! z: @ proxy_set_header Host $host;3 x$ w! l7 u3 r# ?/ {8 D. o* R
proxy_set_header X-Real-IP $remote_addr;
% `! L" w( f$ U0 v6 P9 q N proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;/ e1 m1 ?4 T: p) @! H% p! u3 |, ~
proxy_pass http://192.168.10.38:3000;! U1 i! ?% s, Y h+ W, l( z2 ?8 B
}
4 E4 B$ \9 k2 g* O6 ~ access_log logs/xxx123.tk_access.log;1 [& [, q+ K6 a+ W3 y" Q
}( V J& k" D/ z, r. p
1 r' e8 h) s" ?8 l+ ~' b: M& R
server
2 d; E9 t4 c/ _( E: F{# @, S6 r; B5 V. P/ k$ p' V
listen 80;
- q9 A0 ^) F6 D6 h4 R e server_name xxx456.tk;1 p, V9 y0 B7 F8 e# j k; a. N
location / {
2 T' ~7 A4 ^7 Y6 Y5 G proxy_redirect off;1 n" D j0 H0 R/ Z* v* P
proxy_set_header Host $host;* h9 o7 N# A. f& n6 X1 ^
proxy_set_header X-Real-IP $remote_addr;
2 R) n2 j% M' U1 g) a7 e$ r proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;" A7 T, p$ @7 G- i: Z
proxy_pass http://192.168.10.40:80;
# t) m0 }0 r6 L( w }
7 ?4 T1 [, z8 o8 ` access_log logs/xxx456.tk_access.log;7 k; o( x; B& f# `% ]
}
6 s& v) x; }/ D% [
# u- q5 b% S* o+ e% l% j然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
, H7 Z+ }6 O* n! C0 f' f: m) R! _' o+ g; E8 S/ u8 n- c
upstream monitor_server {
; M2 s$ c. }2 J server 192.168.0.131:80;2 t# T: X* n4 {. y4 |
server 192.168.0.132:80;' _0 L0 Q7 d) T& U# N. U' C7 _
}0 n: F- e: a# j; P9 w4 ^- M
) {# P* U( t( `3 u2 k' oserver1 m' j& T3 w* V' o* t) W
{3 J( _5 m6 g [4 r$ {
listen 80;7 {6 w) u* y d \
server_name nagios.xxx123.tk;3 e# K/ j" R- j& H8 N* K9 K" F
location / {! U" j7 D- ~/ [1 Q# i6 K/ `: Z/ ?; R
proxy_redirect off;
& m5 o% H- o: o/ e. W proxy_set_header Host $host;
# H d: c, G2 E6 U( |* `+ h proxy_set_header X-Real-IP $remote_addr;! @+ l& Y; G0 A8 z
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
7 U2 t8 t/ j% v# U7 r$ R% q; l proxy_pass http://monitor_server;4 q1 S8 _* k+ ~" k" @, y+ `: d
}
; `; F; l8 W8 B! d) F0 Y access_log logs/nagios.xxx123.tk_access.log;; G5 G- m, w0 z* M' {, m" b
}2 t q( H( t; W1 U1 L: K
) L8 P3 C& @/ {+ A: u额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
0 ] B8 ]6 }$ s3 |% d* J8 g4 E7 ~! a* u U5 v2 h, B0 h& C+ K6 `
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '# c6 i4 u+ R- E p
'$status $body_bytes_sent "$http_referer" '* l9 Z8 ^* I! }+ C' m1 X5 E) r
'"$http_user_agent" $HTTP_X_Forwarded_For';
% ]' Q: W( Q& D! D" H& h' k0 w% h $ u M5 n- J Z1 z/ b! u* ]3 R- e( L- ~
access_log logs/access.log access; z9 E \5 O' Y4 a! y! }
) ]' d5 t0 J' R1 a, j- ~
再看看原来日志的格式长什么样:
0 A4 j; q9 D% _( A1 J; @3 g% C! R2 K( p1 B# {8 q a
1" l0 e( i3 z) z4 ]) ~
24 ]; b/ T- o- c3 y) @- k
3
9 V3 V$ `: X& T8 T3 @; c1 v' A4
# u# n' Q1 b9 l+ h4 U% d: _+ s1 i51 ~ R3 A) L3 ^( K: j
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '& @. ~: K% u% k2 {4 O$ n
# '$status $body_bytes_sent "$http_referer" '
D) ?6 `& H2 v, N1 ~# '"$http_user_agent" "$http_x_forwarded_for"';
# h+ R! ^. @, v2 o* ?# c3 L
) r% J; V: F/ I; `4 H* s& I#access_log logs/access.log main;
1 A1 S9 D1 q4 m5 U, E7 M O看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查/ y0 g# ]$ ]) l
$ S. W9 |9 ], u7 t6 N% X3 B11 d- f" C/ Z# i" D9 h/ Z
20 g) @" d4 E+ ?0 [- \3 u
32 k! W0 T* \, H' ~# r$ }6 o
4
) ]8 ?: I' k; V# A* N8 d/ O& `/ b5
; |3 _& N0 I. b" p. ^; ?8 r6
1 f# L+ U2 G# M3 D+ K7
- j0 m1 d) ?6 l% O" @2 t8
, r8 g: }1 x$ x! i( Pproxy_connect_timeout 300s;
3 E% N# y% V7 N% @5 B9 _proxy_read_timeout 300s;. {, d8 F! D! r; v
proxy_send_timeout 300s;1 {, S3 G* W3 w8 a6 |
proxy_buffer_size 64k;+ B4 z }) E9 E: j/ i1 P5 T
proxy_buffers 4 32k;2 S5 J% r; j" w: u7 M1 V
proxy_busy_buffers_size 64k;8 e9 R- E, V4 |* g
proxy_temp_file_write_size 64k;
0 s! I! f, z! J8 J# P3 k' ^4 bproxy_ignore_client_abort on;
% @1 k& h8 W! _报错日志:/ N2 u' f* G1 f" i* Y ~
* {3 u h! ?! k# m; S+ M' R4 g...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
J7 \5 W' `2 b9 F9 o2 t
2 Q h. w3 o! |, ^: Y2 B6 Z- fPS:关于域名转发+ D# o7 N3 t( E* P. H) z0 Y
* s1 ^% C0 I2 y7 o0 X4 K# a
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。 Z( y7 e! K- ]- m) t# G. X
|
|