管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
/ [ T( G7 v% a( d0 a. ` K; B5 L7 n0 i8 O
- ###更新仓库 |6 u& x+ p/ b
% o y! C4 h( Z* G. u2 o- apt-get update -y
' ^6 `4 M3 W2 a - apt-get install wget -y
W3 W) _) T7 J0 r - #下载nginx和相关软件包
复制代码
% S8 k7 k; C/ w: V9 q7 ~" o% F, {2 T i1 v$ H0 D3 K: r0 s
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。2 W$ T; G6 C" @
, Y, ~+ @- h; i7 J- cd /usr/local/src# F' }5 S, B% [3 r% `
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a> O$ d* f d2 L
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
0 J1 f. p1 |2 R' `( l# x# L4 _ - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>& x. M' H5 q" X" A
- tar xf pcre-8.33.tar.gz
( S: R E* }; ^: L g! { - tar xf zlib-1.2.8.tar.gz: e$ M) a- ?( b1 B
- #安装编译环境
1 H, k a; T, g# _0 K, R8 h. E4 Q4 l5 z* g3 z
复制代码 ( Y6 d# y5 b! `% C6 N
) u$ p4 N9 L$ J" y4 e# |. r apt-get install build-essential libtool -y
' c) k& }1 N7 P: R" U#创建nginx用户
3 n$ [" y# @ s* Z
9 p- u* r9 B" E0 R Q7 [所谓的unprivileged user
3 j# F ?7 @0 [1 o3 S1 l& F9 C8 ^( S2 I/ K
- useradd -s /bin/false -r -M -d /nonexistent www
$ ^! t: ~5 Y9 | - #开始编译安装3 q9 c+ P2 U ?$ J$ l! N: O
' b2 a& @" @% L7 E5 O- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
* e. U1 H0 a, ]& v5 C' K - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
$ {( `& c7 @' \ |! X' ]+ M - make
3 t& W$ s% O2 s A6 n - make install& W$ F1 @) w# Q, b
- #给文件夹授权
复制代码
2 z" ]6 j5 c- }7 z
8 Q# N* [; b7 S7 Z2 M4 h- Tchown -R www:www /usr/local/nginx5 \6 M" Z4 M. d5 _' K0 U3 \
#修改配置文件% l2 _- O( q' B: _' j2 O2 e- Y! w
vim nginx.conf
/ `$ F( r t. I. j
* B2 u! O- O* ]user www www;
) F' j# N5 V0 j8 _* q3 T7 `* `worker_processes 1;
4 P0 i }7 G: q! G7 j) Berror_log logs/error.log;
9 t# f& L, e1 F3 v! V' e6 epid logs/nginx.pid;" M+ G0 K, a3 \8 z9 ~ Z
worker_rlimit_nofile 65535;3 @9 U0 W1 m; d W
events {. {# k$ B( F" Q8 N, B# ?
use epoll;) \" d3 @( z9 g* m
worker_connections 65535;
) U c1 o1 ^( q% r+ L}; J8 Q5 F( ]+ n2 `
http {
2 ?( z4 M- a6 ? @/ U9 M& B include mime.types;
3 a1 H/ \0 l% i5 f4 S default_type application/octet-stream;
& J$ \- [* E2 V3 @+ L% F include /usr/local/nginx/conf/reverse-proxy.conf;1 _* w% x& J0 U7 g
sendfile on;2 u* g7 G- |' i7 z& y2 e
keepalive_timeout 65;
6 e4 K& i f6 \* [; n5 {- k& A0 c gzip on;0 a+ ^, l) u+ b# _
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
9 j8 I; e) d! P2 y# b/ t& T5 w+ I client_body_buffer_size 256k;$ s; ~7 G% o1 ~; | h
client_header_timeout 3m;6 i( g! n, C( R* H1 y0 Y- Y
client_body_timeout 3m;3 ?' \! m3 Y$ ?, T- u* @
send_timeout 3m;
1 c! F9 | l% D* l proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
2 a& l: o$ q. G& ]) U: r% B proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)8 J9 @. w6 h. W/ v r( _3 n2 p
proxy_send_timeout 300s;; {# d' F1 V$ q* V2 y
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小5 l1 X& v3 i& K: ^! R
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置# r0 l- L6 i- a! u( N8 z- p
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)" W8 ^8 V3 S5 y& y& Z+ h
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
2 E$ T: a+ V! f/ u2 K# w; A proxy_ignore_client_abort on; #不允许代理端主动关闭连接
+ \$ |# k5 n# { d8 ~7 l% P" Z server {8 {, g% o# V0 n& J
listen 80;) o4 L1 U& j( }( D/ R1 c6 }
server_name localhost;2 V* b8 W8 M* \5 T
location / {/ l1 ~3 m" g8 @. P& K% I
root html;
5 i! P' r7 R( X4 }2 l1 M/ b. V index index.html index.htm;# ]$ G3 x% U0 |) o1 E9 ~4 O
}4 ^9 h! ^4 y* U$ P5 z- c
error_page 500 502 503 504 /50x.html;
" ^0 E, Y% `9 a+ Z location = /50x.html {
/ b& B6 S! G" a+ m root html;
[$ Q" h6 W7 ]+ G8 r }
1 V- L% ~9 _* n. v( q2 l4 i* z }2 S& m6 N. e2 y, U, K1 F t, F& X
}
G _+ B" H* ?2 A3 s7 e) }. d
编辑反向代理服务器配置文件:
9 J4 X4 ?% |$ [0 V0 N6 }
; c5 }* s9 x3 M4 j8 ^# qvim /usr/local/nginx/conf/reverse-proxy.conf7 {7 G* s9 ?4 c5 S; q2 {. O/ X; e, h
' M( |6 \2 r" d# H* `
server
2 q$ w1 n' w4 Z, K6 E{
' I9 V$ ?, l2 j0 J' H listen 80;7 e" G3 `! B6 K2 s: b5 y
server_name xxx123.tk;
% F- J( G9 a! j. y# L! b. X location / {
: F1 a' W/ Q3 q. c4 r9 O8 S5 v. r0 o proxy_redirect off;0 I1 f* P8 ^% U J# q) p
proxy_set_header Host $host;
) E9 Y1 |0 ^9 E6 ` proxy_set_header X-Real-IP $remote_addr;7 O2 M0 m5 `& x: f2 g. x2 h
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
9 g/ A9 L+ z0 ]) M1 G" c proxy_pass http://192.168.10.38:3000;+ K) k7 {4 z. o- b5 u
}( J- x. Q: @$ b2 u9 j
access_log logs/xxx123.tk_access.log;# `5 Q' M. r: E v
}2 l" }- g! J. \# a- i! G- I% L& k
7 D! q" u" A. D4 x
server/ r% o# b' ~+ ?* d% T
{
( p9 `* t2 |/ `& b* i' e0 [ listen 80;
4 W6 c& M U/ M9 c server_name xxx456.tk;
9 ~0 t) C m+ Z& X7 H, r location / {
5 J" z" z- p' k' v/ I$ y* w proxy_redirect off;! F* B$ Q0 h$ f, ~5 R& m
proxy_set_header Host $host;8 T& T0 w' X; u4 p
proxy_set_header X-Real-IP $remote_addr;6 T1 x1 [" }. ~* S! Y
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
* j0 y1 d/ B3 V- o proxy_pass http://192.168.10.40:80;9 S6 @6 u% n% z5 J/ a" H
}
( r( P y! `% e4 a, w1 L access_log logs/xxx456.tk_access.log;, C1 L6 c+ o0 m0 N. R1 V" J$ y
}* Z/ C- u; N% i# o
8 y' b6 d4 f' G: g
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
, S# ` ]2 R* H4 D1 \0 b
) }" Y9 X" k. {upstream monitor_server {5 ~2 M4 w+ c8 F7 H
server 192.168.0.131:80;$ v" Z) e0 k; S( e% s
server 192.168.0.132:80;8 T& v: y& e+ _% [% P
}3 e8 q/ k1 |, i) r
# R& \! Z- _0 c$ C3 }& @6 H3 Y* w
server( Q- S. e# U% M+ m
{ G4 I! @, k* q
listen 80;0 P6 A. z0 u7 u% t1 K4 Q0 o
server_name nagios.xxx123.tk;
7 l" ~, K5 R0 j location / {4 @. A. A/ E: Y, A
proxy_redirect off;
+ ~; t4 H1 e+ J2 @, _" Y9 ^ proxy_set_header Host $host;' ~8 p7 T( h! ~% v# D9 @- h% [8 ?
proxy_set_header X-Real-IP $remote_addr;. u) t v6 o/ E; P+ r
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ' h' @( p" E9 _5 s$ m- j( u
proxy_pass http://monitor_server;: B" I) s. A0 r2 L
}
. C3 l- i2 ]& o+ i% I' K access_log logs/nagios.xxx123.tk_access.log;
& ~- r n1 @; o& v( Z}
9 W/ ]& r) r2 H& \, x/ w, H/ w$ j9 e4 v" g9 G% u! Q. Y/ P
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
: U1 e% o3 Z3 T3 ^: Y4 Z6 S2 b \. d4 h9 k* Z. s% \5 R! `5 E
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
/ o/ \5 |5 i2 o. }$ V/ _0 ^'$status $body_bytes_sent "$http_referer" '( F* |$ q* C" t
'"$http_user_agent" $HTTP_X_Forwarded_For';
+ c8 Y/ q: b' s3 \: k7 A q! i6 y2 _
: b% M: H0 G. u' v2 ^" z' aaccess_log logs/access.log access;
$ d5 ^% Z; G, N, X; G+ E2 e- F8 s/ C
z D$ k2 N- b. T& M, N再看看原来日志的格式长什么样:
9 ?; T6 `- q n! {. i
" @ o/ O+ i) d+ c0 i- f: j1" a; e$ t0 ?, K+ [
2
2 C& v8 F/ \- k. [3
& g7 } |" O U. r( _. M" \; k1 \4
5 v% I# z5 _5 G% |8 P! W+ a5 `* i) R* E50 j( ?/ e* m' E# c/ r6 s( `+ e z
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
+ u1 }) s8 \+ b0 C# '$status $body_bytes_sent "$http_referer" '
' K' H8 o: c# O4 Y0 A# '"$http_user_agent" "$http_x_forwarded_for"';
: Q+ t, c1 z B2 Y v + x% Y$ f" K& m% e1 w& P) y
#access_log logs/access.log main;( [, [! O4 O6 b' I: M
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查% _, s$ L8 H) {* E# |
e0 W- c! p, L0 n% a* Q9 k! t1
' i& ^; \3 j4 j2) S7 Q! S( o# }. a
3 ]% [! Y K7 v( h' f) x$ Y2 Z
4
+ M1 {$ Y2 B2 g/ }, T# n/ C; z5 Q5
$ Q# m" w9 [1 a4 r4 D6 W0 P( u2 U6# O0 y3 f- J+ j
7- t; E* m6 Q' A; `9 m( c2 E
8
9 T# S( q1 h0 f8 O- w$ R* zproxy_connect_timeout 300s;
6 d# w# q4 ]3 a& J3 P6 l/ cproxy_read_timeout 300s;
' {1 c5 p& @; e8 D Hproxy_send_timeout 300s;
9 ]; t+ D0 j" H* U: e! a: [proxy_buffer_size 64k;
$ B- h$ q) [7 B! B# g0 J! |proxy_buffers 4 32k;7 T+ s& S* t1 v6 _& J. @: o' g# ^, v
proxy_busy_buffers_size 64k;$ |0 p* B- T* z
proxy_temp_file_write_size 64k;
6 ]/ E+ [" @8 V9 Oproxy_ignore_client_abort on;
. T% |$ q* Y' G+ _2 u; E报错日志:& v# g; o/ Z! F; P) S
. i: p: |! i/ W% r...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
. ]3 V& t$ D# @: T/ x, M: B: ]; R0 V5 I% T& ?9 B
PS:关于域名转发) c2 W7 E Y# g; k4 W9 H+ U
. F! B7 t* D3 G/ K3 V& I. f
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。
. J2 P. i5 ] V+ U |
|