管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
4 |0 f |! x) o1 k9 H. ]# n+ |+ L- F$ R# f' B4 a5 o
- ###更新仓库9 c% C% G" h0 b: M3 k9 ]' W) e
- , R, |- E5 R, [
- apt-get update -y+ ?# w% Z0 G3 J6 }4 J# p9 c
- apt-get install wget -y* F5 ` U j: I' p9 o: l( f
- #下载nginx和相关软件包
复制代码 + D* [7 O0 e# B! _/ b
9 T, \# y1 Y* B) wpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。6 R8 _# a* _1 ?' c. [
, A6 r/ ^! o$ X G* }. P- cd /usr/local/src ^+ N$ F3 J' G0 ?
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
$ g5 U% m) U2 W6 l# Y( X - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
/ P- T0 }" `+ z, r3 n$ ` - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
8 F4 n6 E& m5 F V - tar xf pcre-8.33.tar.gz
& Y: j6 e; u/ b9 P& w" v - tar xf zlib-1.2.8.tar.gz- b$ R. n; |' f1 ~4 i7 v- Z) N
- #安装编译环境* [4 d$ ]+ S: Q8 `
复制代码
% K+ F7 z3 {+ W: s9 q2 M
+ H& L; {, B, B% A apt-get install build-essential libtool -y
2 a" z& u1 g% `8 P/ c#创建nginx用户( I' j! D; I Y& h9 x8 t
5 j3 f! ~ V7 M$ X* ~- D( W
所谓的unprivileged user$ \+ r' }2 g6 m% w7 O- Y
( s9 n- a3 J. M- useradd -s /bin/false -r -M -d /nonexistent www
+ {* g( e2 Y0 L& q" |" v - #开始编译安装4 m4 U3 r% I0 o8 g2 E# R& [& P
' n# J& R m+ a4 t3 t3 u3 w# a* \- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \3 U4 X* U/ S* V
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module* P+ ]# E( D N9 P3 O9 e3 n
- make
& S$ I8 ~2 j& `* g8 V - make install" g6 }' I* ]# Z
- #给文件夹授权
复制代码 ( {8 c* {7 H9 `( {
- @2 V: Z! a) J) p0 b5 q
chown -R www:www /usr/local/nginx
; {4 s7 N4 b2 \2 I#修改配置文件
% h1 X g+ E! Y* i3 r! t5 A0 S) |" {vim nginx.conf
; ^) `& h: t, a/ }3 s ?$ W
/ a4 g$ n. R8 E0 u0 [user www www;) z4 X& R( E. I5 W5 G
worker_processes 1;
& ?2 h2 C* I c5 Y! ?% Cerror_log logs/error.log;3 w1 h" F. E0 V9 J, Z
pid logs/nginx.pid;
8 j0 \& Z ^, q/ e$ a9 ~5 zworker_rlimit_nofile 65535; f b% g6 o6 \# P: y+ T
events {1 D5 N8 t9 F+ B. h* S- Z
use epoll;3 ~" O5 a/ W6 `% @' o% P
worker_connections 65535;
; l8 M9 f1 Q" m}
: c* n1 T; c; N& c, q9 g* Y9 Nhttp {
* C' _) S0 \) H0 s$ I; U include mime.types;+ t/ h+ ?' q. i. }% _2 N# M
default_type application/octet-stream;
/ D+ j3 G" i+ s; u/ z1 i include /usr/local/nginx/conf/reverse-proxy.conf;
9 W3 B. W" s4 b5 n" R sendfile on;
, M6 |, V3 }, U& J* p keepalive_timeout 65;
7 J# |. E" w# p6 ^ gzip on;
9 m1 W8 f, t1 Q: V8 d client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
6 F: }$ H( x- B+ Y2 b client_body_buffer_size 256k;
" y+ b" U8 m$ p/ N client_header_timeout 3m;) S- O& S. |7 F8 ^! S9 j. D$ R
client_body_timeout 3m;$ f1 ^, \6 a# A3 S0 [
send_timeout 3m;9 A. f' P) D2 Z3 v
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
( i D+ O9 u4 b& D2 j, t1 r proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)7 A _& U+ y* H& a7 B
proxy_send_timeout 300s;) O1 L6 J% ^6 I5 H. F: O3 o
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小: A% c& b: V+ s5 s) x1 Y0 G
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置& T7 \! @, n3 H* }& {# C
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
/ Z7 l) p( |5 g) b" V2 o& Y proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
; |! ~( _' \, [- p proxy_ignore_client_abort on; #不允许代理端主动关闭连接
% j" s# F' m2 j) o2 h server {
# R) M n, o' s3 ~0 T: N' M' ? listen 80;
6 f$ f8 Y3 U& U3 |& O8 o server_name localhost;
9 K* S" K8 G% l' A* A0 K" x7 i location / {
( w- D7 O8 n1 ~# X6 w; i root html;
6 @6 h$ ]8 l8 R: t" P. ]; [ index index.html index.htm;+ m/ ~0 N) K C3 s5 ]. l
}" u1 ` B! T# f% s( t0 h' N5 L+ z
error_page 500 502 503 504 /50x.html;; l7 v3 B; R& T' m
location = /50x.html {9 p. h. B* l; H! j7 M
root html;
$ g2 f4 E% u9 o8 `# c }
$ c% j9 D3 B9 Y1 r% d }
# j F8 K- d2 h1 H5 v4 F}
9 H( q1 _% M) l4 H; l8 i: |3 D- \( H3 j1 l5 o: k6 \2 f# A# s7 w. t
编辑反向代理服务器配置文件:
; _$ G* e T1 v I6 F5 G$ o
& j5 F5 |# E: |" T5 f3 Kvim /usr/local/nginx/conf/reverse-proxy.conf
{: C# |7 \: Q, [$ |( }4 x$ i) m! u }0 C! n5 v. A
server% p+ i9 D6 D/ C) U$ Q( K |
{
' m; _! u& d1 y, P* \: d* z. c listen 80;# E4 e% `, J3 v; p; e2 }) S
server_name xxx123.tk;
) U/ h% c6 u3 C* J8 j# G location / {
7 D l1 W# W' B$ `7 Y proxy_redirect off;9 b4 r8 C1 i& h$ T, i$ m' F! d9 q
proxy_set_header Host $host;
2 l9 L1 R7 |9 I" N" @2 x x( ?6 y proxy_set_header X-Real-IP $remote_addr;# ?3 W8 q, P# ~$ y8 Q+ D$ B. i
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;$ a. k; k' Z7 _" o2 u/ p7 O K+ ?
proxy_pass http://192.168.10.38:3000;
0 y0 }# c, q8 C" n3 r }* [6 Y9 T" Z( V; }$ o9 K/ _4 w; N
access_log logs/xxx123.tk_access.log;5 ?: n1 ]6 \1 P2 r
}
# a# ]# V l) i. [' K# B5 a; Y
# F" J* q! m, i1 a7 Q3 Bserver
$ Q6 k2 }; o$ m{
U8 g, f0 F5 r, N+ e listen 80;
6 r B% c: n5 t" ^9 Q server_name xxx456.tk;; b1 t* s, m# o" x8 k# X
location / {; R0 P6 t6 H1 ~! U" J
proxy_redirect off;3 v& P- m4 M' G+ m% l! O, e. Q! M
proxy_set_header Host $host;
4 Y( R9 e% d- W9 Z" W* v3 N! {3 Z proxy_set_header X-Real-IP $remote_addr;1 Z6 Q! N2 U/ a8 A# ~
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
2 x, @7 w6 n* C/ Q+ |, \+ G2 i proxy_pass http://192.168.10.40:80;% v- P' e( @2 y! S& `& p
}3 X5 U1 f* k# u' m% O
access_log logs/xxx456.tk_access.log;& Y n* l2 ]4 i/ f0 [ B7 {
}/ f# `4 y: b0 K9 k
& \) G5 K N3 T: c( {1 y然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。5 o3 q/ C# f+ B/ C1 f% Y) D
% n% \6 \) ~0 {) U: m% i2 @upstream monitor_server {
* [; P) h9 o6 J5 O server 192.168.0.131:80;0 z- Y' ]. V4 ]. u
server 192.168.0.132:80;
8 A7 \; S9 u. g0 y8 i' j) p- E) V}3 |: J4 r- ~+ l) ?8 B7 g
8 y1 t% Q3 ?( h* nserver
* c: h$ i7 e, @1 n4 a$ j6 G6 m( e{* ?9 j+ R. t% `/ O" |; ~2 S
listen 80;- j1 g" E$ O, R6 R
server_name nagios.xxx123.tk;
5 X2 f" u+ T7 z location / {
: Q( K3 @& o* ]6 H: p- } proxy_redirect off;2 C$ v. z! l' o9 J' `1 u- h
proxy_set_header Host $host;. w! G* X+ n5 h! }! v
proxy_set_header X-Real-IP $remote_addr;
. \, T) X" g9 x/ I3 I8 ^" } proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
% c5 C; ~+ X: @* e0 l' v- }3 ~ proxy_pass http://monitor_server;
' b: Z6 ~* t, O/ Y4 K }! G6 c1 T& O' N; I8 p/ N0 k# ^) B
access_log logs/nagios.xxx123.tk_access.log;& R# l8 q& M+ Y
}
/ }4 t# ]1 ]$ h; T+ _. n$ f3 r( J
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
- {6 G0 b1 ?- h4 b
( ^& o: _9 C: M; t& e, Ilog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
3 w, F: `9 t$ i4 [% B'$status $body_bytes_sent "$http_referer" '% O D8 `6 U5 j% T9 p* l
'"$http_user_agent" $HTTP_X_Forwarded_For';
1 g, y4 c' \8 f ; X, S% n4 ~" r0 Q0 [
access_log logs/access.log access;
}9 W; S; Y9 {1 v+ G3 k( F- x$ g/ [1 N: Q
再看看原来日志的格式长什么样:
# d5 E! k: W4 `% W* d9 M0 B! X3 q
1
4 O! B# H" e" j2
0 ^$ @" C! {' E3 k. k: j3! x! y2 I. E& t: c% |0 _: `
4
9 b7 h) u* A) W& G' K+ H5* n9 Z+ A0 A2 f6 a. P6 q9 @
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '8 P6 e- G; a4 [, b0 B7 _
# '$status $body_bytes_sent "$http_referer" '1 z& v& K% v. u" K/ _5 l! Z5 c
# '"$http_user_agent" "$http_x_forwarded_for"';
# c1 {- Q2 ~0 b0 m! b' V. g
. U5 a& H- F( P9 B) r% }#access_log logs/access.log main;
# p+ o9 j7 d% ~; S看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查- \, i5 J% J6 i( [6 \( }
' q* }' B8 S3 y- a+ K* E1
' n" e% `- r# u# K- Z/ Q& V ?* k8 B2
. f/ Q; o8 T( @* a1 s: D3 o/ G37 R& ?9 { a C$ R
4
+ ^- G: l2 X+ P& p: n: N' }- @5
: G* h% C$ i& T64 R) [2 [1 `; _# e5 ]3 F/ z7 Q
73 c3 f8 @1 I* {( j2 D( u
8
- O; }$ R% p- z8 q, o& D. ]proxy_connect_timeout 300s;
V1 Q* H0 T! M0 ^! Rproxy_read_timeout 300s; j/ h; V/ U+ h5 y6 e* b
proxy_send_timeout 300s;0 k" _$ V& H9 S
proxy_buffer_size 64k;
) v. E6 G* R( ?0 U* T- a* ]" B1 sproxy_buffers 4 32k;' C7 `9 m& z. b3 B2 z
proxy_busy_buffers_size 64k;; T+ X( P! q. v- u
proxy_temp_file_write_size 64k;! x) x" e. p$ `
proxy_ignore_client_abort on;# X" h5 X8 `# w& u G: @* ~
报错日志: d/ I" [) G5 B4 u, F, S, k. ?
" `6 Z4 E6 V9 o7 i; j0 q$ x...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
# d' \" a) m0 M, f& N
8 k& _6 j( N7 S8 h0 b7 z- `PS:关于域名转发
: ]" ^7 F4 n1 I2 g4 Z: ^1 ~+ D6 ]3 ^! W% w7 @
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。# y3 x# @; t1 c. }* V% e
|
|