管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.042 Q% F9 i5 j2 X# F, \3 D
( ]3 e% Q1 X$ z9 h- ###更新仓库5 L Q! {, w, X
- 0 E. }6 d3 R# H6 [" d
- apt-get update -y& w0 _" q5 P3 p5 l
- apt-get install wget -y: R% L) g1 h1 Z6 X* T) c& n
- #下载nginx和相关软件包
复制代码 9 U2 n1 z: ~+ \
' {- x+ q; E7 S8 J- W4 b
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
7 ^( q2 u" o1 U6 H; ?* t: L
! r7 F: w/ M' R5 G3 o0 d- cd /usr/local/src$ u* J- g& f) I3 z% I& |1 ?- q
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
/ s* v# u2 f7 q% \- B; j; W6 G' l3 F - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
6 c: V1 C2 L; ]( s6 b, U - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
2 G1 ]# f x: O8 f3 K6 E - tar xf pcre-8.33.tar.gz, x2 R5 N' w- B0 l# v- m
- tar xf zlib-1.2.8.tar.gz
" ~- D( G: K. s2 d7 o - #安装编译环境! e5 \# X/ l& l& O1 g- b
复制代码 # Q1 w+ ~( b0 B7 t7 K
+ h3 D s X6 E! m apt-get install build-essential libtool -y
3 c5 z/ C! K1 B8 c2 {#创建nginx用户
% u8 \/ `+ h% }& T. {1 i
, S H. u4 }9 n' d8 l所谓的unprivileged user, b! a7 s; t: |4 L# [7 |
9 Z l$ ]( J1 G" z6 N! E- useradd -s /bin/false -r -M -d /nonexistent www
5 U+ F0 ]& T- w; e# ]# j - #开始编译安装; w& U9 @' u- a3 Z( K! a
+ f, V& d- w# H- X, T* y9 x- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \' G7 s5 | g" r7 p* J0 Y
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
9 j7 R1 N+ J& @5 v* ? - make
- _/ |" [' y, P7 P- v' h' @* I - make install6 t4 N2 Q7 n/ A, w( k
- #给文件夹授权
复制代码
3 V. n: ^+ g2 I% _/ L9 y8 f
5 I* g' w/ ~* Cchown -R www:www /usr/local/nginx7 F% N3 ?3 Z- {
#修改配置文件
4 }9 c5 u: L+ ]$ rvim nginx.conf& O% F5 x7 z, n; j1 G
1 h, ~) `# f2 p( Q
user www www;
. x' H" E' ]7 F, l1 V7 z4 F) C9 l1 sworker_processes 1;5 X9 T. |. p- N' ^0 G
error_log logs/error.log;) K( o( B5 C3 R/ k
pid logs/nginx.pid;( }. {% Q" w& i8 u7 f5 h
worker_rlimit_nofile 65535;; z' }& X2 D q: B5 S! q
events {
& H, F) {! ]: U* Z! `& M# _- N use epoll;: y& S' U* |. m+ r! ^# W* y3 u% `5 T
worker_connections 65535;
. S9 z0 S; d* T1 `2 Y9 u# A3 |}3 g: g7 o8 |7 J9 \1 q9 @0 |
http {1 ~2 o y. Q+ ~; Y% J
include mime.types;6 U f3 u* \8 A6 Q J
default_type application/octet-stream;3 p# D& o! o+ W& B: A( E- \
include /usr/local/nginx/conf/reverse-proxy.conf;
: d* R) q7 {$ v2 {% B; u% y+ v- g" q sendfile on;( c( p1 T. M3 D( n/ R! v5 p. g
keepalive_timeout 65;* w2 W- x! w: V
gzip on;- [9 |' a9 Q! H0 {1 I; R
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户, H3 o. z Q3 M5 j7 T
client_body_buffer_size 256k;4 e5 F$ R' k4 s5 o: o# J1 \, x8 g
client_header_timeout 3m;2 C2 m5 i' r, y0 y
client_body_timeout 3m;" I1 s0 _6 G. t/ u( q
send_timeout 3m;
) O1 x0 D+ p& R; j1 F) } proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)4 X( t/ \9 I( M; I2 Z5 Z& B/ j
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
' y. u# r( p; J+ x6 I proxy_send_timeout 300s;$ G! C! l1 p O$ [
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
9 d8 C' _) ~! J& l" u* q m proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置$ b4 f, _9 p% ]$ v+ s' v2 p# R: v
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)1 e1 ^' U6 B/ K) n1 `& Q
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘+ t8 W$ ]) a; V: {- ^/ F
proxy_ignore_client_abort on; #不允许代理端主动关闭连接1 }" Y% @1 A z3 U0 e7 K7 W8 i! j
server {" p( g1 \7 M- X8 ^2 Y* g
listen 80;1 l, l5 v6 y7 I: v1 i. c
server_name localhost;
! @9 L# C( h7 {- R3 c( ?& ~8 h" M3 I location / {2 T7 C* q" F9 [' \# q1 u9 m
root html;
2 ^$ F. [& d% b" T index index.html index.htm;9 i X) l# O6 a" A
}1 q2 {: z0 c' D7 T# v, D
error_page 500 502 503 504 /50x.html;& H6 p, m5 i4 f$ F/ i
location = /50x.html {
3 V) b3 i+ i4 O. Q. ?; m root html;7 J" ?, \% r- j; e' ], b
}
7 j$ C0 N( ^3 Y }, A/ m3 l8 r# ]3 j9 c3 N9 E/ I
}
9 L7 k3 }4 Y+ D& S7 E2 M( J
( W6 V( I! R" b6 c编辑反向代理服务器配置文件:% f9 h% E9 L9 n1 k
5 N, o) G |, G2 z
vim /usr/local/nginx/conf/reverse-proxy.conf" Y* _ E! O X: d& \5 G/ `
$ ?0 r7 e& v3 n# n% m) }
server9 H/ D) I/ @ R/ h. G2 k7 x
{$ y7 r$ X( d. T- L+ t# C) s
listen 80;
0 e% M4 s3 j e1 u+ R; n1 r" A } server_name xxx123.tk;
. f5 }) P8 s9 W0 v5 a/ H location / {6 T; @! T' @8 i" ~; R6 Q7 X; Z
proxy_redirect off;2 l0 i& x/ g* Y3 q" v2 v2 [% {
proxy_set_header Host $host;: A4 L5 C. y; S: b' Z) r0 q1 x
proxy_set_header X-Real-IP $remote_addr;+ v V0 \' w2 H' r" w& `3 I5 b. |
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;6 j6 i/ J. U! w% X% E
proxy_pass http://192.168.10.38:3000;# ]! C. y" { B
}
& e( q; G* ~- g, a; Z access_log logs/xxx123.tk_access.log;$ U G8 |7 C* e8 N9 r- t9 b
}- h9 U6 ~) r, s6 a6 G
% y% d |( m& V2 u* qserver. x9 \! I. R5 Y% i6 v2 o7 H
{; I9 I- b/ s5 G" O. X, j6 w$ M% s5 Y. |6 T) `
listen 80;
}2 |, ?0 ^% S( H! v+ x! a server_name xxx456.tk;
" J$ c8 i3 ~4 a) x0 W location / {
/ O* ^6 e9 }( |; l( ?/ A proxy_redirect off;
8 q9 d/ l7 Q5 a- ?4 M proxy_set_header Host $host;
- Y+ u" Q- ~1 ]# X proxy_set_header X-Real-IP $remote_addr;
: _5 @& _$ C1 N* \. _ proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;/ B9 ]: y3 R5 V2 Y4 X, C
proxy_pass http://192.168.10.40:80;/ p; [4 a# d) |* |0 x
}
# L$ d/ L9 K( r2 M; ` access_log logs/xxx456.tk_access.log;- ^5 e- b2 x4 t+ p3 q: t$ {
}9 f+ b' e. I: Q
* X! S3 W2 O5 ]$ g+ h% s5 H然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。3 D! o* \& [; k) n8 k4 D9 n$ a
1 C" V: d1 o' c0 m# {$ R% f$ Z
upstream monitor_server {3 {6 R4 ?7 h2 \' [1 M
server 192.168.0.131:80;+ Q, V# Q% Y1 m1 b7 e9 ?
server 192.168.0.132:80;
1 N, \, s# z; C}; ]( K9 C9 Q( v" Y" Q. H; G
5 V. T# g: {; f* R7 a3 @
server# T5 |- h! u' F8 X6 H
{
+ F8 y4 r6 _9 P/ m listen 80;# b) X# B7 [- U# J8 q
server_name nagios.xxx123.tk;8 y# K* z2 J7 X y* t) h
location / {
6 o' A8 V; C, { proxy_redirect off;$ H1 v l, x6 R3 I0 Q/ M* t$ a/ L
proxy_set_header Host $host;
9 t8 `( d+ Q& M7 K! D$ j8 \ proxy_set_header X-Real-IP $remote_addr;2 M3 H4 k. f" T4 Y! o
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; G) y' ?9 [7 U
proxy_pass http://monitor_server;
/ k( E3 c; z+ u. g. Z" T }
* g7 {- D/ { A3 |) O: {, g N access_log logs/nagios.xxx123.tk_access.log;: q( h( L, _# D4 @1 H9 }8 ?$ m
}
) ~1 @9 T8 F3 E$ S( L( W& x# w# L' z* w- w
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
) P! b- w/ K6 O
% ^* w/ u# r7 B0 Q0 r. Rlog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
4 N& e3 [; u' z, Z& t( g" G'$status $body_bytes_sent "$http_referer" '2 P& D; ?( B+ o
'"$http_user_agent" $HTTP_X_Forwarded_For';
2 j+ Z) K, X" O P( p6 z T % Y9 u, d) J1 G$ b
access_log logs/access.log access;; e+ U' t6 d, U2 Z) ]% t$ ~2 f
) `, P$ R9 ^/ u" N再看看原来日志的格式长什么样:3 K2 Z4 y; ~1 ^7 `9 {* `
( L( d* U: S3 u+ O. @6 j" k5 \
1# L, t& G' f7 k8 u o3 ]4 |* u
2
8 {+ Q7 Q) K8 Y8 ?3" _, w0 R5 S! E
4
n! s# e8 p7 P56 N4 _* @% K8 e( |( g
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '6 v' Y6 g* w& x3 Q- z0 |# ^- x
# '$status $body_bytes_sent "$http_referer" '$ G2 u2 b; v2 k0 e4 i+ O9 _( y0 x
# '"$http_user_agent" "$http_x_forwarded_for"';9 W9 I" X4 k- _8 z, N
- d* m6 t2 `/ a# \6 s6 D
#access_log logs/access.log main;/ B; g1 \" E1 ?( s1 y0 D
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查" b9 k d2 o+ S
9 J M( W# u5 h( a, X) Q1 I6 j* h! N13 y* s# U0 b3 t1 S" y
2
/ ]8 \2 _" A; n' N3 T3
( _; Y* L# F& O+ N9 J3 g! _0 w4 w# ^# G2 ~2 v7 H
5- a9 [5 r) l3 s
6
; c+ F; s7 y7 G* e7. |7 b1 O, \8 f! Z+ b, R, h3 ?
82 D9 c7 l: [! X& O
proxy_connect_timeout 300s;" ^8 S, C8 Y& Q( q
proxy_read_timeout 300s;# `. N9 a v! h8 F( p3 _& j+ U1 b
proxy_send_timeout 300s;
! Z( E5 y- W0 p8 Wproxy_buffer_size 64k;
: h# G. y3 V0 d& T: a2 Iproxy_buffers 4 32k;" s) {8 C! k; V, `) h @. ]. R9 [
proxy_busy_buffers_size 64k; a" C) ^7 q3 w* d+ G* \7 ^% K' M
proxy_temp_file_write_size 64k;* {# x6 T4 D) {
proxy_ignore_client_abort on;
5 C% N- i) {" v0 h0 {$ J报错日志:
; N4 N7 z, ?: B
3 O8 W) B# R% } _3 x...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。 S0 ^0 w" p+ y9 n& ~: _
7 i$ _/ W0 a% \PS:关于域名转发/ q8 X1 O" a: @3 }- P3 v3 m
6 f s. r1 m6 |5 q所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。/ H$ W/ z- z$ l' W# \2 q
|
|