管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04
- `+ G, B( Z+ M8 g+ s7 ~8 T$ H2 S- X8 A. L
- ###更新仓库" H2 A2 @! T& Z8 L- P7 U2 D; ]
6 Y* S: {$ J" z8 |- apt-get update -y' ?5 Q- ?- C, ^2 F& ]2 t$ B' D" m% I
- apt-get install wget -y
' F0 I- n! W3 l - #下载nginx和相关软件包
复制代码
) [- \$ ]2 F# Z2 i# D) s
+ P: U3 }0 E+ z3 ]1 b* Zpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。! E( e% [ w+ C
, H. s% M. `5 t6 F. l @8 o
- cd /usr/local/src
$ v7 x/ w- z" } - wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
5 W6 S1 d; Z5 e( T( d( x - wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
! ?) p% {9 v) z- s5 _- n$ \ - wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
1 l) U# `* x" `) i- U - tar xf pcre-8.33.tar.gz" S8 H" @& A) {% E
- tar xf zlib-1.2.8.tar.gz' }% U2 v' B& i, c7 r
- #安装编译环境$ I8 h9 l; ?+ X) U: N
复制代码
6 M6 P- n8 D/ U5 v& z, R1 R$ k 1 |1 T$ [& h4 g) w4 F, `" P
apt-get install build-essential libtool -y5 q8 U" J/ B3 M" D: L4 G! [
#创建nginx用户( t$ U6 L' ? b+ {* i
- b2 l" m& |2 ?' A- j/ w+ t+ O所谓的unprivileged user/ O' F m, L, ?0 I1 z( f6 W2 h
; L8 k7 e) `- m1 N Z2 E$ ^
- useradd -s /bin/false -r -M -d /nonexistent www
6 U$ X- L' l; Q# g! F2 ~: ` - #开始编译安装& j% p9 R# H; l% u; s3 Y6 f
- 5 O: v: ]8 V( V ?1 A, d7 r
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \$ |; l5 m# G3 f7 `
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
7 b) u) Q7 p3 D4 X - make
* e& j' f8 g5 n& l' A& _# B9 T6 I - make install7 I6 {+ t, j5 K* h) q' m' ~# b: t
- #给文件夹授权
复制代码
: r- B1 Z' ^" d* i
( q: E( K" G3 j2 z; q- Tchown -R www:www /usr/local/nginx$ K. C" m- b; n" F8 F# v$ p! {3 {1 C
#修改配置文件
" A8 Y7 R5 \ |7 d0 r" W0 Fvim nginx.conf
# f% ?& P$ x) j" R# F
3 U& Z( d6 q) k6 e. A Tuser www www;
$ R7 N' n2 @1 n. _8 wworker_processes 1;
# t) m( |3 [8 J3 H Derror_log logs/error.log;" X3 U; E6 y4 O3 S8 B; [
pid logs/nginx.pid;
3 ]8 c( Y" Z) }8 ?8 L$ {+ l$ Y+ iworker_rlimit_nofile 65535;
! h* x, ^0 @5 t' s2 T6 ~events {7 \7 c: r3 H# R, S
use epoll;3 E! c7 z3 _# v' u
worker_connections 65535;5 [8 v& }) j& I1 W! i
}
" A4 K, K h1 t+ Z5 Q5 Jhttp {
( ~# Y7 ]- J5 C- P, g5 Y) k$ C include mime.types;
/ }6 s9 ^; n6 G3 D8 j Z default_type application/octet-stream;
, b8 ]$ U+ |- j% c include /usr/local/nginx/conf/reverse-proxy.conf;" `$ f9 a c& t" b! P% q' A
sendfile on;. W k ^% |, {% h/ ?/ s
keepalive_timeout 65;
% ?) K1 n6 R1 w. V u! f2 `. N gzip on;) I' g# Z. U8 [$ x
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户0 j; c/ H/ G$ E7 p
client_body_buffer_size 256k;
0 a( Z1 V! g, g6 j client_header_timeout 3m;- ]) Y/ I( M; ?, `8 b
client_body_timeout 3m;
( F: ^- b9 }9 A5 S2 i/ h9 b- u send_timeout 3m;
( M8 I" o$ G- L8 B% z; J, ` proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
, X8 N& [; a5 ]$ t proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)
$ }2 ]5 N' {$ p' P7 h3 t; s$ | proxy_send_timeout 300s;
3 N1 |& f2 y, r proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小# U0 [+ t) b) r; D5 _; F
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
% Y( |1 o" F1 |9 s& K2 F proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
5 M+ w* k) T3 d7 F- n3 J proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
8 N: `$ t8 Q1 ?& {0 Y proxy_ignore_client_abort on; #不允许代理端主动关闭连接4 [: V+ L4 ~1 r% r" B
server {" ]8 r6 O1 A% C u
listen 80;
7 K' X$ T- @# K2 p* P+ V server_name localhost;# ]) h3 m& v# X. P z/ x
location / {
; U% o# J6 [2 l root html;5 t" p% I8 L# Y" L4 t' E
index index.html index.htm;6 ~6 {: q+ ?8 F
}2 U, A9 r& W1 ^/ I/ s
error_page 500 502 503 504 /50x.html;8 Y n1 S: W: j1 f+ |! w
location = /50x.html {: t- d8 D0 o0 A6 W; i9 n, g5 @
root html; I% M5 ^3 g/ h
}
% p: j7 s) m3 F" a% h }6 N" L) m' F3 @ J/ [- L
}& K5 @7 F' V! L( X
/ J4 O& V4 v: B$ G# U( t编辑反向代理服务器配置文件:, k# g% E: }/ s4 A% Q
2 v1 G. n" C4 n' [9 Nvim /usr/local/nginx/conf/reverse-proxy.conf6 g" h4 B3 f. U5 X, n
) @" L" E5 H# g, T! j1 y( s3 aserver
* r9 r/ j" Q2 X3 `5 S& d! d3 n{
$ [$ J6 ~7 h3 O, o% p listen 80;
9 H1 p0 I0 S" |1 M server_name xxx123.tk;
/ J2 p, K( _. _0 l/ a location / {+ J1 k& Y# T9 Z0 |6 z
proxy_redirect off;
9 X4 s, ~6 g' e proxy_set_header Host $host;
3 H" |0 \1 h% z! d. j6 b, y proxy_set_header X-Real-IP $remote_addr;. y$ N& X* W9 z* l
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;# L5 m+ ^& H) n7 S: ~, Z
proxy_pass http://192.168.10.38:3000;
9 e l; \1 q1 ]) G# ~ }" Y! f# @; ~$ h5 V' P6 l7 ?
access_log logs/xxx123.tk_access.log;6 {, E) Z$ Z" N8 s# E7 m3 e
}
2 D, \$ {6 t% y- ^; c( C
/ U! G/ S1 U" C; Userver, V& ?, W( B* I, o1 T& q
{$ g q4 j) u n6 X6 n2 e
listen 80;2 R( _* i/ L8 ~! s% O6 Q5 R/ x5 z
server_name xxx456.tk;5 C. g3 y: L7 e) V1 T2 `
location / {
* _ b( u8 K1 s3 {: V5 ~ proxy_redirect off;
* Z* M8 q- A/ A3 Q4 p9 @6 f proxy_set_header Host $host;9 r% x( W, }4 }2 f6 P
proxy_set_header X-Real-IP $remote_addr;1 Z4 Q I) D- z1 E. X' V
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
% m$ z8 D; M9 g proxy_pass http://192.168.10.40:80;
6 R+ Y" o2 l" ]' P: G5 z6 b }3 r* [ `! Y, ]# \! d
access_log logs/xxx456.tk_access.log;4 m1 H! U" p* @- @% m: j6 [
}: F- w" U* c/ p9 T w' H2 L! `
$ U+ @2 i* _. h: R然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
. D" e# d6 l8 P6 P; ?' }1 G3 w6 D" b r9 ^ L h
upstream monitor_server {' d1 s C9 A: V" m
server 192.168.0.131:80;
/ Z2 S+ j X1 | server 192.168.0.132:80;1 T) e! t- K* o m) w( s1 ~2 g+ e
}
0 Z: K' S: ?3 w5 W( J# Y/ }: b
1 } c: F: ? o9 n" ?/ }server
9 j2 W0 v+ O% U3 g( R" p0 [ J{+ X- r& `" H# ^3 a3 M( ?
listen 80;
) z- H2 p' v" e$ F8 d0 J+ \, e server_name nagios.xxx123.tk;
n1 Y" |6 K! {$ G& {6 y location / {9 @8 y- l9 P( \% A
proxy_redirect off;2 u3 ~. r0 i0 ]/ X) E& U
proxy_set_header Host $host;. e: h% B' v9 u
proxy_set_header X-Real-IP $remote_addr;2 C9 j- t" X: ^7 i- T
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # S, P& |, v2 W7 t0 V/ x' d
proxy_pass http://monitor_server;8 J- t: ]- |6 x8 |/ ]
}
# h y" `; S, L5 N% n0 ]7 @ access_log logs/nagios.xxx123.tk_access.log;* F1 h/ F& q* u2 z* O1 t
}
# \* i' o# c" C3 p- X/ n6 `7 T
* k' }8 v1 B. M. [8 ]额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:! y2 x+ u8 o% h+ x
5 {/ V: W# O/ j6 I* K& T
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '8 {0 |1 J& G8 C. X7 G- |
'$status $body_bytes_sent "$http_referer" '
& k# M5 ^ s" C/ R. Z6 c'"$http_user_agent" $HTTP_X_Forwarded_For';8 M3 Q- d; D A8 W
# ?6 X8 ~ q' x7 @
access_log logs/access.log access;. P) A7 I, u+ s n. r4 ]
8 P. z2 N6 N# U5 Q
再看看原来日志的格式长什么样:
( U" Z O' \6 a9 b1 j! C% M: b; H9 G
1
% k. F" h; ]7 B' L2 {9 \5 \2 ^8 S9 v. c M+ v
3' ?5 Y4 {/ I1 [" N8 e. j; n. n
44 a9 T, q, x1 L& j+ B5 \
51 W$ x) ^6 t7 r8 i
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
& B B: v$ j8 L- Y/ q# '$status $body_bytes_sent "$http_referer" '0 S' F: U% U S* r6 H1 f% s* S
# '"$http_user_agent" "$http_x_forwarded_for"';
$ P) \9 `$ M# j1 B. D8 F
7 [, ~) W: m1 g#access_log logs/access.log main;
- ]( N6 v3 r9 q. }& h2 Z1 K8 d5 F看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查- o, n8 n6 W8 J/ t& g3 E4 f/ d
# [3 X7 \! ^! I1 `( O* K
1! L/ j/ i3 X! n4 K! h+ U; s
27 l1 i4 H) A( x# r& [4 w
37 _! {7 }2 ~9 W, _3 \3 P
4% A" ]+ N% D& {4 v9 O
5
5 B* K! H4 [8 M- V6 I1 Y! o6 b' ^6
- H6 H o) C% q7- D7 d& n/ f+ n' O
8, x7 }/ J9 ^: U- v4 _
proxy_connect_timeout 300s;0 ~7 _( W2 p$ J
proxy_read_timeout 300s;* k Q6 t( Z% \3 M( S
proxy_send_timeout 300s;4 x- j3 [- K5 |) \) r& r8 V
proxy_buffer_size 64k;4 U# q3 T C# y' o3 [
proxy_buffers 4 32k;# m9 f& W3 T' c+ v; ?, i3 Y& c2 U
proxy_busy_buffers_size 64k;& l1 l) T6 X! X4 Q
proxy_temp_file_write_size 64k;" y) N) J1 x, F$ E8 X
proxy_ignore_client_abort on;
6 y( a T1 h/ ~9 V+ _报错日志:
, t; |) J' _9 G) y* i+ {5 V5 o/ I! U2 Q g9 j4 k4 W; l2 O+ p+ H
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。4 [ @+ F( y( `0 J0 J+ o% W6 g
' S% H( E/ q. O" rPS:关于域名转发. T8 t& L3 g- I: S+ x& @4 X
! l6 S4 s+ _( T所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。! m8 ~8 }1 J# C) B7 [! s
|
|