管理员
   
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04. ]* Y8 o9 h* N& ^2 M
" F; Q% o: Z8 [/ l O+ r0 g. k
- ###更新仓库
+ _: d: c% j0 a5 x3 s - 9 e9 y$ F5 D. k9 x2 `4 v8 Z
- apt-get update -y9 E, j' l) Q; O/ ^5 I3 r
- apt-get install wget -y) Z K* e/ R6 d. v* W# q2 u' ~
- #下载nginx和相关软件包
复制代码
9 T2 z4 E, _, v3 F: F& S# r: t* h
( F. K0 `1 M! E# G, wpcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
4 |4 K: n" C* l; {2 x
& I# ~0 d& l2 q; {- K0 _% C- cd /usr/local/src9 |7 ~5 ~$ f7 h0 K" h6 Z3 `6 G
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>4 w: M$ r0 R$ O: [- X
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>2 ?6 d8 a/ q7 B. t) b- E
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
# A% o" R7 b; g3 B% w+ F# ^- D; j - tar xf pcre-8.33.tar.gz6 `/ v6 m, \ u6 O! l9 n. u+ Y
- tar xf zlib-1.2.8.tar.gz6 O, A$ F$ ] T5 s7 Y
- #安装编译环境
; @" A: w2 G, K8 N3 B
复制代码
: [) u, |; ? |# U: D: W
* {# u1 h5 `9 x& v9 v2 D$ v apt-get install build-essential libtool -y0 A* F0 T9 M8 B" `" V0 B$ T X5 N
#创建nginx用户
/ L$ @# q3 R* }* Y1 {8 d
2 `- G" r8 |( i6 { Z所谓的unprivileged user
1 E7 [" b0 i$ x; y' W m
! W3 W& I. _ ?1 X) Z5 n6 G8 a' E- useradd -s /bin/false -r -M -d /nonexistent www' h8 `/ h: v3 A$ l$ L9 X
- #开始编译安装$ z0 V5 w0 D5 D+ \1 q7 S
I2 H( S1 T+ G9 Q8 j- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
$ w/ o2 n8 ~. P+ ^ - --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module2 }! |" n2 }' c$ O7 {+ ^
- make
, D/ e* N5 t! {/ L/ u, Q - make install8 m1 m9 Y0 [8 [1 [) s2 d( t
- #给文件夹授权
复制代码 8 i) J) }& J3 z# ^( U6 |
D- U0 r$ G: z; s7 [chown -R www:www /usr/local/nginx7 U4 {* k% l8 x7 y: \) |. S
#修改配置文件2 |/ W( J" L% b+ g$ ]) ~
vim nginx.conf! c0 ~' m F( w- ~
& f! P: [: ^/ J5 I7 @5 a* N
user www www;, r' }! e, M0 [; x! N
worker_processes 1;+ s+ [4 w# o' X7 k! Z
error_log logs/error.log;3 d( ]/ J. d4 {9 d$ y1 q, I
pid logs/nginx.pid;& R* f4 J$ d8 M% B* w
worker_rlimit_nofile 65535;, W& e# y- R- G% J6 m
events {) @4 W" u8 \+ J+ M
use epoll;( l# [" h% K, u) y
worker_connections 65535;# r; y" _; G P: J- A8 L* W
}
( \5 B1 s% B: s) W, Whttp {
/ m1 i; o: ^, f0 Y9 s, W7 e8 y include mime.types;4 s8 S$ \2 x% d) J1 G
default_type application/octet-stream;: p& R7 T2 f/ }4 x+ z- f+ q
include /usr/local/nginx/conf/reverse-proxy.conf;8 } B% |7 f/ N5 M) W% Q
sendfile on;' j/ G3 [- V. j3 z7 C
keepalive_timeout 65;) R, M/ R/ F$ {. z3 m& [
gzip on;. Y3 r" Y- ?5 R# d
client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
; m7 t- l& C: Z: G% E7 k client_body_buffer_size 256k;
: l$ H) y. K1 ]5 [, A client_header_timeout 3m;
8 Y* X7 M* j& a1 v0 h client_body_timeout 3m;4 s8 m+ ^: T5 D0 ]2 p# ^6 S% B
send_timeout 3m;1 |/ g$ N. n; W6 D
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)& b6 ], c8 ~9 g8 _; c; x
proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)3 }. \! B, _: Q5 }' G- I/ K
proxy_send_timeout 300s;
% Q) i" y- n% z8 `) o' M7 ]+ l proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
: {" m1 D8 V( \* r& [; H# i7 D proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置% |/ Y5 U9 d5 N; K
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
" k4 I5 Z4 Q j6 m Z proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
/ |& c: w1 n$ t8 `( w7 M proxy_ignore_client_abort on; #不允许代理端主动关闭连接0 \ u3 ]( m- y& g
server {
6 V7 Z# {9 Y9 H) y7 G7 L" l. { listen 80;; x2 S' j5 F6 C: _
server_name localhost;
/ j, W4 n3 y+ H5 \ location / { I2 M3 W9 S8 t- j q, u
root html;
6 ^7 u6 @" Z& d' ~ index index.html index.htm;
9 }3 p% X! m; G* M1 T* z7 d }0 j" S6 b5 M0 u
error_page 500 502 503 504 /50x.html;
" e8 Y# C! n) i1 C% v/ F location = /50x.html {7 z9 p, N9 x+ ?- K$ j
root html;
) W; P; i& J5 T( \: h9 Y B' }# {0 P l }. b1 R7 u! z! O; }
}2 X3 |7 D: X; N& ?3 L
} |4 R* ]( F4 t' [1 y
# [/ Q( b6 H( y) X3 Z编辑反向代理服务器配置文件:
# j- G2 g/ E' ~# H
B3 n/ l Q: X- t% ]0 P0 k5 o" Z6 F; vvim /usr/local/nginx/conf/reverse-proxy.conf3 h) l4 c- r9 V5 G+ Z. G
l3 Y5 u$ E; l( ~server- p" P0 s0 ^) E; z6 W* F6 g
{
9 r3 J, R7 x" h5 ]; H8 E$ t3 ~ listen 80;1 d8 Q- J( J" k. z) \/ F+ `
server_name xxx123.tk;3 `- A# e! E1 K# F) A- m
location / {* z$ c1 C) L; @# @* S6 Z
proxy_redirect off;# R9 T: m2 o1 H, |3 y6 I+ z
proxy_set_header Host $host;
/ k( U" z9 A* h! X" |4 \& ~% R- z proxy_set_header X-Real-IP $remote_addr;2 b: _0 g2 ?$ c( V; {/ ?8 d
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
2 Z+ [$ r4 Q# |! P4 d5 u* h, R proxy_pass http://192.168.10.38:3000;
2 h( |, e! Y6 U8 \! y }6 b4 f5 V+ K6 M) i+ K& F- M
access_log logs/xxx123.tk_access.log;
* S8 W8 R# A, g6 s1 f) V6 O5 `}" R0 m% V- v8 n. J( c( |
: X! ]$ c. C' @% |( ~5 C
server9 i% T9 H7 i) F8 A' S) o
{
! s/ s4 E: W* U. T' j' M6 _ listen 80;6 G/ i0 T7 c8 W) K- f! {
server_name xxx456.tk;
# T, f. {; m# g& i7 C+ R1 | location / {
% Y4 G$ g: E8 o' j+ r proxy_redirect off;) |" r5 r0 d2 q3 R$ o$ f
proxy_set_header Host $host;
! ^; d5 T0 P' j4 h* [: i: k, c' A proxy_set_header X-Real-IP $remote_addr;
`7 A# S T' W proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
8 P0 \; o, \: W8 |# E* i proxy_pass http://192.168.10.40:80;
8 L# o; j7 B' u, x# I, B }
, g, i. V. |6 q% R- z, ^ access_log logs/xxx456.tk_access.log;
' \" D; f! X! ~$ X& c4 X}' M+ q; R- z6 y2 K6 H
, l( L, v% L2 Q$ v& i0 J6 @然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
- r6 G7 n1 K9 {" W
' ~0 q4 B' X5 q3 P2 T' Q: I. Z& |( j3 uupstream monitor_server {
( J5 x, t! T9 @9 I7 B/ L server 192.168.0.131:80;6 V% p& t! }& e: J( B# `
server 192.168.0.132:80;7 N! [) k0 y7 N1 ^+ p. S' C
}) x& t) q7 C2 p' W8 P
, f9 |; @/ S; ~1 O# ?% s
server
" z9 d+ Q2 j- O& L) \: F3 M% z( e{2 t1 |. R j; z8 s& A6 z
listen 80;
+ d+ j- E" {8 Q" g. w2 T2 _ server_name nagios.xxx123.tk;
8 A' A! I- }3 p8 h% H! ?$ g location / {" i; U# U0 Q; h7 C
proxy_redirect off;' D. D/ A1 ~5 C y8 M# E
proxy_set_header Host $host;
, p) {$ F+ X+ G$ s proxy_set_header X-Real-IP $remote_addr;
' k) E7 t) E2 q$ x9 f& p7 c proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 1 Z9 E" p/ D. Z. `9 ]' U
proxy_pass http://monitor_server;9 |6 c; O/ f4 T( d% ]
}5 I6 m5 v( s `/ I6 H# H* C
access_log logs/nagios.xxx123.tk_access.log;
8 }: ?1 w$ Q( C+ k; e$ H$ A4 Y}
- w) w& a' b0 E) x! } r
6 Z' ~* Z* c: l! N; H4 J额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
. R' v6 H- ^8 S$ E
* I' z& x7 K, Ilog_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
) T1 Y! Q/ T: t' ~! o. _- G'$status $body_bytes_sent "$http_referer" '2 a$ B3 I8 l- Z I
'"$http_user_agent" $HTTP_X_Forwarded_For';2 h+ l$ B- C: p& o; D3 c, Z
0 h, g! U( W: D* A5 S
access_log logs/access.log access;
% b! H4 O- w2 Y) X* q9 G' G7 X- j9 i5 y5 |7 N* y8 T6 R
再看看原来日志的格式长什么样:3 L S8 h* m+ J7 E! w" J
: k+ x1 [- d" C- P8 }: J2 n1
3 A7 U4 j4 l( u) Z2 X1 C b+ o2
& Y) R+ w3 E- m: |7 ^6 u39 p- m' f1 @6 h0 Y4 y
4
& R+ v$ ?2 M2 k4 A9 A I- q, M5 _52 u: {, n [$ O, Y/ z; g% b
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '$ ~9 w. X' g( O6 t
# '$status $body_bytes_sent "$http_referer" '$ _ H! U* K1 L5 u
# '"$http_user_agent" "$http_x_forwarded_for"';
1 F( v1 B6 O6 W. r
* P5 ]4 S; a" T! S! x; \2 b#access_log logs/access.log main;! \) l; H: u0 G0 [
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查. ?- J0 z. |$ e& `. p
7 g8 g# W) b) P, J% g1
6 | s2 r4 {" n23 Q! n, u: T# D/ d3 w
3% @: y5 x) g! f# `
4! k3 O/ [5 P4 w6 A: |& d
5" l. u9 U" I, ? L) A0 x8 [
64 v4 Z9 f. h- Z
74 p* R* a; s0 e2 _; e6 B+ d
86 _, R+ g. x1 P8 e9 N$ y6 t
proxy_connect_timeout 300s;
) o, k2 Q0 ^9 o# S% a% yproxy_read_timeout 300s;9 q; v. v! g( j) }5 T4 ]/ |9 m
proxy_send_timeout 300s;
8 ~& i, k! Q/ S; D* ?' Jproxy_buffer_size 64k;
. E+ o: |$ \8 ^: p- C6 N# a0 s0 fproxy_buffers 4 32k;
$ A% B8 `* q, _proxy_busy_buffers_size 64k;
+ |' P9 |; i; a7 C5 Rproxy_temp_file_write_size 64k;
x# m, H# B; n9 N& L' B. k5 zproxy_ignore_client_abort on;
- |8 H5 H% m0 ?5 P6 p9 X报错日志:5 L5 r7 C1 b a5 p- a
# d* i3 F4 T* X7 s...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。' A/ N: z; O* L& k/ w8 h1 F
0 q- J3 E! i) tPS:关于域名转发( ?& y% t8 D {0 n7 j# y
5 P% Q$ F/ l) O# J" l所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。$ }0 F6 `! W% ~1 J1 E
|
|