commit 34cf39dfe38b6b8c0343c19ae1b69ff3af811a15 Author: douboer Date: Wed Sep 30 15:05:17 2026 +0800 first commit diff --git a/.DS_Store b/.DS_Store new file mode 100644 index 0000000..7d6dee2 Binary files /dev/null and b/.DS_Store differ diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..7e64ceb --- /dev/null +++ b/.gitignore @@ -0,0 +1,33 @@ +# Build and Release Folders +bin-debug/ +bin-release/ +[Oo]bj/ +[Bb]in/ + +# Other files and folders +.settings/ + +.obsidian/ +node_modules/ +public/ + +# Executables +*.swf +*.air +*.ipa +*.apk + +# Project files, i.e. `.project`, `.actionScriptProperties` and `.flexProperties` +# should NOT be excluded as they contain compiler settings and other important +# information for Eclipse / Flash Builder. + +*.mov + +# Offices & docs (tracked via cloud storage, not git) +*.pdf +*.ppt +*.pptx +*.doc +*.docx +*.xls +*.xlsx diff --git a/.temp/devops-backup-20260930 b/.temp/devops-backup-20260930 new file mode 160000 index 0000000..3472478 --- /dev/null +++ b/.temp/devops-backup-20260930 @@ -0,0 +1 @@ +Subproject commit 3472478590a9fc6c529a633417fca1e8061a33c1 diff --git a/.vimrc b/.vimrc new file mode 100644 index 0000000..6a6a351 --- /dev/null +++ b/.vimrc @@ -0,0 +1,279 @@ +"============================================================================= +" FileName: _vimrc +" Desc: _vimrc/_gvimrc for windows +" Author: Chen Gan +" Email: gavin.chan.hz@gmail.com +" HomePage: xxxx.xxx.net/gavin +" Version: 0.0.1 +" LastChange: 2014-01-17 09:07:16 +" History: +" add VAM (vim addon management) - 2014/1/11 " +"============================================================================= + +" +" echo "loading _vimrc ... " +" + +source $VIMRUNTIME/vimrc_example.vim +source $VIMRUNTIME/mswin.vim +behave mswin +"colorscheme zellner +colorscheme desert + +" +" ÖÐÎıàÂë +" ͬʱ֧³ÖGBKºÍUTF-8±àÂë +" +set fileencodings=ucs-bom,utf-8,cp936 +set fileencoding=utf-8 +"set encoding=cp936 +set encoding=utf-8 + +" +" font of display +" +set guifont=Lucida_Console:h15:cANSI + +" +" +" Æô¶¯×î´ó»¯ +" +winsize 1024 768 +"au GUIEnter * simalt ~x +"colorscheme desert + +" +"×Զ¯Ëõ½ø +" +set autoindent + +" +"Ðмä¾à +" +set linespace=2 + +" +"ÉèÖÃtabÖƱí·ûΪ4¸ö¿ոñ +" +set ts=2 +set expandtab +set shiftwidth=2 +set cinoptions=>4,e0,n0,f0,{0,}0,^0,:s,=s,l0,gs,hs,ps,ts,+s,c3,C0,(2s,us,U0,w0,m0,j0,)20,*30 + +" +"set cindent +" +if has("autocmd") + autocmd FileType html,jsp,js,xml set ts=2 + autocmd FileType html,jsp,js,xml set et + autocmd FileType html,jsp,js,xml set shiftwidth=2 + autocmd FileType html,jsp,js,xml set cinoptions=>2,e0,n0,f0,{0,}0,^0,:s,=s,l0,gs,hs,ps,ts,+s,c3,C0,(2s,us,U0,w0,m0,j0,)20,*30 +endif + +" show filetypes in menu +"let do_syntax_sel_menu = 1 | runtime! synmenu.vim | aunmenu &Syntax.&Show\ filetypes\ in\ menu + +" +" set syntax type +" +syntax on +"if &filetype != 'javacc' +" setlocal filetype=javacc +"endif +"set syntax=javacc +"cal SetSyn("cpp") +"cal SetSyn("vb") +"cal SetSyn("perl") +"cal SetSyn("awk") + +" +" write backup file (*~) to c:\tmp +" +"set nobackup +set undodir=~/tmp +set backupdir=~/tmp +set backup +setlocal noswapfile +" +" no beeps & no visible bell +" +set vb t_vb= + +" +" show line number +" +set number + +" +"hide toolbar +"see :help 'guioptions' +" +set guioptions-=T +"set guioptions-=m + +set statusline=%F%m%r%h%w\ [FORMAT=%{&ff}]\ [TYPE=%Y]\ [ASCII=\%03.3b]\ [HEX=\%02.2B]\ [POS=%04l,%04v][%p%%]\ [LEN=%L] +set laststatus=2 " always show the status line + +"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""" +"³ýÁËѡÏî textwidth Í⣬ѡÏî formatoptions ȷ¶¨Á˸úÎı¾¸ñʽ»¯ÓйصĻù±¾ѡÏ³£ÓõÄÊýֵÓУº +" * t£º¸ù¾Ý textwidth ×Զ¯ÕÛÐУ» +" * c£ºÔڣ¨³ÌÐòԴ´úÂëÖеģ©עÊÍÖÐ×Զ¯ÕÛÐУ¬²åÈëºÏÊʵÄעÊÍÆðʼ×ַû£» +" * r£º²åÈëģʽÏÂÔÚעÊÍÖмüÈë»سµʱ£¬²åÈëºÏÊʵÄעÊÍÆðʼ×ַû£» +" * q£ºÔÊÐíʹÓá°gq¡±ÃüÁî¶ÔעÊͽøÐиñʽ»¯£» +" * n£ºʶ±ð±àºÅÁбí£¬±àºÅÐеÄÏÂһÐеÄËõ½øÓÉÊý×ֺóµĿհ׾ö¶¨£¨Ó롰2¡±³åͻ£¬ÐèҪ¡°autoindent¡±£©£» +" * 2£ºʹÓÃһ¶εĵڶþÐеÄËõ½øÀ´¸ñʽ»¯Îı¾£» +" * l£ºÔڵ±ǰÐ㤶ȳ¬¹ý textwidth ʱ£¬²»×Զ¯ÖØÐ¸ñʽ»¯£» +" * m£ºÔڶà×ֽÚ×ַû´¦¿ÉÒÔÕÛÐУ¬¶ÔÖÐÎÄÌرðÓÐЧ£¨·ñÔòֻÔڿհ××ַû´¦ÕÛÐУ©£» +" * M£ºÔÚƴ½ÓÁ½ÐÐʱ£¨ÖØÐ¸ñʽ»¯£¬»òÕßÊÇÊֹ¤ʹÓá°J¡±ÃüÁ£¬Èç¹ûǰһÐеĽáβ»òºóһÐеĿªͷÊǶà×ֽÚ×ַû£¬Ô򲻲åÈë¿ո񣬷dz£ÊʺÏÖÐÎÄ +"Vim ÖÐ formatoptions µÄȱʡֵÊǡ°tcq¡±£¬һ°ãÎһáÔÚ .vimrc ÎļþÖмÓÈëһÐС°set formatoptions+=mM¡± +"À´ȷ±£ Vim ÄÜÔÚÖÐÎÄ×ַû֮¼äÕÛÐжø²»ҪÇó¿ոñµĴæÔڣ¬²¢ÇÒÔڴ󲿷ÖÇé¿öÏ¿ÉÒÔÕýȷµش¦ÀíÖÐÎÄÖØÐ¸ñʽ»¯¡£ +" +" +"»سµ×Զ¯Ìí¼ÓעÊͷûÎÊÌâ +" vimhome/ftpplugin/java.vim & javascript.vim +" "Set 'formatoptions' to break comment lines but not other lines, +" "and insert the comment leader when hitting or using "o". +" Ð޸ÄÒÔÏÂÕâ¾ä +" "setlocal formatoptions-=t formatoptions+=croql +"set formatoptions=tq +" +"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""" + +map gt +map gT +map gt + +"perl settings +" for perl debugging +map :w:!perl -wd "%" +" for perl syntax checking (autosave first) +map :w:!perl -wc "%" +" to run by perl (autosave first) "",'' are both ok +map :w:!perl "%" + +set complete-=i + +" ½ûÓÃ×Զ¯עÊÍ +autocmd FileType * setlocal formatoptions-=c formatoptions-=r formatoptions-=o + +"¿ªʼʹÓÃVundleµıØÐëÅäÖà +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +set nocompatible +filetype off +set rtp+=~/.vim/bundle/vundle/ +call vundle#rc() + +"ʹÓÃVundleÀ´¹ÜÀíVundle +"dos install command : vi +BundleInstall +qall +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +Bundle 'gmarik/vundle' +"PowerLine²å¼þ ״̬À¸Ôöǿչʾ +Bundle 'L9' +"Bundle 'Lokaltog/vim-powerline' +"Bundle 'mattn/emmet-vim' +"Bundle 'vim-scripts/AuthorInfo' +"Bundle 'Shougo/neocomplcache' +"Bundle 'FuzzyFinder' +"Bundle 'edsono/vim-matchit' +"Bundle 'The-NERD-tree' +"Bundle 'The-NERD-Commenter' +"Ag searcher +"Bundle 'rking/ag.vim' +"Bundle 'scrooloose/syntastic' +"Bundle 'TeTrIs.vim' +"Bundle 'vim-scripts/calendar.vim--Matsumoto' +"Bundle 'mbriggs/mark.vim' +"Bundle 'skammer/vim-css-color' +"Bundle 'vim-scripts/css3-mod' +Bundle 'ybian/smartim' + +"VundleÅäÖñØÐë ¿ªÆô²å¼þ +filetype plugin indent on + +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +let g:smartim_default = 'com.apple.keylayout.US' +let g:smartim_disable = 1 + +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"Bundle config +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +" Vim-powerline config +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"vimÓÐһ¸ö״̬À¸ ¼ÓÉÏpowlineÔòÓÐÁ½¸ö״̬À¸ +set laststatus=2 +set t_Co=256 +let g:Powline_symbols='fancy' + +"emmet-vim config +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +let g:user_emmet_expandabbr_key='' +"let g:user_emmet_expandabbr_key='e' +let g:user_emmet_complete_tag=1 +let g:user_emmet_next_key='' +let g:user_emmet_prev_key='' + +"authorinfo +let g:vimrc_author='Chen Gan' +let g:vimrc_email='gavin.chan.hz@gmail.com' +let g:vimrc_homepage='xxxx.xxx.net/gavin' +"??? error - E492 +"ͨ¹ýbundle°²װºúó£¬Ð޸ÄC:\Users\gavin\.vim\bundle\AuthorInfoÎļþÃûftpplugin Ϊplugin£¬solved +nmap :AuthorInfoDetect + +"neocomplcache config +let g:neocomplcache_enable_at_startup = 1 +let g:neocomplcache_force_overwrite_completefunc = 1 +let g:neocomplcache_enable_ignore_case=1 +" set the max list in the popup menu. increase the speed +let g:neocomplcache_max_list=20 +inoremap pumvisible() ? "\" : "\" + +"NERDTree +let NERDChristmasTree=1 +let NERDTreeAutoCenter=1 +let NERDTreeMouseMode=2 +let NERDTreeShowBookmarks=1 +let NERDTreeShowFiles=1 +let NERDTreeShowHidden=0 +let NERDTreeShowLineNumbers=1 +let NERDTreeWinPos='left' +let NERDTreeWinSize=40 +let NERDTreeIgnore=['\.vim$', '\~$', '\.o$', '\.d$', '\.a$'] +let mapleader="," +"ÊäÈë,n»òÕ߰´F9ʱ´ò¿ª/¹رÕNERDTree +nnoremap n :NERDTreeToggle +nmap :NERDTreeToggle + +"calendar-vim +"hotkey cal,ˮƽ·½Ïò£ºcaL +let g:calendar_diary = "E:/gavin/note" "ÉèÖÃÈռǵĴ洢·¾¶ +let g:calendar_monday = 1 "ÒÔÐÇÆÚһΪ¿ªʼ +let g:calendar_focus_today = 1 "¹â±êÔڵ±ÌìµÄÈÕÆÚÉÏ +"let g:calendar_mark = 'left-fit' "¿ÉÒÔÈÃ*ºÍÊý×ֿɿ¿½ü +let g:calendar_mark = 'right' "ÉÏÃæÉèÖúóÔÚ×òÌìдÈÕ־£¬Ð޸ijÉrightÕý³£ +"let g:calendar_mruler = 'һÔÂ,¶þÔÂ,ÈýÔÂ,ËÄÔÂ,ÎåÔÂ,ÁùÔÂ,ÆßÔÂ,°ËÔÂ,¾ÅÔÂ,ʮÔÂ,ʮһÔÂ,ʮ¶þÔÂ' " ÖÐÎģ¬¿É×ÔÐÐÐ޸Ä +"let g:calendar_wruler = 'ÈÕ һ ¶þ Èý ËÄ Îå Áù' +"let g:calendar_navi_label = 'Íùǰ,½ñÈÕ,Íùºó' +let g:calendar_datetime = 'statusline' " can set 'title', 'statusline', '' for this option. + +"mark +"hotkey m -- mark +" mc -- clear mark +nmap mc MarkClear + +"syntastic +let g:syntastic_check_on_open=1 +"let g:syntastic_phpcs_conf='--tab-width=4 --standard=CodeIgniter' +"let makeprg='php -l -d error_reporting=E_ALL -d display_errors=1' + +" css3_mod +let g:css_default_sync=1 + +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" +"""""""""""""""""""""""""""""""""""""""""""""""""""""" + diff --git a/20200811会议纪要.md b/20200811会议纪要.md new file mode 100644 index 0000000..81cec48 --- /dev/null +++ b/20200811会议纪要.md @@ -0,0 +1,33 @@ + +关于天翼看家运维工作优化的会议 + +为进一步理顺天翼看家维护流程,落实解决业务开展过程中碰到的问题,2020年8月11日上午,省公司召开天翼看家运维工作协调会,王淑春副总经理出席会议并提出指示,科创部总经理沈毅纲主持会议,会议主要就资源申请及网信安、支撑维护流程、CT云资源三方面存在的问题及优化方案做了汇报,与会部门讨论了解决方案和后续推进要求。现将会议关键事项纪要如下: +一、针对云资源申请中存在的操作系统部署较慢问题,请网发部牵头推进集成公司优化部署效率,并在后续探索采用自动化从软件仓库拉取操作系统的部署手段。 +二、为提升安扫阶段中的人工渗透效率,安全管理部提出落实订单式人工渗透需求,SOC确保在24小时内完成人工渗透工作。 +三、会议明确,为避免重复扫描工作,11个边缘节点平台软件同一版本只做一次扫描,通过安全扫描后,其他节点同一版本视同通过,,研发分公司承诺同步修复所有节点中扫描出现的问题。另研发分公司与SOC明确接口人,以邮件方式同步软件版本信息。 +四、为统一维护入口,便于闭关管理,会议明确,把天翼看家业务纳入10000号受理。在当前平台和资源问题占比较高及设备量不大的情况下,10000号预处理后,省运维团队(?)第一界面接应报障,QQ群等即时通讯工具辅助手段暂时保留。平稳运行并上量后,再考虑优化流程,第一接单单位下沉到分公司。请10000号与企信部协同落地,并测试穿越流程。 +五、会议讨论了CT云资源存在的监控、管理、资源隔离及资源发放手段不足等问题。会议明确,请网发部组织集成公司相关领导加强集成公司在浙江的人员投入,并协商对策,针对此类尽快提出解决方案。同时,研发分公司与NOC开展双向监控,研发分公司可以把高等级服务监控告警对接智能网关派单。 + +出席: +记录: + + +为推进 2018 年网络安全重点工作,2018 年 3 月 19 日在元 +华 5020 会议室,网络运营事业部牵头组织了 2018 年网络安全 +重点工作协调会,参加会议的有市场部、政企客户事业部、企 +业信息化事业部、各运营中心、省传输局、浙江省公众信息产 +业有限公司、浙江公众数据通信有限公司的网络安全责任人。 +会上网络运营事业部宣贯了 2018 年工信部和集团的考核要求。 +与会代表就 18 年网络安全重点工作进行了讨论,明确了各相关 +单位网络安全联络员名单,同时对网络安全事件快速处臵流程 +优化达成一致意见。现将会议内容纪要如下: + +为进一步推进和落实公司合规管理要求,针对目前存在未 +完成合同签订但实际已发生的经济业务、且业务部门需要发起 +支付报账的情况,企业发展(法律)部、审计部、财务部及财 +务共享服务中心进行了专题讨论,对以下事项进行了明确: + + + + + diff --git a/20210903work.md b/20210903work.md new file mode 100644 index 0000000..1ee722a --- /dev/null +++ b/20210903work.md @@ -0,0 +1,35 @@ + +# 保障部 + +## 支撑&重保 + +### 支撑 +- 云宽监控纳入,监控项全面覆盖 +- 支撑文档,尤其是云宽项目支撑文档需丰富,FAQ +- 云宽10000号对接工作情况跟进 +- 人员能力提升持续推进 + +### 重保 +- 统一入口 +- 重保安排 + - 明确保障等级,保障范畴 + - 一级,可用性保障,小型、关注度不高、影响面不大,如支局营销 + - 二级,行业会议等,故障可能造成普通客户负面评价,如某阿里造物节 + - 三级,有重大影响的大型保障,故障可能造成政府部门的负面评价,或较大舆情压力,如G20,互联网大会,金砖 + - 保障方案,二级及以上需提供保障方案 + - 值班安排 + - 保障团队:监控、现场、远程、运维、研发 + - 技术方案(如需,比如特通等特殊需求) + - 监控 + - 运维&应急 + - 安全 + - 保障制度 + - 值班制度 + - 封网要求 + - 外部对接(如云资源) + - 应急 + - 应急预案 + - 应急演练 + +### 上线 + diff --git a/20240418.md b/20240418.md new file mode 100644 index 0000000..aeec2b6 --- /dev/null +++ b/20240418.md @@ -0,0 +1,6 @@ + +## 20240418 + +所有包需要解头?不同摄像头? + + diff --git a/5g.md b/5g.md new file mode 100644 index 0000000..04c0563 --- /dev/null +++ b/5g.md @@ -0,0 +1,27 @@ +# 5G + + +### questions +- CU/DU部署方案? + + +### 功能实体 +在5G网络中,接入网不再是由BBU、RRU、天线这些东西组成了。而是被重构为以下3个功能实体: +- CU(Centralized Unit,集中单元) + CU:原BBU的非实时部分将分割出来,重新定义为CU,负责处理非实时协议和服务。 +- DU(Distribute Unit,分布单元) + DU:BBU的剩余功能重新定义为DU,负责处理物理层协议和实时服务。 +- AAU(Active Antenna Unit,有源天线单元) + AAU:BBU的部分物理层处理功能与原RRU及无源天线合并为AAU。 + +
![img](imgs/5g/5g1.jpg) +
![img](imgs/5g/5g2.jpg) +EPC(就是4G核心网)被分为New Core(5GC,5G核心网)和MEC(移动网络边界计算平台)两部分。MEC移动到和CU一起,就是所谓的“下沉”(离基站更近)。 + + +### references +1. [5G核心网](https://app.yinxiang.com/fx/a7afa44c-dfc6-4140-8a41-deefe2c6cb66) +1. [NFV的五大矛盾](https://app.yinxiang.com/fx/0b3167c1-d976-4c5b-a54f-b30a2fb6a3fe) +1. [E2E Network Slicing](https://app.yinxiang.com/fx/5b4b59cd-6b79-4b80-b6d3-26904270f58b) +1. []() + diff --git a/AOP.md b/AOP.md new file mode 100644 index 0000000..5b57c9d --- /dev/null +++ b/AOP.md @@ -0,0 +1,35 @@ + +# AOP & IOC +--- + +## :red_circle: AOP + +## :red_circle: IOC +IoC(Inversion of Control) +![4236553-c415d1c39ed74772.png](https://i.loli.net/2020/05/13/uDnFJUXYAlSogh4.png) +- DL 已经被抛弃,因为他需要用户自己去是使用 API 进行查找资源和组装对象。即有侵入性。 +- DI 是 Spring 使用的方式,容器负责组件的装配。 + +![u_4258379052,1368074021_fm_26_gp_0.png](https://i.loli.net/2020/05/13/kSFnAjGUgK2YeMZ.png) +![timg.jpg](https://i.loli.net/2020/05/13/SOxPgI3up25tbv8.jpg) + +**疑问:** +- 通过xml配置或容器方式生成实例替代调用关系生成实例,解耦没错,怎么叫反转?A要用到B类,需要实例化B,IOC则是把实例化过程交给容器,A只管使用,不管实例化过程。 + +## :red_circle: 一些概念 +### java 注解(Annotation) & python 装饰器(decorator) +python这里的装饰器是一个有逻辑的,可以执行的函数,只不过其写法有些特殊要求; +Java里面的Annotation只是个标记,需要其他代码来“根据标记执行“。 + +### POJO (Plain Ordinary Java Object) & java bean +POJO是一个简单的普通的Java对象,它不包含业务逻辑或持久逻辑等,但不是JavaBean、EntityBean等,不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。具有一部分getter/setter方法的那种类就可以称作POJO。 + + +## :red_circle: references +- [IOC概念详解](https://www.jianshu.com/p/745a17f519a6) +- [IOC Spring揭秘阅读总结](https://www.jianshu.com/p/39f15ced9a74) +- [什么是面向切面编程AOP?](https://www.zhihu.com/question/24863332) + + +-- 20200514 复习 + diff --git a/CorporateCulture.md b/CorporateCulture.md new file mode 100644 index 0000000..2dce828 --- /dev/null +++ b/CorporateCulture.md @@ -0,0 +1,9 @@ +# Corporate Culture Tesla + +1. Move fast +2. Do the impossbile +3. Constantly innovate +4. Reason from the "First principles" - 第一性原则,正本清源 +5. think like owners +6. We are ALL IN + diff --git a/HW.md b/HW.md new file mode 100644 index 0000000..13790d5 --- /dev/null +++ b/HW.md @@ -0,0 +1,50 @@ + +# HW + +# 20210323 侯亮 +## 系统评估阶段 +- 互联网 +- 内网 + 不要求漏洞全部修复 + 快速发现攻击,快速处置,十五分钟,黄金时间 +- 社会工程评估 + 特殊时期,员工网络安全意识 + 特殊手段 + +## 分析确认阶段 +分析报告,字号字体 + +红队: +- 核心数据,服务器权限,进入内网 +- OA系统,重点防范 +- VPN **护网专版VPN** +- 蜜罐系统,机器对抗机器中运用,对人的攻击的意义逐步减小,(去年蜜罐自身被攻破进入内网,机器比较难发现蜜罐) +- 人员安全意识 + +### 红队评估 +- day漏洞 +- 弱口令 +- SQL注入 +- xss + +### 内网,安全设备产生安全事故 +- 应用服务 OA,邮件、VPN + +### 社工 + +### 邮件系统 +- 最新版本 + +## 案例 +- 前期侦查:DNS、域名、资产收集、敏感信息 + 防守: +- 内部侦查: + + +# 20210323 +regeorg +arp -a + +cobalStrike 植入后门 + + diff --git a/Kubenetes.assets/image-20200404094800622.png b/Kubenetes.assets/image-20200404094800622.png new file mode 100644 index 0000000..3685f26 Binary files /dev/null and b/Kubenetes.assets/image-20200404094800622.png differ diff --git a/Kubenetes.assets/image-20200406184656917-1626782168787.png b/Kubenetes.assets/image-20200406184656917-1626782168787.png new file mode 100644 index 0000000..6e43c8f Binary files /dev/null and b/Kubenetes.assets/image-20200406184656917-1626782168787.png differ diff --git a/Kubenetes.assets/image-20200406184656917.png b/Kubenetes.assets/image-20200406184656917.png new file mode 100644 index 0000000..6e43c8f Binary files /dev/null and b/Kubenetes.assets/image-20200406184656917.png differ diff --git a/Kubenetes.assets/image-20200406225334627.png b/Kubenetes.assets/image-20200406225334627.png new file mode 100644 index 0000000..f5054e9 Binary files /dev/null and b/Kubenetes.assets/image-20200406225334627.png differ diff --git a/Kubenetes.assets/image-20200406232838722.png b/Kubenetes.assets/image-20200406232838722.png new file mode 100644 index 0000000..e881210 Binary files /dev/null and b/Kubenetes.assets/image-20200406232838722.png differ diff --git a/Kubenetes.assets/image-20200407100850484.png b/Kubenetes.assets/image-20200407100850484.png new file mode 100644 index 0000000..e9bbfa5 Binary files /dev/null and b/Kubenetes.assets/image-20200407100850484.png differ diff --git a/Kubenetes.assets/image-20200407121501907-1626781151898.png b/Kubenetes.assets/image-20200407121501907-1626781151898.png new file mode 100644 index 0000000..ad774b7 Binary files /dev/null and b/Kubenetes.assets/image-20200407121501907-1626781151898.png differ diff --git a/Kubenetes.assets/image-20200407121501907.png b/Kubenetes.assets/image-20200407121501907.png new file mode 100644 index 0000000..ad774b7 Binary files /dev/null and b/Kubenetes.assets/image-20200407121501907.png differ diff --git a/Kubenetes.assets/image-20200408193950807.png b/Kubenetes.assets/image-20200408193950807.png new file mode 100644 index 0000000..ae4eed0 Binary files /dev/null and b/Kubenetes.assets/image-20200408193950807.png differ diff --git a/Kubenetes.assets/image-20200408194716912-1626783758946.png b/Kubenetes.assets/image-20200408194716912-1626783758946.png new file mode 100644 index 0000000..7462697 Binary files /dev/null and b/Kubenetes.assets/image-20200408194716912-1626783758946.png differ diff --git a/Kubenetes.assets/image-20200408194716912.png b/Kubenetes.assets/image-20200408194716912.png new file mode 100644 index 0000000..7462697 Binary files /dev/null and b/Kubenetes.assets/image-20200408194716912.png differ diff --git a/Kubenetes.assets/image-20200412111402706-1626782188724.png b/Kubenetes.assets/image-20200412111402706-1626782188724.png new file mode 100644 index 0000000..8e48fcd Binary files /dev/null and b/Kubenetes.assets/image-20200412111402706-1626782188724.png differ diff --git a/Kubenetes.assets/image-20200412111402706.png b/Kubenetes.assets/image-20200412111402706.png new file mode 100644 index 0000000..8e48fcd Binary files /dev/null and b/Kubenetes.assets/image-20200412111402706.png differ diff --git a/Kubenetes.assets/image-20200413174713773.png b/Kubenetes.assets/image-20200413174713773.png new file mode 100644 index 0000000..b1ee458 Binary files /dev/null and b/Kubenetes.assets/image-20200413174713773.png differ diff --git a/Kubenetes.assets/image-20200413214031331.png b/Kubenetes.assets/image-20200413214031331.png new file mode 100644 index 0000000..5b686af Binary files /dev/null and b/Kubenetes.assets/image-20200413214031331.png differ diff --git a/Kubenetes.assets/image-20200413215133559.png b/Kubenetes.assets/image-20200413215133559.png new file mode 100644 index 0000000..068c419 Binary files /dev/null and b/Kubenetes.assets/image-20200413215133559.png differ diff --git a/Kubenetes.assets/image-20200416140251491.png b/Kubenetes.assets/image-20200416140251491.png new file mode 100644 index 0000000..e091847 Binary files /dev/null and b/Kubenetes.assets/image-20200416140251491.png differ diff --git a/Kubenetes.assets/image-20200505183738289.png b/Kubenetes.assets/image-20200505183738289.png new file mode 100644 index 0000000..82a25e2 Binary files /dev/null and b/Kubenetes.assets/image-20200505183738289.png differ diff --git a/Kubenetes.assets/image-20200509121254425.png b/Kubenetes.assets/image-20200509121254425.png new file mode 100644 index 0000000..c035a2d Binary files /dev/null and b/Kubenetes.assets/image-20200509121254425.png differ diff --git a/Kubenetes.assets/image-20200509151424280.png b/Kubenetes.assets/image-20200509151424280.png new file mode 100644 index 0000000..2cd4f13 Binary files /dev/null and b/Kubenetes.assets/image-20200509151424280.png differ diff --git a/Kubenetes.assets/image-20200509152947714.png b/Kubenetes.assets/image-20200509152947714.png new file mode 100644 index 0000000..eed194c Binary files /dev/null and b/Kubenetes.assets/image-20200509152947714.png differ diff --git a/Kubenetes.assets/image-20200509153731363.png b/Kubenetes.assets/image-20200509153731363.png new file mode 100644 index 0000000..ab74566 Binary files /dev/null and b/Kubenetes.assets/image-20200509153731363.png differ diff --git a/Kubenetes.assets/image-20200509191917069.png b/Kubenetes.assets/image-20200509191917069.png new file mode 100644 index 0000000..13d0297 Binary files /dev/null and b/Kubenetes.assets/image-20200509191917069.png differ diff --git a/Kubenetes.assets/image-20200510103945494.png b/Kubenetes.assets/image-20200510103945494.png new file mode 100644 index 0000000..2f20dcf Binary files /dev/null and b/Kubenetes.assets/image-20200510103945494.png differ diff --git a/Kubenetes.assets/image-20200510113311209.png b/Kubenetes.assets/image-20200510113311209.png new file mode 100644 index 0000000..5d3f522 Binary files /dev/null and b/Kubenetes.assets/image-20200510113311209.png differ diff --git a/Kubenetes.assets/image-20200514095913741.png b/Kubenetes.assets/image-20200514095913741.png new file mode 100644 index 0000000..0dfc295 Binary files /dev/null and b/Kubenetes.assets/image-20200514095913741.png differ diff --git a/Kubenetes.assets/image-20200514194111567.png b/Kubenetes.assets/image-20200514194111567.png new file mode 100644 index 0000000..42ee2cb Binary files /dev/null and b/Kubenetes.assets/image-20200514194111567.png differ diff --git a/Kubenetes.assets/image-20200515002806726.png b/Kubenetes.assets/image-20200515002806726.png new file mode 100644 index 0000000..8e895ef Binary files /dev/null and b/Kubenetes.assets/image-20200515002806726.png differ diff --git a/Kubenetes.assets/image-20200516102419998.png b/Kubenetes.assets/image-20200516102419998.png new file mode 100644 index 0000000..64f24bd Binary files /dev/null and b/Kubenetes.assets/image-20200516102419998.png differ diff --git a/Kubenetes.assets/image-20200516112704764.png b/Kubenetes.assets/image-20200516112704764.png new file mode 100644 index 0000000..629b3bf Binary files /dev/null and b/Kubenetes.assets/image-20200516112704764.png differ diff --git a/Kubenetes.assets/image-20200518211037434.png b/Kubenetes.assets/image-20200518211037434.png new file mode 100644 index 0000000..f3634c0 Binary files /dev/null and b/Kubenetes.assets/image-20200518211037434.png differ diff --git a/Kubenetes.assets/image-20200519181209566.png b/Kubenetes.assets/image-20200519181209566.png new file mode 100644 index 0000000..1e8bd13 Binary files /dev/null and b/Kubenetes.assets/image-20200519181209566.png differ diff --git a/Kubenetes.assets/image-20200520102949189.png b/Kubenetes.assets/image-20200520102949189.png new file mode 100644 index 0000000..ed961a5 Binary files /dev/null and b/Kubenetes.assets/image-20200520102949189.png differ diff --git a/Kubenetes.assets/image-20200520103942580.png b/Kubenetes.assets/image-20200520103942580.png new file mode 100644 index 0000000..359168e Binary files /dev/null and b/Kubenetes.assets/image-20200520103942580.png differ diff --git a/Kubenetes.assets/image-20200520144548997.png b/Kubenetes.assets/image-20200520144548997.png new file mode 100644 index 0000000..30e97b7 Binary files /dev/null and b/Kubenetes.assets/image-20200520144548997.png differ diff --git a/Kubenetes.assets/image-20200520144959353.png b/Kubenetes.assets/image-20200520144959353.png new file mode 100644 index 0000000..15abb0b Binary files /dev/null and b/Kubenetes.assets/image-20200520144959353.png differ diff --git a/Kubenetes.assets/image-20200520154628679.png b/Kubenetes.assets/image-20200520154628679.png new file mode 100644 index 0000000..4ad2165 Binary files /dev/null and b/Kubenetes.assets/image-20200520154628679.png differ diff --git a/Kubenetes.assets/image-20200520162605102.png b/Kubenetes.assets/image-20200520162605102.png new file mode 100644 index 0000000..306ae7e Binary files /dev/null and b/Kubenetes.assets/image-20200520162605102.png differ diff --git a/Kubenetes.assets/image-20200520163253644.png b/Kubenetes.assets/image-20200520163253644.png new file mode 100644 index 0000000..cabcf1b Binary files /dev/null and b/Kubenetes.assets/image-20200520163253644.png differ diff --git a/Kubenetes.assets/image-20200520163552110.png b/Kubenetes.assets/image-20200520163552110.png new file mode 100644 index 0000000..c4a3dbb Binary files /dev/null and b/Kubenetes.assets/image-20200520163552110.png differ diff --git a/Kubenetes.assets/image-20200520163832827.png b/Kubenetes.assets/image-20200520163832827.png new file mode 100644 index 0000000..6650e48 Binary files /dev/null and b/Kubenetes.assets/image-20200520163832827.png differ diff --git a/Kubenetes.assets/image-20200524150339551.png b/Kubenetes.assets/image-20200524150339551.png new file mode 100644 index 0000000..d61e4f4 Binary files /dev/null and b/Kubenetes.assets/image-20200524150339551.png differ diff --git a/Kubenetes.assets/image-20200605021831545.png b/Kubenetes.assets/image-20200605021831545.png new file mode 100644 index 0000000..ff8a368 Binary files /dev/null and b/Kubenetes.assets/image-20200605021831545.png differ diff --git a/Kubenetes.assets/image-20200608155858271.png b/Kubenetes.assets/image-20200608155858271.png new file mode 100644 index 0000000..6587019 Binary files /dev/null and b/Kubenetes.assets/image-20200608155858271.png differ diff --git a/Kubenetes.assets/image-20200608163326496.png b/Kubenetes.assets/image-20200608163326496.png new file mode 100644 index 0000000..c51fd42 Binary files /dev/null and b/Kubenetes.assets/image-20200608163326496.png differ diff --git a/Kubenetes.assets/image-20200612005334159.png b/Kubenetes.assets/image-20200612005334159.png new file mode 100644 index 0000000..0958dac Binary files /dev/null and b/Kubenetes.assets/image-20200612005334159.png differ diff --git a/Kubenetes.assets/image-20200612005524778.png b/Kubenetes.assets/image-20200612005524778.png new file mode 100644 index 0000000..70c4658 Binary files /dev/null and b/Kubenetes.assets/image-20200612005524778.png differ diff --git a/Kubenetes.assets/image-20200612010223537.png b/Kubenetes.assets/image-20200612010223537.png new file mode 100644 index 0000000..9a8caf7 Binary files /dev/null and b/Kubenetes.assets/image-20200612010223537.png differ diff --git a/Kubenetes.assets/image-20200618213054113.png b/Kubenetes.assets/image-20200618213054113.png new file mode 100644 index 0000000..62126c7 Binary files /dev/null and b/Kubenetes.assets/image-20200618213054113.png differ diff --git a/Kubenetes.assets/image-20200618213149531.png b/Kubenetes.assets/image-20200618213149531.png new file mode 100644 index 0000000..1812587 Binary files /dev/null and b/Kubenetes.assets/image-20200618213149531.png differ diff --git a/Kubenetes.assets/image-20200620175731338.png b/Kubenetes.assets/image-20200620175731338.png new file mode 100644 index 0000000..4fa4d60 Binary files /dev/null and b/Kubenetes.assets/image-20200620175731338.png differ diff --git a/Kubenetes.assets/image-20200623092808049.png b/Kubenetes.assets/image-20200623092808049.png new file mode 100644 index 0000000..d46a873 Binary files /dev/null and b/Kubenetes.assets/image-20200623092808049.png differ diff --git a/Kubenetes.assets/image-20210609000002940.png b/Kubenetes.assets/image-20210609000002940.png new file mode 100644 index 0000000..cf86f3b Binary files /dev/null and b/Kubenetes.assets/image-20210609000002940.png differ diff --git a/Kubenetes.assets/image-20210617223823675-1626781695411.png b/Kubenetes.assets/image-20210617223823675-1626781695411.png new file mode 100644 index 0000000..aa43dd7 Binary files /dev/null and b/Kubenetes.assets/image-20210617223823675-1626781695411.png differ diff --git a/Kubenetes.assets/image-20210617223823675.png b/Kubenetes.assets/image-20210617223823675.png new file mode 100644 index 0000000..aa43dd7 Binary files /dev/null and b/Kubenetes.assets/image-20210617223823675.png differ diff --git a/Kubenetes.assets/image-20210617223923659.png b/Kubenetes.assets/image-20210617223923659.png new file mode 100644 index 0000000..cbc95ec Binary files /dev/null and b/Kubenetes.assets/image-20210617223923659.png differ diff --git a/Kubenetes.assets/image-20210617224457945.png b/Kubenetes.assets/image-20210617224457945.png new file mode 100644 index 0000000..4330a10 Binary files /dev/null and b/Kubenetes.assets/image-20210617224457945.png differ diff --git a/LICENSE b/LICENSE new file mode 100644 index 0000000..818433e --- /dev/null +++ b/LICENSE @@ -0,0 +1,674 @@ + GNU GENERAL PUBLIC LICENSE + Version 3, 29 June 2007 + + Copyright (C) 2007 Free Software Foundation, Inc. + Everyone is permitted to copy and distribute verbatim copies + of this license document, but changing it is not allowed. + + Preamble + + The GNU General Public License is a free, copyleft license for +software and other kinds of works. + + The licenses for most software and other practical works are designed +to take away your freedom to share and change the works. By contrast, +the GNU General Public License is intended to guarantee your freedom to +share and change all versions of a program--to make sure it remains free +software for all its users. We, the Free Software Foundation, use the +GNU General Public License for most of our software; it applies also to +any other work released this way by its authors. You can apply it to +your programs, too. + + When we speak of free software, we are referring to freedom, not +price. Our General Public Licenses are designed to make sure that you +have the freedom to distribute copies of free software (and charge for +them if you wish), that you receive source code or can get it if you +want it, that you can change the software or use pieces of it in new +free programs, and that you know you can do these things. + + To protect your rights, we need to prevent others from denying you +these rights or asking you to surrender the rights. Therefore, you have +certain responsibilities if you distribute copies of the software, or if +you modify it: responsibilities to respect the freedom of others. + + For example, if you distribute copies of such a program, whether +gratis or for a fee, you must pass on to the recipients the same +freedoms that you received. You must make sure that they, too, receive +or can get the source code. And you must show them these terms so they +know their rights. + + Developers that use the GNU GPL protect your rights with two steps: +(1) assert copyright on the software, and (2) offer you this License +giving you legal permission to copy, distribute and/or modify it. + + For the developers' and authors' protection, the GPL clearly explains +that there is no warranty for this free software. For both users' and +authors' sake, the GPL requires that modified versions be marked as +changed, so that their problems will not be attributed erroneously to +authors of previous versions. + + Some devices are designed to deny users access to install or run +modified versions of the software inside them, although the manufacturer +can do so. This is fundamentally incompatible with the aim of +protecting users' freedom to change the software. The systematic +pattern of such abuse occurs in the area of products for individuals to +use, which is precisely where it is most unacceptable. Therefore, we +have designed this version of the GPL to prohibit the practice for those +products. If such problems arise substantially in other domains, we +stand ready to extend this provision to those domains in future versions +of the GPL, as needed to protect the freedom of users. + + Finally, every program is threatened constantly by software patents. +States should not allow patents to restrict development and use of +software on general-purpose computers, but in those that do, we wish to +avoid the special danger that patents applied to a free program could +make it effectively proprietary. To prevent this, the GPL assures that +patents cannot be used to render the program non-free. + + The precise terms and conditions for copying, distribution and +modification follow. + + TERMS AND CONDITIONS + + 0. Definitions. + + "This License" refers to version 3 of the GNU General Public License. + + "Copyright" also means copyright-like laws that apply to other kinds of +works, such as semiconductor masks. + + "The Program" refers to any copyrightable work licensed under this +License. Each licensee is addressed as "you". "Licensees" and +"recipients" may be individuals or organizations. + + To "modify" a work means to copy from or adapt all or part of the work +in a fashion requiring copyright permission, other than the making of an +exact copy. The resulting work is called a "modified version" of the +earlier work or a work "based on" the earlier work. + + A "covered work" means either the unmodified Program or a work based +on the Program. + + To "propagate" a work means to do anything with it that, without +permission, would make you directly or secondarily liable for +infringement under applicable copyright law, except executing it on a +computer or modifying a private copy. Propagation includes copying, +distribution (with or without modification), making available to the +public, and in some countries other activities as well. + + To "convey" a work means any kind of propagation that enables other +parties to make or receive copies. Mere interaction with a user through +a computer network, with no transfer of a copy, is not conveying. + + An interactive user interface displays "Appropriate Legal Notices" +to the extent that it includes a convenient and prominently visible +feature that (1) displays an appropriate copyright notice, and (2) +tells the user that there is no warranty for the work (except to the +extent that warranties are provided), that licensees may convey the +work under this License, and how to view a copy of this License. If +the interface presents a list of user commands or options, such as a +menu, a prominent item in the list meets this criterion. + + 1. Source Code. + + The "source code" for a work means the preferred form of the work +for making modifications to it. "Object code" means any non-source +form of a work. + + A "Standard Interface" means an interface that either is an official +standard defined by a recognized standards body, or, in the case of +interfaces specified for a particular programming language, one that +is widely used among developers working in that language. + + The "System Libraries" of an executable work include anything, other +than the work as a whole, that (a) is included in the normal form of +packaging a Major Component, but which is not part of that Major +Component, and (b) serves only to enable use of the work with that +Major Component, or to implement a Standard Interface for which an +implementation is available to the public in source code form. A +"Major Component", in this context, means a major essential component +(kernel, window system, and so on) of the specific operating system +(if any) on which the executable work runs, or a compiler used to +produce the work, or an object code interpreter used to run it. + + The "Corresponding Source" for a work in object code form means all +the source code needed to generate, install, and (for an executable +work) run the object code and to modify the work, including scripts to +control those activities. However, it does not include the work's +System Libraries, or general-purpose tools or generally available free +programs which are used unmodified in performing those activities but +which are not part of the work. For example, Corresponding Source +includes interface definition files associated with source files for +the work, and the source code for shared libraries and dynamically +linked subprograms that the work is specifically designed to require, +such as by intimate data communication or control flow between those +subprograms and other parts of the work. + + The Corresponding Source need not include anything that users +can regenerate automatically from other parts of the Corresponding +Source. + + The Corresponding Source for a work in source code form is that +same work. + + 2. Basic Permissions. + + All rights granted under this License are granted for the term of +copyright on the Program, and are irrevocable provided the stated +conditions are met. This License explicitly affirms your unlimited +permission to run the unmodified Program. The output from running a +covered work is covered by this License only if the output, given its +content, constitutes a covered work. This License acknowledges your +rights of fair use or other equivalent, as provided by copyright law. + + You may make, run and propagate covered works that you do not +convey, without conditions so long as your license otherwise remains +in force. You may convey covered works to others for the sole purpose +of having them make modifications exclusively for you, or provide you +with facilities for running those works, provided that you comply with +the terms of this License in conveying all material for which you do +not control copyright. Those thus making or running the covered works +for you must do so exclusively on your behalf, under your direction +and control, on terms that prohibit them from making any copies of +your copyrighted material outside their relationship with you. + + Conveying under any other circumstances is permitted solely under +the conditions stated below. Sublicensing is not allowed; section 10 +makes it unnecessary. + + 3. Protecting Users' Legal Rights From Anti-Circumvention Law. + + No covered work shall be deemed part of an effective technological +measure under any applicable law fulfilling obligations under article +11 of the WIPO copyright treaty adopted on 20 December 1996, or +similar laws prohibiting or restricting circumvention of such +measures. + + When you convey a covered work, you waive any legal power to forbid +circumvention of technological measures to the extent such circumvention +is effected by exercising rights under this License with respect to +the covered work, and you disclaim any intention to limit operation or +modification of the work as a means of enforcing, against the work's +users, your or third parties' legal rights to forbid circumvention of +technological measures. + + 4. Conveying Verbatim Copies. + + You may convey verbatim copies of the Program's source code as you +receive it, in any medium, provided that you conspicuously and +appropriately publish on each copy an appropriate copyright notice; +keep intact all notices stating that this License and any +non-permissive terms added in accord with section 7 apply to the code; +keep intact all notices of the absence of any warranty; and give all +recipients a copy of this License along with the Program. + + You may charge any price or no price for each copy that you convey, +and you may offer support or warranty protection for a fee. + + 5. Conveying Modified Source Versions. + + You may convey a work based on the Program, or the modifications to +produce it from the Program, in the form of source code under the +terms of section 4, provided that you also meet all of these conditions: + + a) The work must carry prominent notices stating that you modified + it, and giving a relevant date. + + b) The work must carry prominent notices stating that it is + released under this License and any conditions added under section + 7. This requirement modifies the requirement in section 4 to + "keep intact all notices". + + c) You must license the entire work, as a whole, under this + License to anyone who comes into possession of a copy. This + License will therefore apply, along with any applicable section 7 + additional terms, to the whole of the work, and all its parts, + regardless of how they are packaged. This License gives no + permission to license the work in any other way, but it does not + invalidate such permission if you have separately received it. + + d) If the work has interactive user interfaces, each must display + Appropriate Legal Notices; however, if the Program has interactive + interfaces that do not display Appropriate Legal Notices, your + work need not make them do so. + + A compilation of a covered work with other separate and independent +works, which are not by their nature extensions of the covered work, +and which are not combined with it such as to form a larger program, +in or on a volume of a storage or distribution medium, is called an +"aggregate" if the compilation and its resulting copyright are not +used to limit the access or legal rights of the compilation's users +beyond what the individual works permit. Inclusion of a covered work +in an aggregate does not cause this License to apply to the other +parts of the aggregate. + + 6. Conveying Non-Source Forms. + + You may convey a covered work in object code form under the terms +of sections 4 and 5, provided that you also convey the +machine-readable Corresponding Source under the terms of this License, +in one of these ways: + + a) Convey the object code in, or embodied in, a physical product + (including a physical distribution medium), accompanied by the + Corresponding Source fixed on a durable physical medium + customarily used for software interchange. + + b) Convey the object code in, or embodied in, a physical product + (including a physical distribution medium), accompanied by a + written offer, valid for at least three years and valid for as + long as you offer spare parts or customer support for that product + model, to give anyone who possesses the object code either (1) a + copy of the Corresponding Source for all the software in the + product that is covered by this License, on a durable physical + medium customarily used for software interchange, for a price no + more than your reasonable cost of physically performing this + conveying of source, or (2) access to copy the + Corresponding Source from a network server at no charge. + + c) Convey individual copies of the object code with a copy of the + written offer to provide the Corresponding Source. This + alternative is allowed only occasionally and noncommercially, and + only if you received the object code with such an offer, in accord + with subsection 6b. + + d) Convey the object code by offering access from a designated + place (gratis or for a charge), and offer equivalent access to the + Corresponding Source in the same way through the same place at no + further charge. You need not require recipients to copy the + Corresponding Source along with the object code. If the place to + copy the object code is a network server, the Corresponding Source + may be on a different server (operated by you or a third party) + that supports equivalent copying facilities, provided you maintain + clear directions next to the object code saying where to find the + Corresponding Source. Regardless of what server hosts the + Corresponding Source, you remain obligated to ensure that it is + available for as long as needed to satisfy these requirements. + + e) Convey the object code using peer-to-peer transmission, provided + you inform other peers where the object code and Corresponding + Source of the work are being offered to the general public at no + charge under subsection 6d. + + A separable portion of the object code, whose source code is excluded +from the Corresponding Source as a System Library, need not be +included in conveying the object code work. + + A "User Product" is either (1) a "consumer product", which means any +tangible personal property which is normally used for personal, family, +or household purposes, or (2) anything designed or sold for incorporation +into a dwelling. In determining whether a product is a consumer product, +doubtful cases shall be resolved in favor of coverage. For a particular +product received by a particular user, "normally used" refers to a +typical or common use of that class of product, regardless of the status +of the particular user or of the way in which the particular user +actually uses, or expects or is expected to use, the product. A product +is a consumer product regardless of whether the product has substantial +commercial, industrial or non-consumer uses, unless such uses represent +the only significant mode of use of the product. + + "Installation Information" for a User Product means any methods, +procedures, authorization keys, or other information required to install +and execute modified versions of a covered work in that User Product from +a modified version of its Corresponding Source. The information must +suffice to ensure that the continued functioning of the modified object +code is in no case prevented or interfered with solely because +modification has been made. + + If you convey an object code work under this section in, or with, or +specifically for use in, a User Product, and the conveying occurs as +part of a transaction in which the right of possession and use of the +User Product is transferred to the recipient in perpetuity or for a +fixed term (regardless of how the transaction is characterized), the +Corresponding Source conveyed under this section must be accompanied +by the Installation Information. But this requirement does not apply +if neither you nor any third party retains the ability to install +modified object code on the User Product (for example, the work has +been installed in ROM). + + The requirement to provide Installation Information does not include a +requirement to continue to provide support service, warranty, or updates +for a work that has been modified or installed by the recipient, or for +the User Product in which it has been modified or installed. Access to a +network may be denied when the modification itself materially and +adversely affects the operation of the network or violates the rules and +protocols for communication across the network. + + Corresponding Source conveyed, and Installation Information provided, +in accord with this section must be in a format that is publicly +documented (and with an implementation available to the public in +source code form), and must require no special password or key for +unpacking, reading or copying. + + 7. Additional Terms. + + "Additional permissions" are terms that supplement the terms of this +License by making exceptions from one or more of its conditions. +Additional permissions that are applicable to the entire Program shall +be treated as though they were included in this License, to the extent +that they are valid under applicable law. If additional permissions +apply only to part of the Program, that part may be used separately +under those permissions, but the entire Program remains governed by +this License without regard to the additional permissions. + + When you convey a copy of a covered work, you may at your option +remove any additional permissions from that copy, or from any part of +it. (Additional permissions may be written to require their own +removal in certain cases when you modify the work.) You may place +additional permissions on material, added by you to a covered work, +for which you have or can give appropriate copyright permission. + + Notwithstanding any other provision of this License, for material you +add to a covered work, you may (if authorized by the copyright holders of +that material) supplement the terms of this License with terms: + + a) Disclaiming warranty or limiting liability differently from the + terms of sections 15 and 16 of this License; or + + b) Requiring preservation of specified reasonable legal notices or + author attributions in that material or in the Appropriate Legal + Notices displayed by works containing it; or + + c) Prohibiting misrepresentation of the origin of that material, or + requiring that modified versions of such material be marked in + reasonable ways as different from the original version; or + + d) Limiting the use for publicity purposes of names of licensors or + authors of the material; or + + e) Declining to grant rights under trademark law for use of some + trade names, trademarks, or service marks; or + + f) Requiring indemnification of licensors and authors of that + material by anyone who conveys the material (or modified versions of + it) with contractual assumptions of liability to the recipient, for + any liability that these contractual assumptions directly impose on + those licensors and authors. + + All other non-permissive additional terms are considered "further +restrictions" within the meaning of section 10. If the Program as you +received it, or any part of it, contains a notice stating that it is +governed by this License along with a term that is a further +restriction, you may remove that term. If a license document contains +a further restriction but permits relicensing or conveying under this +License, you may add to a covered work material governed by the terms +of that license document, provided that the further restriction does +not survive such relicensing or conveying. + + If you add terms to a covered work in accord with this section, you +must place, in the relevant source files, a statement of the +additional terms that apply to those files, or a notice indicating +where to find the applicable terms. + + Additional terms, permissive or non-permissive, may be stated in the +form of a separately written license, or stated as exceptions; +the above requirements apply either way. + + 8. Termination. + + You may not propagate or modify a covered work except as expressly +provided under this License. Any attempt otherwise to propagate or +modify it is void, and will automatically terminate your rights under +this License (including any patent licenses granted under the third +paragraph of section 11). + + However, if you cease all violation of this License, then your +license from a particular copyright holder is reinstated (a) +provisionally, unless and until the copyright holder explicitly and +finally terminates your license, and (b) permanently, if the copyright +holder fails to notify you of the violation by some reasonable means +prior to 60 days after the cessation. + + Moreover, your license from a particular copyright holder is +reinstated permanently if the copyright holder notifies you of the +violation by some reasonable means, this is the first time you have +received notice of violation of this License (for any work) from that +copyright holder, and you cure the violation prior to 30 days after +your receipt of the notice. + + Termination of your rights under this section does not terminate the +licenses of parties who have received copies or rights from you under +this License. If your rights have been terminated and not permanently +reinstated, you do not qualify to receive new licenses for the same +material under section 10. + + 9. Acceptance Not Required for Having Copies. + + You are not required to accept this License in order to receive or +run a copy of the Program. Ancillary propagation of a covered work +occurring solely as a consequence of using peer-to-peer transmission +to receive a copy likewise does not require acceptance. However, +nothing other than this License grants you permission to propagate or +modify any covered work. These actions infringe copyright if you do +not accept this License. Therefore, by modifying or propagating a +covered work, you indicate your acceptance of this License to do so. + + 10. Automatic Licensing of Downstream Recipients. + + Each time you convey a covered work, the recipient automatically +receives a license from the original licensors, to run, modify and +propagate that work, subject to this License. You are not responsible +for enforcing compliance by third parties with this License. + + An "entity transaction" is a transaction transferring control of an +organization, or substantially all assets of one, or subdividing an +organization, or merging organizations. If propagation of a covered +work results from an entity transaction, each party to that +transaction who receives a copy of the work also receives whatever +licenses to the work the party's predecessor in interest had or could +give under the previous paragraph, plus a right to possession of the +Corresponding Source of the work from the predecessor in interest, if +the predecessor has it or can get it with reasonable efforts. + + You may not impose any further restrictions on the exercise of the +rights granted or affirmed under this License. For example, you may +not impose a license fee, royalty, or other charge for exercise of +rights granted under this License, and you may not initiate litigation +(including a cross-claim or counterclaim in a lawsuit) alleging that +any patent claim is infringed by making, using, selling, offering for +sale, or importing the Program or any portion of it. + + 11. Patents. + + A "contributor" is a copyright holder who authorizes use under this +License of the Program or a work on which the Program is based. The +work thus licensed is called the contributor's "contributor version". + + A contributor's "essential patent claims" are all patent claims +owned or controlled by the contributor, whether already acquired or +hereafter acquired, that would be infringed by some manner, permitted +by this License, of making, using, or selling its contributor version, +but do not include claims that would be infringed only as a +consequence of further modification of the contributor version. For +purposes of this definition, "control" includes the right to grant +patent sublicenses in a manner consistent with the requirements of +this License. + + Each contributor grants you a non-exclusive, worldwide, royalty-free +patent license under the contributor's essential patent claims, to +make, use, sell, offer for sale, import and otherwise run, modify and +propagate the contents of its contributor version. + + In the following three paragraphs, a "patent license" is any express +agreement or commitment, however denominated, not to enforce a patent +(such as an express permission to practice a patent or covenant not to +sue for patent infringement). To "grant" such a patent license to a +party means to make such an agreement or commitment not to enforce a +patent against the party. + + If you convey a covered work, knowingly relying on a patent license, +and the Corresponding Source of the work is not available for anyone +to copy, free of charge and under the terms of this License, through a +publicly available network server or other readily accessible means, +then you must either (1) cause the Corresponding Source to be so +available, or (2) arrange to deprive yourself of the benefit of the +patent license for this particular work, or (3) arrange, in a manner +consistent with the requirements of this License, to extend the patent +license to downstream recipients. "Knowingly relying" means you have +actual knowledge that, but for the patent license, your conveying the +covered work in a country, or your recipient's use of the covered work +in a country, would infringe one or more identifiable patents in that +country that you have reason to believe are valid. + + If, pursuant to or in connection with a single transaction or +arrangement, you convey, or propagate by procuring conveyance of, a +covered work, and grant a patent license to some of the parties +receiving the covered work authorizing them to use, propagate, modify +or convey a specific copy of the covered work, then the patent license +you grant is automatically extended to all recipients of the covered +work and works based on it. + + A patent license is "discriminatory" if it does not include within +the scope of its coverage, prohibits the exercise of, or is +conditioned on the non-exercise of one or more of the rights that are +specifically granted under this License. You may not convey a covered +work if you are a party to an arrangement with a third party that is +in the business of distributing software, under which you make payment +to the third party based on the extent of your activity of conveying +the work, and under which the third party grants, to any of the +parties who would receive the covered work from you, a discriminatory +patent license (a) in connection with copies of the covered work +conveyed by you (or copies made from those copies), or (b) primarily +for and in connection with specific products or compilations that +contain the covered work, unless you entered into that arrangement, +or that patent license was granted, prior to 28 March 2007. + + Nothing in this License shall be construed as excluding or limiting +any implied license or other defenses to infringement that may +otherwise be available to you under applicable patent law. + + 12. No Surrender of Others' Freedom. + + If conditions are imposed on you (whether by court order, agreement or +otherwise) that contradict the conditions of this License, they do not +excuse you from the conditions of this License. If you cannot convey a +covered work so as to satisfy simultaneously your obligations under this +License and any other pertinent obligations, then as a consequence you may +not convey it at all. For example, if you agree to terms that obligate you +to collect a royalty for further conveying from those to whom you convey +the Program, the only way you could satisfy both those terms and this +License would be to refrain entirely from conveying the Program. + + 13. Use with the GNU Affero General Public License. + + Notwithstanding any other provision of this License, you have +permission to link or combine any covered work with a work licensed +under version 3 of the GNU Affero General Public License into a single +combined work, and to convey the resulting work. The terms of this +License will continue to apply to the part which is the covered work, +but the special requirements of the GNU Affero General Public License, +section 13, concerning interaction through a network will apply to the +combination as such. + + 14. Revised Versions of this License. + + The Free Software Foundation may publish revised and/or new versions of +the GNU General Public License from time to time. Such new versions will +be similar in spirit to the present version, but may differ in detail to +address new problems or concerns. + + Each version is given a distinguishing version number. If the +Program specifies that a certain numbered version of the GNU General +Public License "or any later version" applies to it, you have the +option of following the terms and conditions either of that numbered +version or of any later version published by the Free Software +Foundation. If the Program does not specify a version number of the +GNU General Public License, you may choose any version ever published +by the Free Software Foundation. + + If the Program specifies that a proxy can decide which future +versions of the GNU General Public License can be used, that proxy's +public statement of acceptance of a version permanently authorizes you +to choose that version for the Program. + + Later license versions may give you additional or different +permissions. However, no additional obligations are imposed on any +author or copyright holder as a result of your choosing to follow a +later version. + + 15. Disclaimer of Warranty. + + THERE IS NO WARRANTY FOR THE PROGRAM, TO THE EXTENT PERMITTED BY +APPLICABLE LAW. EXCEPT WHEN OTHERWISE STATED IN WRITING THE COPYRIGHT +HOLDERS AND/OR OTHER PARTIES PROVIDE THE PROGRAM "AS IS" WITHOUT WARRANTY +OF ANY KIND, EITHER EXPRESSED OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, +THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR +PURPOSE. THE ENTIRE RISK AS TO THE QUALITY AND PERFORMANCE OF THE PROGRAM +IS WITH YOU. SHOULD THE PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF +ALL NECESSARY SERVICING, REPAIR OR CORRECTION. + + 16. Limitation of Liability. + + IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING +WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MODIFIES AND/OR CONVEYS +THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES, INCLUDING ANY +GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING OUT OF THE +USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED TO LOSS OF +DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY YOU OR THIRD +PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER PROGRAMS), +EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE POSSIBILITY OF +SUCH DAMAGES. + + 17. Interpretation of Sections 15 and 16. + + If the disclaimer of warranty and limitation of liability provided +above cannot be given local legal effect according to their terms, +reviewing courts shall apply local law that most closely approximates +an absolute waiver of all civil liability in connection with the +Program, unless a warranty or assumption of liability accompanies a +copy of the Program in return for a fee. + + END OF TERMS AND CONDITIONS + + How to Apply These Terms to Your New Programs + + If you develop a new program, and you want it to be of the greatest +possible use to the public, the best way to achieve this is to make it +free software which everyone can redistribute and change under these terms. + + To do so, attach the following notices to the program. It is safest +to attach them to the start of each source file to most effectively +state the exclusion of warranty; and each file should have at least +the "copyright" line and a pointer to where the full notice is found. + + + Copyright (C) + + This program is free software: you can redistribute it and/or modify + it under the terms of the GNU General Public License as published by + the Free Software Foundation, either version 3 of the License, or + (at your option) any later version. + + This program is distributed in the hope that it will be useful, + but WITHOUT ANY WARRANTY; without even the implied warranty of + MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the + GNU General Public License for more details. + + You should have received a copy of the GNU General Public License + along with this program. If not, see . + +Also add information on how to contact you by electronic and paper mail. + + If the program does terminal interaction, make it output a short +notice like this when it starts in an interactive mode: + + Copyright (C) + This program comes with ABSOLUTELY NO WARRANTY; for details type `show w'. + This is free software, and you are welcome to redistribute it + under certain conditions; type `show c' for details. + +The hypothetical commands `show w' and `show c' should show the appropriate +parts of the General Public License. Of course, your program's commands +might be different; for a GUI interface, you would use an "about box". + + You should also get your employer (if you work as a programmer) or school, +if any, to sign a "copyright disclaimer" for the program, if necessary. +For more information on this, and how to apply and follow the GNU GPL, see +. + + The GNU General Public License does not permit incorporating your program +into proprietary programs. If your program is a subroutine library, you +may consider it more useful to permit linking proprietary applications with +the library. If this is what you want to do, use the GNU Lesser General +Public License instead of this License. But first, please read +. diff --git a/Pasted image 20240416150433.png b/Pasted image 20240416150433.png new file mode 100644 index 0000000..d596d86 Binary files /dev/null and b/Pasted image 20240416150433.png differ diff --git a/Pasted image 20240416155739.png b/Pasted image 20240416155739.png new file mode 100644 index 0000000..78b3be0 Binary files /dev/null and b/Pasted image 20240416155739.png differ diff --git a/Pasted image 20240416163516.png b/Pasted image 20240416163516.png new file mode 100644 index 0000000..6624ffb Binary files /dev/null and b/Pasted image 20240416163516.png differ diff --git a/README.md b/README.md new file mode 100644 index 0000000..b6ddb6f --- /dev/null +++ b/README.md @@ -0,0 +1,93 @@ +# DevOps + +## [内容清单*持续更新*](content.md) +## [运维知识体系](opsknowledge.md) + +## [精益 & TPS](tps.md) +* JIT & Jidoka + +## Load balance & HA +* [LB&HA笔记](hanote.md) + +## mutiple sites disaster recovery +* [多活/异地容灾](disaster_recovery.md) + +## 架构 +* [taobao架构演进note](taobao_arch.md) + +## 数据库 +* [myCat笔记](mycat.md) +* [数据库中间件](dbmiddleware.md) +* [数据库](database.md) + +## 缓存 +* [redis]() +* [memcached](https://github.com/memcached/memcached) + +## [微服务](microservice.md) +* Hystrix 断路器 熔断器 + +## 消息系统 +* kafka +* rocketMQ + +## 日志&监控 +* flume +* openTSDB +* ELK +* sentry + +## 统一认证 +* ldap +* CAS做SSO + +## 自动化运维 +* [AIOps](aiops.md) +* [平台](platform.md) + +## 持续集成CI/CD +* [发布管理](发布管理.md) + +## 自动化测试 + +## 混沌工程 & 故障演练 +* chaosblade +* chaosmonkey +* monkeyking + +## 所谓中台 +* [中台笔记](zhongtai.md) + +## 研发创新 +* [研发创新](chuangxin.md) + +## 工具 +* chef +* puppet +* docker +* Splunk +* k8s +* ansible + +## 信息安全体系 +* [信息安全](security.md) + +## references +* [敏捷宣言](https://app.yinxiang.com/fx/69dc6058-4be9-4429-8766-b7d339e353b7) +* [监控知识体系](https://app.yinxiang.com/fx/77225f1a-3b6a-40ad-9733-e525aa406557) +* [如何为企业快速设计高可用的阿里云架构](https://app.yinxiang.com/fx/55cf9181-71c8-4c3b-9eaa-fc036cbdac8b) +* [myCat github docs](https://github.com/MyCATApache/Mycat-doc) +* [LDAP概念和原理介绍](https://www.cnblogs.com/wilburxu/p/9174353.html) +* [什么是Sentinel?它能做什么](https://blog.csdn.net/u012190514/article/details/81383698) +* [华为架构师8年经验谈:从单体架构到微服务的服务化演进之路](https://sdk.cn/news/4033) + +* [ali Chaosblade](https://github.com/chaosblade-io/chaosblade/blob/master/README_CN.md) + +* [关注价值流](https://cloud.tencent.com/developer/article/1373912) +* [Devops原则](https://www.pianshen.com/article/6683819777/) +* [每日构建与持续集成联系与区别](https://www.cnblogs.com/ailisatest/p/6253455.html) +* [你从未见过的五个强大的DevOps指标 ](https://www.sohu.com/a/251990665_711529) +* []() + +## [运维问题](opsquestion.md) + diff --git a/aiops.md b/aiops.md new file mode 100644 index 0000000..cdd7271 --- /dev/null +++ b/aiops.md @@ -0,0 +1,8 @@ + +# 自动化运维 & AIOps + + + +### reference +- [AIOps是如何在腾讯IEG体系化推进和普及的?](https://zhuanlan.zhihu.com/p/435229129) + diff --git a/backup.md b/backup.md new file mode 100644 index 0000000..331905d --- /dev/null +++ b/backup.md @@ -0,0 +1,6 @@ + +# backup + +mysql backup +- xtrabackup +- mysqldump diff --git a/branch_mode.md b/branch_mode.md new file mode 100644 index 0000000..59e97ce --- /dev/null +++ b/branch_mode.md @@ -0,0 +1,36 @@ + +# 开发模式 + +常见的Git分支模式: +- TBD(主干开发模式) +- Git-Flow模式 +- Github-Flow模式 +- Gitlab-Flow模式 + +## TBD +为了保证主干代码的质量,避免出现工程师合入到主干的代码break掉主干的情况,Google 采取了以下实践: +- 代码合入事件触发通过持续集成,确保合入到主干的代码经过充分且必要测试; +- 通过 Bazel 实现相关代码(指依赖变更代码的代码)的精准测试; +- **至少 2 个合资格的 reviewer (代码评审人)的 LGTM(Look Good To Me),才允许代码合入主干;** + +腾讯某 BG 在 2018 年开始的“930 变革”后,在各试点团队推动主干开发(注:并未全公司普遍采用),具体的举措包括: +- 以度量牵引:通过对特性分支)的生命期监控和预警,实现非主干分支的生命期缩短,倒逼开发团队采用主干开发; +- 投大力气统一 BG 内的持续集成工具、开发自动化测试平台; +- 制定了 7 大编程语言的编码规范,并自研代码静态扫描工具; +- 并参考 Google 推行代码可读性(Readability)、可测试性(Testability)认证制度; +- 强力推行 CR (代码评审)制度,确保代码的可读性(命名、代码风格、设计、复杂度)。 + +效果: +- 质量提升:代码质量从可测量的维度得到明显提升(代码规范率、单元测试覆盖率); +- 迭代速度提升:试点团队的迭代周期从 4 周或 2 周提升至 1 周; +- 代码从“私有”变“公有”:通过代码评审制度,提高了代码可读性,使代码从个人拥有(只有写代码的人能看懂),变成团队拥有(整个团队都能看懂);这一点对于企业非常重要,接手过别人代码的程序们都有感受; +- 代码的自动化测试覆盖率提升明显,为未来的重构构筑了一张安全网; + +有些中小企业的技术决策者非常认可持续集成 / 持续交付的理念,从而更希望采用主干开发,但对于主干开发的缺点(或说弥补缺点的成本)存在顾虑。对此,我有如下建议: +- 基础架构要求:可以考虑采用开源软件,如持续集成采用 Jenkins、Travis CI、Gitlab CI 等,通过简单部署可以投入使用;同时配合代码静态分析工具(如 SonarQube、CheckStyle),确保代码基本质量过关; +- 自动化测试要求:工具上不存在障碍,现代编程语言(如 java、go、c++)都有内建或第三方的单元测试框架;难点只在于成员的开发习惯,可以通过测试覆盖率工具,以增量覆盖率指标保证新增代码都有完备的自动化测试,从而逐步改变团队的研发文化; +- 代码评审要求:开源的 Git 服务器(如 Gitlab)基本都支持 push hook,配合开源的 Gerrit 等 CR 工具,可以实现在代码推送(push)或 pull request(合入请求)时触发 1 个代码评审请求,实现评审通过后,代码才正式合入的功能;剩下的就是研发文化问题了,需要在团队内部推行代码规范、代码可读性等宣导和教育工作; +- 发布时的特性开关:如果要求不高,可以通过代码 hard code 一个常量作为特性开关;如果要求高,也有开源的特性开关(比如:unleash、piranha、flipper)工具可供选择。参考上述建议,并充分认识到主干开发的成本和困难的情况下,中小企业开发团队也并非不可以考虑主干开发的实践。 + +## reference +- [Google 和腾讯为什么都采用主干开发模式?](https://36kr.com/p/1218375440667012) diff --git a/certificates.md b/certificates.md new file mode 100644 index 0000000..36d3f79 --- /dev/null +++ b/certificates.md @@ -0,0 +1,35 @@ +# 认证培训 + +证书|描述 +--|-- +TOGAF|TOGAF支持开放、标准的SOA参考架构,同时支持其他不同的架构风格,如传统的面向对象、CS、或BS三层架构风格。TOGAF的元模型已经支持面向服务的原则,在建立业务架构时,可从目标逐步分解为功能、流程、及业务服务,业务服务将通过信息系统服务及应用构件来实现。 +CISA|CISA(Certified Information Systems Auditor,中文为国际信息系统审计师)认证是由信息系统审计与控制协会ISACA(Information Systems Audit and Control Association)发起的,是信息系统审计、控制与安全等专业领域中取得成绩的象征。 +CISSP| +CISP| +CGEIT| +COBIT5| +ITIL| +RHCA| + +--- + +若欲取得红帽RHCA认证,您必须通过以下考试中的任意5门考试: + +考试代码|认证名称 +--|-- +EX210|红帽 OpenStack 认证系统管理员考试 +EX220|红帽混合云管理专业技能证书考试 +EX236|红帽混合云存储专业技能证书考试 +EX248|红帽认证 JBoss 管理员考试 +EX280|红帽平台即服务专业技能证书考试 +EX318|红帽认证虚拟化管理员考试 +EX401|红帽部署和系统管理专业技能证书考试 +EX413|红帽服务器固化专业技能证书考试 +EX436|红帽集群和存储管理专业技能证书考试 +EX442|红帽性能调优专业技能证书考试 + +--- + +证书名称|取得时间|考试地点|培训机构|费用 +--|--|--|--|-- +2019/12/25 | devops master | 上海 | 艾威培训 | 12000 diff --git a/chrome_bookmarks_200318.tar.gz b/chrome_bookmarks_200318.tar.gz new file mode 100644 index 0000000..0d49818 Binary files /dev/null and b/chrome_bookmarks_200318.tar.gz differ diff --git a/chuangxin.md b/chuangxin.md new file mode 100644 index 0000000..85fdc03 --- /dev/null +++ b/chuangxin.md @@ -0,0 +1,83 @@ + +# 创新成果 +--- + +## 实习员工课题 + +### 云原生(容器)安全防护 - 王元星 +- 现状&意义&目标 + - 云原生的主要安全问题 + - 了解目前的做法、工具、不足 + - 目标:提升容器安全,如何把容器安全落实到安全基线中 +- 方向&内容 + +- 思路&方法&创新点 + - 自动化运维中提供容器/云原生安全检查模块,能够列出安全隐患及整改建议 + - 自动化运维中可以勾选一键修复(需审核) + +- 产出&应用 + - 云原生/容器安全标准规范,以及在运维实践中的执行情况(参考资料需列入文献) + - 工具:容器安全的自动检查,容器安全基线自动执行(运维开发提供测试模块,并做开发指导) + +### AIOPS故障自愈 - 闫莉婕 +- 现状&意义&目标 + - devops现状,到AIOps演进路径,达到AIOps的工作 + - 目标:AIOps这个课题比较大,结合devops中运维角色,从现实工作入手,基于判断和算法做自愈。 + +- 方向&内容 + +- 思路&方法&创新点 + - 生产中大量的告警的共性提炼 + - 阈值设定 - 策略 - 执行 + - *基于学习算法 - 生成策略 - 执行,这个要求比较高,且不一定可靠,可以尝试* + +- 产出&应用 + - AIOps价值观、标准规范,帮助提升运维水平 + - 自动化运维中自愈流程固化,方便扩展,标准化;在加监控中能够关联自愈动作 + - 触发 - 策略 - 动作的分离 + +--- + +### 总体要求 +#### 提纲 +- 现状 +- 意义&目标 +- 方向&内容 +- 思路&方法&创新点 +- 产出&应用 + +#### 要求 +- 区别于学校研究 + - 结合部门工作 + - 有一定创新性 + - 面不必太广 + - 能够解决实际问题,有实践,有深度 + +--- +## 小微创新 +流程改进,工作方法改进。 +快速部署?效率提升。 +SDN网络技术相关。 +日志系统? +网络发现和拓扑管理?调用链发现? + +支撑: +- 通过流程改造,工作法,提升效率。 +- 通过小工具/微创新的应用,达到效率改善 + + +成果名称|所属领域|完成时间|研发单位 +--|--|--|-- +安全基线一键自动化修复工具|网信安全||运维支撑中心 +portal页面防篡改工具|网信安全||运维支撑中心 +WiFi平台双DC业务一键迁移容灾|运营维护(O域)||运维支撑中心 +视联网边缘节点容器化自动化部署工具|运营维护(O域)||运维支撑中心 +运维任务批量自动化下发执行工具|运营维护(O域)||运维支撑中心 +资源采集监控系统|运营维护(O域)||运维支撑中心 +软硬件自动化巡检工具|运营维护(O域)||运维支撑中心 +云原生(容器)安全防护|网信安全||运维支撑中心 +AIOPS故障自愈|运维||运维支撑中心 +*基于云原生的主动防护能力提升实践*|运维||运维支撑中心 +*基于混沌技术的高效应急演练体系建设*|运维||运维支撑中心 + + diff --git a/cloudbroadband.md b/cloudbroadband.md new file mode 100644 index 0000000..6ab3a40 --- /dev/null +++ b/cloudbroadband.md @@ -0,0 +1,16 @@ + +# 云宽带分享 + +## + +p2 - 云宽带故障串入 + +五要素: + +cvlan,pvlan,port => 隧道 +40GB + +大屏,监控系统 + + + diff --git a/cloudnative.md b/cloudnative.md new file mode 100644 index 0000000..83316cf --- /dev/null +++ b/cloudnative.md @@ -0,0 +1,62 @@ + +# 云原生 + +目前形成云原生理解上的最大共识概括为**4个核心要点**:DevOps+持续交付+微服务+容器,即基于这”4件套”构建的应用我们暂且认为就是云原生应用了。同时可以享受到云端极为丰富的PaaS组件,如业务后续使用到的数据库、缓存、中间件、存储、CDN等等,并且具备无缝在不同云厂商间透明迁移的能力。 + +微服务架构为基础,构建的集代码管理、服务开发、运维发布、服务运营为一体的一站式开发运营平台,实现了真正意义上的DevOps服务闭环,贯穿了服务交付的CI、CD、CO环节,得益于公司内外部更多优秀组件的集成,包括TKE、蓝盾、QCI、Envoy等。 + +## **云原生运维转型思维** +这几年运维界听到最多的几句话:“云计算会淘汰掉运维!整个运维行业可能被干掉!再不转换运维就要丢饭碗”,诸如此类。那真相到底是什么?行业有一个共识,即运维工作本身交付的是一种服务,下面举一个可能不太恰当的例子,或者可以帮助大家找到答案。 +云计算时代好比组装一辆汽车,根据客户的需要,通过PaaS能力选择匹配的引擎、车轮、离合器、 悬架、车控制系统等进行拼装。客户不用关心汽车各元部件的实现原理,最终获得是一辆满足自身要求的汽车。光有了汽车是玩不转的。还需要有修路、加油站、交通控制等服务体系,运维就是承担这个角色。 +相比传统运维,确实是少了自己采购元组与组装的工作。到了后云计算时代(云原生),出现了一个DevOps公司,引入新技术与理念,声称已经将修路、加油站、交通控制等环节都打通了,形成了一体化服务能力,并邀请运维哥一起加入创业。在这个阶段,运维哥出去单干,大概率会翻车。 +但加入 DevOps 公司,运维的价值到底还有什么呢?因此,升级与转型是必然的,例如将普通国道升级成高速公路;实现客户在高速路上不停车换轮胎;贴近并理解客户,规划行程中所需的服务来提升客户体验;通过提升智能化水平,连接交通管制,缩短航程,避开损坏路段等等。相信大家心中已经有自己答案了。回到原点的灵魂拷问:“云原生背景下,运维不做转型会不会死?”,“运维要如何快速自救和升级?”。 + +## **文化层面** +以下几点是我们中心内部实行的几个机制,供作参考,因不同团队间存在一定差异,此处不展开说明。 +开发与运维成立FT虚拟团队,实现**组织融合**; +开发或运维侧的例会、技术分享、事件复盘,FT成员全程参与; +项目立项时,运维接口人需要做“**左移**”,即提前参与技术架构讨论,有助于运维的问题提前在方案讨论或开发阶段提前暴露,有效做好防范与规避; +建立收集各方反馈问题与建议的机制与渠道,有效将好的想法影响至平台下个版本的迭代中,实现持续改进与优化。 + +## **云原生运维目标** +在云原生背景下,我们对运维体系进行了升级,在原有基础运维能力之上确定了以下几个目标: +具备服务全链路质量监控覆盖,涵盖数据域与业务域 +具备一定智能化的资源动态调度、伸缩机制 +具备一定的故障预警、根因分析、问题定位能力 +服务具备在交付不同阶段(测试、预发布、运营)抵御异常的能力 +具备资源高效交付的流程机制与快速上线的能力 +具备多云的资源编排与管理的能力 +具备业务快速上云的机制,确保切换过程的高可用性 + +确定了运维能力升级指导思想:**基于运维编排的云原生实例化**。广义而言,运维的本质就是多个运营事件的有机串联,来达到质量、效率、成本、安全多维收益,而编排是实现有机串联的有效手段,除了可以沉淀运维经验外,还可以有效实现共享。 + +CG: 一定要牢记**可沉淀、可积累、可共享**,形成迭代上升。 + +## **CI/CD** + +## **平台能力** + +**云端一切皆有操作** +- 云资源编排,编排对象是各类云资源,包括公有云、私有云等,采用terraform来实现多云基础设施的编排,可以覆盖腾讯云、阿里云、AWS、私有云等等。 +- kubernetes编排,编排对象是k8s集群资源,采用Helm/YAML进行编排。 +- 作业编排,编排对象主要是主机节点,对应的操作任务编排,调用现有的蓝鲸job作业平台。 +🐋[蓝鲸作业平台](https://bk.tencent.com/docs/document/5.1/7/3787) + +运维编排三层之间如何串联?我们采用了开源的蓝鲸标准运维作为编排引擎,将不同的三层编排串联,打破从前跨云、跨平台各种割裂的操作界限,提升运维效率,一切皆编排,并能将编排任务沉淀为能力模板传承交接。 + +例如上图的场景,我们需要扩容一个现网的TKE业务集群,从基础设施层的资源采买,到容器服务初始化部署,和一些集群特性作业操作等均一站式运维编排完成,操作时长从4小时优化到30分钟内,而且集群再次扩容只需简单修改几个编排参数执行,避免了繁琐重复的操作。在玄图平台能力中将通过自助开发可编排的原子(包括操作、接口、算法等),一切操作皆编排。 + + +## **云原生监控** + +## **云原生业务全链路跟踪(血缘关系链)** + +## **混沌工程** +Adrian Cockcroft给出了另一个定义则是:混沌工程是一种确保失败所带来的影响能够被减少的实验。 + +这里我们TKE集群中的服务设计了CPU负载注入演习,启动实验后,CPU按预期提升,当CPU持续高负载时,服务正常且触发自动扩容,无请求超时用户无感知,符合预期,加深了团队对系统可靠性的理解和认知。 + +## **优势** + +## reference +- [云原生背景下的运维价值思考与实践](https://cloud.tencent.com/developer/article/1753976) diff --git a/cmder.md b/cmder.md new file mode 100644 index 0000000..937aa4d --- /dev/null +++ b/cmder.md @@ -0,0 +1,21 @@ + +# cmder + +### 修改提示符 +C:\cmder\vendor\clink.lua + +``` +-- CG +local cmder_prompt = "\x1b[1;32;40m{cwd}{git}{hg}{svn}>" +clink.prompt.value = string.gsub(cmder_prompt, "{cwd}", cwd) +``` +### 修改aliases +C:\cmder\config\user_aliases.cmd + +``` +e.=explorer . + +history=tail -n 200 "%CMDER_ROOT%\config\.history" +ll=ls -al --show-control-chars --color $* +enw=d: && cd d:\wisim\wisim.qt4 +``` diff --git a/compile.md b/compile.md new file mode 100644 index 0000000..d683e2a --- /dev/null +++ b/compile.md @@ -0,0 +1,13 @@ + +# c + +Makefile.am +autoscan + mv configure.scan configure.ac + +autoreconf + +---- +qmake project +qmake +make diff --git a/config_k8s.md b/config_k8s.md new file mode 100644 index 0000000..e2a0861 --- /dev/null +++ b/config_k8s.md @@ -0,0 +1,221 @@ + +# K8S yaml文件详解 + +## K8S 创建资源的方式 + +K8S有两种创建资源的方式:kubectl 命令和 yaml 配置文件。 + +kubectl命令行:最为简单,一条命令就OK. + +yaml配置文件:提供了一种让你知其然更知其所以然的方式。优势如下: + +- 完整性:配置文件描述了一个资源的完整状态,可以很清楚地知道一个资源的创建背后究竟做了哪些事; +- 灵活性:配置文件可以创建比命令行更复杂的结构; +- 可维护性:配置文件提供了创建资源对象的模板,能够重复使用; +- 可扩展性:适合跨环境、规模化的部署。 + +## yaml 是什么? + +yaml 是一种用来写配置文件的语言,没错,它是一门语言。如果你用过 json,那么对它就不会陌生,yaml 又被称为是 json 的超集,使用起来比 json 更方便。 +结构上它有两种可选的类型:Lists 和 Maps。List 用 -(破折号) 来定义每一项,Map 则是一个 key:value 的键值对来表示。 +YAML语法规则: + +大小写敏感 +使用缩进表示层级关系 +缩进时不允许使用Tal键,只允许使用空格 +缩进的空格数目不重要,只要相同层级的元素左侧对齐即可 +"#"表示注释,从这个字符一直到行尾,都会被解析器忽略  +"---"" 为可选的分隔符  + +在Kubernetes中,只需要知道两种结构类型即可: +- Lists +- Maps + +### kubernetes yaml 文件模板: + +yaml格式的pod定义文件完整内容: + +``` +apiVersion: v1 #必选,版本号,例如v1 +kind: Pod #必选,Pod +metadata: #必选,元数据 + name: string #必选,Pod名称 + namespace: string #必选,Pod所属的命名空间 + labels: #自定义标签 + - name: string #自定义标签名字 + annotations: #自定义注释列表 + - name: string +spec: #必选,Pod中容器的详细定义 + containers: #必选,Pod中容器列表 + - name: string #必选,容器名称 + image: string #必选,容器的镜像名称 + imagePullPolicy: [Always | Never | IfNotPresent] #获取镜像的策略 Alawys表示下载镜像 IfnotPresent表示优先使用本地镜像,否则下载镜像,Nerver表示仅使用本地镜像 + command: [string] #容器的启动命令列表,如不指定,使用打包时使用的启动命令 + args: [string] #容器的启动命令参数列表 + workingDir: string #容器的工作目录 + volumeMounts: #挂载到容器内部的存储卷配置 + - name: string #引用pod定义的共享存储卷的名称,需用volumes[]部分定义的的卷名 + mountPath: string #存储卷在容器内mount的绝对路径,应少于512字符 + readOnly: boolean #是否为只读模式 + ports: #需要暴露的端口库号列表 + - name: string #端口号名称 + containerPort: int #容器需要监听的端口号 + hostPort: int #容器所在主机需要监听的端口号,默认与Container相同 + protocol: string #端口协议,支持TCP和UDP,默认TCP + env: #容器运行前需设置的环境变量列表 + - name: string #环境变量名称 + value: string #环境变量的值 + resources: #资源限制和请求的设置 + limits: #资源限制的设置 + cpu: string #Cpu的限制,单位为core数,将用于docker run --cpu-shares参数 + memory: string #内存限制,单位可以为Mib/Gib,将用于docker run --memory参数 + requests: #资源请求的设置 + cpu: string #Cpu请求,容器启动的初始可用数量 + memory: string #内存清楚,容器启动的初始可用数量 + livenessProbe: #对Pod内个容器健康检查的设置,当探测无响应几次后将自动重启该容器,检查方法有exec、httpGet和tcpSocket,对一个容器只需设置其中一种方法即可 + exec: #对Pod容器内检查方式设置为exec方式 + command: [string] #exec方式需要制定的命令或脚本 + httpGet: #对Pod内个容器健康检查方法设置为HttpGet,需要制定Path、port + path: string + port: number + host: string + scheme: string + HttpHeaders: + - name: string + value: string + tcpSocket: #对Pod内个容器健康检查方式设置为tcpSocket方式 + port: number + initialDelaySeconds: 0 #容器启动完成后首次探测的时间,单位为秒 + timeoutSeconds: 0 #对容器健康检查探测等待响应的超时时间,单位秒,默认1秒 + periodSeconds: 0 #对容器监控检查的定期探测时间设置,单位秒,默认10秒一次 + successThreshold: 0 + failureThreshold: 0 + securityContext: + privileged:false + restartPolicy: [Always | Never | OnFailure]#Pod的重启策略,Always表示一旦不管以何种方式终止运行,kubelet都将重启,OnFailure表示只有Pod以非0退出码退出才重启,Nerver表示不再重启该Pod + nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上,以key:value的格式指定 + imagePullSecrets: #Pull镜像时使用的secret名称,以key:secretkey格式指定 + - name: string + hostNetwork:false #是否使用主机网络模式,默认为false,如果设置为true,表示使用宿主机网络 + volumes: #在该pod上定义共享存储卷列表 + - name: string #共享存储卷名称 (volumes类型有很多种) + emptyDir: {} #类型为emtyDir的存储卷,与Pod同生命周期的一个临时目录。为空值 + hostPath: string #类型为hostPath的存储卷,表示挂载Pod所在宿主机的目录 + path: string #Pod所在宿主机的目录,将被用于同期中mount的目录 + secret: #类型为secret的存储卷,挂载集群与定义的secre对象到容器内部 + scretname: string + items: + - key: string + path: string + configMap: #类型为configMap的存储卷,挂载预定义的configMap对象到容器内部 + name: string + items: + - key: string +``` + +### 实例文件 + +``` +apiVersion: extensions/v1beta1 #接口版本 +kind: Deployment #接口类型 +metadata: + name: ptengine-demo #Deployment名称 + namespace: ptengine-prd #namespace 名称 + labels: + app: ptengine-demo #标签 +spec: + replicas: 3 + strategy: + rollingUpdate: ##由于replicas为3,则整个升级,pod个数在2-4个之间 + maxSurge: 1 #滚动升级时会先启动1个pod + maxUnavailable: 1 #滚动升级时允许的最大Unavailable的pod个数 + template: + metadata: + labels: + app: ptengine-demo #模板名称必填 + sepc: #定义容器模板,该模板可以包含多个容器 + containers: + - name: ptengine-demo #镜像名称 + image: reg.pt1.com/ptengine-prd/ptengine-demo:0.0.1-SNAPSHOT #镜像地址 + CMD: [ "/bin/sh","-c","cat /etc/config/path/to/special-key" ] #启动CMD + args: #启动参数 + - '-storage.local.retention=$(STORAGE_RETENTION)' + - '-web.external-url=$(EXTERNAL_URL)' + + imagePullPolicy: IfNotPresent #如果不存在则拉取 + livenessProbe: #表示container是否处于live状态。如果LivenessProbe失败,LivenessProbe将会通知kubelet对应的container不健康了。随后kubelet将kill掉container,并根据RestarPolicy进行进一步的操作。默认情况下LivenessProbe在第一次检测之前初始化值为Success,如果container没有提供LivenessProbe,则也认为是Success; + httpGet: + path: /health #如果没有心跳检测接口就为/ + port: 8080 + scheme: HTTP + initialDelaySeconds: 60 ##启动后延时多久开始运行检测 + timeoutSeconds: 5 + successThreshold: 1 + failureThreshold: 5 + readinessProbe: + readinessProbe: + httpGet: + path: /health #如果没有健康检测接口就为/ + port: 8080 + scheme: HTTP + initialDelaySeconds: 30 ##启动后延时多久开始运行检测 + timeoutSeconds: 5 + successThreshold: 1 + failureThreshold: 5 + resources: ##CPU内存限制 + requests: + cpu: 2 + memory: 2048Mi + limits: + cpu: 2 + memory: 2048Mi + env: ##通过环境变量的方式,直接传递pod=自定义Linux OS环境变量 + - name: LOCAL_KEY #本地Key + value: value + - name: CONFIG_MAP_KEY #local策略可使用configMap的配置Key, + valueFrom: + configMapKeyRef: + name: special-config #configmap中找到name为special-config + key: special.type #找到name为special-config里data下的key + ports: + - name: http + containerPort: 8080 #对service暴露端口 + volumeMounts: #挂载volumes中定义的磁盘 + - name: log-cache + mount: /tmp/log + - name: sdb #普通用法,该卷跟随容器销毁,挂载一个目录 + mountPath: /data/media + - name: nfs-client-root #直接挂载硬盘方法,如挂载下面的nfs目录到/mnt/nfs + mountPath: /mnt/nfs + - name: example-volume-config #高级用法第1种,将ConfigMap的log-script,backup-script分别挂载到/etc/config目录下的一个相对路径path/to/...下,如果存在同名文件,直接覆盖。 + mountPath: /etc/config + - name: rbd-pvc #高级用法第2中,挂载PVC(PresistentVolumeClaim) + +#使用volume将ConfigMap作为文件或目录直接挂载,其中每一个key-value键值对都会生成一个文件,key为文件名,value为内容, + volumes: # 定义磁盘给上面volumeMounts挂载 + - name: log-cache + emptyDir: {} + - name: sdb #挂载宿主机上面的目录 + hostPath: + path: /any/path/it/will/be/replaced + - name: example-volume-config # 供ConfigMap文件内容到指定路径使用 + configMap: + name: example-volume-config #ConfigMap中名称 + items: + - key: log-script #ConfigMap中的Key + path: path/to/log-script #指定目录下的一个相对路径path/to/log-script + - key: backup-script #ConfigMap中的Key + path: path/to/backup-script #指定目录下的一个相对路径path/to/backup-script + - name: nfs-client-root #供挂载NFS存储类型 + nfs: + server: 10.42.0.55 #NFS服务器地址 + path: /opt/public #showmount -e 看一下路径 + - name: rbd-pvc #挂载PVC磁盘 + persistentVolumeClaim: + claimName: rbd-pvc1 #挂载已经申请的pvc磁盘 +``` + +## 参考文档 +- [Kubernetes 笔记 05 yaml 配置文件详解](https://www.cnblogs.com/bakari/p/10509484.html) +- [详解Kubernetes Deployment的描述文件及相关配置](https://my.oschina.net/gibsonxue/blog/1840887) + diff --git a/content.md b/content.md new file mode 100644 index 0000000..d3be25b --- /dev/null +++ b/content.md @@ -0,0 +1,60 @@ + +# 内容 + +- [5G](5g.md) +- [AOP & IOC](AOP.md) +- [Tesla Corporate Culture](CorporateCulture.md) +- [护网行动](HW.md) +- [DevOps](README.md) +- [backup](backup.md) +- [开发模式](branch_mode.md) +- [认证培训](certificates.md) +- [云宽带分享](cloudbroadband.md) +- [云原生](cloudnative.md) +- [PMP理念](pmpcore.md) +- [cmder](cmder.md) +- [编译](compile.md) +- [K8S yaml文件详解](config_k8s.md) +- [数据库](database.md) +- [DBA](dba.md) +- [第一篇:K8S三种部署策略](deployment.md) +- [第二篇:K8S基于ingress-nginx实现灰度发布](deployment.md) +- [正确理解DevOps开发运维一体化](devops.md) +- [devops master certificate](devopscertificate.md) +- [devops master certificate](devopsmaster证书.md) +- [devops master summary](devopssummary.md) +- [devops测试](devopstest.md) +- [DevOps/CD/CI题目](devopstest_v2.md) +- [容灾](disaster_recovery.md) +- [对传统应用进行容器化改造](dock_trans.md) +- [docker](docker.md) +- [信息安全校园招聘](ip_safe.md) +- [王登开工作交接](jiaojie.md) +- [Kubernetes介绍](k8slearning.md) +- [kubectl基本使用](kubectl.md) +- [本页列举了常用的 “kubectl” 命令和标志](kubectlcmd.md) +- [Kubernetes](kubernetes.md) +- [编程思考](language.md) +- [lean / 精益](lean.md) +- [mall-swarm容器化实践](mall_swarm_practic.md) +- [This is an tag](mdlab.md) +- [监控技术](monitor.md) +- [消息系统](mq.md) +- [运维知识体系](opsknowledge.md) +- [自动化运维平台](platform.md) +- [信息安全体系](security.md) +- [上线规范](shangxian.md) +- [SLA (Service-Level Agreement) 服务等级协议](sla.md) +- [google SRE](sre.md) +- [防篡改](tamper_proof.md) +- [tools](tools.md) +- [精益 & TPS](tps.md) +- [云原生环境下安全运维分享](training.md) +- [中台-自动化巡检](xunjian.md) +- [管理](guanli.md) +- [创新课题](chuangxin.md) +- [分布式架构](fengbushi.md) +- [AIOps](aiops.md) + +2018-11-1 + diff --git a/curlweb.md b/curlweb.md new file mode 100644 index 0000000..b62fbfc --- /dev/null +++ b/curlweb.md @@ -0,0 +1,5 @@ + + +for ((i=1; i<=1000; i++)) do curl -klvg "http://180.101.49.12:443"; sleep 0.1; done; +for ((i=1; ; i++)) { curl -klvg "http://180.101.49.12:443"; sleep 0.1; } + diff --git a/database.md b/database.md new file mode 100755 index 0000000..1c1d2f7 --- /dev/null +++ b/database.md @@ -0,0 +1,76 @@ +# 数据库 + +``` +KISS - Keep It Simple & Stupid; +``` + +数据被快速制造和消费,数据看上去更加无秩序,或叫非结构化,据说超过80%,且持续加速增加,于是新的非关系型DB/noSQL快速崛起 + + +#### :question: +- 类型 +- 特点 +- 选型 + + +#### 数据库类型 +``` +- Relational DBMS + - oracle,mysql,postgreSQL,hive +- Key-value stores + - redis,memcached +- Document stores/document-oriented database +- Graph DBMS + - neo4j,Microsoft Azure Cosmos DB +- Time Series DBMS + - InfluxDB,Kdb+,Prometheus,Graphite,RRDtool,OpenTSDB,Druid +- Object oriented DBMS +- RDF stores +- Search engines + - Elasticsearch,Splunk +- Wide column stores + - Cassandra,hbase +- Multivalue DBMS +- Native XML DBMS +- Event Stores +- Content stores +- Navigational DBMS +``` + +#### Document stores database +also called document-oriented database systems, are characterized by their schema-free organization of data. +Records do not need to have a uniform structure, i.e. different records may have different columns. +The types of the values a€?a€?of individual columns can be different for each record. +Columns can have more than one value (arrays). +Records can have a nested structure. +Document stores often use internal notations, which can be processed directly in applications, mostly JSON. +JSON documents of course can also be stored as pure text in key-value stores or relational database systems. +That would, however, require client-side processing of the structures, which has the disadvantage that the features offered by document stores (such as secondary indexes) are not available. +
存储文档数据库,也叫面向文档数据库,主要特点是非结构化、数据的自由组织 +纪录可以非结构化,比如不同纪录中的可以有不同的列,不同列的数据类型也可以不同,列的数据可以是多个值,比如一个array,记录还可以是嵌套结构。 +比如方便直接存储JSON数据,key-value数据库也可以存储JSON数据,但客户需要自己处理数据结构,这样就容易失去JSON数据组织的优点,比如第二个索引 + +#### kafka & redis + +## 消息系统 +:question: +- 异步 +- 解耦 +- 顺序 + +kafka通过zookeeper来存储集群的meta信息 + +[Redis哨兵模式(sentinel)学习总结及部署记录(主从复制、读写分离、主从切换)](https://www.cnblogs.com/kevingrace/p/9004460.html) + + + +![db trend](imgs/db/dbtrend.png) +![db trend 24 months](imgs/db/dbtrend24m.png) + + + +#### references +1. [db ranking](https://db-engines.com/en/ranking) +1. [influxDB vs. openTSDB](http://blog.fatedier.com/2016/07/06/test-influxdb-and-opentsdb/) +1. [openTSDB](http://blog.fatedier.com/2016/07/04/research-of-time-series-database-opentsdb/) +1. [恒丰银行——大数据实时流处理平台](http://www.sohu.com/a/148106853_400678) diff --git a/dba-mianshi.md b/dba-mianshi.md new file mode 100644 index 0000000..1c439c1 --- /dev/null +++ b/dba-mianshi.md @@ -0,0 +1,546 @@ + +# DBA 主管面试题(高级 / DBA Manager) + +> 适用于高级 DBA、DBA Team Leader、数据库主管、数据库架构师等岗位。 + +--- + +# 一、团队管理 + +## 1. 介绍一下你管理过的 DBA 团队? + +**考察点** + +- 团队规模 +- 人员分工 +- 值班体系 +- 技术能力建设 + +**优秀回答要点** + +- 团队人数 +- 每个人负责什么 +- 如何保证7×24值班 +- 如何培养新人 + +--- + +## 2. 如何培养一个新 DBA? + +通常希望听到: + +第一阶段(基础) + +- Linux +- MySQL基础 +- SQL优化 + +第二阶段(生产) + +- 主从复制 +- 备份恢复 +- 故障排查 + +第三阶段(独立) + +- Shadow值班 +- 独立处理故障 +- 故障复盘 + +--- + +## 3. 如何考核 DBA? + +常见 KPI: + +- SLA +- 数据库可用率 +- MTTR +- SQL审核覆盖率 +- 自动化率 +- 备份成功率 +- 告警处理时长 + +--- + +# 二、数据库架构 + +## 4. 如何设计一个互联网数据库架构? + +参考: + +``` + LVS / SLB + │ + Proxy(ProxySQL) + │ + ┌────────────┴────────────┐ + │ │ + Primary Replica + │ │ + └────────────┬────────────┘ + │ + Backup Server + │ + Monitoring +``` + +需要说明: + +- 主从复制 +- 半同步 +- 自动切换 +- 备份恢复 +- 监控报警 + +--- + +## 5. 如何实现数据库高可用? + +需要说明: + +- MHA +- Orchestrator +- Keepalived +- VIP +- Group Replication +- InnoDB Cluster + +重点: + +为什么选择? + +为什么不用其它方案? + +--- + +## 6. 数据量达到100TB怎么办? + +回答方向: + +- 分库分表 +- 冷热分离 +- 历史归档 +- 数据仓库 +- 对象存储 +- OLTP、OLAP拆分 + +--- + +# 三、数据库性能 + +## 7. 数据库CPU突然100%,怎么办? + +建议回答流程: + +``` +收到告警 + │ +确认影响范围 + │ +查看监控 + │ +查看Processlist + │ +定位SQL + │ +分析Explain + │ +决定Kill还是优化 + │ +恢复业务 + │ +故障复盘 +``` + +重点: + +体现处理流程。 + +--- + +## 8. 数据库连接数打满怎么办? + +可能原因: + +- 慢SQL +- 程序连接泄漏 +- 大事务 +- 死锁 + +处理流程: + +- 限流 +- Kill异常连接 +- 定位SQL +- 调整连接池 + +--- + +## 9. Buffer Pool命中率下降怎么办? + +回答: + +检查: + +- Buffer Pool大小 +- 热点数据 +- 全表扫描 +- 是否需要扩容 + +--- + +# 四、生产事故 + +## 10. 请讲一次最严重的数据库事故。 + +推荐回答模板: + +### 背景 + +项目是什么。 + +### 故障现象 + +例如: + +CPU100% + +### 原因 + +SQL缺索引。 + +### 处理过程 + +- Kill SQL +- 新建索引 +- 恢复业务 + +### 后续措施 + +- SQL审核 +- 自动监控 +- 上线规范 + +--- + +## 11. 有没有误删数据? + +回答: + +- 如何恢复? +- PITR用了多久? +- 是否有演练? + +--- + +## 12. 主库宕机怎么办? + +流程: + +``` +发现故障 + +↓ + +确认主库不可恢复 + +↓ + +停止写入 + +↓ + +切换VIP + +↓ + +提升从库 + +↓ + +恢复业务 + +↓ + +检查一致性 + +↓ + +复盘 +``` + +--- + +# 五、数据库规范 + +## 13. 如何避免开发写慢SQL? + +建立: + +- SQL审核 +- Explain审核 +- 自动Review +- CI检查 + +--- + +## 14. 如何避免误删? + +措施: + +- SQL审核 +- 权限隔离 +- 禁止无WHERE +- sql_safe_updates +- 延迟从库 +- Binlog恢复 + +--- + +## 15. 如何规范索引? + +例如: + +- 每张表必须有主键 +- 不允许重复索引 +- 控制联合索引数量 +- 定期清理无效索引 + +--- + +# 六、自动化建设 + +## 16. 做过哪些自动化? + +例如: + +- 自动巡检 +- 自动备份 +- 自动恢复验证 +- 自动SQL审核 +- 自动切换 +- 自动告警 +- 自动扩容 + +--- + +## 17. 如何建设数据库平台? + +一般包括: + +- 工单平台 +- SQL审核 +- 发布平台 +- 巡检平台 +- CMDB +- 权限管理 + +--- + +# 七、监控体系 + +## 18. 数据库监控哪些指标? + +MySQL: + +- QPS +- TPS +- Threads Running +- Buffer Pool Hit Rate +- Slow Query +- Deadlock +- Connections +- Replication Delay + +Linux: + +- CPU +- Memory +- IO +- Network +- Disk + +业务: + +- RT +- Error Rate +- TPS + +--- + +# 八、成本优化 + +## 19. 如何降低数据库成本? + +例如: + +- 历史归档 +- SSD分层 +- 云数据库 +- 合并实例 +- 自动扩容 +- 参数优化 + +--- + +## 20. 为什么不用Oracle? + +考察: + +- 成本 +- 授权 +- 维护 +- 人员 +- 社区 + +--- + +# 九、跨团队合作 + +## 21. 开发说数据库慢怎么办? + +流程: + +``` +收集证据 + +↓ + +查看监控 + +↓ + +SQL分析 + +↓ + +Explain + +↓ + +机器资源 + +↓ + +共同定位 + +↓ + +共同解决 +``` + +--- + +## 22. 如何推动开发规范? + +例如: + +建立: + +- SQL Review +- 开发规范 +- 培训 +- 发布审核 +- 自动检查 + +--- + +# 十、管理能力 + +## 23. DBA最重要的职责是什么? + +优秀回答: + +> DBA不仅负责数据库运行,更负责数据库生命周期管理,包括架构设计、稳定性保障、容量规划、安全管理、自动化建设和团队规范建设,最终保障业务稳定运行。 + +--- + +## 24. 如何减少线上事故? + +建立: + +- 发布审核 +- SQL审核 +- 自动巡检 +- 自动报警 +- 灰度发布 +- 故障演练 +- 应急预案 + +--- + +## 25. 如何建立数据库规范? + +包括: + +- 命名规范 +- SQL规范 +- 索引规范 +- 发布规范 +- 权限规范 +- 备份规范 +- 恢复演练 + +--- + +# 十一、开放性问题 + +## 26. 为什么选择MySQL? + +## 27. MySQL未来的发展怎么看? + +## 28. 如何评价云数据库? + +## 29. 如何评价国产数据库? + +## 30. 未来数据库团队的发展方向? + +可以回答: + +- 自动化 +- 平台化 +- 智能运维(AIOps) +- 云原生数据库 +- 数据治理 + +--- + +# 十二、主管岗位十大经典问题 + +1. 请介绍一次最严重的数据库事故。 +2. 主库宕机如何切换? +3. 如何保证数据库99.99%可用? +4. 如何建设数据库规范? +5. 如何管理DBA团队? +6. 如何培养新人? +7. 如何建设数据库自动化平台? +8. 如何做容量规划? +9. 如何控制数据库成本? +10. 你认为DBA主管最重要的职责是什么? + +--- + +# 面试建议 + +DBA主管岗位,面试官最关注的通常不是命令是否熟练,而是: + +- 是否处理过真实生产事故 +- 是否具备架构设计能力 +- 是否有团队管理经验 +- 是否建立过数据库规范 +- 是否推动过自动化建设 +- 是否能够跨团队沟通协调 +- 是否有风险意识和复盘能力 + +回答时建议遵循 **STAR** 方法: + +- **S(Situation)**:项目背景 +- **T(Task)**:你的职责 +- **A(Action)**:具体采取了哪些措施 +- **R(Result)**:最终效果(最好有量化指标,如可用性提升、故障率下降、恢复时间缩短等) + +学习? +故障复盘? + + diff --git a/dba.md b/dba.md new file mode 100644 index 0000000..200686a --- /dev/null +++ b/dba.md @@ -0,0 +1,21 @@ + +# DBA + +- 结对 + +- 数据库性能 + - 大规模数据,分表/分库、集群 + +- 数据库故障排查 + - 备份、容灾、演练 + +- 数据安全 + - 数据完整性 + - 安全漏洞 + +- 数据库监控 + +- 升级/回滚 + +- 数据库设计/架构的建议、优化 + diff --git a/dbmiddleware.md b/dbmiddleware.md new file mode 100644 index 0000000..6595346 --- /dev/null +++ b/dbmiddleware.md @@ -0,0 +1,34 @@ +## 数据库中间件 + +:question: +- 读写分离,&效率 +- 分库分表,切分能力 +- HA能力 +- 并发性 +- 稳定性 +- 可维护性 +- 社区活跃度,开源持续维护 + +* [myCat note](mycat.md) + +Mycat与以上中间件的对比如下表所示。 +对比项目|[mycat](https://github.com/MyCATApache/Mycat-doc)|Mango|Cobar|Heisenberg|[Atlas](https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md)|Amoeba + +| mycat | cobar | Atlas | TDDL | heisenberg | Oceanus | vitess | OneProxy | +| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | +| 公司 | 阿里 | | 阿里 | 百度 | 360 | | | +| 数据切片 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | | +| 读写分离 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | | +| 宕机自动切换 | 支持 | 不支持 | 支持 | 不支持 | 半支持,影响写 | 不支持 | | +| MySQL协议 | 前后端支持 | JDBC | 前端支持 | 前后端支持 | 前后端支持 | JDBC | | +| 支持的数据库 | MySQL、Oracle、MongoDB、PostgreSQL | MySQL | MySQL | MySQL | MySQL | MySQL、MongoDB | | +| 社区活跃度 | 高 | 活跃 | 停滞 | 低 | 中等 | 停滞 | | +| 文档资料 | 极丰富 | 较齐全 | 较齐全 | 缺少 | 中等 | 缺少 | | +| 是否开源 | 开源 | 开源 | 开源 | 开源 | 开源 | 开源 | | +| 是否支持事务 | 弱XA | 支持 | 单库强一致、分布式弱事务 | 单库强一致、多库弱事务 | 单库强一致、分布式弱事务 | 不支持 | | + +DAL +MySQL DAL(Data Access Layer)数据访问层 + +分表:如UID mod 2分2张表存储,查询时同样操作 + diff --git a/deployment.md b/deployment.md new file mode 100644 index 0000000..7a45fad --- /dev/null +++ b/deployment.md @@ -0,0 +1,949 @@ + +Question: +--- +``` +如何解决采用金丝雀部署时间代价的问题。 +场景:一个较大项目通过滚动部署正常大约需要1小时,重要服务的部署一般会放在凌晨开展,通过金丝雀部署,canary版本验证时间会串入总时间,版本验证时间如消耗1小时,那么意味着运维人员至少晚1个小时回家。 + +所以,目前的做法是测试完的服务,滚动部署完成所有服务生产部署后,支撑人员做一个UAT,没问题结束,有问题回滚待下一次上线。 + +=> 改进 + +1. 自动化测试程度提高,canary版本可以通过自动化方式验证,从而节省测试串入时间。 +2. canary版本可以通过自动化一键验证(比如通过加header的方式让自动化测试验证匹配header value的canary版本),验证成功直接patch到旧版本,验证不成功,删除canary版本,相当于回滚,且不影响生产用户。 +3. header value + weight 方式发布,可以让部分体验用户使用新功能,体验app? + +``` + +# 第一篇:K8S三种部署策略 + +## 1. 部署策略对比 + +分别对滚动部署、蓝绿部署和金丝雀部署进行对比 + +### 滚动部署 +应用的新版本逐步替换旧版本。实际的部署发生在一段时间内。在此期间,新旧版本会共存,而不会影响功能和用户体验。这个过程可以更轻易的回滚和旧组件不兼容的任何新组件。 + +![Screenshot_2021-10-08-14-20-37-390_com.android.browser.png](https://i.loli.net/2021/10/08/FLNrvu5mTnYa7Cy.png) +部署策略对比:滚动部署、蓝绿部署以及金丝雀部署 + +### 蓝绿部署 +应用的新版本部署在绿色版本环境中,进行功能和性能测试。一旦测试通过,应用的流量从蓝色版本路由到绿色版本。然后绿色版本变成新的生产环境。在这个方法中,两个相同的生产环境并行工作。 + +![Screenshot_2021-10-08-14-21-21-681_com.android.browser.png](https://i.loli.net/2021/10/08/p7h84u6AEDyxMl9.png) +部署策略对比:滚动部署、蓝绿部署以及金丝雀部署 + +![Screenshot_2021-10-08-14-21-31-176_com.android.browser.png](https://i.loli.net/2021/10/08/D5PmG3u4L2fIqS7.png) +部署策略对比:滚动部署、蓝绿部署以及金丝雀部署 + +### 金丝雀部署 +采用金丝雀部署,你可以在生产环境的基础设施中小范围的部署新的应用代码。一旦应用签署发布,只有少数用户被路由到它。最大限度的降低影响。如果没有错误发生,新版本可以逐渐推广到整个基础设施。以前旷工开矿下矿洞前,先会放一只金丝雀进去探是否有有毒气体,看金丝雀能否活下来,金丝雀发布由此得名。下图示范了金丝雀部署: + +![Screenshot_2021-10-08-14-21-41-910_com.android.browser.png](https://i.loli.net/2021/10/08/shUZ6SaKfI5iWRF.png) +部署策略对比:滚动部署、蓝绿部署以及金丝雀部署 + +金丝雀部署包括将生产流量从版本A逐渐转移到版本B。通常,流量是根据权重分配的。 例如,90%的请求发送到版本A,10%的请求发送到版本B。 + +## 2. 使用Kubernetes实现金丝雀部署 + +主要步骤: +1. 部署v1版本的应用,此时service访问的都是v1版本的服务 +2. 部署v2版本,数量为x/10,同时缩小v1版本的数量x/10,此时有x/10的流量到v2版本的服务 +3. 逐步缩小v1,扩大v2,最终v2版本替换全部的v1 + +### 2.1 搭建模拟的服务 + +app-v1.yaml : https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/canary/native/app-v1.yaml + +``` +apiVersion: v1 +kind: Service +metadata: + name: my-app + labels: + app: my-app +spec: + type: NodePort + ports: + - name: http + port: 80 + targetPort: http + selector: + app: my-app +``` +--- +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app-v1 + labels: + app: my-app +spec: + replicas: 10 + selector: + matchLabels: + app: my-app + version: v1.0.0 + template: + metadata: + labels: + app: my-app + version: v1.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v1.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + periodSeconds: 5 +``` + +$kubectl apply -f app-v1.yaml + +``` +service/my-app created +deployment.apps/my-app-v1 created +``` + +$kubectl get service my-app + +``` +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +my-app NodePort 10.98.198.198 80:30969/TCP 23m +``` + +$curl 10.98.198.198:80 + +``` +Host: my-app-v1-c9b7f9985-5qvz4, Version: v1.0.0 +``` + +### 2.2 应用使用金丝雀部署方式来升级 +接下来,我们对my-app-v1升级到my-app-v2: + +app-v2.yaml : https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/canary/native/app-v2.yaml + +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app-v2 + labels: + app: my-app +spec: + replicas: 1 + selector: + matchLabels: + app: my-app + version: v2.0.0 + template: + metadata: + labels: + app: my-app + version: v2.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v2.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + periodSeconds: 5 +``` + +开启watch来监控pod和deployment的变化 + +$kubectl get --watch deployment + +$kubectl get --watch pod + + +升级 + +$kubectl apply -f app-v2.yaml + +``` +deployment.apps/my-app-v2 created +``` + +此时可以看到,my-app-v2启动了1个 + +$kubectl get --watch deployment + +``` +NAME READY UP-TO-DATE AVAILABLE AGE +my-app-v1 10/10 10 10 45m +my-app-v2 1/1 1 1 46s +``` + +$kubectl scale --replicas=9 deploy my-app-v1 + +``` +deployment.apps/my-app-v1 scaled +``` + +$kubectl get deployments + +``` +NAME READY UP-TO-DATE AVAILABLE AGE +my-app-v1 9/9 9 9 47m +my-app-v2 1/1 1 1 2m48s +``` + +此时,我们将my-app-v1 缩小到9个,这样通过service的负载均衡,my-app-v2会承接到%10(1/20)的流量 + +``` +$service=10.98.198.198:80 + +$while sleep 0.1; do curl "$service"; done + +Host: my-app-v1-c9b7f9985-mqnmr, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-bl4g7, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-rmng9, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-mz9hc, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-bl4g7, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-mz9hc, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-mm6fp, Version: v1.0.0 +Host: my-app-v2-77fc8c9499-m6n9j, Version: v2.0.0 +Host: my-app-v1-c9b7f9985-l69pf, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-mqnmr, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-mz9hc, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-62zb4, Version: v1.0.0 +``` + +验证通过后,我们逐步将my-app-v2扩容到10个,将my-app-v1缩小到0个 + +$kubectl scale --replicas=10 deploy my-app-v2 + +$kubectl delete deploy my-app-v1 + +再次验证服务,会发现my-app-v2承接了所有流量: + +``` +$while sleep 0.1; do curl "$service"; done +``` + +测试完成清理数据 + +$kubectl delete all -l app=my-app + +## 3. 使用Kubernetes实现蓝绿部署 + +主要步骤: +1. 部署v1版本 ,此时service访问的都是v1版本的服务 +2. 部署v2版本,直到部署完成 +3. 将service的流量从v1版本切换到v2版本 +4. 销毁v1 + +首先,通过如下命令监控pod的实时状态 + +$watch kubectl get pod + +### 3.1 搭建模拟的服务 +app-v1.yaml:https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/blue-green/single-service/app-v1.yaml + +``` +apiVersion: v1 +kind: Service +metadata: + name: my-app + labels: + app: my-app +spec: + type: NodePort + ports: + - name: http + port: 80 + targetPort: http + + # Note here that we match both the app and the version + selector: + app: my-app + version: v1.0.0 +``` +--- +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app-v1 + labels: + app: my-app +spec: + replicas: 3 + selector: + matchLabels: + app: my-app + version: v1.0.0 + template: + metadata: + labels: + app: my-app + version: v1.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v1.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + periodSeconds: 5 +``` +部署服务和v1版本 + +$kubectl apply -f app-v1.yaml + +``` +service/my-app created +deployment.apps/my-app-v1 created +``` + +$kubectl get service + +``` +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +kubernetes ClusterIP 10.96.0.1 443/TCP 14d +my-app NodePort 10.111.231.242 80:31540/TCP 18s +``` + +$while sleep 0.1;do curl 10.111.231.242:80;done + +``` +Host: my-app-v1-c9b7f9985-wqpf5, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-wqpf5, Version: v1.0.0 +Host: my-app-v1-c9b7f9985-gnhr4, Version: v1.0.0 +``` + +### 3.2 部署v2版本 + +app-v2.yaml:https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/blue-green/single-service/app-v2.yaml + +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app-v2 + labels: + app: my-app +spec: + replicas: 3 + selector: + matchLabels: + app: my-app + version: v2.0.0 + template: + metadata: + labels: + app: my-app + version: v2.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v2.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + periodSeconds: 5 +``` + +部署完成后,我们可以看到,总共个部署了两个版本的deployment。有3个pod是v1,另外3个是v2的。而当前service访问的都是v1版本的服务 + +![Screenshot_2021-10-08-14-22-30-848_com.android.browser.png](https://i.loli.net/2021/10/08/5f7Qzk28NhlWm6L.png) +image.png +接下来,就是要将服务的流量切到v2 + +$kubectl patch service my-app -p '{"spec":{"selector":{"version":"v2.0.0"}}}' + +此时可以看到,服务的流量都到了v2 + +![Screenshot_2021-10-08-14-22-48-523_com.android.browser.png](https://i.loli.net/2021/10/08/LZQ2cqFz8mV9aiA.png) +image.png +验证没问题后,我们把v1删除 + +$kubectl delete deploy my-app-v1 + +若有问题,可以回滚 + +$kubectl patch service my-app -p '{"spec":{"selector":{"version":"v1.0.0"}}}' + +## 4. 使用Kubernetes实现滚动部署 + +主要步骤: +1. 部署v1版本 ,此时service访问的都是v1版本的服务 +2. 设置v2版本,且更新策略为滚动更新 +3. 部署v2版本 + +### 4.1 搭建模拟的服务 + +app-v1.yaml: https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/ramped/app-v1.yaml + +``` +apiVersion: v1 +kind: Service +metadata: + name: my-app + labels: + app: my-app +spec: + type: NodePort + ports: + - name: http + port: 80 + targetPort: http + selector: + app: my-app +``` +--- +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app + labels: + app: my-app +spec: + replicas: 10 + selector: + matchLabels: + app: my-app + template: + metadata: + labels: + app: my-app + version: v1.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v1.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + periodSeconds: 5 +``` + +部署app-v1.yaml + +$kubectl apply -f app-v1.yaml + +``` +service/my-app created +deployment.apps/my-app created +``` + +$kubectl get service + +``` +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +kubernetes ClusterIP 10.96.0.1 443/TCP 14d +my-app NodePort 10.100.43.22 80:32725/TCP 45s +``` + +$curl 10.100.43.22:80 + +``` +Host: my-app-c9b7f9985-ph2fz, Version: v1.0.0 +``` + +### 4.2 接下来准备进行滚动升级 + +通过如下命令监控pod的变化 + +$watch kubectl get pod + +app-v2.yaml : https://github.com/ContainerSolutions/k8s-deployment-strategies/blob/master/ramped/app-v2.yaml + +``` +apiVersion: apps/v1 +kind: Deployment +metadata: + name: my-app + labels: + app: my-app +spec: + replicas: 10 + + # Here we define the rolling update strategy + # - maxSurge define how many pod we can add at a time + # - maxUnavailable define how many pod can be unavailable + # during the rolling update + # + # Setting maxUnavailable to 0 would make sure we have the appropriate + # capacity during the rolling update. + # You can also use percentage based value instead of integer. + strategy: + type: RollingUpdate + rollingUpdate: + maxSurge: 1 + maxUnavailable: 0 + + # The selector field tell the deployment which pod to update with + # the new version. This field is optional, but if you have labels + # uniquely defined for the pod, in this case the "version" label, + # then we need to redefine the matchLabels and eliminate the version + # field from there. + selector: + matchLabels: + app: my-app + template: + metadata: + labels: + app: my-app + version: v2.0.0 + annotations: + prometheus.io/scrape: "true" + prometheus.io/port: "9101" + spec: + containers: + - name: my-app + image: containersol/k8s-deployment-strategies + ports: + - name: http + containerPort: 8080 + - name: probe + containerPort: 8086 + env: + - name: VERSION + value: v2.0.0 + livenessProbe: + httpGet: + path: /live + port: probe + initialDelaySeconds: 5 + periodSeconds: 5 + readinessProbe: + httpGet: + path: /ready + port: probe + + # Intial delay is set to a high value to have a better + # visibility of the ramped deployment + initialDelaySeconds: 15 + periodSeconds: 5 +``` + +开始升级 + +$kubectl apply -f app-v2.yaml + +``` +deployment.apps/my-app configured +``` + +同时可以看到pod正在被逐步替换 + +![Screenshot_2021-10-08-14-23-08-551_com.android.browser.png](https://i.loli.net/2021/10/08/NqISZGDowdzv5CK.png) +image.png +在逐步替换的过程中,为了验证流量,可以随时暂停升级,暂停恢复命令如下 + +$kubectl rollout pause deploy my-app + +``` +deployment.apps/my-app paused +``` + +$kubectl rollout resume deploy my-app + +``` +deployment.apps/my-app resumed +``` + + +# 第二篇:K8S基于ingress-nginx实现灰度发布 + +之前介绍过使用ambassador实现灰度发布,今天介绍如何使用ingre-nginx实现。 + +## 介绍 + +Ingress-Nginx 是一个K8S ingress工具,支持配置 Ingress Annotations 来实现不同场景下的灰度发布和测试。 + +Nginx Annotations 支持以下 4 种 Canary 规则: + +### nginx.ingress.kubernetes.io/canary-by-header: +基于 Request Header 的流量切分,适用于灰度发布以及 A/B 测试。当 Request Header 设置为 always时,请求将会被一直发送到 Canary 版本;当 Request Header 设置为 never时,请求不会被发送到 Canary 入口;对于任何其他 Header 值,将忽略 Header,并通过优先级将请求与其他金丝雀规则进行优先级的比较。 + +### nginx.ingress.kubernetes.io/canary-by-header-value: +要匹配的 Request Header 的值,用于通知 Ingress 将请求路由到 Canary Ingress 中指定的服务。当 Request Header 设置为此值时,它将被路由到 Canary 入口。该规则允许用户自定义 Request Header 的值,必须与上一个 annotation (即:canary-by-header)一起使用。 + +### nginx.ingress.kubernetes.io/canary-weight: +基于服务权重的流量切分,适用于蓝绿部署,权重范围 0 - 100 按百分比将请求路由到 Canary Ingress 中指定的服务。权重为 0 意味着该金丝雀规则不会向 Canary 入口的服务发送任何请求。权重为 100 意味着所有请求都将被发送到 Canary 入口。 + +### nginx.ingress.kubernetes.io/canary-by-cookie: +基于 Cookie 的流量切分,适用于灰度发布与 A/B 测试。用于通知 Ingress 将请求路由到 Canary Ingress 中指定的服务的cookie。当 cookie 值设置为 always时,它将被路由到 Canary 入口;当 cookie 值设置为 never时,请求不会被发送到 Canary 入口;对于任何其他值,将忽略 cookie 并将请求与其他金丝雀规则进行优先级的比较。 + + +注意:金丝雀规则按优先顺序进行如下排序: + +canary-by-header - > canary-by-cookie - > canary-weight + +我们可以把以上的四个 annotation 规则可以总体划分为以下两类: + +基于权重的 Canary 规则 +![658e7d2fb7c671f4.png](https://i.loli.net/2021/10/08/C8kiKuO7a1T6mtI.png) + +基于用户请求的 Canary 规则 +![d1899062bab4dc0f.png](https://i.loli.net/2021/10/08/iUu7fCacj4XLGgA.png) + +注意: Ingress-Nginx 实在0.21.0 版本 中,引入的Canary 功能,因此要确保ingress版本OK + +## 测试 + +### 应用准备 +两个版本的服务,正常版本: + +``` +import static java.util.Collections.singletonMap; + +@SpringBootApplication +@Controller +public class RestPrometheusApplication { + + @Autowired + private MeterRegistry registry; + + @GetMapping(path = "/", produces = "application/json") + @ResponseBody + public Map landingPage() { + Counter.builder("mymetric").tag("foo", "bar").register(registry).increment(); + return singletonMap("hello", "ambassador"); + } + + public static void main(String[] args) { + SpringApplication.run(RestPrometheusApplication.class, args); + } +} +``` + +访问会输出: + +``` +{"hello":"ambassador"} +``` +灰度版本: + +``` +import static java.util.Collections.singletonMap; + +@SpringBootApplication +@Controller +public class RestPrometheusApplication { + + @Autowired + private MeterRegistry registry; + + @GetMapping(path = "/", produces = "application/json") + @ResponseBody + public Map landingPage() { + Counter.builder("mymetric").tag("foo", "bar").register(registry).increment(); + return singletonMap("hello", "ambassador, this is a gray version"); + } + + public static void main(String[] args) { + SpringApplication.run(RestPrometheusApplication.class, args); + } + +} +``` + +访问会输出: + +``` +{"hello":"ambassador, this is a gray version"} +``` + +### ingress 配置 + +#### header +我们部署好两个服务,springboot-rest-demo是正常的服务,springboot-rest-demo-gray是灰度服务,我们来配置ingress,通过canary-by-header来实现: + +正常服务的: + +``` +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + name: springboot-rest-demo + annotations: + kubernetes.io/ingress.class: nginx +spec: + rules: + - host: springboot-rest.jadepeng.com + http: + paths: + - backend: + serviceName: springboot-rest-demo + servicePort: 80 +``` +canary 的: + +``` +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + name: springboot-rest-demo-gray + annotations: + kubernetes.io/ingress.class: nginx + nginx.ingress.kubernetes.io/canary: "true" + nginx.ingress.kubernetes.io/canary-by-header: "canary" + nginx.ingress.kubernetes.io/canary-by-header-value: "true" +spec: + rules: + - host: springboot-rest.jadepeng.com + http: + paths: + - backend: + serviceName: springboot-rest-demo-gray + servicePort: 80 +``` +将上面的文件执行: + +``` +kubectl -n=default apply -f ingress-test.yml +ingress.extensions/springboot-rest-demo created +ingress.extensions/springboot-rest-demo-gray created +``` + +执行测试,不添加header,访问的默认是正式版本: + +``` +$ curl http://springboot-rest.jadepeng.com; echo +{"hello":"ambassador"} + +$ curl http://springboot-rest.jadepeng.com; echo +{"hello":"ambassador"} +``` + +添加header,可以看到,访问的已经是灰度版本了 + +``` +$ curl -H "canary: true" http://springboot-rest.jadepeng.com; echo +{"hello":"ambassador, this is a gray version"} +``` + +#### weight + +``` +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + annotations: + kubernetes.io/ingress.class: nginx + nginx.ingress.kubernetes.io/canary: "true" + nginx.ingress.kubernetes.io/canary-weight: "50" + name: helloworld-weight +spec: + rules: + - host: hello.world.test + http: + paths: + - backend: + serviceName: hello-world-svc-v2 + servicePort: 80 +``` + +创建Ingress规则: + +``` +[root@vm10-0-11-201 ~]# kubectl apply -f helloworld-ingress.yaml +ingress.extensions/hello-world created +[root@vm10-0-11-201 ~]# kubectl apply -f weight-ingress.yaml +ingress.extensions/helloworld-weight created +[root@vm10-0-11-201 ~]# kubectl get ingress +NAME CLASS HOSTS ADDRESS PORTS AGE +hello-world hello.world.test 80 41s +helloworld-weight hello.world.test 80 27s +``` + +验证访问情况 +通过以下命令获取EXTERNAL-IP及访问服务: + +``` +[root@vm10-0-11-201 ~]# kubectl get svc -n ingress-nginx +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +nginx-ingress LoadBalancer 10.254.28.54 120.92.xx.xx 80:31741/TCP,443:32754/TCP 3h19m +[root@vm10-0-11-201 ~]# for i in $(seq 1 10); do curl -H "Host: hello.world.test" http://120.92.xx.xx; done; +Hello World v2! +Hello World v2! +Hello World v1! +Hello World v2! +Hello World v2! +Hello World v1! +Hello World v1! +Hello World v1! +Hello World v2! +Hello World v2! +``` +多次访问能发现约50%的流量会被分发到v2版本服务中。 + +#### others + +ingress-nginx 从 0.21.0 开始支持金丝雀(canary)模式,对应的 merge 是 3341。 Canary deploys with ingress-nginx 介绍了用法。 + +首先创建一个普通的 ingress A 指向 Service A: + +``` +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + annotations: + nginx.ingress.kubernetes.io/ingress.class: nginx + nginx.ingress.kubernetes.io/upstream-fail-timeout: "10" + nginx.ingress.kubernetes.io/upstream-max-fails: "2" + name: demo-echo-ingress + namespace: demo-echo +spec: + rules: + - host: demo.echo.test + http: + paths: + - path: / + backend: + serviceName: webshell + servicePort: 80 +``` +然后创建一个设置了相同 host 和 path 的 ingress B,Ingress B 指向了另一个服务 Service B,并且在 annotations 中注明这是一个 canary ingress: + +``` +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + annotations: + nginx.ingress.kubernetes.io/canary: "true" + nginx.ingress.kubernetes.io/canary-by-header: "version" + nginx.ingress.kubernetes.io/canary-by-header-value: "canary" + nginx.ingress.kubernetes.io/canary-by-cookie: "canary-cookie" + nginx.ingress.kubernetes.io/canary-weight: "50" + nginx.ingress.kubernetes.io/ingress.class: nginx + nginx.ingress.kubernetes.io/upstream-fail-timeout: "10" + nginx.ingress.kubernetes.io/upstream-max-fails: "2" + name: demo-echo-ingress-canary + namespace: demo-echo +spec: + rules: + - host: demo.echo.test + http: + paths: + - path: / + backend: + serviceName: echo + servicePort: 80 +``` +带有 “version: canary” 头的请求都被发送到 canary 版本: + +``` +curl -H "version: canary" -H "Host: demo.echo.test" 10.10.64.58 +``` +相关参数为: + +``` +nginx.ingress.kubernetes.io/canary-by-header: "version" +nginx.ingress.kubernetes.io/canary-by-header-value: "canary" +``` +不带有 “version: canary” 头的请求一半被转发给 canary 版本,相关参数为: + +``` +nginx.ingress.kubernetes.io/canary-weight: "50" +``` +还支持按照 cookie 选择,cookie 的值为 always 或者 never,前者转发给 canary,后者不转发,指定 cookie 名称的参数为 : + +``` +nginx.ingress.kubernetes.io/canary-by-cookie: "canary-cookie" +curl -v -b canary-cookie=always demo.echo.test # 访问金丝雀版本 +curl -v -b canary-cookie=never demo.echo.test # 访问非金丝雀版本 +header、cookie、weight 的作用顺序是:canary-by-header -> canary-by-cookie -> canary-weight。 +``` + +## 参考 +https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#canary + diff --git a/devops.md b/devops.md new file mode 100644 index 0000000..bf0fd9f --- /dev/null +++ b/devops.md @@ -0,0 +1,68 @@ + +# [正确理解DevOps开发运维一体化](https://www.aisoutu.com/a/67821) + +发布于 2020-12-25 00:20 + +我们一直说DevOps是“谁开发谁运维、开发运维一体化”,但具体怎么做并没有几个人说的清楚的。特别是“谁开发谁运维”,这明显是不符合实际情况的。试想一下,一个开发人员开发的应用服务都由他自己来运维,他能运维几个应用服务?然后又有多少时间能继续做开发?到最后岂不是所有开发人员都成了运维人员。有点极端,但是也正说明了我们对DevOps的认识存在很大的误解。 + +DevOps提倡“开发运维一体化”,但不是“谁开发谁运维”。但怎么开发运维一体化往往也都没有说清楚,也没有很好的实践案例。**Google SRE更多的其实是运维阶段的工作,虽然Google SRE很多工作是运维工具和运维服务的开发工作,但其本质上是做运维。但是它给我们的一个很好的启示是,把“运维开发”和“运维维护”一体化了,也就是运维人员不再是简单的系统管理和维护,而是通过运维工具的研发,使运维流程自动化和智能化,将一些日常重复性的运维工作通过自研工具自动化和智能化了,这就大大减轻了运维人员的维护工作量,提升了运维效率。**这些工作不再靠“研发人员”,而是“运维自身”的能力来实现的。 + +CG: +*运维&开发不是一个工种门类,如何一体?如何粘合,不是说开发既做开发有做运维,这样无法专注开发,也无法专注运维,不是说运维和开发是一个人或一个团队,而是开发和运维能无缝衔接,形成反馈合力。那么如何做到这点,一是运维过程必须向前看,加速反馈和处理过程;二是必须依靠自动化工具,人的协作毕竟是非常重要的,但人存在效率偏差和技能偏差,单依靠人的协作,必然会在两者之间形成Gap,自动化工具形成管道,正式弥合这个gap,把两者粘合起来。* +**优化原则:减少大量的人工沟通协同,而是应该通过工具链协同。** +- 流水线增加启动检查节点,2个小时内有代码check in 则触发。 +- 是否需要人工验证,可以按commit desc 确认。 +- 需求和缺陷的管理 +- 需求和缺陷状态的变化 +- 变更驱动的版本开发和流水线设计 + +DevOps开发运维一体化并不是让开发去做运维,而是使开发和运维通过一些机制有机结合、高效统一,成为一个整体,从而消除开发团队和运维团队之间的gap,有效提升应用服务的研发和运维运营效率。 + +那么通过什么样的机制,如何来消除开发和运维之间的利益冲突,如何提升效率是我们在实施DevOps之前或者实施过程中需要认真思考的问题。 + +Google SRE实践给我们了很好的运维阶段的DevOps实施启示。**运维还是需要专职做运维,而且比传统运维做的更多。**运维人员需要对自己运维的环境、工具、流程、资源等有深入的理解和认识,能独立开发运维工具,独立实现运维的自动化、智能化、高可用、稳定性、安全性等要求。支撑应用的运维和运营。这就使运维成为了一个有机的小闭环,包括了运维工具、流程等的需求、设计、开发、测试、部署、运营、反馈、改进等完整生命周期过程。这和业务应用的开发和运维运营是不同层次的。**SRE的工作在提升运维效率的同时也很好的支撑了业务应用的运维运营效率。** + +SRE侧重于DevOps的Ops运维阶段。DevOps的Dev开发阶段包括需求、设计、编码、测试、部署等过程。开发阶段则强调持续开发、持续部署或持续开发、持续交付,强调敏捷开发。目的还在于提高效率。环境的敏捷准备、环境的一致性是Dev阶段高效的重要基础。 + +**传统开发、测试、UAT等环境都是由开发人员自己来维护。这也导致了往往和生产环境不一致,所以在生产部署时可能会存在很多意向不到的问题。因此在DevOps实践中,环境的运维一定要交由运维人员统一来维护,开发人员只是使用环境而不运维环境。** + +**谁有权限使用环境谁没有权限使用环境这又涉及到了DevOps中的统一权限管理和统一认证管理部分。**统一权限和认证管理可以作为企业的技术中台服务由技术中台运维团队来统一运维运营。为企业内外用户提供认证和权限服务。各个环境使用技术中台的统一认证权限平台的服务来完成认证和权限管控,也避免了重复的投入和建设。开发人员只需要用自己的账号随时登录不同的环境来完成自己的工作。这其实就是PaaS的理念。当然,你也可以在企业内部实现单点登录,一次登录,可以在拥有权限的不同环境之间切换来完成工作。这些是DevOps的基础工作。看似没有关系,却带来完全不同的效果。 + +*CG: 开发、运维的权限边界在哪里?* + +**环境一致性可以简单的通过容器化来实现。**但容器环境只能达到相对一致性,并不能实现完全一致性。容器运行在不同配置的宿主机或虚拟化节点上,都会带来一定的差异。所以你也可能经常会遇到在某个节点性能很高,而某个时刻迁移到另外一个节点性能却不如预期。 + +环境的敏捷准备则是一个相对不容易的工作。传统研发过程中通常很多时间都是花在环境准备上。不管是否采用容器化,这块的效率都是需要考虑提升的。在开发阶段涉及的流程和工作也比较多。比如开发环境准备、测试环境的准备、测试数据的准备、测试用例的自动构建、测试缺陷的自动记录等。而且这部分工作可以通过相应的工具实现敏捷能力,尽可能使工具和流程标准化,这样就可以实现自动化,就能更快的提升效率。 + +*CG: alpha/beta 测试环境的准备谁负责?* + +而软件编码的标准化程度也相对就比较低,往往依赖于开发人员的个人能力和态度。软件研发其实质是智力投资,不同的人带来的效果完全是不一样的。**所以很多想以外包的方式实现自有软件的自主可控基本上是不现实的。** + +开发阶段最终需要交付标准化交付件,不管是容器镜像、或是jar、war、exe文件等,这些文件需要统一管理起来,镜像可以用镜像仓库,jar等可以通过配置管理工具等统一来管理,而部署则可以实现自动化,不管使用自动化脚本或者自动化工具,以减少部署问题和提升效率,支持**持续部署**的能力。 + +我们在《容器云平台运维架构设计》也清楚地解释了开发和运维之间的标准化交付环节。这是减少开发和运维之间沟通成本和提升效率的重要机制。如果使用容器,镜像和镜像仓库将充当这样的一个标准化交付件和标准化交付管理媒介。它可以很好的划分和有效连接开发、测试、UAT、生产运维等应用生命周期阶段。 + +另外我们知道DevOps很重要的是要形成闭环。运维运营对开发的反馈是非常重要的,不仅仅是bug和缺陷的反馈修复,包括用户体验等都是很重要的内容。这就需要合理合适的反馈机制和流程。既包括技术的,也包括非技术的因素。 + +所以横向上我们可以简单的看作是开发、标准化交付和运维的划分,标准化交付就像是人的关节,起到润滑和弹性伸张的作用,使开发和运维成为一体并充分发挥各自的专业优势。而纵向上,可以通过分层来实现高度专业化运维。最下层是基础设施资源的运维,之上是平台、工具、环境的运维,在这些平台、工具、环境之上是业务应用的运维。所有这些工作都是为了保证业务运营的可用与安全。通过业务运营才能有收益、有利润。 + +![1_16088294734824786.png](https://i.loli.net/2021/10/25/ujbVGPR71TpBqMO.png) + +从应用整个生命周期管理过程看,80%的基本工作可能是在运维阶段,运维的事项也比较多,从效率上讲,使各运维事项专业化、自动化甚至智能化则容易提升效率。开发运维一体化重点在于提升运维的效率,包括应用、环境、平台、工具、基础设施资源等。有高效、高可用的运维环节能力,则能保证业务应用的高可用与稳定性,也就是Google SRE的Site Reliabilities。而对于应用开发人员,即便是出现意外情况,运维也有应对措施,开发人员则有充足的时间进行细致的设计和问题处理,追求更稳定、可靠、高效的能力,从而使运维更容易和便利。 + +开发运维一体化追求开发和运维的利益一致,而不是一个人既做开发也做运维。这需要通过一定的机制和借助相应的工具等来保证,使开发和运维之间能够有活动关节、有润滑剂。这应该是我们在构建DevOps的时候需要认真考虑实现的核心内容。 + + + +## references +- [猪八戒网DevOps容器云与流水线](http://dockone.io/article/8384) +- [万达网络科技的DevOps平台架构解析](https://cloud.tencent.com/developer/article/1080141) +- [DevOps之平台架构](https://www.cnblogs.com/cdani/p/7642386.html) +- [流水线2.0驱动 CD/DevOps](https://cloud.tencent.com/developer/article/1035432) +- [度量驱动的DevOps转型 ](https://www.sohu.com/a/124936190_468741) +- [保障pipeline脚本在devops中成功应用的四大核心点](https://blog.csdn.net/liwenxiang629/article/details/120762790) +- [DevOps能为倍增计划做点啥?](https://www.aisoutu.com/a/18920) +- [高通量低延迟的云环境大数据流水线架构](https://www.infoq.cn/article/myKdXcvOtTTLtOmZTe3s?utm_source=rss&utm_medium=article) +- [Devops 落地的核心和13条经验总结](http://info.dns110.com/321101.html) +- []() + diff --git a/devops_blameless.md b/devops_blameless.md new file mode 100644 index 0000000..73f850c --- /dev/null +++ b/devops_blameless.md @@ -0,0 +1,28 @@ + +2020/3/3 +关于devops无问责文化 + +故障分析会,讨论关于平台故障及应急流程是不是符合规范的问题,我们是这样,故障发生会对故障进行预判,如果是三级故障,即全局性最严重的的故障,那么就可以进行应急操作,目的是让业务可用,也就是“先抢通后修复”的原则。规范里对故障发生到应急事件,及故障修复时间有要求。 + +因为刚刚领导对故障的处理不满意,之前也问责了几次,甚至也扣了绩效,所以,这个故障报告怎么写比较重视,在对过程统计进行分析中,我们发现这个处理的过程有人为迟滞,没有很好的理由加以说明。 + +因为故障发生时有个处理小组实时沟通问题及处理过程,这时候就有人提出来,是不是可以建立一个新讨论组,把QA的人踢出去,这当然被我否决,我们要清楚故障总结的目的是什么!!! +哈哈,这就是问责文化和质量警察最终的必然后果,因为这种文化下,我又怎能保证下次队员的这种“藏着掖着”手段不背着我进行呢。 + +blame : 问题发生 -> 甩锅,瞒报 -> 信息、特别是问题不透明 -> 原因不明 -> 问题积累 -> 欠债,集中爆发,各扫门前雪,官僚文化 + +blameless :问题发生 -> 反馈 -> 解决 -> 总结 -> 提升,非常符合PDCA环精益的方法论啊 + +devops之所以强调blameless,因为blameless的确是基础,不光是让问题简单化,让团队更积极(而不是让团队胆战心惊,小心翼翼,这是创新的大敌,所谓创新有时候就是一种小范围的试错,合规的前提下鼓励试错);其次是blameless是如果有问题那就让问题尽早出现的devops另一原则,fail fast;再者,blameless让问题及时反馈,符合向上游靠拢的原则。 + +没有blame,不骂人,领导总是担心没有震慑力,底下人不能好好干活,典型专制政府型思维,官僚文化 + +那么,问题是,据我所知,blame是很多组织领导驱动执行力的手段,blameless不是自废武功? +为什么政府强调问责,中国政府问责制是很厉害的,甚至是终生问责,秋后算账都不鲜见,最近新冠疫情,光武汉就已经[问责处理654人,涉局级干部10人](https://www.jiemian.com/article/4051360_foxit.html),这个除了中国历史历来的运动式治理的需要,另一个重要原因就是保持中央权威和执行力的需要,确保中央绝对能够指挥地方。这就跟一个组织的目标有关系,政府的目标宏观上一定是统一压倒一切,稳定压倒一切,政府属性压倒一切,而这一切的基础就绝对权威,在这个目标下,必须问责,没有机会问责,甚至可以创造机会问责,比如刘邦胡兰案,乾隆叫魂案,文革。经济和科技领域当然不是稳定压倒一切了,稳定过度就是压制创新,打压进步和压制发展,这就是为什么政府部门“一管就死”的原因吧。 +那么企业呢? + + +--- +if you can not measure it , you can not manage it +- 管理大师 彼得德鲁克 +--- diff --git a/devopscertificate.md b/devopscertificate.md new file mode 100644 index 0000000..75a5fad --- /dev/null +++ b/devopscertificate.md @@ -0,0 +1,179 @@ +# devops master certificate + +1. 验收测试的最佳选择? Happy Path +2. 创建可执行文件的工具是一种什么样的构建工具? Make, 面向产品 +3. 一出问题就骂外包: 加强协作, 不指责. +4. 告诉老板Devops能带来哪些效果: 快速发布, 降低成本, 直接支持业务产出 +5. DevOps开始时要做什么? 愿景, 目标. +6. Devops团队的成员? 6-8人, Cross function 跨职能 +7. 紧急变更打补丁? RFC 申请变更, 分析影响, 通知利益相关方 +8. 云计算的哪个特性能实现自动部署? 标准栈 +9. 云的哪个特性不让人放心想上云? 安全, 服务级别(SLA) +10. 哪个不是实现良好配置管理的策略?不能把二进制放到配置管理中 +11. 什么是管理基础设施的原则? 原则是后面个自动化, 版本控制, 监控 +12. 什么是构建依赖, 什么是运行依赖? 编译是构建依赖 +13. 手动软件发布过程的优点? 加强协作, 加强Review +14. 什么不是部署管道的一部分? +15. 一个新版本每三个月发布一次是Devops实践? 迭代中要进行增量发布 +16. 为什么SLA对客户如此重要? 对客户有价值 +17. 发生故障是基础设施重建? 自动化提供自动化运维 +18. SOR? 协作型 +19. 向其他同事抱怨不直接发生冲突? 避免/回避 +20. DevOps Mindset? 非谴责, 高效, 亲和 +21. 什么是协作? 多人根据输入达成共同的输出 +22. 什么是亲和? 不同群体 +23. 如何使Devops更加成熟? 戴明环, KAIZEN, 可视化控制和可视化管理. +24. Devops文化转变包含什么? 新和, 协和, 高度信任, 同理心, 不谴责, 单件流 +25. 项目在DevOps中取得成功必须改变什么? Mindset, 千万不要选工具 +26. 重复可靠是指什么过程? Release +27. Devops反模式? 手工发布, 开发完后才部署 +28. 迭代时间和频次取决于什么? 业务需求 +29. 持续部署的优点? 性能和一致性不相冲突 +30. Obeya作战系统? 共享信息, 快速决策 +31. CI的好处? 更少的Bug, 更低的成本, 更快发现Bug +32. 既能保证质量又能提高发布效率?单件流 +33. 构建失败时应该怎么解决? 谁提交失败谁负责修复o + +--- +DevOps白皮书 +第1部分:A journey to DevOps The DevOps framework should support business outcomes directly。 + +第2部分:What is DevOps for the enterprise system? DevOps can also enable maturity by using W.E. Deming’s Plan Do-Check-Act cycle. + +第4部分DevOps Body of Knowledge:第四节TPS (Lean) concept as foundation :Building a stream-lined supply chain of IT services is difficult because there are many items and it is necessary to change your mindset from the familiar existing development cycle and its methodologies.(JIT means building up a stream-lined supply chain with one-piece +flow.) + +第4部分 DevOps Body of Knowledge:IT service management Service on just providing quick and frequent IT services and reliable operation and is led by the service master. It is most suited for SoE and SoR continuity is an essential part of the warranty (fitness for purpose) of a service. If service continuity cannot be maintained and/or restored in accordance with the requirements of the business, then the business will not experience the value that has been promised. Without continuity, the utility (fitness for use) of the service cannot be accessed. + +第 5 章角色职责: Leads the team and facilitates, this role is the same as “Scrum Master” in Scrum.Implements visual control across the entire process and has a strong focus on establishing a stream-lined process with one-piece flow. + +第5部分:DevOps Team Roles (Leads the team and facilitates, this role is the same as “Scrum Master” in Scrum. Implements visual control across the entire process and has a strong focus on establishing a stream-lined process with one-piece flow.) + +第5部分:Gatekeeper / Release coordinator: Responsible for monitoring the operational status and progress of the next release of the IT service. Make go/no go decisions about deployment according to criteria including security, compliance, regulatory requirements, maturity of operation team and their process views. + +第7部分:DevOps Process Project Planning The service master creates the vision, goal, and value of the project, and then puts together the DevOps team members. + +第 7 章 JKK 解释:它基于 100%完成高质量项目创建完成定义 + +第7部分:DevOps Process Obeya is a war room which serves two purposes - information management and on-the-spot decision making. + +第8部分 DevOps implementation Collaboration: (Standard): This focuses on just providing quick and frequent IT services and reliable operation and is led by the service master. It is most suited for SoE and SoR + +DEVOPS团队由 6-8 名成员组成的跨职能团队。 + +The Service Master EOL + +精益管理中的八大浪费类型 + +持续交付第11章基础设施和环境管理 225页:自动化的准备工作与自动化维护相结合,可保证出现问题就能在可预见的时间内重建基础设施。 + +持续交付第11章 11.7.2章节 虚拟环境和部署流水线。250页 构建和发布管理系统应该能记住用来运行部署流水线的虚拟机模板,当部署到生产环境时,也应该能够启动同一套虚拟机模板。 + +持续交付第四章 测试策略的实现 71页当你有时间写更多的自动化测试时,很难在Happy Path和Sad Path之间进行选择。 如果你的应用程序比较稳定,那么Happy Path应该是你的首选,因为它们是用户所定义的场景。 + +持续交付第4.3章节 75页制定遵守INVEST原则[即独立的(Independent)、可协商的(Negotiable)、有价 值的(Valuable)、可估计的(Estimable)、小的(Small)且可测试的(Testable)] 的用户故事[ddVMFH]及考虑其验收条件。 + +持续交付第15章 持续交付管理:340页企业治理更关注于符合度 (conformance),即遵从性、保障、监管、责任和透明管理, 而业务治理(business governance)更关注业务和价值创造的执行度(performance)。其实,执行度和符 合度都可以满足。这一道理在持续交付中也是正确的。通过确保交付团队能得到应用 程序在类生产环境上的不断反馈, 是部署流水线达成“执行度”这个目标的方法和手段。部署流水线使交付流程更加透明,来帮助团队达成符合度 + +持续交付 5.4 提交阶段 97页 + +15.3章节 344页:我们的关注点在于迭代和增量交付,以及跨功能职责角色之间的协 作。345页:Scrum是一种迭代式增量软件开发过程,通常用于敏捷软件开发。包括一系列 实践和预定义角色的过程框架。347页 开发与发布:我们推荐以迭代增量式过程进行软件 的开发与发布。 + +第3章 持续集成 44页 高效使用持续集成 的那些团队能够比那些没有使用它的团队更 快地交付软件,且缺陷更少。在交付过程 中,缺陷被发现得越早,修复它的成本就越低, 因此也就大大节省了成本和时间。因 此我们认为,对于专业的软件交付团队来说,持续集成与版本控制同等重要。 + +持续交付 3.7 章节 60 页从技术角度上看,最为简单的方法(也是从流程角度上讲最有效的方法)就是使 用共享的版本控制系统和持续集成系统。 63 页 3.8 章节:,DVCS 引入了一个中间层:在本地工作区的修改必须先提交到本地库,然后才能 推送到其他仓库,而更新本地工作区时,必须先从其他仓库中将代码更新到本地库。以及 14.4 章节 + +持续交付第五章。什么不是部署管道的一部分?88页 + +6.2 章节 构建工具:117 页 各构建工具的不同点在于它是任务导向的,还是产品导向的。任务导向的 构建工具(比如 Ant、NAnt 和 MSBuild)会依据一系列的任务描述依赖网络, 而产品导 向的工具,比如 Make(创建可执行文件),是根据它们生成的产物(比如一个可执行文件)来描述。 + +项目失败:转向持续部署模式的最佳第一步是什么?开发应非正式地涉及整个项目的运维,并合作共同创建部署脚本。 + +哪种做法有助于在不影响质量的情况下提高速度?One-piece-flow + +手动软件发布过程的优点是什么?鼓励协作,团队成员则审查彼此的工作。 + +第八章:自动化验收测试 154 页:首先,由于反馈环将 大大缩短,缺陷被发现得更快,也就更容易修复。其次,由于测试人员、开发人员和 客户需要紧密合作才能创建一个良好的自动化测试套件,这会促进他们之间的良好合 作,而且每个人都将关注软件应该交付的业务价值。 + +第 3 章,3.5.1 52 页、53 页 您的同事说:“即使构建中断,您也应该Check In。 + +老板问实施DevOps,What would not be a good reason? 团队解释了新实践在另一家公司中的运作方式。 + +8.5.1 验收测试中的状态 p167首先,要抵制使用生产数据的备份作为验收测试的测试数据库的诱惑(尽管有时 它对吞吐量测试是有用的)。相反,我们要维护一个受控的数据最小集。测试的一个关 键方面是建立一个确知的起始点。通过生产数据的副本以进行测试。 + +12.4 章节 数据库回滚和无停机发布 P268 + +11.9 基础设施和应用程序的监控 p257 收集数据、记录日志、建立信息展示板、行为驱动监控。提出了四种可能的操作来排除应用程序故障 1,2&4 + +13.5.5 循环依赖。 P302 循环依赖构建阶梯 + +13.3 依赖 P286 构建时依赖与运行时依赖之间的区别如下:构建时依赖会出现在应用程序编译和链接时(如果需要编译和链接的话);而运行时依赖会出现在应用程序运行并完成它的某些操作时。 + +第 2 章 配置管理 P24 进行增量更改,满足我所在组织的所有合规性规定 + +第 11 章 基础设施管理 P224 第 11 章 基础设施管理 P224 +准备部署环境的过程以及部署之后对环境的管理是本章的主要内容。然而为了能 够做到这一点,就要基于下面这些原则,用一个整体方法来管理所有基础设施。 ① 使用保存于版本控制库中的配置信息来指定基础设施所处的状态。 基础设施应该具有自治特性,即它应该自动地将自己设定为所需状态。 通过测试设备和监控手段,应该每时每刻都能掌握基础设施的实时状况。 什么不是管理基础设施的原则?编写新的通用基础管理脚本。 + +2.2 章版本控制 P27 什么不被认为是实现配置管理这一目标的有效策略?始终将二进制文件和配置信息保存在一起。 + +11.8.1 P254 Cloud 安全和服务水平 + +11.8.2 云中平台 P255 将应用部署到完全标准化的应用栈上,就意味着不需要担心测试环境、试运行 环境和生产环境的配置和维护,也不需要担心虚拟机映像的管理。最后一点尤其是革命性的。在本书中,用了大量的篇幅来讨论如何自动化你的部 署、测试和发布流程,以及如何搭建和管理测试和部署环境。云中的哪个平台特性最能实现自动部署? Standardized stack + +10.5 紧急修复 P216 任何情况下,都不能破坏流程。紧急修复版本 也要走同样的构建、部署、测试和发布流程,与其他代码变更没什么区别。发布 RFC 作为紧急补丁并通知所有利益相关者。 然后根据 SLA 应用紧急补丁。P216 + +--- +高效的 DevOps 文化需要具备:高效沟通,共识与信任,人性化的员工配置和资源 +写一份项目章程很重要,一起写项目范围最好的理由是什么:确保所有团队对成功有着相同的定义 +衡量已找到程序错误的总数是跟踪项目质量最好的方法吗:全局范围内而非局部进行优化 +服务级别协议对专注于増加商业价值有所帮助 + +--- +1. 场景:5 个月 h 后……,开发完成后才向类生产环境部署(考点,反模式) +2. 在发布流程为软件发布创建一个可重复且可靠的过程。(考点,软件交付原则) +3. DEVOPS 应该建立一个 Pull System、One Piece Flow 的 IT Super Chain +4. 建立 DEVOPS New Mind of All People,流程 One Piece Flow +5. 场景:一家公司由于供应商的要求,只剩下 5 个月的时间建立 DEVOPS 的团队,他 们如何决定他们的迭代时间和频次? 根据符合业务要求来确定 +6. DEVOPS 四个支柱 Collaboration,Multiple People +7. 要进行 DEVOPS 转型,Coach Team 中的每一个人,建立 Blameless 的文化 +8. DevOps 转型:沟通、同理心、人员和资源 +9. 场景:CEO 以前总是骂下面的人,现在采用了 DEVOPS 方式,情况有所好转,但是 没有达到理想效果,应该:Trust each Other,建立 Blameless 文化 +10. 一个人抱怨另一个人,通过邮件到处宣扬对另一个人的不满,Avoidance +11. Gatekeeper 的职责:Security、Compliance、Regulatory Requirements +12. 浪费的类型:Extra Feature +13. 在 DEVOPS 项目计划时,SLR 包含那些内容、安全、连续性等内容 +14. DEVOPS 项目开始时要做那些工作?Vision、Goal 等 +15. SOR 适用月那种 DEVOPS 方式,Collaboration +16. Obeya,信息共享,做决定 +17. Auto Provisioning Auto maintenance +18. VM 模板 +19. SLA 的重要性,业务连续性 +20. 在稳定没有时间的情况下进行:Happy Path 测试 +21. 场景:销售人员提出了一些列销售问题,这个用户故事符合 INVEST 原则?问选哪 一个:可测试性 +22. Development Pipeline 对治理的作用 +23. 提交阶段需要做什么工作? +24. 一个团队三个月进行一次新版本的部署,而且是按照模块开发和部署,因此他们认 为他们的采用的是 DEVOPS 的方法,选项问适和否 +25. 持续集成的优势 fewer bug、cheaper +26. Check In polices +27. Run time Build time +28. 安全问题出现后,如何进行紧急变更 +29. 谁可以决定服务终止 +30. 数据库管理,此题是技术题,大概内容是要做一个回退脚本,且要保证原有数据不 能删除,但可能重构表内容。 +31. 不上云的理由,安全,SLA +32. Standardized stack +33. 手工发布软件的优势 +34. 手工测试的类型 +35. 场景:某人要提交有问题的代码,且振振有词讲到提交后可能通过变更进行更正。 +36. 循环依赖 +37. Ensures performance (fast delivery) and conformance (to requirements +38. 不要将生产数据库拿到测试环境 +39. JKK 100%质量覆盖 +40. 版本控制,巴黎,伦敦,悉尼,还有其他地方存在时差,如何进行版本控制 +41. 基础架构环境准备 +42. Cross Function 的 6-8 人 +43. 不要把二进制文件放进构件库中 +44. Make such as an Executable +45. Product Oriented +46. Process Master 的职责,建立可视化看板,单件流等 +47. 配置管理策略,增量,合规 +48. Increase speed without compromising quality diff --git a/devopsmaster证书.md b/devopsmaster证书.md new file mode 100644 index 0000000..1f9022a --- /dev/null +++ b/devopsmaster证书.md @@ -0,0 +1,7 @@ + +# devops master certificate + +## 我的devops master证书 +![devops成绩.png](https://i.loli.net/2020/09/06/fIbFGrNPsow9YUJ.png) +![devops成绩分析.png](https://i.loli.net/2020/09/06/6BFKTwjcumv8gDS.png) + diff --git a/devopssummary.md b/devopssummary.md new file mode 100644 index 0000000..6f9c692 --- /dev/null +++ b/devopssummary.md @@ -0,0 +1,116 @@ + +# devops master summary + +- 是什么?文化? +- devops实践? +- devops工具? +- 价值流具体化、可视化? +- 需求拆分技术? +- BA QA/Tester Dev - BDD技术? +- 谁决定能不能上线? + + +# 要点 +1. DevOps Mindset? **非谴责**, 高效, 亲和 +1. Devops文化转变包含? 亲和, 协作, 信任, 同理心, 不谴责, **单件流** **Trust each Other,Blameless** +1. DevOps方法论: PDCA,KAIZEN,可视化控制&管理(obeya作战室:共享信息, 快速决策) +1. 聚焦软件交付的业务价值(持续、顺畅、高质量交付有效价值) +1. 创建一个**拉式部署流水线** +1. 质量内建 + 面向上游(从Ops到Dev) + **人人对质量负责** +1. 部署脚本:使用同样的部署脚本在不同环境中部署,确保部署流程幂等性 +1. 尽早发现问题(编译错误,测试失败,环境问题让提交失败) **fail fast fail cheap** +1. 任何情况下,都不能破坏流程。紧急修复版本也要走 构建/部署/测试/发布的流程,与变更没区别 +1. 发布:蓝绿发布,金丝雀发布, AB测试 +1. 紧急修复 or 回滚 +1. 基础设施重建:Auto provisioning - auto maintainance +1. 创建**类生产环境**,环境配置变更应能够触发流水线 + 确保交付团队能得到应用程序在类生产环境上的不断反馈 +1. 创建监控策略:collect, store, dashboard, log, monitor +1. 企业治理: + - 符合度(conformance),合规性,关注遵从性,保障,监管,责任,透明管理 + - 执行度(performance),绩效,关注业务和价值 +1. 验收测试的最佳路径**happy path** +1. 交付过程中,缺陷被发现得越早,修复它的成本就越低 fail fast +1. **拉灯** + +紧急变更不应该成为不走变更流程的理由 + +#### 精益8大浪费 DOWNTIME + +| type | description | 解决 | +| ---- | ---- | ---- | +| defect | 缺陷 | poka-yake(防错设计) | +| overproduction | 过度生产 | 可视化,拉动生产 | +| waiting | 等待 | 识别约束,减少等待 | +| non-utilized people | 未充分利用人员 | kaizen,学习型组织 | +| transportation | 搬运 | 单件流 | +| inventory | 库存 | 可视化,拉动生产 | +| motion | 动作 | | +| extra processing/feature | 镀金 | 5why | + +#### 需求/用户故事原则 INVEST + +type | x +-- | -- +独立的(Independent) | 解耦 +便于沟通(Negotiable) | 减少与客户等相关方的沟通成本 +有价值的(Valuable) | 对客户有价值 +可估计的(Estimable) | 开发者便于估计工作量 +小的(Small) | 短小有代表性,敏捷迭代 +可测试的(Testable) | 用户故事已完成的标准,或者说能够确认已完成 + + +#### 个人实践 + +关于测试 +1. 类生产环境作为beta测试环境,可以是本地资源 +2. 生产中把部署和发布解耦,发布采用金丝雀或蓝绿,蓝绿对资源要求太高,采用金丝雀发布,测试/支撑/业务人员对金丝雀做小批量验证,只验证主流程,做冒烟。用Prometheus做pod监控。 +3. 验证有问题,删除新版本Pod;验证通过,新版本Pod扩展到老版本资源。 + + +``` +约束点在哪里? --> 如何改善约束点? --> 突破约束点 --> + ^ | + |__________________________________________________| + +可能约束点 +1. 环境搭建 +2. 代码部署 +3. 测试的准备和执行 + +监视缺陷和镀金 + +``` + + +开发运维“三步工作法”,它旨在阐明指导开发运维的流程与实践的价值观与理念。 + +### 第一工作法 +是关于从开发到IT运维再到客户的整个自左向右的工作流。**为了使流量最大化,我们需要小的批量规模和工作间隔,绝不让缺陷流向下游工作中心**,并且不断为了整体目标(相对于开发功能完成率、测试发现/修复比率或运维有效性指标等局部目标)进行优化。必要的做法包括持续构建、集成以及部署,按需创建环境,严控半成品,以及构建起能够顺利变更的安全系统和组织。 + +### 第二工作法 +是关于价值流各阶段自右向左的快速持续反馈流,放大其效益以确保防止问题再次发生,或者更快地发现和修复问题。这样,我们就能在所需之处获取或嵌入知识,从源头上保证质量。 + +“必要的做法包括:在部署管道中的构建和测试失败时“停止生产线”; +日复一日地持续改进日常工作;创建快速的自动化测试套装软件,以确保代码总是处于可部署的状态; +在开发和IT运维之间建立共同的目标和共同解决问题的机制; +建立普遍的产品遥测技术,让每个人都能知道,代码和环境是否在按照设定的运行,以及是否达到了客户的目标。 + +### 第三工作法 +是关于创造公司文化,该文化可带动两种风气的形成:不断尝试,这需要承担风险并从成功和失败中吸取经验教训;理解重复和练习是熟练掌握的前提。” + +“尝试和承担风险让我们能够不懈地改进工作系统,这经常要求我们去做一些与几十年来的做法大不相同的事。一旦出了问题,不断重复的日常操练赋予我们的技能和经验,令我们可以撤回至安全区域并恢复正常运作。 + +必要的做法包括营造一种勇于创新、敢于冒险(相对于畏惧或盲目服从命令)以及高信任度(相对于低信任度和命令控制)的文化,把至少20%的开发和IT运维周期划拨给非功能性需求,并且不断鼓励进行改进。 + + + +### references +- [使用Kubernetes演示金丝雀发布](https://www.cnblogs.com/rexcheny/p/10740536.html) +- [istio完成金丝雀、灰度发布](https://blog.csdn.net/qq_42150559/article/details/96136245) +- [使用原生k8s及helm完成灰度(金丝雀)发布](https://blog.csdn.net/qq_42150559/article/details/97143825) +- [Kubernetes的部署策略,你常用哪种?](https://www.sohu.com/a/318731931_100159565) + + +- [写给新人的BA工作说明书](https://www.jianshu.com/p/9efbf1233a7e) +- [DevOps实施:从敏捷文化与配置文件的困惑说起](http://www.suphp.cn/yunweipai/35/23835.html) diff --git a/devopstest.md b/devopstest.md new file mode 100644 index 0000000..bb1545b --- /dev/null +++ b/devopstest.md @@ -0,0 +1,483 @@ +# devops测试 + +## 一、选择题(20) + +1. 验收测试的最佳选择? +a. Happy Path +b. 回归测试 +c. alternate Path +d. Sad Path + +a. happy path 相当于做主流程 + +2. 云计算的哪个特性能实现自动部署? +a. 标准栈 +b. 规模化 +c. 虚拟化 +d. 通用性 + +a. 标准栈使得自动部署成为可能 + +3. 软件交付过程中,让整个过程自动化,并能够及时发现问题和修复问题,在此过程中,以下实践不是反模式选项是: +a,要求一份详尽文档,该文档描述了每个步骤中容易出错的地方 +b,开发完成后才向类生产环境部署 +c,提前频繁的做让你感到痛苦的事 +d,手工进行生产环境的配置 + +c. 痛苦的事情频繁做 + +4. 良好的配置管理过程,是实现开发和部署过程可控和可重复的基础,以下哪个内容不是良好配置管理策略: +a. 能够再现所需的任何环境。 +b. 为了达到系统运行稳定的目标,固化配置,任何修改都做登记。 +c. 能够追踪某个具体环境的某次修改,并能够追溯修改源,以及什么时间谁做了修改。 +d. 增量式修改,并可将修改部署到任意一种环境中。 + +b. 不是敏捷策略。影响迭代。 + +5. 每个应用程序都依赖于软件、硬件、基础设施等才可以正常工作,这些内容称作应用程序的环境,环境管理与配置管理同样重要。以下哪种不是良好的环境管理实践: +a. 环境管理的关键是通过一个自动化过程来创建环境。 +b. 因为环境管理的重要性,一旦系统出问题,派遣资深专家花费不确定的时间来找到问题,并修复它。 +c. 修复某个环境可能需要大量时间,因此,最好在可预见的时间里重建环境,并将其恢复到某个已知的正常状态。 +d. 创建一个类生产环境,配置问题可在早期测试中发现。 + +b. 1. 自动化、简单化、可量产、可重现,不是依赖资深专家 + +6. 公司打算构建一条部署流水线,公司领导希望实现频繁发布。 +有团队成员认为:这条部署流水线最重要的是自动化。团队首先要让它自动化起来。 +这种说法对吗? +a. 是的,这是正确的。部署流水线自动化是提升效率的最重要因素。 +b. 是的,这是正确的。关注自动化部署流水线的创建,克服之后可能遇到的潜在问题。 +c. 不,这是错误的。完成单件流及一个可靠的部署流程是优先级最高的任务。该流程的自动化可以暂缓实施。 +d. 不,这是错误的。首先应当自动化的是测试流程而非部署流水线。 + +c, 无论何时,所有部署流水线首先应当是单件流程的部署流水线,无需自动化就可高效运行。一旦该流水线稳定确立,就有机会选择可行的流程实施自动化。但是,构建稳定的部署流水线永远比自动化更重要。 + +7. 有很多方法可以使组织趋向成熟,下列哪种方法不会使你的devOps组织更趋成熟? +a. 明确定义目标定和里程碑,帮助团队成员判断其日常活动是否有价值。 +b. 明确定义流程,支持并促使团队成员逐日改进流程。 +c. 对会议的所有内容进行记录,使你的团队成员可以很方便的了解到每次沟通的内容信息。 +d. 监控并记录每天的活动,以找出小范围内每天取得的进步并予以赞扬。 + +c, 这无助于devOps组织的成熟。是否要对会议进行全程记录并再次审查,并没有严格的要求。有必要记录达成共识的内容,而不是记录整 场会议。(文献:持续交付,第十五章) + +8. 你认为自己的开发团队是一支真正的团队。 +你觉得有什么确切的特征表明这是一支团队而不只是一个小组呢? +a. 该团队遵守在团队会议中共同制定的规则。 +b. 团队召开自己主持的高效会议。 +c. 团队以稳定的工作节奏,朝着共同的目标推进。 +d. 该团队通过质询负责某项工作的团队成员的方式来解决问题。 + +d 一支真正的团队能够维持稳定的工作节奏,并能够始终向着共同的目标努力。(文献:Effective devOps,第九章) + +9. +为采用整体方法处理所有基础设施,应当遵循哪两条原则? +a. +1. 你的基础设施应具备的状态需要通过变更控制配置来确定。 +2. 你应当通过监控与事件管理,及时了解基础设施的准确状态。 +b. +1. 需要通过变更控制配置来确定你的基础设施应具备的状态。 +2. 你应当通过仪器仪表及事件管理,始终了解基础设施的确切状态。 +c. +1. 你的基础设施应具备的状态需要通过版本控制配置来确定。 +2. 你应当通过当前事件与事件管理,始终了解基础设施的确切状态。 +d. +1. 你的基础设施应具备的状态需要通过版本控制配置来确定。 +2. 你应当通过仪表盘与监控始终了解基础设施的确切状态。 + +d, 为采用整体方法处理所有基础设施,应当遵循这两条核心原则。(文献:持续交付, 第十一章) + +10. +在敏捷和devops中吸收了很多精益核心概念。实施devOps时,将精益的相关概念应用在devOps过程中,有助于成功实施devops。 +在此过程中,精益管理的哪些原则或实践方法最有效? + +a) Kaizen(专有词,意为小的、不花钱的持续改善) +b) 5S - 整理(SHIRI)、整顿(SEITON)、清扫(SEISO)、清洁(SEIKETSU)、素养(SHITSUKE) +c) Obeya系统(可视化管理) +d) 单件流与质量检查 + +d, +创建一个可行的、单件部署流水线将有 助于成功实施devOps。devOps中最重要的工作在于构建从开发部门到运维部门的上游流程,尤其是针对单一部署流水线。质量检查(JKK)是能够达成这一目标的最有效的工作行为。(文献:《企业devOps的成功之路》) + + +11. 持续集成不会单独的帮你修复构建过程,在中后期开展持续集成,意味着在构建过程需要耗费大量工作。 +为了使持续集成更高效,早期阶段,一般不会涉及的工作是? +a. 频繁提交代码到版本控制库 +b. 创建分支,并尽早提交代码到分支 +c. 创建自动化测试套件 +d. 保持较短的构建和测试过程 + +b. 应提交到主干,分支容易破坏即时集成 +持续交付 P46 + +12. 关于版本控制,以下说法不正确的是? +a. 源代码必须纳入版本控制。 +b. 配置信息必须纳入版本控制。 +c. 为了加快发布周期和提高软件质量,将编译器或其他相关工具的二进制镜像纳入版本控制。 +d. 为了加速打包,将源代码编译后的二进制文件纳入版本控制。 + +d. 不推荐,1. 比较大,2. 每次重新构建都会重新生成二进制文件,无必要 + + +13. 一个开发团队对devOps感兴趣。他们主要感兴趣的对象是持续集成(cI)。他们目前开发并维护着三种主要解决方案及四种次要解决方案。他们采用Scrum实践方法。每次冲刺都需要四周时间,平均每十天到十五天对测试环境都有一次提交发布,平均每个月对生产环境有一次发布。他们想为管理层制定一个定性的商业论证,来支持他们为创建持续集成实践模式而付出的投资与努力。 +持续集成有哪些显性收益对该商业论证最为有利? +a. 每天对测试环境进行一次部署能极大的提高商业效益并且大大缩减开发成本。 +b. 这有助于提升团队精神。由于公司已经在使用Scrum,持续集成将为公司业务带来显著的益处。 +c. 它通过更好的集成测试提高了业务稳定性,同时维持发布速度以防止产生额外成本。 +d. 在生产环境中,每天进行一次信息发布能够提升业务收益,并大大减少开发成本。 + +d, 更快速的向生产环境发布是持续集成的一大主要益处,此外还包括更快速地发现故障以减少开发成本和故障修复成本。(文献:《持续交付》, 第三章——持续集成) + +14. 关于使用脚本去构建和部署流程自动化,以下说法正确的是? +a. 每种环境采用一个脚本,并将其作为版本控制系统的一部分加以维护。 +b. 不同环境使用不同的特定脚本,以解决环境之间的差异问题。 +c. 不同环境采用同样的脚本,对特定的配置采用手动参数。 +d. 采用同一脚本在不同环境中进行部署,并单独管理配置信息。 + +d, +脚本应当保持一致,才能保证构建和交付流程得到有效测试。环境之间(如URI和IP等)的差异应当作为配置管理流程的一部分予以处理。(文献:《持续交付》,第六章——构建 与部署脚本处理的原则与方法) + + +15. 当有运维侧变更时,运维部门告知开发部门的最佳时间是何时? +a. 无需告知开发团队。运维侧的变更仅运维团队知晓即可。 +b. 立刻执行。应当尽快通知开发部门。 +c. 次日早晨的Scrum会议中。 +d. 当运维团队已经完成验收测试时。 + +b, 应当立即告知开发部门,让他们能够预见潜在的风险和问题。(文献:企业级devOps的成功之路) + +16. 考虑对基本部署流水线进行具体解析。 +哪个阶段表明该系统在功能性与非功能性层面均发挥作用? +a. 自动化验收测试 +b. 构建与单元测试 +c. 手动验收测试 +d. 版本控制 + +a. 自动化验收测试阶段表明,系统在功能性与非功能性层面上工作正常,在行为上它能满足用户的需求和客户的规格要求。(文献: 《持续交付》,第八章) + + +17. 开发团队当前在测试中遇到诸多挑战。目前他们使用人工验收测试流程。 +开发者认为他们所创建的单元测试是十分周密的,可以避免回退。 +在每次发布时,开发团队都需要花费100万在人工验收测试环节。 +领导层要求开发团队实施自动化验收测试,以降低测试的总成本并尽可能减少引入生产环境中的代码缺陷数量和回退次数。 +在依照自动化需求确定应用程序的验收标准时,应当遵循什么原则? +a. agile(敏捷)原则 +b. aTaM(架构权衡分析法)原则 +c. dIVEST原则 +d. INVEST原则 + +d, 验收测试源自验收标准,因此你的应用程 序的验收标准的制定应当考虑自动化因素,遵循INVEST原则; +Independent (独立性)、Negotiable (可协商)、Valuable(有价值)、Estimatable(可估计)、Small(小而少)、Testable(可测试)(文献:持续交付,第八章——如何创建可维持的验收测试套件) + + +18. 自动化测试是高效软件发布和实现持续交付的基础,以下那一类测试不宜全面自动化。 +a. 容量测试 +b. GUI测试 +c. 单元测试 +d. 探索性测试 + +d. 探索性测试一般需结合人工测试 + +19. +公司正在使用devOps。该公司实施了持续部署,并具备高度自动化验收测试和每日向生产部交付新软件的稳定部署流水线。公司有一个巨大的数据库及众多用户。该公司具备全面可靠的容量测试策略。由于该公司环境广大而复杂,随着每个新版本的发布,生产部就会出现一些小故障。 +什么策略能够最有效地帮助该公司预防这些故障? +a) 采用金丝雀发布 +b) 自动化容量测试 +c) 降低交付率 +d) 采用蓝绿部署 + +a. 金丝雀发布包括向生产服务商中的一小部分推出新版本的应用程序,以快速收集反馈。这能够快速发现新版本中出现的所有问题,而不会对大多数用户产生影响,因为工作量是逐渐增长的;同时这一做法还能确定响应时间及其他工作表现衡量标准,减少新版本发布的风险,并帮助尽快发现与修复漏洞。(文 献:持续交付,第十章-金丝雀发布) + +蓝绿部署需要大量资源,因而在该情境 中代价高昂。此外,若需要回退,在大型数据 库中采用这一策略可能导致故障或只读情况发 生。另外,这也无助于容量测试效率的提高。 + +20. 公司正在尝试转变,并开始使用devOps的方式开展工作。你的团队也在经历这一转变。 +你正在参与讨论代码提交阶段的最佳实践。 +某同事说:“当某一构建遭到破坏且无人担责时,我们应当找出造成破坏的人并要求他们展开工作,以保证他们能修复这一构建。” +这样做合适吗? +a. 是的。只有破坏构建的人才能够修复它,因此你应当找到负责人,即使这样可能会让人感觉不舒 +服。 +b. 是的。你应当始终为破坏构建负责。如果你不负责,你的同事将可能强制执行这项规定。 +c. 不,devOps环境中不存在追责。若同事不承担责任,不要强迫他们。 +d. 不,你应当首先修复构建。然后抽出时间,确定相关负责人并进行处罚。 + +c, Devops文化不提倡强迫任何人做任何事。犯错是可以接受的。团队成员共同协作以克服各种错误或挑战。(文献:持续交付,第三章;高效的 devOps,第一部分) + + +## 二、简答题(5) +1. 简述devops能带来哪些效果? + 快速发布 + 降低成本 + 持续反馈,提高软件质量 + 更关注业务产出,给客户带来价值 + +2. 每个系统都会遇到这种情况:发现一个严重缺陷,必须尽快修复。简述紧急变更过程? + 需牢记:任何情况下,都不能破坏流程,紧急修复版本同样走构建、部署、测试、发布流程,与其他代码变更没有区别。 + 申请变更(Request for change,RFc) + 分析影响 + 通知利益相关方 + +3. devops文化转变包含哪些? + 高效 + 亲和 + 协作 + 高度信任 + 同理心 + 非谴责 + 单件流 + +4. 持续集成不光是一些工具组合,更是一种实践,它的有效性也依赖于团队纪律。简述cI(持续集成)的好处,及为了实现持续集成目标,有哪些良好的实践? + 好处: + 软件在任何时候可工作 + 更少的bug + 更低的成本 + 更快发现bug + 良好实践或纪律: + 构建失败后不要向版本库提交新代码, 确保软件一直可工作 + 本地构建并运行提交测试,测试通过才继续工作 + 不要将失败的构建注释掉 + 为自己导致的问题负责 + 所有人为质量负责 + ... + + 5. 在自动化运维中,要实现基础设施和应用程序的监控策略,通常要考虑哪些方面内容或从哪些方面着手? + 采集数据,软硬件运行情况,健康度,统计信息等, 通过SNMP/TR069等 + 记录日志,解析、分析、统计日志文件,并关注日志等级 + 建立信息展示板(dashborad),可视化 + 建立自动通知/告警机制 + +## 三、论述题(2) +1. 在软件发布过程共,我们常常看到测试、运维、开发团队协作不畅导致的流程受阻,部署流水线从端到端来贯穿流程,实现自动化构建、部署、测试和发布。公司推进敏捷/devops,请结合实践,论述如何构建一套部署流水线,以及这套部署流水线如何在实践中更好的实现持续交付。 + +内容要点: +结合实践来阐述 + 1. 部署流水线流程 + 提交,版本控制库 + 自动构建和单元测试(可能涉及自动配置管理) + 部署二进制包 + 自动化验收测试(一般做冒烟测试,也可能包括自动化容量、安全等非功能性测试) + + 运维一键部署到生产环境(容器化,生产环境配置,部署二进制包) + + 流程的起点是开发人员向版本控制库提交代码,流水线对提交作出响应,触发流水线的一个实例,编译代码,运行单元测试,执行代码分析,创建软件的二进制包;如果所有单元测试通过,代码符合标准,完成软件打包;之后触发自动化验收。 + 2. 构建流水线过程 + 对价值流建模并创建简单的可工作框架(比如流行的jenkins) + 将构建和部署流程自动化 + 将单元测试和代码分析自动化 + 将功能(验收)测试自动化 + 将发布自动化 + 3. 一些良好实践 + 部署流水线的成功的关键之一是各个环节能够尽快得到反馈 + 项目较大情况下,全量或回归测试可能耗费大量的时间,可能打断持续集成效率,在流水线中往往只做冒烟测试,通常要在一两个小时内完成该过程。 + 确保生产中部署的包与流水线生成的二进制包是同一个,或者对包做HaSH验证。重新创建二进制包将带来不一致风险。 + 如果某个环节失败,应停止整个流水线。整个团队对失败负责。 + 象其他交付的应用一样,对部署流水线进行增量式实现,不断改善和重构。 + 让每个环节可视化,让大家能够清晰的看到哪个环节有什么问题。 + + +参考<持续交付>第五章相关内容 + +2. +一个电信级应用部署在云上,随着业务不断演进,系统用户和数据量不断增加,云资源的稳定性和系统的复杂性带来的系统服务中断的风险越来越大,系统中断的影响也随之增加。请结合实践,论述从哪些方面来提升系统可用性或提升系统容灾能力。 + +从以下要点结合实践展开论述: + +架构手段:从以下角度结合应用进行分析: + - 冷、热备份,心跳检测保活 + 如通过LVS、haproxy、keepalive等方式 + - 集群 & 负载均衡 & 分布式 + 负载均衡架构是多个服务做一堆同类的事情,每件事情相互独立; + 分布式的架构则是将一件复杂的事情分解出多个部份,由多个服务去做,再通过架构实现多个分解事情处理结果的合并。 + - 多中心,异地异机房,涉及负载分担和数据同步等问题的考虑 + - 纵向扩容,如加服务器资源,换性能更强的服务器提升服务能力 + - 横向扩容,对业务、数据库、区域等进行划分 + - 业务服务的拆分 + - 数据库的读写分离 + ... + +运维手段: + - 虚拟化、容器化 + - 监控手段,发现机制和加速处理机制等 + - 演练和一些馄饨学工具故障模拟 + - 自动化运维,监控预警等手段 + - 应急预案 + ... + + + +2. 创建可执行文件的工具是一种什么样的构建工具? Make, 面向产品 +3. 一出问题就骂外包: 加强协作, 不指责. +4. 告诉老板devops能带来哪些效果: 快速发布, 降低成本, 直接支持业务产出 +5. devOps开始时要做什么? 愿景, 目标. +6. devops团队的成员? 6-8人, cross function 跨职能 +7. 紧急变更打补丁? RFc 申请变更, 分析影响, 通知利益相关方 +8. 云计算的哪个特性能实现自动部署? 标准栈 +9. 云的哪个特性不让人放心想上云? 安全, 服务级别(SLa) +10. 哪个不是实现良好配置管理的策略?不能把二进制放到配置管理中 +11. 什么是管理基础设施的原则? 原则是后面个自动化, 版本控制, 监控 +12. 什么是构建依赖, 什么是运行依赖? 编译是构建依赖 +13. 手动软件发布过程的优点? 加强协作, 加强Review +14. 什么不是部署管道的一部分? +15. 一个新版本每三个月发布一次是devops实践? 迭代中要进行增量发布 +16. 为什么SLa对客户如此重要? 对客户有价值 +17. 发生故障是基础设施重建? 自动化提供自动化运维 +18. SOR? 协作型 +19. 向其他同事抱怨不直接发生冲突? 避免/回避 +20. devOps Mindset? 非谴责, 高效, 亲和 +21. 什么是协作? 多人根据输入达成共同的输出 +22. 什么是亲和? 不同群体 +23. 如何使devops更加成熟? 戴明环, KaIZEN, 可视化控制和可视化管理. +24. devops文化转变包含什么? 新和, 协和, 高度信任, 同理心, 不谴责, 单件流 +25. 项目在devOps中取得成功必须改变什么? Mindset, 千万不要选工具 +26. 重复可靠是指什么过程? Release +27. devops反模式? 手工发布, 开发完后才部署 +28. 迭代时间和频次取决于什么? 业务需求 +29. 持续部署的优点? 性能和一致性不相冲突 +30. Obeya作战系统? 共享信息, 快速决策 +31. cI的好处? 更少的bug, 更低的成本, 更快发现bug +32. 既能保证质量又能提高发布效率?单件流 +33. 构建失败时应该怎么解决? 谁提交失败谁负责修复o + +--- +devOps白皮书 +第1部分:a journey to devOps The devOps framework should support business outcomes directly。 + +第2部分:What is devOps for the enterprise system? devOps can also enable maturity by using W.E. deming’s Plan do-check-act cycle. + +第4部分devOps body of Knowledge:第四节TPS (Lean) concept as foundation :building a stream-lined supply chain of IT services is difficult because there are many items and it is necessary to change your mindset from the familiar existing development cycle and its methodologies.(JIT means building up a stream-lined supply chain with one-piece +flow.) + +第4部分 devOps body of Knowledge:IT service management Service on just providing quick and frequent IT services and reliable operation and is led by the service master. It is most suited for SoE and SoR continuity is an essential part of the warranty (fitness for purpose) of a service. If service continuity cannot be maintained and/or restored in accordance with the requirements of the business, then the business will not experience the value that has been promised. Without continuity, the utility (fitness for use) of the service cannot be accessed. + +第 5 章角色职责: Leads the team and facilitates, this role is the same as “Scrum Master” in Scrum.Implements visual control across the entire process and has a strong focus on establishing a stream-lined process with one-piece flow. + +第5部分:devOps Team Roles (Leads the team and facilitates, this role is the same as “Scrum Master” in Scrum. Implements visual control across the entire process and has a strong focus on establishing a stream-lined process with one-piece flow.) + +第5部分:Gatekeeper / Release coordinator: Responsible for monitoring the operational status and progress of the next release of the IT service. Make go/no go decisions about deployment according to criteria including security, compliance, regulatory requirements, maturity of operation team and their process views. + +第7部分:devOps Process Project Planning The service master creates the vision, goal, and value of the project, and then puts together the devOps team members. + +第 7 章 JKK 解释:它基于 100%完成高质量项目创建完成定义 + +第7部分:devOps Process Obeya is a war room which serves two purposes - information management and on-the-spot decision making. + +第8部分 devOps implementation collaboration: (Standard): This focuses on just providing quick and frequent IT services and reliable operation and is led by the service master. It is most suited for SoE and SoR + +dEVOPS团队由 6-8 名成员组成的跨职能团队。 + +The Service Master EOL + +精益管理中的八大浪费类型 + +持续交付第11章基础设施和环境管理 225页:自动化的准备工作与自动化维护相结合,可保证出现问题就能在可预见的时间内重建基础设施。 + +持续交付第11章 11.7.2章节 虚拟环境和部署流水线。250页 构建和发布管理系统应该能记住用来运行部署流水线的虚拟机模板,当部署到生产环境时,也应该能够启动同一套虚拟机模板。 + +持续交付第四章 测试策略的实现 71页当你有时间写更多的自动化测试时,很难在Happy Path和Sad Path之间进行选择。 如果你的应用程序比较稳定,那么Happy Path应该是你的首选,因为它们是用户所定义的场景。 + +持续交付第4.3章节 75页制定遵守INVEST原则[即独立的(Independent)、可协商的(Negotiable)、有价 值的(Valuable)、可估计的(Estimable)、小的(Small)且可测试的(Testable)] 的用户故事[ddVMFH]及考虑其验收条件。 + +持续交付第15章 持续交付管理:340页企业治理更关注于符合度 (conformance),即遵从性、保障、监管、责任和透明管理, 而业务治理(business governance)更关注业务和价值创造的执行度(performance)。其实,执行度和符 合度都可以满足。这一道理在持续交付中也是正确的。通过确保交付团队能得到应用 程序在类生产环境上的不断反馈, 是部署流水线达成“执行度”这个目标的方法和手段。部署流水线使交付流程更加透明,来帮助团队达成符合度 + +持续交付 5.4 提交阶段 97页 + +15.3章节 344页:我们的关注点在于迭代和增量交付,以及跨功能职责角色之间的协 作。345页:Scrum是一种迭代式增量软件开发过程,通常用于敏捷软件开发。包括一系列 实践和预定义角色的过程框架。347页 开发与发布:我们推荐以迭代增量式过程进行软件 的开发与发布。 + +第3章 持续集成 44页 高效使用持续集成 的那些团队能够比那些没有使用它的团队更 快地交付软件,且缺陷更少。在交付过程 中,缺陷被发现得越早,修复它的成本就越低, 因此也就大大节省了成本和时间。因 此我们认为,对于专业的软件交付团队来说,持续集成与版本控制同等重要。 + +持续交付 3.7 章节 60 页从技术角度上看,最为简单的方法(也是从流程角度上讲最有效的方法)就是使 用共享的版本控制系统和持续集成系统。 63 页 3.8 章节:,dVcS 引入了一个中间层:在本地工作区的修改必须先提交到本地库,然后才能 推送到其他仓库,而更新本地工作区时,必须先从其他仓库中将代码更新到本地库。以及 14.4 章节 + +持续交付第五章。什么不是部署管道的一部分?88页 + +6.2 章节 构建工具:117 页 各构建工具的不同点在于它是任务导向的,还是产品导向的。任务导向的 构建工具(比如 ant、Nant 和 MSbuild)会依据一系列的任务描述依赖网络, 而产品导 向的工具,比如 Make(创建可执行文件),是根据它们生成的产物(比如一个可执行文件)来描述。 + +项目失败:转向持续部署模式的最佳第一步是什么?开发应非正式地涉及整个项目的运维,并合作共同创建部署脚本。 + +哪种做法有助于在不影响质量的情况下提高速度?One-piece-flow + +手动软件发布过程的优点是什么?鼓励协作,团队成员则审查彼此的工作。 + +第八章:自动化验收测试 154 页:首先,由于反馈环将 大大缩短,缺陷被发现得更快,也就更容易修复。其次,由于测试人员、开发人员和 客户需要紧密合作才能创建一个良好的自动化测试套件,这会促进他们之间的良好合 作,而且每个人都将关注软件应该交付的业务价值。 + +第 3 章,3.5.1 52 页、53 页 你的同事说:“即使构建中断,你也应该check In。 + +老板问实施devOps,What would not be a good reason? 团队解释了新实践在另一家公司中的运作方式。 + +8.5.1 验收测试中的状态 p167首先,要抵制使用生产数据的备份作为验收测试的测试数据库的诱惑(尽管有时 它对吞吐量测试是有用的)。相反,我们要维护一个受控的数据最小集。测试的一个关 键方面是建立一个确知的起始点。通过生产数据的副本以进行测试。 + +12.4 章节 数据库回滚和无停机发布 P268 + +11.9 基础设施和应用程序的监控 p257 收集数据、记录日志、建立信息展示板、行为驱动监控。提出了四种可能的操作来排除应用程序故障 1,2&4 + +13.5.5 循环依赖。 P302 循环依赖构建阶梯 + +13.3 依赖 P286 构建时依赖与运行时依赖之间的区别如下:构建时依赖会出现在应用程序编译和链接时(如果需要编译和链接的话);而运行时依赖会出现在应用程序运行并完成它的某些操作时。 + +第 2 章 配置管理 P24 进行增量更改,满足我所在组织的所有合规性规定 + +第 11 章 基础设施管理 P224 第 11 章 基础设施管理 P224 +准备部署环境的过程以及部署之后对环境的管理是本章的主要内容。然而为了能 够做到这一点,就要基于下面这些原则,用一个整体方法来管理所有基础设施。 ① 使用保存于版本控制库中的配置信息来指定基础设施所处的状态。 基础设施应该具有自治特性,即它应该自动地将自己设定为所需状态。 通过测试设备和监控手段,应该每时每刻都能掌握基础设施的实时状况。 什么不是管理基础设施的原则?编写新的通用基础管理脚本。 + +2.2 章版本控制 P27 什么不被认为是实现配置管理这一目标的有效策略?始终将二进制文件和配置信息保存在一起。 + +11.8.1 P254 cloud 安全和服务水平 + +11.8.2 云中平台 P255 将应用部署到完全标准化的应用栈上,就意味着不需要担心测试环境、试运行 环境和生产环境的配置和维护,也不需要担心虚拟机映像的管理。最后一点尤其是革命性的。在本书中,用了大量的篇幅来讨论如何自动化你的部 署、测试和发布流程,以及如何搭建和管理测试和部署环境。云中的哪个平台特性最能实现自动部署? Standardized stack + +10.5 紧急修复 P216 任何情况下,都不能破坏流程。紧急修复版本 也要走同样的构建、部署、测试和发布流程,与其他代码变更没什么区别。发布 RFc 作为紧急补丁并通知所有利益相关者。 然后根据 SLa 应用紧急补丁。P216 + +--- +高效的 devOps 文化需要具备:高效沟通,共识与信任,人性化的员工配置和资源 +写一份项目章程很重要,一起写项目范围最好的理由是什么:确保所有团队对成功有着相同的定义 +衡量已找到程序错误的总数是跟踪项目质量最好的方法吗:全局范围内而非局部进行优化 +服务级别协议对专注于増加商业价值有所帮助 + +--- +1. 场景:5 个月 h 后……,开发完成后才向类生产环境部署(考点,反模式) +2. 在发布流程为软件发布创建一个可重复且可靠的过程。(考点,软件交付原则) +3. dEVOPS 应该建立一个 Pull System、One Piece Flow 的 IT Super chain +4. 建立 dEVOPS New Mind of all People,流程 One Piece Flow +5. 场景:一家公司由于供应商的要求,只剩下 5 个月的时间建立 dEVOPS 的团队,他 们如何决定他们的迭代时间和频次? 根据符合业务要求来确定 +6. dEVOPS 四个支柱 collaboration,Multiple People +7. 要进行 dEVOPS 转型,coach Team 中的每一个人,建立 blameless 的文化 +8. devOps 转型:沟通、同理心、人员和资源 +9. 场景:cEO 以前总是骂下面的人,现在采用了 dEVOPS 方式,情况有所好转,但是 没有达到理想效果,应该:Trust each Other,建立 blameless 文化 +10. 一个人抱怨另一个人,通过邮件到处宣扬对另一个人的不满,avoidance +11. Gatekeeper 的职责:Security、compliance、Regulatory Requirements +12. 浪费的类型:Extra Feature +13. 在 dEVOPS 项目计划时,SLR 包含那些内容、安全、连续性等内容 +14. dEVOPS 项目开始时要做那些工作?Vision、Goal 等 +15. SOR 适用月那种 dEVOPS 方式,collaboration +16. Obeya,信息共享,做决定 +17. auto Provisioning auto maintenance +18. VM 模板 +19. SLa 的重要性,业务连续性 +20. 在稳定没有时间的情况下进行:Happy Path 测试 +21. 场景:销售人员提出了一些列销售问题,这个用户故事符合 INVEST 原则?问选哪 一个:可测试性 +22. development Pipeline 对治理的作用 +23. 提交阶段需要做什么工作? +24. 一个团队三个月进行一次新版本的部署,而且是按照模块开发和部署,因此他们认 为他们的采用的是 dEVOPS 的方法,选项问适合否 +25. 持续集成的优势 fewer bug、cheaper +26. check In polices +27. Run time build time +28. 安全问题出现后,如何进行紧急变更 +29. 谁可以决定服务终止 +30. 数据库管理,此题是技术题,大概内容是要做一个回退脚本,且要保证原有数据不 能删除,但可能重构表内容。 +31. 不上云的理由,安全,SLa +32. Standardized stack +33. 手工发布软件的优势 +34. 手工测试的类型 +35. 场景:某人要提交有问题的代码,且振振有词讲到提交后可能通过变更进行更正。 +36. 循环依赖 +37. Ensures performance (fast delivery) and conformance (to requirements +38. 不要将生产数据库拿到测试环境 +39. JKK 100%质量覆盖 +40. 版本控制,巴黎,伦敦,悉尼,还有其他地方存在时差,如何进行版本控制 +41. 基础架构环境准备 +42. cross Function 的 6-8 人 +43. 不要把二进制文件放进构件库中 +44. Make such as an Executable +45. Product Oriented +46. Process Master 的职责,建立可视化看板,单件流等 +47. 配置管理策略,增量,合规 +48. Increase speed without compromising quality + + diff --git a/devopstest_v2.md b/devopstest_v2.md new file mode 100644 index 0000000..cafe851 --- /dev/null +++ b/devopstest_v2.md @@ -0,0 +1,283 @@ +# DevOps/CD/CI题目 + +## 一、选择题(20) + +### 1. 验收测试的最佳选择? + a. Happy Path + b. 回归测试 + c. alternate Path + d. Sad Path + +a. happy path 相当于做主流程 + +### 2. 云计算的哪个特性能实现自动部署? + a. 标准栈 + b. 规模化 + c. 虚拟化 + d. 通用性 + +a. 标准栈使得自动部署成为可能 + +### 3. 软件交付过程中,让整个过程自动化,并能够及时发现问题和修复问题,在此过程中,以下实践不是反模式选项是: + a,要求一份详尽文档,该文档描述了每个步骤中容易出错的地方 + b,开发完成后才向类生产环境部署 + c,提前频繁的做让你感到痛苦的事 + d,手工进行生产环境的配置 + +c. 痛苦的事情频繁做 + +### 4. 良好的配置管理过程,是实现开发和部署过程可控和可重复的基础,以下哪个内容不是良好配置管理策略: + a. 能够再现所需的任何环境。 + b. 为了达到系统运行稳定的目标,固化配置,任何修改都做登记。 + c. 能够追踪某个具体环境的某次修改,并能够追溯修改源,以及什么时间谁做了修改。 + d. 增量式修改,并可将修改部署到任意一种环境中。 + +b. 不是敏捷策略。影响迭代。 + +### 5. 每个应用程序都依赖于软件、硬件、基础设施等才可以正常工作,这些内容称作应用程序的环境,环境管理与配置管理同样重要。以下哪种不是良好的环境管理实践: + a. 环境管理的关键是通过一个自动化过程来创建环境。 + b. 因为环境管理的重要性,一旦系统出问题,派遣资深专家花费不确定的时间来找到问题,并修复它。 + c. 修复某个环境可能需要大量时间,因此,最好在可预见的时间里重建环境,并将其恢复到某个已知的正常状态。 + d. 创建一个类生产环境,配置问题可在早期测试中发现。 + +b. 自动化、简单化、可量产、可重现,不是依赖资深专家 + +### 6. 公司打算构建一条部署流水线,公司领导希望实现频繁发布。 有团队成员认为:这条部署流水线最重要的是自动化。团队首先要让它自动化起来。 这种说法对吗? + a. 是的,这是正确的。部署流水线自动化是提升效率的最重要因素。 + b. 是的,这是正确的。关注自动化部署流水线的创建,克服之后可能遇到的潜在问题。 + c. 不,这是错误的。完成单件流及一个可靠的部署流程是优先级最高的任务。该流程的自动化可以暂缓实施。 + d. 不,这是错误的。首先应当自动化的是测试流程而非部署流水线。 + +c, 无论何时,所有部署流水线首先应当是单件流程的部署流水线,无需自动化就可高效运行。一旦该流水线稳定确立,就有机会选择可行的流程实施自动化。但是,构建稳定的部署流水线永远比自动化更重要。 + +### 7. 有很多方法可以使组织趋向成熟,下列哪种方法不会使你的devOps组织更趋成熟? + a. 明确定义目标定和里程碑,帮助团队成员判断其日常活动是否有价值。 + b. 明确定义流程,支持并促使团队成员逐日改进流程。 + c. 对会议的所有内容进行记录,使你的团队成员可以很方便的了解到每次沟通的内容信息。 + d. 监控并记录每天的活动,以找出小范围内每天取得的进步并予以赞扬。 + +c, 这无助于devOps组织的成熟。是否要对会议进行全程记录并再次审查,并没有严格的要求。有必要记录达成共识的内容,而不是记录整 场会议。 + +### 8. 你认为自己的开发团队是一支真正的团队。 你觉得有什么确切的特征表明这是一支团队而不只是一个小组呢? + a. 该团队遵守在团队会议中共同制定的规则。 + b. 团队召开自己主持的高效会议。 + c. 团队以稳定的工作节奏,朝着共同的目标推进。 + d. 该团队通过质询负责某项工作的团队成员的方式来解决问题。 + +d 一支真正的团队能够维持稳定的工作节奏,并能够始终向着共同的目标努力。 + +### 9. 为采用整体方法处理所有基础设施,应当遵循哪两条原则? + a. + 1 你的基础设施应具备的状态需要通过变更控制配置来确定。 + 2 你应当通过监控与事件管理,及时了解基础设施的准确状态。 + b. + 1 需要通过变更控制配置来确定你的基础设施应具备的状态。 + 2 你应当通过仪器仪表及事件管理,始终了解基础设施的确切状态。 + c. + 1 你的基础设施应具备的状态需要通过版本控制配置来确定。 + 2 你应当通过当前事件与事件管理,始终了解基础设施的确切状态。 + d. + 1 你的基础设施应具备的状态需要通过版本控制配置来确定。 + 2 你应当通过仪表盘与监控始终了解基础设施的确切状态。 + +d, 为采用整体方法处理所有基础设施,应当遵循这两条核心原则。 + +### 10. 在敏捷和devops中吸收了很多精益核心概念。实施devOps时,将精益的相关概念应用在devOps过程中,有助于成功实施devops。 在此过程中,精益管理的哪些原则或实践方法最有效? + a. Kaizen(专有词,意为小的、不花钱的持续改善) + b. 5S - 整理(SHIRI)、整顿(SEITON)、清扫(SEISO)、清洁(SEIKETSU)、素养(SHITSUKE) + c. Obeya系统(可视化管理) + d. 单件流与质量检查 + +d, 创建一个可行的、单件部署流水线将有助于成功实施devOps。devOps中最重要的工作在于构建从开发部门到运维部门的上游流程,尤其是针对单一部署流水线。质量检查(JKK)是能够达成这一目标的最有效的工作行为。 + +### 11. 持续集成不会单独的帮你修复构建过程,在中后期开展持续集成,意味着在构建过程需要耗费大量工作。 为了使持续集成更高效,早期阶段,一般不会涉及的工作是? + a. 频繁提交代码到版本控制库 + b. 创建分支,并尽早提交代码到分支 + c. 创建自动化测试套件 + d. 保持较短的构建和测试过程 + +b. 应提交到主干,分支容易破坏即时集成 +持续交付 P46 + +### 12. 关于版本控制,以下说法不正确的是? + a. 源代码必须纳入版本控制。 + b. 配置信息必须纳入版本控制。 + c. 为了加快发布周期和提高软件质量,将编译器或其他相关工具的二进制镜像纳入版本控制。 + d. 为了加速打包,将源代码编译后的二进制文件纳入版本控制。 + +d. 不推荐 + 1. 比较大, + 2. 每次重新构建都会重新生成二进制文件,无必要 + +### 13. 一个开发团队对devOps感兴趣。他们主要感兴趣的对象是持续集成(cI)。他们目前开发并维护着三种主要解决方案及四种次要解决方案。他们采用Scrum实践方法。每次冲刺都需要四周时间,平均每十天到十五天对测试环境都有一次提交发布,平均每个月对生产环境有一次发布。他们想为管理层制定一个定性的商业论证,来支持他们为创建持续集成实践模式而付出的投资与努力。 持续集成有哪些显性收益对该商业论证最为有利? + a. 每天对测试环境进行一次部署能极大的提高商业效益并且大大缩减开发成本。 + b. 这有助于提升团队精神。由于公司已经在使用Scrum,持续集成将为公司业务带来显著的益处。 + c. 它通过更好的集成测试提高了业务稳定性,同时维持发布速度以防止产生额外成本。 + d. 在生产环境中,每天进行一次信息发布能够提升业务收益,并大大减少开发成本。 + +d, 更快速的向生产环境发布是持续集成的一大主要益处,此外还包括更快速地发现故障以减少开发成本和故障修复成本。 + +### 14. 关于使用脚本去构建和部署流程自动化,以下说法正确的是? + a. 每种环境采用一个脚本,并将其作为版本控制系统的一部分加以维护。 + b. 不同环境使用不同的特定脚本,以解决环境之间的差异问题。 + c. 不同环境采用同样的脚本,对特定的配置采用手动参数。 + d. 采用同一脚本在不同环境中进行部署,并单独管理配置信息。 + +d, 脚本应当保持一致,才能保证构建和交付流程得到有效测试。环境之间(如URI和IP等)的差异应当作为配置管理流程的一部分予以处理。 + +### 15. 当有运维侧变更时,运维部门告知开发部门的最佳时间是何时? + a. 无需告知开发团队。运维侧的变更仅运维团队知晓即可。 + b. 立刻执行。应当尽快通知开发部门。 + c. 次日早晨的Scrum会议中。 + d. 当运维团队已经完成验收测试时。 + +b, 应当立即告知开发部门,让他们能够预见潜在的风险和问题。 + +### 16. 考虑对基本部署流水线进行具体解析。 哪个阶段表明该系统在功能性与非功能性层面均发挥作用? + a. 自动化验收测试 + b. 构建与单元测试 + c. 手动验收测试 + d. 版本控制 + +a. 自动化验收测试阶段表明,系统在功能性与非功能性层面上工作正常,在行为上它能满足用户的需求和客户的规格要求。 + +### 17. 开发团队当前在测试中遇到诸多挑战。目前他们使用人工验收测试流程。 开发者认为他们所创建的单元测试是十分周密的,可以避免回退。 在每次发布时,开发团队都需要花费100万在人工验收测试环节。 领导层要求开发团队实施自动化验收测试,以降低测试的总成本并尽可能减少引入生产环境中的代码缺陷数量和回退次数。 在依照自动化需求确定应用程序的验收标准时,应当遵循什么原则? + a. agile(敏捷)原则 + b. aTaM(架构权衡分析法)原则 + c. dIVEST原则 + d. INVEST原则 + +d, 验收测试源自验收标准,因此你的应用程序的验收标准的制定应当考虑自动化因素,遵循INVEST原则; + - Independent(独立性) + - Negotiable(可协商) + - Valuable(有价值) + - Estimatable(可估计) + - Small(小而少) + - Testable(可测试) + +### 18. 自动化测试是高效软件发布和实现持续交付的基础,以下那一类测试不宜全面自动化。 + a. 容量测试 + b. GUI测试 + c. 单元测试 + d. 探索性测试 + +d. 探索性测试一般需结合人工测试 + +### 19. 公司正在使用devOps。该公司实施了持续部署,并具备高度自动化验收测试和每日向生产部交付新软件的稳定部署流水线。公司有一个巨大的数据库及众多用户。该公司具备全面可靠的容量测试策略。由于该公司环境广大而复杂,随着每个新版本的发布,生产部就会出现一些小故障。 什么策略能够最有效地帮助该公司预防这些故障? + a. 采用金丝雀发布 + b. 自动化容量测试 + c. 降低交付率 + d. 采用蓝绿部署 + +a. + - 金丝雀发布: + 包括向生产服务商中的一小部分推出新版本的应用程序,以快速收集反馈。这能够快速发现新版本中出现的所有问题,而不会对大多数用户产生影响,因为工作量是逐渐增长的;同时这一做法还能确定响应时间及其他工作表现衡量标准,减少新版本发布的风险,并帮助尽快发现与修复漏洞。 + - 蓝绿部署 + 需要大量资源,因而在该情境中代价高昂。此外,若需要回退,在大型数据库中采用这一策略可能导致故障或只读情况发生。另外,这也无助于容量测试效率的提高。 + +### 20. 公司正在尝试转变,并开始使用devOps的方式开展工作。你的团队也在经历这一转变。 你正在参与讨论代码提交阶段的最佳实践。 某同事说:“当某一构建遭到破坏且无人担责时,我们应当找出造成破坏的人并要求他们展开工作,以保证他们能修复这一构建。” 这样做合适吗? + a. 是的。只有破坏构建的人才能够修复它,因此你应当找到负责人,即使这样可能会让人感觉不舒服。 + b. 是的。你应当始终为破坏构建负责。如果你不负责,你的同事将可能强制执行这项规定。 + c. 不,devOps环境中不存在追责。若同事不承担责任,不要强迫他们。 + d. 不,你应当首先修复构建。然后抽出时间,确定相关负责人并进行处罚。 + +c, Devops文化不提倡强迫任何人做任何事。犯错是可以接受的。团队成员共同协作以克服各种错误或挑战。 + + +## 二、简答题(5) +### 1. 简述devops能带来哪些效果? + - 快速发布 + - 降低成本 + - 持续反馈,提高软件质量 + - 更关注业务产出,给客户带来价值 + +### 2. 每个系统都会遇到这种情况:发现一个严重缺陷,必须尽快修复。简述紧急变更过程? + 需牢记:任何情况下,都不能破坏流程,紧急修复版本同样走构建、部署、测试、发布流程,与其他代码变更没有区别。 + - 申请变更(Request for change,RFc) + - 分析影响 + - 通知利益相关方 + +### 3. devops文化转变包含哪些? + - 高效 + - 亲和 + - 协作 + - 高度信任 + - 同理心 + - 非谴责 + - 单件流 + +### 4. 持续集成不光是一些工具组合,更是一种实践,它的有效性也依赖于团队纪律。简述cI(持续集成)的好处,及为了实现持续集成目标,有哪些良好的实践? + 好处: + - 软件在任何时候可工作 + - 更少的bug + - 更低的成本 + - 更快发现bug + 良好实践或纪律: + - 构建失败后不要向版本库提交新代码, 确保软件一直可工作 + - 本地构建并运行提交测试,测试通过才继续工作 + - 不要将失败的构建注释掉 + - 为自己导致的问题负责 + - 所有人为质量负责 + ... + +### 5. 在自动化运维中,要实现基础设施和应用程序的监控策略,通常要考虑哪些方面内容或从哪些方面着手? + - 采集数据,软硬件运行情况,健康度,统计信息等, 通过SNMP/TR069等 + - 记录日志,解析、分析、统计日志文件,并关注日志等级 + - 建立信息展示板(dashborad),可视化 + - 建立自动通知/告警机制 + +## 三、论述题(2) +### 1. 在软件发布过程共,我们常常看到测试、运维、开发团队协作不畅导致的流程受阻,部署流水线从端到端来贯穿流程,实现自动化构建、部署、测试和发布。公司推进敏捷/devops,请结合实践,论述如何构建一套部署流水线,以及这套部署流水线如何在实践中更好的实现持续交付。 + +#### 内容要点: 结合实践来阐述 + 1. 部署流水线流程 + - 提交,版本控制库 + - 自动构建和单元测试(可能涉及自动配置管理) + - 部署二进制包 + - 自动化验收测试(一般做冒烟测试,也可能包括自动化容量、安全等非功能性测试) + + - 运维一键部署到生产环境(容器化,生产环境配置,部署二进制包) + 流程的起点是开发人员向版本控制库提交代码,流水线对提交作出响应,触发流水线的一个实例,编译代码,运行单元测试,执行代码分析,创建软件的二进制包;如果所有单元测试通过,代码符合标准,完成软件打包;之后触发自动化验收。 + + 2. 构建流水线过程 + - 对价值流建模并创建简单的可工作框架(比如流行的jenkins) + - 将构建和部署流程自动化 + - 将单元测试和代码分析自动化 + - 将功能(验收)测试自动化 + - 将发布自动化 + + 3. 一些良好实践 + - 部署流水线的成功的关键之一是各个环节能够尽快得到反馈 + - 项目较大情况下,全量或回归测试可能耗费大量的时间,可能打断持续集成效率,在流水线中往往只做冒烟测试,通常要在一两个小时内完成该过程。 + - 确保生产中部署的包与流水线生成的二进制包是同一个,或者对包做HaSH验证。重新创建二进制包将带来不一致风险。 + - 如果某个环节失败,应停止整个流水线。整个团队对失败负责。 + - 象其他交付的应用一样,对部署流水线进行增量式实现,不断改善和重构。 + - 让每个环节可视化,让大家能够清晰的看到哪个环节有什么问题。 + + +参考<持续交付>第五章相关内容 + +### 2. 一个电信级应用部署在云上,随着业务不断演进,系统用户和数据量不断增加,云资源的稳定性和系统的复杂性带来的系统服务中断的风险越来越大,系统中断的影响也随之增加。请结合实践,论述从哪些方面来提升系统可用性或提升系统容灾能力。 从以下要点结合实践展开论述: + +#### 从以下角度结合应用进行分析: + 架构手段: + - 冷、热备份,心跳检测保活 + 如通过LVS、haproxy、keepalive等方式 + - 集群 & 负载均衡 & 分布式 + 负载均衡架构是多个服务做一堆同类的事情,每件事情相互独立; + 分布式的架构则是将一件复杂的事情分解出多个部份,由多个服务去做,再通过架构实现多个分解事情处理结果的合并。 + - 多中心,异地异机房,涉及负载分担和数据同步等问题的考虑 + - 纵向扩容,如加服务器资源,换性能更强的服务器提升服务能力 + - 横向扩容,对业务、数据库、区域等进行划分 + - 业务服务的拆分 + - 数据库的读写分离 + ... + + 运维手段: + - 虚拟化、容器化 + - 监控手段,发现机制和加速处理机制等 + - 演练和一些馄饨学工具故障模拟 + - 自动化运维,监控预警等手段 + - 应急预案 + ... + diff --git a/digit.md b/digit.md new file mode 100644 index 0000000..0d5eabf --- /dev/null +++ b/digit.md @@ -0,0 +1,73 @@ + +## 技术保障部数字化转型报告 + +History + +时间 | 内容 | 作者 +--- | --- | --- +2019/9/8 | 初稿 | CG +2019/9/9 | 增加不同团队数字化转型输出 | CG + +--- + +### 技术保障部数字化转型怎么转,先弄清楚为什么和怎么做问题 + +转型前事务驱动或流程驱动工作,事务可能是一揽子计划,也可能是一些零散的任务,事务驱动就是完成计划或任务;流程驱动是业务流程固化,作业是在一系列的流程和规则下完成,流程驱动是原来信息化的核心内容。数字化则要求数字驱动,数字能够准确反映当前不同切面的健康状况,进而推动工作生产改善。 + +**数字化转型要点:** + +> - 数字驱动 +
数字化转型要从事务、流程驱动转变为数字驱动。 +> - 量化、分析 +
数据可能是海量和无序的,通过量化能掌握进度,通过分析发现问题, 进而开展精准改进。 +> - 敏捷,速度 +
数字化最终为了能够更好服务客户或服务生产,数字能反映当下,因此,数字本身就有敏捷的特点,要求组织能够快速跟进。也即敏捷型组织才能匹配数字化转型的要求。 +> - 迭代,连续性 +
事务或流程驱动大多属于计划性或外部驱动,数字却反映持续的变化,数字驱动推动快速迭代,从而持续改进,这是敏捷性组织的要求, 非敏捷组织跟不上数字化要求。 +> - 自动化 +
自动化是数字化转型的基本要求,在自动化基础上,才具备敏捷的要求。 +> - 共享、协作 +
原来信息化下,各部门、各系统之间往往是独立的,各部分都是信息孤岛,功能也是垂直烟囱式的发展,新的项目就是一条新的烟囱,这种状况数据都是大象的一只腿,不是全貌,数字化很难实现,数字化要求数据的流动,数据是互相参照,形成画像,这样分析及结果才有价值,才能指导生产,驱动效率提升。 +> - 安全 +
数据成为生产资料,数据发挥更大价值,也承担更多风险,数据开放下的安全保障尤其重要。 + +**具体到运维支撑测试数字化转型工作** +- 支撑工作就是典型的事务驱动,这个事务就是故障、投诉或项目支撑工作。数字化转型有必要梳理和设立一些数字检视点,通过这些检视点数据分析,判断健康度,及早预警,早于投诉发现问题,解决问题。在数据的采集、分析由运维团队介入,引入自动化手段,甚至可以进行健康度打分。监控人员从原来主动定时查看,增加邮件、短信等推送方式的告警接受和预处理。 对于项目支撑,考虑到项目的个性化,零散化,是不是不能开展数字化转型呢?关键在于标准化基础上的数字化支撑, 标准化便于形成统一文通,统一FAQ口径,还可自动化处理,避免疲于应付客户要求,进而实现更多的远程支撑,减少现场支撑量,降低成本。 + +- 运维工作的数字化转型,主要要转变被动的“救火式”运维模式,这种模式出现问题后着手处理,被问题牵着鼻子走,运维人员看似忙碌,效率却不一定高,运维质量也很难提高,运维开发如果被困在这种低质量的应付事务中,就很难腾出精力从更高的层面优化系统,避免问题于未发生前,这种被动处理方式,用户满意度必定也会下降。 转变这种模式,要有一套方法论来指引,如devops,并辅之以相应的工具手段, 用拥抱变化的态度来匹配敏捷性组织的要求。

devops敏捷和快速迭代意味着更频繁的发布和部署, 运维自动化和研运测的全流程贯通是内生要求, 此外, 响应变化和快速迭代也要求运维、测试、支撑团队成员能够快速了解和跟进项目现状, 确保测试、上线、支撑顺畅不脱节,所以devops重视Dev开发与Ops运维之间沟通合作,并需让它成为公司文化惯例,当然,沟通的形式多样,会议或面对面是一种,数字化转型更要求采用数字化手段来确保dev到ops的消息流转,就避免如修改配置运维不知悉导致部署后系统不能运行,更新的需求没有同步到测试导致新用例未覆盖新需求等问题。目前已全面使用自动化运维平台实现服务器、应用、业务的统一监控纳管,及进行环境部署、上线、监控、告警。 + +- 测试工作数字化,自动化测试首次成本会高于手工测试,但自动化测试的收益是随着测试次数和重复次数的增加而相应增加,此外自动化测试还存在维护工具和自动化用例编写的维护成本,数字化转型要用数据来充分分析自动化测试节约的成本情况,成果可量化,过程可量化。测试工作像来料加工厂, 工作量的峰谷特性明显, 管理上拟引入OKR法来推进团队工作, 结果产出可量化, 目标可追踪, 更好推进组织绩效 。 + +- 数字化甚至智能化对工具的要求也随之提高,开源社区快速发展,工具可选很多, 但工具应自主可控, 应具有开放性, 自主可控才能微创新以更好服务于业务, 工具应与业务结合才有意义, 才有比较优势。 支撑运维都应懂业务, 又懂技术。 自主可控并不是自己造轮子, 但要能够整合这些工具形成有机整体服务于业务, 而不是烟囱式的, 这不符合数字化的自动化、信息流动和敏捷的特点, 比如自动化测试大家都在用selenium,是成熟框架, 但在此基础上结合业务进行脚本封装就是降低手工过程,提供复用效率的手段, 把selenium内嵌在平台中,打通测试项目管理、测试用例管理、GUI录制并脚本化、自动化用例编写、自动化脚本的参数化、测试报告输出和统计等能力, 甚至结合postman等接口测试工具, 这些需要自己来整合。作为测试团队,要考虑要更多,比如怎么做安全测试? 安全测试完成后如何自动化修复漏洞? 怎么做性能测试? 目前安全测试还独立在做, 还没有办法嵌入到自动化测试平台中, 性能测试已经能够在自动化测试平台中进行, 但总体使用还比较少, 这些部分在数字化转型中要加强。 + +- 数字化转型最终是服务于客户体验的持续改进, 技术保障部不面向最终客户需求, 但不同团队输出成果的使用方便是客户, 支撑目的是解决用户使用问题, 用户问题的量化是有的,但数字化的方式的统计分析还是不够, 比如前述的跟用例的对比, 检视点数据/账单对比分析等需要加强。自动化测试平台的使用对象是自动化测试团队,自动化测试团队就需要定期提供量化的反馈给运维开发团队。 运维部署上线服务于devops,上线情况应量化的反馈给dev。 +
+ +### 技术保障部数字化转型输出 +
+ +功能块 | 转型要点 | 数字化输出 +---- | ---- | ---- +支撑 | 标准化,支撑事务形成标准化,不同阶段量化输入输出、介入方式和程度 | 安审支撑标准化文档流程 +支撑 | 数字化监控,对日常监控指标进行提炼,重点指标邮件短信等方式即时通知到人 | 分等级、分类型监控指标报告 +支撑 | 数字化检视点,梳理业务流程,插入检视点自动对接口数据和消费情况进行比对核查,确保一致,不一致提供告警 | 数据接口报告(如短信、审计、话单...) +支撑 | 数字化故障预防,梳理历史报障、投诉工单,采用数字化手段,变被动人工保障为主动自动巡检 | 故障历史数字化报告(包含改进点梳理) +运维 | 敏捷,工具、方法论 | 体现敏捷思维工具报告(体现工具名称、选型、作用、使用体验) +运维 | 运维服务质量数字化 | +运维 | 高可用性指标,梳理故障点,部署HA | 单点数字化 +运维 | 协助沟通,会议沟通外通过数字化手段粘合dev和ops的信息流动 | *落实动作* +运维 | 工具的共享开放程度,工具被外部使用情况 | 自动化运维、自动化测试平台使用情况报告 +运维 | 自动化运维,服务器、应用、业务统一纳管,故障隔离与自愈 | 自动化运维数字化报告 (服务器、应用、业务情况报告) +运维 | 数据可视化,网络可视化 | 自动化运维数字化报告 +测试 | 试行OKR | *落实动作* +测试 | 自动化用例量,自动化用例覆盖率 | 测试数字化报告 (按项目,进度、自动化覆盖率) +测试 | 全面自动化及自动化成本量化测算 | 测试数字化报告 (成本测算) +测试 | 报障投诉与测试的关联分析 | 测试数字化报告 +测试 | 自动化测试工具使用对比打分反馈,推动工具改进 | 自动化测试工具、平台选型报告 +测试 | 项目自动化性能测试清单、比例 | 测试数字化报告 +安全 | 安全内外部工作量化,安扫及修复情况量化,分项目安全保障梳理 | 安全数字化报告 +安全 | 安全工具选型研究 | 安全数字化报告 +安全 | 安全自动化,安全嵌入测试中 | 安全数字化报告 +
+ + diff --git a/digit_dd.md b/digit_dd.md new file mode 100644 index 0000000..82b5ec6 --- /dev/null +++ b/digit_dd.md @@ -0,0 +1,119 @@ + +## 技术保障部数字化转型报告 + +History + +时间 | 内容 | 作者 +--- | --- | --- +2019/9/8 | 初稿 | CG +2019/9/9 | 增加不同团队数字化转型输出 | CG + +--- + +### 技术保障部数字化转型怎么转,先弄清楚为什么和怎么做问题 + +转型前事务驱动或流程驱动工作,事务可能是一揽子计划,也可能是一些零散的任务,事务驱动就是完成计划或任务;流程驱动是业务流程固化,作业是在一系列的流程和规则下完成,流程驱动是原来信息化的核心内容。数字化则要求数字驱动,数字能够准确反映当前不同切面的健康状况,进而推动工作生产改善。 + +**结合支撑运维测试的工作来谈谈数字化转型的抓手:** + +> - 数字驱动 +
数字化转型要从事务、流程驱动转变为数字驱动。 +> - 量化、分析 +
数据可能是海量和无序的,通过量化能掌握进度,通过分析发现问题, 进而开展精准改进。 +> - 敏捷,速度 +
数字化最终为了能够更好服务客户或服务生产,数字能反映当下,因此,数字本身就有敏捷的特点,要求组织能够快速跟进。也即敏捷型组织才能匹配数字化转型的要求。 +> - 迭代,连续性 +
事务或流程驱动大多属于计划性或外部驱动,数字却反映持续的变化,数字驱动推动快速迭代,从而持续改进,这是敏捷性组织的要求, 非敏捷组织跟不上数字化要求。 +> - 自动化 +
自动化是数字化转型的基本要求,在自动化基础上,才具备敏捷的要求。 +> - 共享、协作 +
原来信息化下,各部门、各系统之间往往是独立的,各部分都是信息孤岛,功能也是垂直烟囱式的发展,新的项目就是一条新的烟囱,这种状况数据都是大象的一只腿,不是全貌,数字化很难实现,数字化要求数据的流动,数据是互相参照,形成画像,这样分析及结果才有价值,才能指导生产,驱动效率提升。 +> - 安全 +
数据成为生产资料,数据发挥更大价值,也承担更多风险,数据开放下的安全保障尤其重要。 + +**具体到运维支撑测试数字化转型工作如下** +- 支撑工作就是典型的事务驱动,这个事务就是故障、投诉或项目支撑工作。数字化转型有必要梳理和设立一些数字检视点,通过这些检视点数据分析,判断健康度,及早预警,早于投诉发现问题,解决问题。在数据的采集、分析由运维团队介入,引入自动化手段,甚至可以进行健康度打分。监控人员从原来主动定时查看,增加邮件、短信等推送方式的告警接受和预处理。 对于项目支撑,考虑到项目的个性化,零散化,是不是不能开展数字化转型呢?关键在于标准化基础上的数字化支撑, 标准化便于形成统一文通,统一FAQ口径,还可自动化处理,避免疲于应付客户要求,进而实现更多的远程支撑,减少现场支撑量,降低成本。 + +- 运维工作的数字化转型,主要要转变被动的“救火式”运维模式,这种模式出现问题后着手处理,被问题牵着鼻子走,运维人员看似忙碌,效率却不一定高,运维质量也很难提高,运维开发如果被困在这种低质量的应付事务中,就很难腾出精力从更高的层面优化系统,避免问题于未发生前,这种被动处理方式,用户满意度必定也会下降。 转变这种模式,要有一套方法论来指引,如devops,并辅之以相应的工具手段, 用拥抱变化的态度来匹配敏捷性组织的要求。

devops敏捷和快速迭代意味着更频繁的发布和部署, 运维自动化和研运测的全流程贯通是内生要求, 此外, 响应变化和快速迭代也要求运维、测试、支撑团队成员能够快速了解和跟进项目现状, 确保测试、上线、支撑顺畅不脱节,所以devops重视Dev开发与Ops运维之间沟通合作,并需让它成为公司文化惯例,当然,沟通的形式多样,会议或面对面是一种,数字化转型更要求采用数字化手段来确保dev到ops的消息流转,就避免如修改配置运维不知悉导致部署后系统不能运行,更新的需求没有同步到测试导致新用例未覆盖新需求等问题。目前已全面使用自动化运维平台实现服务器、应用、业务的统一监控纳管,及进行环境部署、上线、监控、告警。 + +- 测试工作数字化,自动化测试首次成本会高于手工测试,但自动化测试的收益是随着测试次数和重复次数的增加而相应增加,此外自动化测试还存在维护工具和自动化用例编写的维护成本,数字化转型要用数据来充分分析自动化测试节约的成本情况,成果可量化,过程可量化。测试工作像来料加工厂, 工作量的峰谷特性明显, 管理上拟引入OKR法来推进团队工作, 结果产出可量化, 目标可追踪, 更好推进组织绩效 。 + +- 数字化甚至智能化对工具的要求也随之提高,开源社区快速发展,工具可选很多, 但工具应自主可控, 应具有开放性, 自主可控才能微创新以更好服务于业务, 工具应与业务结合才有意义, 才有比较优势。 支撑运维都应懂业务, 又懂技术。 自主可控并不是自己造轮子, 但要能够整合这些工具形成有机整体服务于业务, 而不是烟囱式的, 这不符合数字化的自动化、信息流动和敏捷的特点, 比如自动化测试大家都在用selenium,是成熟框架, 但在此基础上结合业务进行脚本封装就是降低手工过程,提供复用效率的手段, 把selenium内嵌在平台中,打通测试项目管理、测试用例管理、GUI录制并脚本化、自动化用例编写、自动化脚本的参数化、测试报告输出和统计等能力, 甚至结合postman等接口测试工具, 这些需要自己来整合。作为测试团队,要考虑要更多,比如怎么做安全测试? 安全测试完成后如何自动化修复漏洞? 怎么做性能测试? 目前安全测试还独立在做, 还没有办法嵌入到自动化测试平台中, 性能测试已经能够在自动化测试平台中进行, 但总体使用还比较少, 这些部分在数字化转型中要加强。 + +- 数字化转型最终是服务于客户体验的持续改进, 技术保障部不面向最终客户需求, 但不同团队输出成果的使用方便是客户, 支撑目的是解决用户使用问题, 用户问题的量化是有的,但数字化的方式的统计分析还是不够, 比如前述的跟用例的对比, 检视点数据/账单对比分析等需要加强。自动化测试平台的使用对象是自动化测试团队,自动化测试团队就需要定期提供量化的反馈给运维开发团队。 运维部署上线服务于devops,上线情况应量化的反馈给dev。 +
+ +~~### 技术保障部数字化转型思路一览表~~ +
+ +功能块 | 转型要点 | 数字化标准(近期补充中) +---- | ---- | ---- +支撑 | 标准化,支撑事务形成标准化,不同阶段量化输入输出、介入方式和程度 | +支撑 | 数字化监控,对日常监控指标进行提炼,重点指标邮件短信等方式即时通知到人 | +支撑 | 数字化检视点,梳理业务流程,插入检视点自动对接口数据和消费情况进行比对核查,确保一致,不一致提供告警 | +支撑 | 数字化故障预防,梳理历史报障、投诉工单,采用数字化手段,变被动人工保障为主动自动巡检 | +运维 | 敏捷,工具、方法论 | +运维 | 服务质量数字化 | +运维 | 高可用性指标,梳理故障点,部署HA | +运维 | 协助沟通,会议沟通外通过数字化手段粘合dev和ops的信息流动 | +运维 | 工具的共享开放程度,工具被外部使用情况 | +运维 | 自动化运维,服务器、应用、业务统一纳管,故障隔离与自愈 | +运维 | 数据可视化,网络可视化 | +测试 | 试行OKR | +测试 | 全面自动化及自动化成本量化测算 | +测试 | 报障投诉与测试的关联分析 | +测试 | 自动化测试工具使用对比打分反馈,推动工具改进 | +测试 | 自动化用例量,自动化用例覆盖率 | +安全 | 安全自动化 | +
+ +### 技术保障部数字化转型周报模板(2019/8/31~2019/9/6) +
+ +功能块 | 工作内容 | 数字化转型体现 +--- | --- | --- +运维 | 虚拟化容器化一键部署前端开发 | 一键部署,加速部署效率 +运维 | 网络拓扑图的网关层/主机层/服务层实现采集绘制 | 网络可视化,完成80% +运维 | 视频云部署
金华、宁波已完成
宁波完成新增3个管理平台部署,进行基线和漏洞的修复,预计9/14前可完成修复后转noc进行公网的开通
衢州资源发起申请,落地后2天内完成部署 | 一键部署,效率提升 +运维 | 容器化方案与研发联合办公1周 | devops要求dev & ops沟通 +运维 | 分析云、接入服务等上线 | >20次 +测试 | SDN网关测试纳入自动化测试平台 | 接口自动化用例数43个, 敏捷、自动化 +测试 | 视频云平台生产环境接口测试 | 接口72个,自动化用例481个,BUG 20个 +测试 | 能力开放平台第四轮测试,beta环境改用Docker部署,9/14前输出报告 | 232个用例,通过122个,失败26个,阻塞8个

测试部署效率提升 +测试 | 自动化测试平台接口用例参数化,更加灵活,自动化脚本编写效率提升 | 测试效率提升 +测试 | 自动化测试平台执行机效率优化,9/11~14 | 敏捷 +测试 | 海南IPV6测试 | 数字化程度低,需改进 +测试 | 智慧楼宇项目测试,9/5测试团队与拓展部沟通,了解业务和需求,及早接入 | 开展自动化测试 +支撑 | 安审支撑标准化 | 便于远程支撑,效率提升,节省人力成本 +安全 | 物联网tomcat类基线修复完毕,nginx完成7组基线修复 | +安全 | 集团网信安中期检查,集约化工作检查整改,各种报表 | +
+ +### 技术保障部数字化转型输出 +
+ +功能块 | 转型要点 | 数字化输出 +---- | ---- | ---- +支撑 | 标准化,支撑事务形成标准化,不同阶段量化输入输出、介入方式和程度 | 安审支撑标准化文档流程 +支撑 | 数字化监控,对日常监控指标进行提炼,重点指标邮件短信等方式即时通知到人 | 分等级、分类型监控指标报告 +支撑 | 数字化检视点,梳理业务流程,插入检视点自动对接口数据和消费情况进行比对核查,确保一致,不一致提供告警 | 数据接口报告(如短信、审计、话单...) +支撑 | 数字化故障预防,梳理历史报障、投诉工单,采用数字化手段,变被动人工保障为主动自动巡检 | 故障历史数字化报告(包含改进点梳理) +运维 | 敏捷,工具、方法论 | 体现敏捷思维工具报告(体现工具名称、选型、作用、使用体验) +运维 | 运维服务质量数字化 | +运维 | 高可用性指标,梳理故障点,部署HA | 单点数字化 +运维 | 协助沟通,会议沟通外通过数字化手段粘合dev和ops的信息流动 | *落实动作* +运维 | 工具的共享开放程度,工具被外部使用情况 | 自动化运维、自动化测试平台使用情况报告 +运维 | 自动化运维,服务器、应用、业务统一纳管,故障隔离与自愈 | 自动化运维数字化报告 (服务器、应用、业务情况报告) +运维 | 数据可视化,网络可视化 | 自动化运维数字化报告 +测试 | 试行OKR | *落实动作* +测试 | 自动化用例量,自动化用例覆盖率 | 测试数字化报告 (按项目,进度、自动化覆盖率) +测试 | 全面自动化及自动化成本量化测算 | 测试数字化报告 (成本测算) +测试 | 报障投诉与测试的关联分析 | 测试数字化报告 +测试 | 自动化测试工具使用对比打分反馈,推动工具改进 | 自动化测试工具、平台选型报告 +测试 | 项目自动化性能测试清单、比例 | 测试数字化报告 +安全 | 安全内外部工作量化,安扫及修复情况量化,分项目安全保障梳理 | 安全数字化报告 +安全 | 安全工具选型研究 | 安全数字化报告 +安全 | 安全自动化,安全嵌入测试中 | 安全数字化报告 +
+ + diff --git a/disaster_recovery.md b/disaster_recovery.md new file mode 100644 index 0000000..0e5ec07 --- /dev/null +++ b/disaster_recovery.md @@ -0,0 +1,43 @@ + +# 容灾 + +域内HA,参考[HA架构](hanote.md) + +### 异地容灾 + +- 目的 :grey_question: +- 目标 :grey_question: +- 怎么做 :grey_question: +- 应用场景 :grey_question: +- 访问耗时问题 :grey_question: +- 扩展能力 :grey_question: +- 分布式事务XA问题 :grey_question: +- 架构 :grey_question: + +热备和多活用户不感知流量切换 +热备是主用负载,多活是多点负载,负载分担 + + +### 故障演练 + + 混沌工程 + chaos monkey + monkeyking + +服务注册中心 + +## TBC :clock1::clock2::clock3::clock4::clock5::clock6::clock7::clock8::clock9::clock10: + +* references +1. [混沌工程工具ChaosBlade](https://www.cnblogs.com/pigpdong/p/10932415.html) +1. [混沌工程原则](https://www.jianshu.com/p/5d13540b53c3) +1. [principles of chaos engineering](http://principlesofchaos.org/) +1. [饿了么异地多活技术实现1](https://zhuanlan.zhihu.com/p/32009822) +1. [饿了么异地多活技术实现2](https://zhuanlan.zhihu.com/p/32587960) +1. [饿了么异地多活技术实现3](https://zhuanlan.zhihu.com/p/33430869) +1. [饿了么异地多活技术实现4](https://zhuanlan.zhihu.com/p/34958596) +1. [ref](https://blog.csdn.net/hxpjava1/article/details/86592360) +1. [ref](https://www.sohu.com/a/158859741_444159) +1. [异地多活 IDC 机房架构](https://www.upyun.com/opentalk/377.html) +1. [异地多活场景下的数据同步之道](http://www.tianshouzhi.com/api/tutorials/canal/404) + diff --git a/dock_trans.md b/dock_trans.md new file mode 100644 index 0000000..93999ad --- /dev/null +++ b/dock_trans.md @@ -0,0 +1,220 @@ +# 对传统应用进行容器化改造 + +一站式学习AI基础知识+核心技术+实操教程+免费工具集 +9大课程,边学习边实操,带你通关计算机视觉应用,还有免费工具集和开放平台供所有开发者使用! +本文由 陈计节 翻译自 FP Complete 网站上的文章 CONTAINERIZING A LEGACY APPLICATION: AN OVERVIEW,原作者 Emanuel Borsboom。 + +以下为译文全文,如需阅读英文原文,请转到文末获取链接: + +本文接下来简要介绍什么是容器化,要在 Docker 容器中运行传统应用的缘由,容器化的过程,其间可能遇到的问题,在用容器部署之后的其他步骤等。这将明显减轻部署工作的压力,并让应用朝着零停机部署和横向缩放的方向前进。 + + +注:本文专注在简化应用的部署过程,并不包含需要对应用重新设计的内容,比如高可用和横向扩展。 + + +## 概念 + +### 什么是“传统”应用? +并没有一个特定的定义能够描述所有的传统应用,但它们有一些共同的特性: +使用本地文件系统来持久化存储,数据文件和应用的文件混合在一起。 +在同一个服务器上运行很多服务,比如 MySQL 数据库,Redis 服务器,nginx web 服务器,一个 Ruby on Rails 应用,以及一大堆定时任务 +使用大杂烩式的脚本和手工流程进行安装和升级(文档也很简陋)。 +配置是存储在文件里的,通常散落在多个位置,并与应用的文件混在一起。 +进程间的通信是借助本地文件系统进行的(比如在磁盘上放一个文件,另一个进程来读取),而不是TCP/IP。 +按照单个服务器上只运行一个应用的示例的方式来设计的。 + + +### 传统应用的缺点 +自动化部署很困难。 +如果需要运行应用的多个不同的实例,很难让多个实例在同一个服务器上“共存”。 +如果服务器停机,由于需要手工流程所以需要较长的时间来恢复。 +部署新版本的过程基本是手动的,或者大部分是手动的,难以回滚。 +很有可能测试环境与生产环境有较大差异,导致一些生产环境问题不能在测试期间发现。 +很难通过增加新的实例来进行横向扩展。 + + +### 什么是容器化? +将应用“容器化”的过程,就是让应用能够运行在 Docker 容器或类似技术中,它们能将操作系统环境和应用封装在一起(完整的系统镜像)。由于容器能给应用提供近似于完整系统的环境,这就为在不修改,或者少量修改应用的情况下,对应用的部署进行现代化改造提供了一种思路。这也是应用的架构持续能保持“云友好”的基础。 + + +## 容器化的好处 + +部署容易多了:使用新的容器镜像直接替换整个老版本。 +自动化部署也相对容易,甚至可以完全由 CI(Continuous Integration, 持续集成)来驱动。 +部署失败时的回滚只要切换到之前的镜像。 +应用升级非常容易,因为现在没有可能出错的“中间步骤”了(不管它是否影响整个部署过程的成功)。 +相同的容器镜像可以在不同的环境中充分测试,再直接部署到生产环境。这可以确保测试态与生产态的产品是完全一致的。 +系统更容易从宕机中恢复,因为可以迅速在新硬件资源上启动装有这个应用的新容器,并附加到同一数据源上。 +开发人员能在本地以容器的形式,在更逼真的环境里测试新功能。 +硬件资源的利用更高效,在单一主机上现在可以运行多个容器应用,而以前不能。 +容器化是支持零停机升级、金丝雀部署、高可用和横向扩展的坚实基础。 + +## 容器化之外的选择 + +用 Puppet 和 Chef 之类的配置管理工具,能解决一部分的“传统”问题,比如环境一致性等。但它们不能支持“原子”部署,以及对应用+环境的完整回滚。而一种无法方便回滚的部署方案,仍然会在部署中途充满风险。 + +虚拟机镜像是能实现部分上述能力的另一种方法,而且在有些情形中,相对于容器,使用完整的虚机进行“原子地”部署会更合适。但使用虚机的主要问题是,它对硬件的利用率更低效。因为虚机需要一些独占的资源(CPU、内存和磁盘等),而容器之间可以共享主机的资源。 + + +## 如何容器化 + + +### 一、准备工作 + + +#### 列出存储数据的文件系统位置 + +由于部署新版本应用是通过替换 Docker 镜像实现的,所以任何持久化的数据都应该存储在容器之外。如果运气不错的话,可能遇到应用已经将所有数据都写入了特定位置,不过多数传统应用常将它们的数据往磁盘上到处乱写,还有可能与应用本身的文件混在一起。Docker 的可加载存储卷(volume)让主机的文件系统能暴露给容器用作特定路径,这样数据可以在容器之间留存。所以,我们无论是哪种情况,我们都需要列出用于存储数据的位置。 + +现在你可以考虑考虑让应用里所有输出的数据写入到文件系统的同一目录去了,这样能明显简化容器化版本的部署工作。不过,如果修改应用难以达成,这也并不是必须的。 + + +#### 找出会随部署环境变化的配置数据 + +为了确保一致性,同一个镜像要在多套环境中使用(比如,测试和生产),因此必须要列出所有在不同环境中会变化的配置值,在启动容器的时刻再设置值。容器中的程序到时候可以从环境变量,或者从配置文件中获取这些配置的值。 + +你可以现在就考虑修改应用并支持从环境变量中读取配置,以便简化容器化的过程。同样的,如果不好修改应用,这也是不一定是必要的。 + + +#### 找出容易移出去的服务 + +在同一机器上,我们的应用可能要依赖一些其他服务,它们如果独立性比较高、使用 TCP/IP 通信,就很容易能移出去。举例来说,如果在同一机器上运行 MySQL 或 PostgreSQL 数据库,或者类似 Redis 的缓存,那就容易移出去了。可能同时还需要调整配置,才能支持指定机器名(hostname)和端口(port)而不是直接认为应用运行在 localhost。 + + +### 二、创建容器镜像 + + +#### 创建用于安装应用的 Dockerfile + +如果已经有基于脚本或者 Chef、Puppet 之类的配置管理工具的自动化安装能力,那这个过程就很简单了。挑选一个喜欢的系统镜像、安装所有依赖,然后运行自动化脚本就行了。 + +如果目前的安装过程是手动的,就需要写一些脚本了。不过,由于镜像的状态是已知的,在这儿编写脚本要比基于可能存在不一致性的原生系统来的容易。 + +如果提前找出了要移出去的服务,那么在脚本里就不应该安装它们了。 + +下面是一个简单的示例 Dockerfile: + + +``` +# 基于官方 Ubuntu 16.04 Docker 镜像 +FROM ubuntu:16.04 + +# 安装所依赖的 Ubuntu 软件包 +RUN apt-get install -y \ + && apt-get clean \ + && rm -rf /var/lib/apt/lists/* + +# 将应用的文件复制到镜像里 +ADD . /app + +# 运行安装脚本 +RUN /app/setup.sh + +# 切换到应用的目录 +WORKDIR /app + +# 指定应用的启动脚本 +COMMAND /app/start.sh +``` +#### 制作用于配置的启动脚本 + +如果应用已经在使用环境变量中读取配置值了,那这一步可以跳过了。如果要从文件里读取特定环境相关的配置值,那启动脚本就要能从环境变量里读取配置值,并将这些值更新到配置文件中去。 + +这里有一个启动脚本的例子: + +``` +#!/usr/bin/env bash +set -e + +# 把环境变量 $MYAPPCONFIG 的值添加到配置文件中 +cat >>/app/config.txt < +DAEMON_ARGS="$DAEMON_ARGS --allow-header-host=192.168.65.17" + +http://blog.51cto.com/linhong/2134910 +``` + + +//制作放到私有仓库 + +``` +docker login -u admin -p Harbor12345 harbor.51iwifi.com +docker push harbor.51iwifi.com/test/ubuntu:wr + +//从仓库取出 +docker pull harbor.51awifi.com/test/jenkins-demo:716a813 + +docker run --name wr2 -d ubuntu:wr /bin/sh -c "while true; do echo hello world; sleep 2; done" + +--insecure-registry 的作用是 www.monicacca.com 使用的是http而非https。加上--insecure-registry 就可以忽略 +``` + + +2018-9-10 +============================ + +``` +yum install docker + +[root@localhost ~]# docker search moodle +``` +Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? + +``` +service docker start +//https://hub.docker.com/r/jhardison/moodle/ +docker pull docker.io/jhardison/moodle +docker run -d --name DB -p 3306:3306 -e MYSQL_DATABASE=moodle -e MYSQL_ROOT_PASSWORD=moodle -e MYSQL_USER=moodle -e MYSQL_PASSWORD=moodle mysql:5 +//docker run -d -P --name moodle --link DB:DB -e MOODLE_URL=http://192.168.188.19 -p 80:80 -p 443:443 jhardison/moodle +docker run -d -P --name moodle --link DB:DB -e MOODLE_URL=https://192.168.188.19 -p 443:443 jhardison/moodle +``` + + +? docker rm moodle 后修改是否就不保存了 + +清理所有停止的容器 +``` +docker container prune +``` +清理所有不用数据(停止的容器,不使用的volume,不使用的networks,悬挂的镜像) +``` +docker system prune -a +``` + + +a, 获取容器ip +``` +docker inspect $container_name | grep IPAddress +docker inspect moodle | grep IPAddress +``` +b. 添加转发规则 +``` +iptables -t nat -A DOCKER -p tcp --dport $host_port -j DNAT --to-destination $docker_ip:$docker_port +iptables -t nat -A DOCKER -p tcp --dport 8080 -j DNAT --to-destination 172.17.0.3:8080 +``` + +a. 获取规则编号 +``` + iptables -t nat -nL --line-number +``` +b. 根据编号删除规则 +``` + iptables -t nat -D DOCKER $num +``` + +`ln -s ../sites-available/edusoho edusoho` + + +2018-10-19 +============================ + +``` +docker harbor 仓库 +docker login -u admin -p Harbor12345 https://hub.51iwifi.com + +docker tag hub.51iwifi.com/jhardison/moodle:v1 hub.51iwifi.com/chen.io/jhardison/moodle +docker push hub.51iwifi.com/chen.io/jhardison/moodle + +docker tag hub.51iwifi.com/mysql:v1 hub.51iwifi.com/chen.io/mysql:v1 +docker push hub.51iwifi.com/chen.io/mysql:v1 +``` + + +2018-10-30 +============================ + +``` +yum install docker + +/etc/docker/daemon.json + { "insecure-registries": ["harbor.51awifi.com","hub.51iwifi.com","harbor.51iwifi.com","192.168.193.1"] } + + docker run -d --name DB -p 3306:3306 -e MYSQL_DATABASE=moodle -e MYSQL_ROOT_PASSWORD=moodle -e MYSQL_USER=moodle -e MYSQL_PASSWORD=moodle hub.51iwifi.com/chen.io/mysql:v1 + docker run -d -P --name moodle --link DB:DB -e MOODLE_URL=https://192.168.188.20 -p 443:443 hub.51iwifi.com/chen.io/jhardison/moodle +``` + diff --git a/docs/.DS_Store b/docs/.DS_Store new file mode 100644 index 0000000..3008129 Binary files /dev/null and b/docs/.DS_Store differ diff --git a/feature_team.md b/feature_team.md new file mode 100644 index 0000000..0d9dbe5 --- /dev/null +++ b/feature_team.md @@ -0,0 +1,82 @@ + +# 虚实结合的 Feature Team 实践 + +作者:高莹 + +部门:效能改进 + + +背景 +每个公司不同的成长历史、不同的业务架构和管理风格,造就了不同的公司组织架构。组织架构是为公司发展服务的,所谓“定战略,搭班子,带队伍”。互联网时代注重快速响应市场变化的能力,组织架构也需要满足更灵活的协作模式。本篇文章主要介绍有赞的实践,职能型团队与Feature Team(简称FT)模式相结合,通过建立不同层级的虚拟组织,使协作模式更加敏捷,来应对未来市场环境带来的机遇和挑战。 + + +一、职能组织架构的问题 +职能型组织架构是按职能来组织部门分工,即从高层到基层,均把承担相同职能的管理业务及其人员组织在一起,设置相应的管理部门和管理职务。其好处显而易见:分工明确、人员调动灵活、相同专业的组织利于专业能力的提升。如图: + +这种形式运作会有几点问题影响协作效率: + +1.1 团队不断扩张,规划协调成本高,响应变慢 +团队扩大,统一的待办计划就会变得庞大。协调不同职能角色进行规划评估成本非常高,即便规划做的非常完美,也难以避免个别紧急插队的项目,启动项目时因缺少某端资源,需要等待或协调的情况屡见不鲜,影响了响应业务的速度。 + +1.2 临时组建项目组对项目长期目标感知较弱 +当前项目组成员较关注本项目的目标,项目完成对于整体业务来说仅是阶段性成果。延续性的项目,项目成员发生了变化。长此以往,对于项目背后的长期目标,项目组成员难以感知。 + +1.3 相对业务目标更关注部门目标 +各职能部门都各有其内部规划的日常工作,所以个人优先考虑的往往不是整个公司业务的目标,而是部门的目标。这就会造成项目中那些在部门目标范围之外的问题很有可能被冷落,导致项目得不到足够的支持。 + +很多公司通过组织架构调整来解决上述问题,例如「大中台,小前台」的组织架构、Spotify松耦合紧密联盟的小分队squad,本质上都是将大规模组织细分成多个可以端到端负责业务的小团队。有赞在各业务发展节奏不同的情况下,在需要小步快跑的前台业务中尝试虚实结合的组织架构,利用两者的特点趋利避害,来提升部门间的协作效率。 + +二、虚实结合组建高效团队 +2.1 适合FT的应用场景是什么? +在推动FT虚线组织之前,首先要分析什么样的业务团队适合FT的形式。 +可以归纳为几个特点: + +竞争激烈,需要快速响应市场变化 +未知领域,需要创新探索 +组织扩展, 跨职能协作链路长,整体决策机制存在瓶颈的场景 +2.2 如何划分FT? +在考虑如何划分FT之前不妨先复习一下什么是FT? + +Feature Team 是一个 长期存在的、跨功能的、跨组件的团队,他们一个接一个地完成许多端到端的客户功能。 + +组建FT的初衷是为了最大化响应速度, 最大程度减少依赖,降低协作成本。想要提升业务的响应速度和协作效率,除了产品研发以外,市场、销售、服务等角色的协作同样至关重要。有赞的实践过程中我们组建了不同层级的FT,业务级FT像是一个创业小团队。产研FT更聚焦产品本身,按照产品的用户使用链路、功能模块来垂直划分,并效能平台(自研项目管理系统)上做FT配置,维护了一套虚线组织架构,明确了各个可独立作战的单元。 + + + +2.3 如何虚实结合? +2.3.1 对齐业务目标,职能团队作为后盾更专注专业能力提升 +FT的OKR要基于整体业务OKR进行拆解以保持目标一致性。FT所有成员为FT OKR负责,避免各职能团队在拆解业务目标过程中的存在偏差。产研、销售、服务等实线职能部门OKR会更专注于如何提升团队专业领域的能力,避免因某个专业领域对业务发展造成瓶颈。具体OKR实践方式参见《如何用OKR促进跨团队协同》这篇文章。这样一来,既解决了职能组织跨部门协调响应慢的问题,又解决了FT成员专业成长不足的问题。 + + +2.3.2 团队协作:团队自组织 +FT组内在迭代过程中会不断地复盘和总结,经过长时间的磨合,会逐渐沉淀出FT内部的约定,形成FT自己的文化。一些最佳实践的案例,还可以通过PM推广到其他团队中,互相借鉴成长。解决了职能组织模式临时项目组归属感较弱的问题,协作沟通成本高的问题。 + +2.3.3 建立各FT规划沟通机制,灵活安排资源 +为了减少外部依赖, FT要求成员保持全职专注。从全局来看,必然造成人员利用率可能达不到满负荷。这是由FT的价值观决定的:响应速度高于人员利用率。关注等待的事,而不是等待的人。在有赞的实践中,我们仍然保留了月度规划的动作,但范围缩小在FT内部,将有外部依赖的项目标识出来,统一沟通协调。在保障FT项目可满足的情况下,视人员安排情况支持外部项目。从而解决FT组织形式中,人员利用不足的问题。具体实践详见《大规模产品技术团队需求管理实践》。 + + +2.3.4 公共资源如何分配到FT?成立决策组 +FT会争夺那些未被划分的公共资源,如设计师、中台技术。这类问题无法通过FT自身来消除,需要更高层面的组织来决策,通常的形式是成立决策组,来协调各业务的资源分配。对于业务层面来讲,也可以成立自己的决策组来协调业务内部各FT的问题,一般由业务负责人和各职能TL组成。除此机制之外,还需要一些沟通机制定期对齐各业务的规划,提前做好资源分配,减少后期临时协调的可能性。 + +三、总结 +是“做事用人”还是“用人做事”?答案是肯定的,一切都是关于“人”,在引入变革时,需要考虑组织的接受程度。有赞的实践结合了两者的特点,建立了FT虚拟团队和职能团队实线管理的混合模式,职能团队根据业务合理分配人力投入,并成为专业能力提升的组织,而FT为一个业务导向的独立作战单元。需要结合自身业务情况做出最适合的组织优化方向。 + +### reference +- [虚实结合的 Feature Team 实践](https://cloud.tencent.com/developer/article/1684562) + + + +前台无力推动技术 +中台不对结果负责 +到后面前台觉得没技术成长 +到后面中台觉得没有跟着业务成长 +中台怎么分配资源,都会有前台觉得阻碍发展 +沟通成本增高 +本质上KPI不一致,就无法高效地做事 +在这个事儿上,我只看到节约成本来着,不考虑招聘难带来的效率损失,本质上是在降低效率的 +然而事实上,阿里想推动的,可能只是节约部分公共资源的成本,真做到大中台,是非常难的 + +大中台:子弹能快速输送到位吗 +小前台:特种部队能有效作战吗 + + diff --git a/fengbushi.md b/fengbushi.md new file mode 100644 index 0000000..785e5b1 --- /dev/null +++ b/fengbushi.md @@ -0,0 +1,8 @@ + +# 分布式架构 + + +- [reference](https://blog.csdn.net/IT1124/article/details/122384828) + + + diff --git a/gitrecord.md b/gitrecord.md new file mode 100644 index 0000000..fa3f1b7 --- /dev/null +++ b/gitrecord.md @@ -0,0 +1,284 @@ + +## git使用笔记 + +#### 建立流程 +1. 在github.com里,new repository创建远程仓库 +2. 本地新建文件夹/已存在项目文件夹下 +``` +git init +``` +3. 关联远程仓库 +``` +git remote add origin https://github.com/douboer/gt.git +``` +4. 将本地仓库推送到远程仓库 +``` +git push -u origin master +or: +git push origin master +``` +或者从远程拉资源到本地 +``` +git pull origin master --allow-unrelated-histories +``` + +``` +git init +git add . + +git config --global core.excludesfile .gitignore +git config --global user.email "douboer@gmail.com" +git config --global user.name "douboer" + +git rm -r --cached . +git add . +``` + +#### 修改.gitignore文件 不生效 +原因是.gitignore只能忽略那些原来没有被track的文件,如果某些文件已经被纳入了版本管理中,则修改.gitignore是无效的。那么解决方法就是先把本地缓存删除(改变成未track状态),然后再提交: +``` +git rm -r --cached . +git add . +git commit -m 'update .gitignore' +``` + +``` +> ssh-keygen -t rsa -C "douboer@gmail.com" +Generating public/private rsa key pair. +Enter file in which to save the key (C:\Users\admin/.ssh/id_rsa): yes +Enter passphrase (empty for no passphrase): +Enter same passphrase again: +Your identification has been saved in yes. +Your public key has been saved in yes.pub +``` + + +``` +// modify commend +git commit --amend + +//fatal: remote origin already exists. +git remote rm origin + +git remote add origin git@github.com:douboer/gt.git +``` + +``` +…or create a new repository on the command line +echo "# test" >> README.md +git init +git add README.md +git commit -m "first commit" +git remote add origin https://github.com/douboer/gt.git +git push -u origin master +``` + +``` +…or push an existing repository from the command line +git remote add origin https://github.com/douboer/gt.git +git push -u origin master + +git pull origin master --allow-unrelated-histories +``` + +``` +git remote add origin https://github.com/douboer/gt.git + +origin相当于远程仓库的一个别名 +可以通过删除 +git remote remove name + +查看该 origin,该命令将列出远程仓库的 URL +git remote -v +``` + + +#### 修改 .gitignore 文件 立即生效 +有时候需要突然修改 .gitignore 文件,随后要立即生效 +``` +git rm -r --cached . #清除缓存 +git add . #重新trace file +git commit -m "update .gitignore" #提交和注释 +git push origin master #可选,如果需要同步到remote上的话 +``` + + +#### 查看远程分支 +``` +git branch -a +``` +#### 查看本地分支 +``` +git branch +``` +#### 创建分支 +``` +git branch test +``` +#### 把本地分支推到远程分支 +``` +git push origin test +``` +#### 切换分支到test +``` +git checkout 命令可以切换到现有的分支。可以使用 git checkout -b 命令创建一个新的分支并立即切换到它。 +``` +#### 删除分支 +``` +git branch -r -d origin/branch-name +``` +#### 将删除的分支推送到远程,并在远程删除这个分支 +``` +git push origin :branch-name +``` + +#### 添加、提交和推送更改到你的远程仓库 +``` +git remote -v +git remote add origin +git remote set-url origin +``` + + +#### 几乎每个开发人员都在使用 Git,当然很可能是 GitHub。但大多数开发者大概有 99% 的时间只是使用这三个命令: +[-](https://linux.cn/article-8841-1.html) +``` +git add --all = git add . + git add -u +git add -A = git add . + git add -u +git add . +git commit -m "" +git push origin master +``` + +:warning: +``` +> git push origin master +::error: src refspec master does not match any. +error: failed to push some refs to 'git@github.com:douboer/wisim.git' +``` +==SOLVE: +``` +git commit -m "wisim" +``` + +:warning: +``` +> git add . +warning: LF will be replaced by CRLF in .gitattributes. +The file will have its original line endings in your working directory +warning: LF will be replaced by CRLF in WiSim.cpp. +``` +==SOLVE: +``` +git config --global core.autocrlf false +``` + +- 创建dev分支 +``` +git branch dev +``` +- 切换到dev分支 +``` +git checkout dev +``` +- 查看是否切换到dev +``` +git branch -a +git branch +``` +- 本地push到dev分支 +``` +git push origin dev +``` +- dev分支强制覆盖master分支 +``` +git push origin dev:master -f +``` + +:warning: +``` +> git remote add origin https://github.com/douboer/wisim.git +fatal: remote origin already exists. +``` +==SOLVE: +``` +git remote rm origin +git remote add origin https://github.com/douboer/wisim.git +``` + +:warning: +``` +> git push origin master +To https://github.com/douboer/wisim.git + ! [rejected] master -> master (non-fast-forward) +``` +==SOLVE: +``` +#### 强制覆盖: +> git push -f +fatal: The current branch master has no upstream branch. +To push the current branch and set the remote as upstream, use + git push --set-upstream origin master +> git push --set-upstream origin master +To https://github.com/douboer/wisim.git + ! [rejected] master -> master (non-fast-forward) +> git push -f --set-upstream origin master +Total 0 (delta 0), reused 0 (delta 0) +``` + +:warning: +``` +> git push origin master +git: 'credential-cache' is not a git command. See 'git --help'. +Everything up-to-date +``` +==SOLVE: +``` +> git config --global credential.helper wincred +``` + +``` +$ git push origin +``` +*上面命令表示,将当前分支推送到origin主机的对应分支。 +如果当前分支只有一个追踪分支,那么主机名都可以省略。* +``` +$ git push +``` +*如果当前分支与多个主机存在追踪关系,那么这个时候-u选项会指定一个默认主机,这样后面就可以不加任何参数使用git push。* +``` +$ git push -u origin master +``` +*上面命令将本地的master分支推送到origin主机,同时指定origin为默认主机,后面就可以不加任何参数使用git push了。 +不带任何参数的git push,默认只推送当前分支,这叫做simple方式。此外,还有一种matching方式,会推送所有有对应的远程分支的本地分支。Git 2.0版本之前,默认采用matching方法,现在改为默认采用simple方式。* + + +#### 本地已有新项目gplot上传个github +``` +1. login github, push "new repository" to Create a new repository + input repository name then save setting +2. locate project directory + $ git init + $ git add . + $ git commit -m "gplot" + $ git remote add origin https://github.com/douboer/gplot.git + $ git push -u origin master +3. 日常修改上传 + $ git add . + $ git commit -m "gplot" + $ git push +``` + +#### 冲突解决 +1. 方案一,强制覆盖本地代码 +把你修改的代码进行备份,然后执行命令: +git reset --hard origin/master +git pull +从你备份好的文件当中把你写的代码拿过去,修改完成再进行git push + + +#### 超过100M文件github上传失败问题 +git lfs install +git lfs track xxx # xxx是大于100M的文件 + + diff --git a/guanli.md b/guanli.md new file mode 100644 index 0000000..076c1fd --- /dev/null +++ b/guanli.md @@ -0,0 +1,48 @@ + +# 管理工作 + +## 轮岗制度 + +### 目的 +- 轮岗目的有利于远程成长角度 + - 比如对运维知识的了解,对安全运维的了解,对自动化运维平台的了解,对业务的了解 + - 多岗锻炼,培养人才:通过内部的岗位轮换,开拓人才培养机制,尽快培养员工成长一专多能的复合型人才; + - 激励员工,提高积极性:使员工在轮岗中开拓视野,锻造多方面的能力与经验,避免“岗位疲劳”; + +- 规避风险,防止腐败:通过定期轮岗制度防范管理风险、道德风险、法律风险,以及形成腐败; +- 当企业处于旺季时,出现员工生病或者是请假,其他人员能很快顶上,不至于影响企业正常运转,或者是说当有人员离职时,企业可以马上有合适的人员顶上。 + +### 误解 +- 企业是不是想要干掉我,所以开始培养接替我的人员了?才实行轮岗制。 +- 如果企业实行了轮岗制,那么我岂不是变成一个可有可无,随时有被替换掉的人? +- 平时有人给我发发红包什么的,一旦实行轮岗制,那么对方岂不是知道了这么一回事? + +### 注意点 +- 必须要具备一套完整的科学管理制度,科学的轮岗管理制度,是**轮岗有序**,合理运行的保障,这里面涉及到详细的**轮岗计划**,让轮岗工作顺利有序的开展。 +- 制定详细的轮岗计划,要根据企业的轮岗目标,制定详细的轮岗计划,对轮岗的**人数、时间、岗位**等要有详细的计划。 +有目的,有计划,分步骤实施吗,做到岗位工作交接好,有人管,有人跟踪,有人评价。 +- 明确轮岗资格,**轮岗岗位、轮岗对象**。哪些岗位需要轮岗,如何轮岗,为什么轮岗,轮岗后做什么?都要有明确的**轮岗岗位和部门**,避免漫无目的的轮岗。 +- 明确轮岗的去向,轮岗人数的比例以及轮岗期限。**避免大面积轮岗**,确保正常工作的开展。 +- **完善工作交接**,轮岗前要将工作中的物品交接、制度文件交接,工作任务详细内容进行交接,交接时,要有上级参与被移交者全程交接,并在交接工程中询问工作进度,工作需要注意事项等,一一罗列出来,使接手者有思想准备。 +- 强化沟通、规范流程。在轮岗中,会出现一些问题与困难,人力资源部要全程跟踪,进行协调与沟通,同时人力资源部与部门负责人要与轮岗人员说明轮岗的意义,让他们理解轮岗的意义,消除内心的顾虑。 + +### 管理制度 +- 轮岗由**谁统筹**,轮岗制执行、落实、监督、考核、由谁负责,这些就是要明确职责与权限,具体落实到人 +- 轮岗涉及到的**对象**,哪些岗位需要进行轮岗,把岗位写出来 +- 轮岗涉及到的**部门**,哪些部门需要轮岗,把部门写出来 +- **轮岗期限**,如:科室内部轮岗期限1个月,部门内部轮岗期限2个月,跨部门轮岗期限半个月 +- 轮岗**负责人** + - 组内轮岗,由组长领导负责 + - 部门内部轮岗,由部门负责人负责 + - 跨部门轮岗,由统筹部门统一安排和实施 +- 轮岗**计划** + - 初步一年2次,制定员工轮岗计划:轮岗**人员名单,轮岗岗位,时间安排** +- 轮岗前工作移交,在轮岗前一周,必须进行工作移交,工作移交内容包括: + - 完整的工作文件移交 + - 目前工作进展移交,包括工作进展程度,目标结果以及工作存在的障碍 + - 工作资源移交,客户资料、技术资料、采购资料等 + +--- + +### 领导审核 + diff --git a/guzhangchuli.md b/guzhangchuli.md new file mode 100644 index 0000000..a2a18a4 --- /dev/null +++ b/guzhangchuli.md @@ -0,0 +1,72 @@ + +## 故障处理 + +故障报告: +- 用户申告 +- 监控告警 + +接到故障报告时应该做什么? +- 支撑作为入口,统一组织故障处理小组,可以调动运维、研发资源。 +- 快速建立故障状态报告。在线文档,注意权限范围。每15分钟更新。 + - 故障摘要 + - 故障状态 + - 故障处理人 + - 牵头人、运维负责人、研发负责人 + - 待办列表 + - 切换备用资源(已完成) + - 执行xxx脚本(已完成) + - 借用一些紧急资源提高xxx容量(进行中) +- 故障时间线 + +如果从故障服务来看,运维恢复业务最重要的三个方法是: 重启,隔离和降级。 + +以今天的 RabbitMQ 故障为例:当已经知道 RabbitMQ 发送消息失败的时候,那么就要对它进行重启,如果还没生效,那么则对他上游(消息生产者)进行重启,还不行就对下游,消息消费方进行重启。 + +这里需要注意的是,千万千万不要想着去定位,比如发现重启的对象指标都正常,则不进行重启,时刻谨记,是在恢复业务,不是在定位故障。 + +基本原则: 在故障处理过程中采取的所有手段和行动,一切以恢复业务为最高优先级。 +1. 故障发现后,On-Call 的 SRE 或 运维,故障指挥官有权召集相应的业务开发或其它必要资源,快速组织事故处理小组。 +1. 如果问题和恢复过程非常明确,故障指挥官 仍然是 SRE 或 运维,就不做转移,由他来指挥每个人要做的具体事情,以优先恢复业务优先。 +1. 如果问题疑难,影响范围很大,这时 SRE 可以要求更高级别的主管介入,比如 SRE 主管或总监等,一般的原则是谁的业务受影响最大,谁来牵头组织。这时 SRE 要将 故障指挥官 的职责转移给更高级别的主管,如果是全站范围的影响,必要时技术 VP 或 CTO 也可以承担 故障指挥官 职责,或者授权给某位总监承担。 +1. 问题解决后,需要进行功能验证。 + +```sequence +OnCall运维->故障:发现故障 +OnCall运维->OnCall运维: 初步分析故障原因 +OnCall运维->事故处理小组: 召集业务开发或其它必要资源 +事故处理小组->事故处理小组: 事故反馈(10-15分钟一次) +事故处理小组->事故处理: 事故排查 +OnCall运维-->高管: 问题疑难,影响范围很大,事故升级 +高管-->事故处理小组: 全权管理,进行下一步协商处理 +事故处理->事故处理: 最近发布情况 +事故处理->事故处理: 服务和基础设施情况 +事故处理->事故处理: 解决故障 +事故处理->事故处理小组: 排查记录 +故障->事故恢复: 进行恢复验证 +事故恢复->事故处理小组: 恢复结果通知 +OnCall运维->事后总结: 组织故障复盘会议 +Note right of 事后总结: 总结原因,解决问题 +事后总结->事故处理小组: 输出会议总结,故障报告 +``` + +**事故反馈** +一般要求以团队为单位,每隔 10~15 分钟做一次反馈,反馈当前处理进展以及下一步Action,如果中途有需要马上执行什么操作,也要事先通报,并且要求通报的内容包括对业务和系统的影响是什么,最后由 故障指挥官 决策后再执行,避免忙中出错。没有进展也是进展,也要及时反馈。 + + +事后Action +事后action可以和看板系统结合,方便跟踪。action必须是可执行的,准确的。 + +Action|执行人|验证人|计划完成时间|完成时间 +--| --| --| --| -- +|||| + + + +### reference +- [运维的线上系统故障总结](https://segmentfault.com/a/1190000041205903) +- [一份十分完整的故障演练指南](http://www.yunweipai.com/28352.html) +- [史上最长最全!围绕故障管理谈SRE体系建设](https://blog.51cto.com/u_5646435/3153364) +- [一文吃透SRE故障预案6把刀](https://zhuanlan.zhihu.com/p/362842387) +- [团队线上故障处理模板(SRE必收藏)](https://blog.csdn.net/apl359/article/details/120775746) + + diff --git a/hanote.md b/hanote.md new file mode 100644 index 0000000..e18dd47 --- /dev/null +++ b/hanote.md @@ -0,0 +1,195 @@ + +## LB & HA & 容灾 + +hard LB A10,F5,据说A10的财务状况并不好啊,可见以后是SLB天下了 + +SLB软件级负载均衡器(LVS/HAProxy/Nginx) +SLB DNS、NGX、LVS、HAproxy结合keepalived搭建 + - keepalive作用是给haproxy可用性检查,一台haproxy挂了,检测切到另一台 + - haproxy作用是做负载均衡 + +NGX利用反向代理upstream来实现负载均衡 +据说Tengine在NGX基础进行了改进,但用户接受度并不高,不利于产品良性迭代,HA更重要 +keepalived给HA提供保证,基于我们熟悉的VRRP协议,做容灾是很好的 + +四层负载均衡有LVS,七层负载均衡有Haproxy、Nginx,目前用的最多的就是这三种了 + +阿里云用LVS+Tengine SLB,ECS直接挂LVS,四层监听的流量直接由LVS转发到ECS,7层监听的流量会经过LVS到Tenigine再到用户ECS + +**Nginx/LVS/HAProxy负载均衡相关知识可参考这篇 - [Nginx/LVS/HAProxy负载均衡软件的优缺点详解](http://www.ha97.com/5646.html)** + +问题 + - DNS不足? + - upstream 反向代理关系? + - LVS是什么,怎么实现? + - 天翼云没有A10?LB怎么做 + - 跨域机房双活怎么做? + - 性能问题? QPS + - docker化下与虚拟机下LB思路不同? + +--- + +阿里服务 +``` + redis/oss/ + monitor/log dataV + | | +APP - CDN - WAF -|- SLB - ECS集群 -|- RDS集群 + | | +``` + +SLB +``` ++---------------------------------------------------------------+ +| +--------------+ | +| ----------| CLOUD |---------- | +| | +--------------+ | | +| +---------+---------+ +--------------------+ | +| | | | |lvs cluster | | +| | LVS cluster | | | | | +| | |tengine cluster | tengine cluster | +| +---------+---------+ +----------+---------+ | +| | +| SLB cluster | ++---------------------------------------------------------------+ +``` + +CDN +
  • 内容分发、复制、cache +
  • 智能DNS,优化到达缓存/复制点 +
  • 缺点:内容可能不同步,可闲时同步 + +WAF价格高出SLB好多 + +--- +### 容器云LB技术 + +几个基本概念: +#### 1. RSS/RPS/RFS/XPS的基本认识 +- 对NIC出入数据的优化 +- RSS(receive side scaling),数据队列均衡到不同核,硬件实现 +- RPS(Receive Packet Steering),数据队列均衡到不同核,软件实现 + RSS和RPS都是网卡为了在接受数据包的时候使用多核架构而进行的性能增强,RSS是在硬件层面而RPS在软件层面 +- RFS(Receive Flow Steering) 保证接受中断CPU内核正好是用户处理的CPU,避免转换开销 + XPS(Transmit Packet Steering) 保证发送软中断CPU内核正好是用户处理的CPU,避免转换开销 + +一句话,这4个东西: + - 保证入出数据在不同核之间的均衡, + - 保证入出数据中断和处理在同一个核心上 + +#### 2. PREROUTING/POSTROUTING/SNAT/DNAT + - 源地址发送数据--> {PREROUTING-->路由规则--> POSTROUTING}-->目的地址接收到数据 + PREROUTING是“路由规则”之前的动作,POSTROUTING是“路由规则”之后的动作 + - DNAT在PREROUTING,SNAT在POSTROUTING + - SNAT,数据包从网卡发送出去的时候,把数据包中的源地址替换,这样,接收方认为来源被替换IP + DNAT,数据包从网卡发送出去的时候,修改目的IP,你想访问A,DNAT后把访问A的数据包修改为访问B + +#### 3. LVS模式 + - DR + 改写目的MAC为RS MAC,LVS对用户透明,不该IP,返回直接访问CLient + LVS&RS需在同一个二层 + - NAT + 来回都走LVS,LVS是瓶颈 + LVS&RS需在同一个二层 + - TUNNEL + 只能Linux内核支持 + - Full-NAT + Packet IN dest ip:LVS VIP->RS ip,src ip:CLent IP->LVS内网IP + Packet OUT dest ip:LVS 内网IP->Clent IP, src ip: RS IP->LVS VIP + +``` + FULLNAT MODE + +---------------- --+ PC/CLENT+- ---------------------+ + REQUST | | | + | +------------+ | + SRCIP:CLIENTIP RESPONSE + DESTIP:L^S VIP | + | SRC:LVS VIP + | DEST:CLIENT IP + | | ++--------v------+ +--------------+ +------v--------+ +| DNAT+SNAT | | LVS | ++ | +| +-------------+ +-------------+SNAT+DNAT | ++-------+-------+ +--------------+ +------+--------+ + | | +SRC:LVS INTERNAL IP SRC:RS IP +DEST:RS IP +---------------+ DEST: LVS INTERNAL IP + | | | | + +------------------->+ RS +<-------------------+ + +---------------+ +``` + +--- +### Nginx vs. LVS vs. haproxy vs. DNS + - Ngx做LB?优缺点? + - LVS 模式?优缺点? + - haproxy怎么做?优缺点 + - DNS作为LVS一种模式 + +#### NGX + - 七层 + - 正则 + - 配置 + - 日志 + - 做webserver + - 做反向加速缓存 + - http/https/mail + - 社区 + + - session保持 :question: + - 健康检查?url检测 :question: + + + +#### LVS + - 四层 + - 流量类型支持度 + - 配置性 + - 只发请求 + - :x:正则 + + NAT模式DS(Director server)会成为瓶颈,DR模式回直接到Client,DS不会成为瓶颈,相对比较常用 + + - LVS缺点 + - Keepalived主备模式设备利用率低;不能横向扩展;VRRP协议,有脑裂的风险。 + - ECMP的方式需要了解动态路由协议,LVS和交换机均需要较复杂配置;交换机的HASH算法一般比较简单,增加删除节点会造成HASH重分布,可能导致当前TCP连接全部中断;部分交换机的ECMP在处理分片包时会有BUG。 + +#### haproxy + - session保持 + + - 处理效率 + - 并发 + +haproxy策略 +
    :one: roundrobin +
    :two: static-rr 权重 :star: +
    :three: leastconn 最少连接者先处理 :star: +
    :four: source 表示根据请求源IP,这个跟Nginx的IP_hash机制类似,我们用其作为解决session问题的一种方法 :star: +
    :five: ri 表示根据请求的URI +
    :six: rl_param 表示根据请求的URl参数'balance url_param' requires an URL parameter name +
    :seven: hdr(name) 表示根据HTTP请求头来锁定每一次HTTP请求 +
    :eight: rdp-cookie(name) 表示根据据cookie(name)来锁定并哈希每一次TCP请求 + + +#### 关于LVS替代DNS轮询:question: +- lvs/haproxy+ngx+keepalived基本满足大部分HA需求,大部分情况下构架已经可以满足替代DNS轮询 +- 对极高并发场景,在接入层可以叠加DNS轮询 +[可参见](imgs/t13.jpg) + +#### 关于Zookeeper可以替代LVS,NGX:question: + +[参考5](#references) + + + +### references +1. [高性能负载均衡设计与实现](https://zhuanlan.zhihu.com/p/29949340) +1. [容器云负载均衡之三:RSS、RPS、RFS和XPS调整](https://blog.csdn.net/cloudvtech/article/details/80182074) +1. [从一个开发的角度看负载均衡和LVS](https://blog.csdn.net/daiyudong2020/article/details/51611118) +1. [HA接入层构架](https://cyningsun.github.io/02-03-2019/access-layer-architecture.html) +1. [keepalived和zookeeper对比](https://www.cnblogs.com/arjenlee/p/9254219.html) +1. [运维可用性能力建设](https://cloud.tencent.com/developer/article/1595028) +1. [haproxy+keepalived高可用负载均衡构建](https://blog.csdn.net/qq_41772936/article/details/80718014) +1. [LVS的原理-工作模式](https://yizhi.ren/2019/05/03/lvs/) + + diff --git a/imgs/3866340280098071714.jpg b/imgs/3866340280098071714.jpg new file mode 100644 index 0000000..8eb41c0 Binary files /dev/null and b/imgs/3866340280098071714.jpg differ diff --git a/imgs/5S-Toyota-Forklifts.jpg b/imgs/5S-Toyota-Forklifts.jpg new file mode 100644 index 0000000..417e8d8 Binary files /dev/null and b/imgs/5S-Toyota-Forklifts.jpg differ diff --git a/imgs/5S-wheel-diagram.jpg b/imgs/5S-wheel-diagram.jpg new file mode 100644 index 0000000..80d9728 Binary files /dev/null and b/imgs/5S-wheel-diagram.jpg differ diff --git a/imgs/5g/5g1.jpg b/imgs/5g/5g1.jpg new file mode 100644 index 0000000..b91bec2 Binary files /dev/null and b/imgs/5g/5g1.jpg differ diff --git a/imgs/5g/5g2.jpg b/imgs/5g/5g2.jpg new file mode 100644 index 0000000..3e61b93 Binary files /dev/null and b/imgs/5g/5g2.jpg differ diff --git a/imgs/TPS1.jpg b/imgs/TPS1.jpg new file mode 100644 index 0000000..bce1748 Binary files /dev/null and b/imgs/TPS1.jpg differ diff --git a/imgs/db/1508220824685.png b/imgs/db/1508220824685.png new file mode 100644 index 0000000..0db69c4 Binary files /dev/null and b/imgs/db/1508220824685.png differ diff --git a/imgs/db/1508224104762.png b/imgs/db/1508224104762.png new file mode 100644 index 0000000..11042a2 Binary files /dev/null and b/imgs/db/1508224104762.png differ diff --git a/imgs/db/1508224116977.png b/imgs/db/1508224116977.png new file mode 100644 index 0000000..2fc721a Binary files /dev/null and b/imgs/db/1508224116977.png differ diff --git a/imgs/db/1508224133068.png b/imgs/db/1508224133068.png new file mode 100644 index 0000000..7550ac5 Binary files /dev/null and b/imgs/db/1508224133068.png differ diff --git a/imgs/db/1508224143652.png b/imgs/db/1508224143652.png new file mode 100644 index 0000000..8e3568e Binary files /dev/null and b/imgs/db/1508224143652.png differ diff --git a/imgs/db/1508224155090.png b/imgs/db/1508224155090.png new file mode 100644 index 0000000..86a5efd Binary files /dev/null and b/imgs/db/1508224155090.png differ diff --git a/imgs/db/1508224163862.png b/imgs/db/1508224163862.png new file mode 100644 index 0000000..27f39fd Binary files /dev/null and b/imgs/db/1508224163862.png differ diff --git a/imgs/db/1508224175479.png b/imgs/db/1508224175479.png new file mode 100644 index 0000000..05579ce Binary files /dev/null and b/imgs/db/1508224175479.png differ diff --git a/imgs/db/1508224183405.png b/imgs/db/1508224183405.png new file mode 100644 index 0000000..811a443 Binary files /dev/null and b/imgs/db/1508224183405.png differ diff --git a/imgs/db/1508224195432.png b/imgs/db/1508224195432.png new file mode 100644 index 0000000..8f19752 Binary files /dev/null and b/imgs/db/1508224195432.png differ diff --git a/imgs/db/1508232831054.png b/imgs/db/1508232831054.png new file mode 100644 index 0000000..af9fe80 Binary files /dev/null and b/imgs/db/1508232831054.png differ diff --git a/imgs/db/1508233065722.png b/imgs/db/1508233065722.png new file mode 100644 index 0000000..09dc651 Binary files /dev/null and b/imgs/db/1508233065722.png differ diff --git a/imgs/db/1508233301178.png b/imgs/db/1508233301178.png new file mode 100644 index 0000000..772ddb1 Binary files /dev/null and b/imgs/db/1508233301178.png differ diff --git a/imgs/db/1508234022148.png b/imgs/db/1508234022148.png new file mode 100644 index 0000000..d260b76 Binary files /dev/null and b/imgs/db/1508234022148.png differ diff --git a/imgs/db/1508234196383.png b/imgs/db/1508234196383.png new file mode 100644 index 0000000..1bcb3c2 Binary files /dev/null and b/imgs/db/1508234196383.png differ diff --git a/imgs/db/1508234209931.png b/imgs/db/1508234209931.png new file mode 100644 index 0000000..3b9ff96 Binary files /dev/null and b/imgs/db/1508234209931.png differ diff --git a/imgs/db/1508234224944.png b/imgs/db/1508234224944.png new file mode 100644 index 0000000..74b334e Binary files /dev/null and b/imgs/db/1508234224944.png differ diff --git a/imgs/db/1508234232978.png b/imgs/db/1508234232978.png new file mode 100644 index 0000000..04e69bd Binary files /dev/null and b/imgs/db/1508234232978.png differ diff --git a/imgs/db/1508234240747.png b/imgs/db/1508234240747.png new file mode 100644 index 0000000..fd515d8 Binary files /dev/null and b/imgs/db/1508234240747.png differ diff --git a/imgs/db/1508234256389.png b/imgs/db/1508234256389.png new file mode 100644 index 0000000..42a0d7f Binary files /dev/null and b/imgs/db/1508234256389.png differ diff --git a/imgs/db/1508234267301.png b/imgs/db/1508234267301.png new file mode 100644 index 0000000..105cd7b Binary files /dev/null and b/imgs/db/1508234267301.png differ diff --git a/imgs/db/1508234279553.png b/imgs/db/1508234279553.png new file mode 100644 index 0000000..2845d24 Binary files /dev/null and b/imgs/db/1508234279553.png differ diff --git a/imgs/db/1508234313005.png b/imgs/db/1508234313005.png new file mode 100644 index 0000000..a7bcef0 Binary files /dev/null and b/imgs/db/1508234313005.png differ diff --git a/imgs/db/1508234321343.png b/imgs/db/1508234321343.png new file mode 100644 index 0000000..883fde6 Binary files /dev/null and b/imgs/db/1508234321343.png differ diff --git a/imgs/db/1508234483676.png b/imgs/db/1508234483676.png new file mode 100644 index 0000000..82170ca Binary files /dev/null and b/imgs/db/1508234483676.png differ diff --git a/imgs/db/1508234508872.png b/imgs/db/1508234508872.png new file mode 100644 index 0000000..228773d Binary files /dev/null and b/imgs/db/1508234508872.png differ diff --git a/imgs/db/1508234525067.png b/imgs/db/1508234525067.png new file mode 100644 index 0000000..9fed255 Binary files /dev/null and b/imgs/db/1508234525067.png differ diff --git a/imgs/db/1508234545534.png b/imgs/db/1508234545534.png new file mode 100644 index 0000000..86a2790 Binary files /dev/null and b/imgs/db/1508234545534.png differ diff --git a/imgs/db/1508234554521.png b/imgs/db/1508234554521.png new file mode 100644 index 0000000..5bf3eda Binary files /dev/null and b/imgs/db/1508234554521.png differ diff --git a/imgs/db/dbtrend.png b/imgs/db/dbtrend.png new file mode 100755 index 0000000..f86d0eb Binary files /dev/null and b/imgs/db/dbtrend.png differ diff --git a/imgs/db/dbtrend24m.png b/imgs/db/dbtrend24m.png new file mode 100755 index 0000000..fff82af Binary files /dev/null and b/imgs/db/dbtrend24m.png differ diff --git a/imgs/db/myCatHa.png b/imgs/db/myCatHa.png new file mode 100644 index 0000000..4a98ebc Binary files /dev/null and b/imgs/db/myCatHa.png differ diff --git a/imgs/db/myCatHa1.png b/imgs/db/myCatHa1.png new file mode 100644 index 0000000..5f7496b Binary files /dev/null and b/imgs/db/myCatHa1.png differ diff --git a/imgs/db/mycat.jpg b/imgs/db/mycat.jpg new file mode 100644 index 0000000..3542ed5 Binary files /dev/null and b/imgs/db/mycat.jpg differ diff --git a/imgs/db/mycat_arch.jpg b/imgs/db/mycat_arch.jpg new file mode 100644 index 0000000..86533fa Binary files /dev/null and b/imgs/db/mycat_arch.jpg differ diff --git a/imgs/db/mycat_slice.jpg b/imgs/db/mycat_slice.jpg new file mode 100644 index 0000000..06a3826 Binary files /dev/null and b/imgs/db/mycat_slice.jpg differ diff --git a/imgs/devops.png b/imgs/devops.png new file mode 100644 index 0000000..1fb5d5b Binary files /dev/null and b/imgs/devops.png differ diff --git a/imgs/jingyi.jpg b/imgs/jingyi.jpg new file mode 100644 index 0000000..8990f8f Binary files /dev/null and b/imgs/jingyi.jpg differ diff --git a/imgs/kafka.jpg b/imgs/kafka.jpg new file mode 100755 index 0000000..2c1f87f Binary files /dev/null and b/imgs/kafka.jpg differ diff --git a/imgs/kafka2.png b/imgs/kafka2.png new file mode 100755 index 0000000..3f6604b Binary files /dev/null and b/imgs/kafka2.png differ diff --git a/imgs/key_target.png b/imgs/key_target.png new file mode 100644 index 0000000..de4766c Binary files /dev/null and b/imgs/key_target.png differ diff --git a/imgs/logsys.jpg b/imgs/logsys.jpg new file mode 100755 index 0000000..e1bc6ab Binary files /dev/null and b/imgs/logsys.jpg differ diff --git a/imgs/lvs+keepalived.jpg b/imgs/lvs+keepalived.jpg new file mode 100644 index 0000000..a0a6f37 Binary files /dev/null and b/imgs/lvs+keepalived.jpg differ diff --git a/imgs/nginx/Pasted image 20240416145752.png b/imgs/nginx/Pasted image 20240416145752.png new file mode 100644 index 0000000..3b0880a Binary files /dev/null and b/imgs/nginx/Pasted image 20240416145752.png differ diff --git a/imgs/nginx/Pasted image 20240416145846.png b/imgs/nginx/Pasted image 20240416145846.png new file mode 100644 index 0000000..ba09498 Binary files /dev/null and b/imgs/nginx/Pasted image 20240416145846.png differ diff --git a/imgs/nginx/Pasted image 20240416150004.png b/imgs/nginx/Pasted image 20240416150004.png new file mode 100644 index 0000000..e492cad Binary files /dev/null and b/imgs/nginx/Pasted image 20240416150004.png differ diff --git a/imgs/nginx/Pasted image 20240416150213.png b/imgs/nginx/Pasted image 20240416150213.png new file mode 100644 index 0000000..4a36b9d Binary files /dev/null and b/imgs/nginx/Pasted image 20240416150213.png differ diff --git a/imgs/opsknow.png b/imgs/opsknow.png new file mode 100644 index 0000000..ef5f9a3 Binary files /dev/null and b/imgs/opsknow.png differ diff --git a/imgs/rocketmq.jpeg b/imgs/rocketmq.jpeg new file mode 100755 index 0000000..c0ce52c Binary files /dev/null and b/imgs/rocketmq.jpeg differ diff --git a/imgs/rocketmq.png b/imgs/rocketmq.png new file mode 100755 index 0000000..eb05d7a Binary files /dev/null and b/imgs/rocketmq.png differ diff --git a/imgs/t1.jpg b/imgs/t1.jpg new file mode 100644 index 0000000..80b0751 Binary files /dev/null and b/imgs/t1.jpg differ diff --git a/imgs/t10.jpg b/imgs/t10.jpg new file mode 100644 index 0000000..7c1550a Binary files /dev/null and b/imgs/t10.jpg differ diff --git a/imgs/t11.jpg b/imgs/t11.jpg new file mode 100644 index 0000000..6f305d1 Binary files /dev/null and b/imgs/t11.jpg differ diff --git a/imgs/t12.jpg b/imgs/t12.jpg new file mode 100644 index 0000000..696d44d Binary files /dev/null and b/imgs/t12.jpg differ diff --git a/imgs/t13.jpg b/imgs/t13.jpg new file mode 100644 index 0000000..16ec042 Binary files /dev/null and b/imgs/t13.jpg differ diff --git a/imgs/t14.jpg b/imgs/t14.jpg new file mode 100644 index 0000000..1f27db8 Binary files /dev/null and b/imgs/t14.jpg differ diff --git a/imgs/t15.jpg b/imgs/t15.jpg new file mode 100644 index 0000000..db3716b Binary files /dev/null and b/imgs/t15.jpg differ diff --git a/imgs/t2.jpg b/imgs/t2.jpg new file mode 100644 index 0000000..97ad860 Binary files /dev/null and b/imgs/t2.jpg differ diff --git a/imgs/t3.jpg b/imgs/t3.jpg new file mode 100644 index 0000000..dc1d7f1 Binary files /dev/null and b/imgs/t3.jpg differ diff --git a/imgs/t4.jpg b/imgs/t4.jpg new file mode 100644 index 0000000..76791f9 Binary files /dev/null and b/imgs/t4.jpg differ diff --git a/imgs/t5.jpg b/imgs/t5.jpg new file mode 100644 index 0000000..b0e23ff Binary files /dev/null and b/imgs/t5.jpg differ diff --git a/imgs/t6.jpg b/imgs/t6.jpg new file mode 100644 index 0000000..a363823 Binary files /dev/null and b/imgs/t6.jpg differ diff --git a/imgs/t7.jpg b/imgs/t7.jpg new file mode 100644 index 0000000..971c999 Binary files /dev/null and b/imgs/t7.jpg differ diff --git a/imgs/t8.jpg b/imgs/t8.jpg new file mode 100644 index 0000000..d1f5a00 Binary files /dev/null and b/imgs/t8.jpg differ diff --git a/imgs/t9.jpg b/imgs/t9.jpg new file mode 100644 index 0000000..6e8d3f1 Binary files /dev/null and b/imgs/t9.jpg differ diff --git a/imgs/timg (1).jpg b/imgs/timg (1).jpg new file mode 100644 index 0000000..eb64b16 Binary files /dev/null and b/imgs/timg (1).jpg differ diff --git a/imgs/timg.jpg b/imgs/timg.jpg new file mode 100644 index 0000000..efeec31 Binary files /dev/null and b/imgs/timg.jpg differ diff --git a/imgs/tps-diagram.jpg b/imgs/tps-diagram.jpg new file mode 100644 index 0000000..f897c29 Binary files /dev/null and b/imgs/tps-diagram.jpg differ diff --git a/imgs/tps-house.png b/imgs/tps-house.png new file mode 100644 index 0000000..5559d11 Binary files /dev/null and b/imgs/tps-house.png differ diff --git a/imgs/v2-82bbe5062154ed8d10cfdfbe797e6212_xs.jpg b/imgs/v2-82bbe5062154ed8d10cfdfbe797e6212_xs.jpg new file mode 100644 index 0000000..2af0587 Binary files /dev/null and b/imgs/v2-82bbe5062154ed8d10cfdfbe797e6212_xs.jpg differ diff --git a/imgs/v2-ff772fdd0691d0bd2b776629ec79452b_r.jpg b/imgs/v2-ff772fdd0691d0bd2b776629ec79452b_r.jpg new file mode 100644 index 0000000..544a780 Binary files /dev/null and b/imgs/v2-ff772fdd0691d0bd2b776629ec79452b_r.jpg differ diff --git a/imgs/yunweitixi.png b/imgs/yunweitixi.png new file mode 100644 index 0000000..0a898cd Binary files /dev/null and b/imgs/yunweitixi.png differ diff --git a/imgs/zookeeper_arch.png b/imgs/zookeeper_arch.png new file mode 100644 index 0000000..4481511 Binary files /dev/null and b/imgs/zookeeper_arch.png differ diff --git a/ip_safe.md b/ip_safe.md new file mode 100644 index 0000000..83ff36b --- /dev/null +++ b/ip_safe.md @@ -0,0 +1,60 @@ + +# 信息安全校园招聘 +专业要求信息工程、计算机、软件工程、通信等相关专业 + +## 岗位职责 +1. 制订网络信息安全规范和技术标准,督促和检查安全标准实施; +2. 部署和完善安全防护体系; +3. 负责对各业务系统安全管理和技术指导; +4. 定期开展相关系统日常安全检查和实施,包括漏洞扫描、补丁升级、渗透测试等; +5. 负责承接上级部门、各管理部门的安全要求并在公司落地实施,承接上级部门的安全检查; + +## 应聘资格 + +# IP网络及安全专业 + +## IP网络方向 +1. 高级专家标准: +- 被公认为集团内IP网络领域的权威和知名专家,具有全局观,参与制定公司产品的核心组网架构战略并推动公司决策; +- 把握核心组网架构的发展方向,领导重点攻关项目开发,具备业内一定影响力和知名度; +- 解决公司网络技术架构领域内复杂程度最高的问题、重要程度最高的项目或跨部门的大型项目; +- 获得CCIE或同等专家级认证证书。 +2. 一级专家标准: +- 在省公司内部被公认为网络领域的专家,能够领导集团级大中型项目的网络规划; +- 提供影响公司长期发展的组网规划建议,并解决核心组网业务难题; +- 能识别和分析复杂的网络组网问题,并对项目进行组网改造优化建议、提高网络使用效率、减少网络故障节点及网络安全隐患。 +- 深入了解领域内的专业知识,具备精湛的技能; +- 能独立定位网络故障的核心问题,快速解决复杂的网络故障。 +- 具有较强技术选型能力,能对本领域内网络协议优缺点进行评估并作出选择; +- 具有较强的专业能力及本领域内系统分析,网络优化能力; +- 能驱动团队,指导整个团队有效运作。 +- 获得CCIE或同等专家级认证证书。 +3. 二级专家标准: +- 作为部门内公认的网络支撑专家,能够独立解决有线、无线侧的复杂网络问题; +- 在网络专业领域具有较丰富的知识和技能,在本专业其他领域也有一定程度的了解; +- 能够应用所掌握的网络知识、案例或工具提出建设性的建议或做出调整; +- 能够系统性解决有线、无线网络领域内非常复杂的问题,提出高度创新的解决方案; +- 具有良好的故障分析能力和现场优化能力,对重大项目,无线、有线侧网络,提供优化解决方案; +- 能够带动团队,可以指导带领一个支撑团队有效服务。 +- 获得CCNP或同等中级级别认证证书。 + +## 安全方向 +1. 高级专家标准: +- 被公认为集团内安全领域的权威和知名专家,具有全局观,参与制定公司安全架构战略并推动公司安全相关决策; +- 把握安全领域发展方向,领导重点攻关项目开发,具备业内一定影响力和知名度; +- 解决公司安全领域内复杂程度最高的问题、重要程度最高的项目或跨部门的大型项目; +- 获得CISSP/CISP或同等专家级认证证书。 +2. 一级专家标准: +- 在省公司内部被公认为信息安全领域的专家,能够组织领导集团级大中型项目信息安全架构; +- 深入掌握信息安全领域内的专业知识和技术演进,能给公司产品和基础设施的安全提供端到端指导意见; +- 能分析定位安全问题,并通过落实各类安全手段,解决大型网络或应用中安全隐患; +- 能驱动团队,指导整个团队有效运作; +- 获得CISSP/CISP或同等专家级认证证书。 +3. 二级专家标准: +- 较全面掌握信息安全攻防方法和防范措施; +- 熟悉信息安全领域专业知识,具有良好的故障分析能力和问题解决能力; +- 能独立开展扫描、渗透等工作,并针对结果暴露的问题提出有效解决方案; +- 能够应用所掌握的网信安知识、案例或工具提出建设性的建议; +- 能够系统性解决网信安领域复杂问题,提出高度创新的解决方案; +- 能够带领一个安全团队提供有效服务; + diff --git a/jiaojie.md b/jiaojie.md new file mode 100644 index 0000000..b03c69d --- /dev/null +++ b/jiaojie.md @@ -0,0 +1,25 @@ + +# 王登开工作交接 + +## 监控采集 + +flume -> kafka -> promethus -> grafana +logstash? + +topic -> prometheus metric + label + + +- [深度好文:Prometheus Metrics 设计的最佳实践和应用实例!](https://baijiahao.baidu.com/s?id=1709256859922616647&wfr=spider&for=pc) + + +### 交接工作 +- 权限 +- 系统清单 +- 工作文件&资料 +- 联系接口清单,内外部,越详细约好 +- 工作流程、关键控制点、操作方法,示范,确保被交接人独立操作 + +# 114交接 +## + + diff --git a/k8slearning.md b/k8slearning.md new file mode 100644 index 0000000..4e71677 --- /dev/null +++ b/k8slearning.md @@ -0,0 +1,6301 @@ +# 1. Kubernetes介绍 + +## 1.1 应用部署方式演变 + +在部署应用程序的方式上,主要经历了三个时代: + +- **传统部署**:互联网早期,会直接将应用程序部署在物理机上 + + > 优点:简单,不需要其它技术的参与 + > + > 缺点:不能为应用程序定义资源使用边界,很难合理地分配计算资源,而且程序之间容易产生影响 + +- **虚拟化部署**:可以在一台物理机上运行多个虚拟机,每个虚拟机都是独立的一个环境 + + > 优点:程序环境不会相互产生影响,提供了一定程度的安全性 + > + > 缺点:增加了操作系统,浪费了部分资源 + +- **容器化部署**:与虚拟化类似,但是共享了操作系统 + + > 优点: + > + > 可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等 + > + > 运行应用程序所需要的资源都被容器包装,并和底层基础架构解耦 + > + > 容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署 + +![image-20200505183738289](Kubenetes.assets/image-20200505183738289.png) + +容器化部署方式给带来很多的便利,但是也会出现一些问题,比如说: + +- 一个容器故障停机了,怎么样让另外一个容器立刻启动去替补停机的容器 +- 当并发访问量变大的时候,怎么样做到横向扩展容器数量 + +这些容器管理的问题统称为**容器编排**问题,为了解决这些容器编排问题,就产生了一些容器编排的软件: + +- **Swarm**:Docker自己的容器编排工具 +- **Mesos**:Apache的一个资源统一管控的工具,需要和Marathon结合使用 +- **Kubernetes**:Google开源的的容器编排工具 + +![image-20200524150339551](Kubenetes.assets/image-20200524150339551.png) + +## 1.2 kubernetes简介 + +![image-20200406232838722](Kubenetes.assets/image-20200406232838722.png) + + + +kubernetes,是一个全新的基于容器技术的分布式架构领先方案,是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本,于2014年9月发布第一个版本,2015年7月发布第一个正式版本。 + +kubernetes的本质是**一组服务器集群**,它可以在集群的每个节点上运行特定的程序,来对节点中的容器进行管理。目的是实现资源管理的自动化,主要提供了如下的主要功能: + +- **自我修复**:一旦某一个容器崩溃,能够在1秒中左右迅速启动新的容器 +- **弹性伸缩**:可以根据需要,自动对集群中正在运行的容器数量进行调整 +- **服务发现**:服务可以通过自动发现的形式找到它所依赖的服务 +- **负载均衡**:如果一个服务起动了多个容器,能够自动实现请求的负载均衡 +- **版本回退**:如果发现新发布的程序版本有问题,可以立即回退到原来的版本 +- **存储编排**:可以根据容器自身的需求自动创建存储卷 + +## 1.3 kubernetes组件 + +一个kubernetes集群主要是由**控制节点(master)**、**工作节点(node)**构成,每个节点上都会安装不同的组件。 + +**master:集群的控制平面,负责集群的决策 ( 管理 )** + +> **ApiServer** : 资源操作的唯一入口,接收用户输入的命令,提供认证、授权、API注册和发现等机制 +> +> **Scheduler** : 负责集群资源调度,按照预定的调度策略将Pod调度到相应的node节点上 +> +> **ControllerManager** : 负责维护集群的状态,比如程序部署安排、故障检测、自动扩展、滚动更新等 +> +> **Etcd** :负责存储集群中各种资源对象的信息 + +**node:集群的数据平面,负责为容器提供运行环境 ( 干活 )** + +> **Kubelet** : 负责维护容器的生命周期,即通过控制docker,来创建、更新、销毁容器 +> +> **KubeProxy** : 负责提供集群内部的服务发现和负载均衡 +> +> **Docker** : 负责节点上容器的各种操作 + +![image-20200406184656917](Kubenetes.assets/image-20200406184656917.png) + +下面,以部署一个nginx服务来说明kubernetes系统各个组件调用关系: + +1. 首先要明确,一旦kubernetes环境启动之后,master和node都会将自身的信息存储到etcd数据库中 + +2. 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件 + +3. apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上 + + 在此时,它会从etcd中读取各个node节点的信息,然后按照一定的算法进行选择,并将结果告知apiServer + +4. apiServer调用controller-manager去调度Node节点安装nginx服务 + +5. kubelet接收到指令后,会通知docker,然后由docker来启动一个nginx的pod + + pod是kubernetes的最小操作单元,容器必须跑在pod中,至此, + +6. 一个nginx服务就运行了,如果需要访问nginx,就需要通过kube-proxy来对pod产生访问的代理 + +这样,外界用户就可以访问集群中的nginx服务了 + +## 1.4 kubernetes概念 + +**Master**:集群控制节点,每个集群需要至少一个master节点负责集群的管控 + +**Node**:工作负载节点,由master分配容器到这些node工作节点上,然后node节点上的docker负责容器的运行 + +**Pod**:kubernetes的最小控制单元,容器都是运行在pod中的,一个pod中可以有1个或者多个容器 + +**Controller**:控制器,通过它来实现对pod的管理,比如启动pod、停止pod、伸缩pod的数量等等 + +**Service**:pod对外服务的统一入口,下面可以维护者同一类的多个pod + +**Label**:标签,用于对pod进行分类,同一类pod会拥有相同的标签 + +**NameSpace**:命名空间,用来隔离pod的运行环境 + + + +# 2. kubernetes集群环境搭建 + +## 2.1 前置知识点 + +目前生产部署Kubernetes 集群主要有两种方式: + +**kubeadm** + +Kubeadm 是一个K8s 部署工具,提供kubeadm init 和kubeadm join,用于快速部署Kubernetes 集群。 + +官方地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/ + +**二进制包** + +从github 下载发行版的二进制包,手动部署每个组件,组成Kubernetes 集群。 + +Kubeadm 降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可控,推荐使用二进制包部署Kubernetes 集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护。 + +*CG: rancher* + +![image-20200404094800622](Kubenetes.assets/image-20200404094800622.png) + +## 2.2 kubeadm 部署方式介绍 + +kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具,这个工具能通过两条指令完成一个kubernetes 集群的部署: + +- 创建一个Master 节点kubeadm init +- 将Node 节点加入到当前集群中$ kubeadm join + +## 2.3 安装要求 + +在开始之前,部署Kubernetes 集群机器需要满足以下几个条件: + +- 一台或多台机器,操作系统CentOS7.x-86_x64 +- 硬件配置:2GB 或更多RAM,2 个CPU 或更多CPU,硬盘30GB 或更多 +- 集群中所有机器之间网络互通 +- 可以访问外网,需要拉取镜像 +- 禁止swap 分区 + +## 2.4 最终目标 + +- 在所有节点上安装Docker 和kubeadm +- 部署Kubernetes Master +- 部署容器网络插件 +- 部署Kubernetes Node,将节点加入Kubernetes 集群中 +- 部署Dashboard Web 页面,可视化查看Kubernetes 资源 + +## 2.5 准备环境 + + + +![image-20210609000002940](Kubenetes.assets/image-20210609000002940.png) + +| 角色 | IP地址 | 组件 | +| :----------- | :---------- | :-------------------------------- | +| k8s-master01 | 192.168.5.3 | docker,kubectl,kubeadm,kubelet | +| k8s-node01 | 192.168.5.4 | docker,kubectl,kubeadm,kubelet | +| k8s-node02 | 192.168.5.5 | docker,kubectl,kubeadm,kubelet | + +## 2.6 系统初始化 + +### 2.6.1 设置系统主机名以及 Host 文件的相互解析 + +```shell +hostnamectl set-hostname k8s-master01 && bash +hostnamectl set-hostname k8s-node01 && bash +hostnamectl set-hostname k8s-node02 && bash +``` + +```shell +cat <> /etc/hosts +192.168.5.3 k8s-master01 +192.168.5.4 k8s-node01 +192.168.5.5 k8s-node02 +EOF +``` + +```shell +scp /etc/hosts root@192.168.5.4:/etc/hosts +scp /etc/hosts root@192.168.5.5:/etc/hosts +``` + +### 2.6.2 安装依赖文件(所有节点都要操作) + +```shell +yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git +``` + +### 2.6.3 设置防火墙为 Iptables 并设置空规则(所有节点都要操作) + +```shell +systemctl stop firewalld && systemctl disable firewalld + +yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save +``` + +CG: +``` +使用 /sbin/iptables -F 要小心,搞不好,你就马上同服务器断开连接了 + +可以通过/sbin/iptables -F清除所有规则来暂时停止防火墙 +(警告:这只适合在没有配置防火墙的环境中,如果已经配置过默认规则为deny的环境,此步骤将使系统的所有网络访问中断) + +如果想清空的话,先执行 /sbin/iptables -P INPUT ACCEPT + +然后执行 /sbin/iptables -F + +通过iptables -L 看到如下信息 +Chain INPUT (policy DROP 0 packets, 0 bytes) (注意 是DROP) 执行/sbin/iptables -F就肯定立马断开连接 + +当执行了 /sbin/iptables -P INPUT ACCEPT + +再次通过iptables -L看信息的话就是 Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) + +所以现在是可以安全使用 /sbin/iptables -F了 +``` + + +### 2.6.4 关闭 SELINUX(所有节点都要操作) + +```shell +swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab + +setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config +``` + +### 2.6.5 调整内核参数,对于 K8S(所有节点都要操作) + +```shell +modprobe br_netfilter + +cat < kubernetes.conf +net.bridge.bridge-nf-call-iptables=1 +net.bridge.bridge-nf-call-ip6tables=1 +net.ipv4.ip_forward=1 +net.ipv4.tcp_tw_recycle=0 +vm.swappiness=0 # 禁止使用 swap 空间,只有当系统 OOM 时才允许使用它 +vm.overcommit_memory=1 # 不检查物理内存是否够用 +vm.panic_on_oom=0 # 开启 OOM +fs.inotify.max_user_instances=8192 +fs.inotify.max_user_watches=1048576 +fs.file-max=52706963 +fs.nr_open=52706963 +net.ipv6.conf.all.disable_ipv6=1 +net.netfilter.nf_conntrack_max=2310720 +EOF + +cp kubernetes.conf /etc/sysctl.d/kubernetes.conf + +sysctl -p /etc/sysctl.d/kubernetes.conf +``` + +### 2.6.6 调整系统时区(所有节点都要操作) + +```shell +# 设置系统时区为 中国/上海 +timedatectl set-timezone Asia/Shanghai +# 将当前的 UTC 时间写入硬件时钟 +timedatectl set-local-rtc 0 +# 重启依赖于系统时间的服务 +systemctl restart rsyslog +systemctl restart crond +``` + +### 2.6.7 设置 rsyslogd 和 systemd journald(所有节点都要操作) + +```shell +# 持久化保存日志的目录 +mkdir /var/log/journal +mkdir /etc/systemd/journald.conf.d +cat > /etc/systemd/journald.conf.d/99-prophet.conf < /etc/sysconfig/modules/ipvs.modules +#!/bin/bash +modprobe -- ip_vs +modprobe -- ip_vs_rr +modprobe -- ip_vs_wrr +modprobe -- ip_vs_sh +modprobe -- nf_conntrack_ipv4 +EOF + +chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4 +``` + +### 2.6.9 安装 Docker 软件(所有节点都要操作) + +```shell +yum install -y yum-utils device-mapper-persistent-data lvm2 + +yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo + +yum install -y docker-ce + +## 创建 /etc/docker 目录 +mkdir /etc/docker + +cat > /etc/docker/daemon.json < /etc/yum.repos.d/kubernetes.repo +[kubernetes] +name=Kubernetes +baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 +enabled=1 +gpgcheck=0 +repo_gpgcheck=0 +gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg +http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg +EOF + +yum install -y kubelet kubeadm kubectl && systemctl enable kubelet +``` + +## 2.7 部署Kubernetes Master + +### 2.7.1 初始化主节点(主节点操作) + +```shell +kubeadm init --apiserver-advertise-address=192.168.5.3 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.21.1 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16 + +mkdir -p $HOME/.kube + +sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config + +sudo chown $(id -u):$(id -g) $HOME/.kube/config +``` + +### 2.7.2 加入主节点以及其余工作节点 + +```shell +kubeadm join 192.168.5.3:6443 --token h0uelc.l46qp29nxscke7f7 \ + --discovery-token-ca-cert-hash sha256:abc807778e24bff73362ceeb783cc7f6feec96f20b4fd707c3f8e8312294e28f +``` + +### 2.7.3 部署网络 + +```shell +kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml +``` + +下边是文件 + +```yaml +--- +apiVersion: policy/v1beta1 +kind: PodSecurityPolicy +metadata: + name: psp.flannel.unprivileged + annotations: + seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default + seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default + apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default + apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default +spec: + privileged: false + volumes: + - configMap + - secret + - emptyDir + - hostPath + allowedHostPaths: + - pathPrefix: "/etc/cni/net.d" + - pathPrefix: "/etc/kube-flannel" + - pathPrefix: "/run/flannel" + readOnlyRootFilesystem: false + # Users and groups + runAsUser: + rule: RunAsAny + supplementalGroups: + rule: RunAsAny + fsGroup: + rule: RunAsAny + # Privilege Escalation + allowPrivilegeEscalation: false + defaultAllowPrivilegeEscalation: false + # Capabilities + allowedCapabilities: ['NET_ADMIN', 'NET_RAW'] + defaultAddCapabilities: [] + requiredDropCapabilities: [] + # Host namespaces + hostPID: false + hostIPC: false + hostNetwork: true + hostPorts: + - min: 0 + max: 65535 + # SELinux + seLinux: + # SELinux is unused in CaaSP + rule: 'RunAsAny' +--- +kind: ClusterRole +apiVersion: rbac.authorization.k8s.io/v1 +metadata: + name: flannel +rules: +- apiGroups: ['extensions'] + resources: ['podsecuritypolicies'] + verbs: ['use'] + resourceNames: ['psp.flannel.unprivileged'] +- apiGroups: + - "" + resources: + - pods + verbs: + - get +- apiGroups: + - "" + resources: + - nodes + verbs: + - list + - watch +- apiGroups: + - "" + resources: + - nodes/status + verbs: + - patch +--- +kind: ClusterRoleBinding +apiVersion: rbac.authorization.k8s.io/v1 +metadata: + name: flannel +roleRef: + apiGroup: rbac.authorization.k8s.io + kind: ClusterRole + name: flannel +subjects: +- kind: ServiceAccount + name: flannel + namespace: kube-system +--- +apiVersion: v1 +kind: ServiceAccount +metadata: + name: flannel + namespace: kube-system +--- +kind: ConfigMap +apiVersion: v1 +metadata: + name: kube-flannel-cfg + namespace: kube-system + labels: + tier: node + app: flannel +data: + cni-conf.json: | + { + "name": "cbr0", + "cniVersion": "0.3.1", + "plugins": [ + { + "type": "flannel", + "delegate": { + "hairpinMode": true, + "isDefaultGateway": true + } + }, + { + "type": "portmap", + "capabilities": { + "portMappings": true + } + } + ] + } + net-conf.json: | + { + "Network": "10.244.0.0/16", + "Backend": { + "Type": "vxlan" + } + } +--- +apiVersion: apps/v1 +kind: DaemonSet +metadata: + name: kube-flannel-ds + namespace: kube-system + labels: + tier: node + app: flannel +spec: + selector: + matchLabels: + app: flannel + template: + metadata: + labels: + tier: node + app: flannel + spec: + affinity: + nodeAffinity: + requiredDuringSchedulingIgnoredDuringExecution: + nodeSelectorTerms: + - matchExpressions: + - key: kubernetes.io/os + operator: In + values: + - linux + hostNetwork: true + priorityClassName: system-node-critical + tolerations: + - operator: Exists + effect: NoSchedule + serviceAccountName: flannel + initContainers: + - name: install-cni + image: quay.io/coreos/flannel:v0.14.0 + command: + - cp + args: + - -f + - /etc/kube-flannel/cni-conf.json + - /etc/cni/net.d/10-flannel.conflist + volumeMounts: + - name: cni + mountPath: /etc/cni/net.d + - name: flannel-cfg + mountPath: /etc/kube-flannel/ + containers: + - name: kube-flannel + image: quay.io/coreos/flannel:v0.14.0 + command: + - /opt/bin/flanneld + args: + - --ip-masq + - --kube-subnet-mgr + resources: + requests: + cpu: "100m" + memory: "50Mi" + limits: + cpu: "100m" + memory: "50Mi" + securityContext: + privileged: false + capabilities: + add: ["NET_ADMIN", "NET_RAW"] + env: + - name: POD_NAME + valueFrom: + fieldRef: + fieldPath: metadata.name + - name: POD_NAMESPACE + valueFrom: + fieldRef: + fieldPath: metadata.namespace + volumeMounts: + - name: run + mountPath: /run/flannel + - name: flannel-cfg + mountPath: /etc/kube-flannel/ + volumes: + - name: run + hostPath: + path: /run/flannel + - name: cni + hostPath: + path: /etc/cni/net.d + - name: flannel-cfg + configMap: + name: kube-flannel-cfg +``` + + + +## 2.8 测试kubernetes 集群 + +### 2.8.1 部署nginx 测试 + +```shell +kubectl create deployment nginx --image=nginx + +kubectl expose deployment nginx --port=80 --type=NodePort + +kubectl get pod,svc +``` + +# 3. 资源管理 + +## 3.1 资源管理介绍 + +在kubernetes中,所有的内容都抽象为资源,用户需要通过操作资源来管理kubernetes。 + +> kubernetes的本质上就是一个集群系统,用户可以在集群中部署各种服务,所谓的部署服务,其实就是在kubernetes集群中运行一个个的容器,并将指定的程序跑在容器中。 +> +> kubernetes的最小管理单元是pod而不是容器,所以只能将容器放在`Pod`中,而kubernetes一般也不会直接管理Pod,而是通过`Pod控制器`来管理Pod的。 +> +> Pod可以提供服务之后,就要考虑如何访问Pod中服务,kubernetes提供了`Service`资源实现这个功能。 +> +> 当然,如果Pod中程序的数据需要持久化,kubernetes还提供了各种`存储`系统。 + +![image-20200406225334627](Kubenetes.assets/image-20200406225334627.png) + +> 学习kubernetes的核心,就是学习如何对集群上的`Pod、Pod控制器、Service、存储`等各种资源进行操作 + +## 3.2 YAML语言介绍 + +YAML是一个类似 XML、JSON 的标记性语言。它强调以**数据**为中心,并不是以标识语言为重点。因而YAML本身的定义比较简单,号称"一种人性化的数据格式语言"。 + +``` + + 15 +
    Beijing
    +
    +``` + +``` +heima: + age: 15 + address: Beijing +``` + +YAML的语法比较简单,主要有下面几个: + +- 大小写敏感 +- 使用缩进表示层级关系 +- 缩进不允许使用tab,只允许空格( 低版本限制 ) +- 缩进的空格数不重要,只要相同层级的元素左对齐即可 +- '#'表示注释 + +YAML支持以下几种数据类型: + +- 纯量:单个的、不可再分的值 +- 对象:键值对的集合,又称为映射(mapping)/ 哈希(hash) / 字典(dictionary) +- 数组:一组按次序排列的值,又称为序列(sequence) / 列表(list) + +``` +# 纯量, 就是指的一个简单的值,字符串、布尔值、整数、浮点数、Null、时间、日期 +# 1 布尔类型 +c1: true (或者True) +# 2 整型 +c2: 234 +# 3 浮点型 +c3: 3.14 +# 4 null类型 +c4: ~ # 使用~表示null +# 5 日期类型 +c5: 2018-02-17 # 日期必须使用ISO 8601格式,即yyyy-MM-dd +# 6 时间类型 +c6: 2018-02-17T15:02:31+08:00 # 时间使用ISO 8601格式,时间和日期之间使用T连接,最后使用+代表时区 +# 7 字符串类型 +c7: heima # 简单写法,直接写值 , 如果字符串中间有特殊字符,必须使用双引号或者单引号包裹 +c8: line1 + line2 # 字符串过多的情况可以拆成多行,每一行会被转化成一个空格 +``` + +``` +# 对象 +# 形式一(推荐): +heima: + age: 15 + address: Beijing +# 形式二(了解): +heima: {age: 15,address: Beijing} +``` + +``` +# 数组 +# 形式一(推荐): +address: + - 顺义 + - 昌平 +# 形式二(了解): +address: [顺义,昌平] +``` + +> 小提示: +> +> 1 书写yaml切记`:` 后面要加一个空格 +> +> 2 如果需要将多段yaml配置放在一个文件中,中间要使用`---`分隔 +> +> 3 下面是一个yaml转json的网站,可以通过它验证yaml是否书写正确 +> +> https://www.json2yaml.com/convert-yaml-to-json + +## 3.3 资源管理方式 + +- 命令式对象管理:直接使用命令去操作kubernetes资源 + + `kubectl run nginx-pod --image=nginx:1.17.1 --port=80` + +- 命令式对象配置:通过命令配置和配置文件去操作kubernetes资源 + + `kubectl create/patch -f nginx-pod.yaml` + +- 声明式对象配置:通过apply命令和配置文件去操作kubernetes资源 + + `kubectl apply -f nginx-pod.yaml` + +| 类型 | 操作对象 | 适用环境 | 优点 | 缺点 | +| :------------- | :------- | :------- | :------------- | :------------------------------- | +| 命令式对象管理 | 对象 | 测试 | 简单 | 只能操作活动对象,无法审计、跟踪 | +| 命令式对象配置 | 文件 | 开发 | 可以审计、跟踪 | 项目大时,配置文件多,操作麻烦 | +| 声明式对象配置 | 目录 | 开发 | 支持目录操作 | 意外情况下难以调试 | + +### 3.3.1 命令式对象管理 + +**kubectl命令** + +kubectl是kubernetes集群的命令行工具,通过它能够对集群本身进行管理,并能够在集群上进行容器化应用的安装部署。kubectl命令的语法如下: + +``` +kubectl [command] [type] [name] [flags] +``` + +**comand**:指定要对资源执行的操作,例如create、get、delete + +**type**:指定资源类型,比如deployment、pod、service + +**name**:指定资源的名称,名称大小写敏感 + +**flags**:指定额外的可选参数 + +```shell +# 查看所有pod +kubectl get pod + +# 查看某个pod +kubectl get pod pod_name + +# 查看某个pod,以yaml格式展示结果 +kubectl get pod pod_name -o yaml +``` + +**资源类型** + +kubernetes中所有的内容都抽象为资源,可以通过下面的命令进行查看: + +``` +kubectl api-resources +``` + +经常使用的资源有下面这些: + +| 资源分类 | 资源名称 | 缩写 | 资源作用 | +| :------------ | :----------------------- | :------ | :-------------- | +| 集群级别资源 | nodes | no | 集群组成部分 | +| namespaces | ns | 隔离Pod | | +| pod资源 | pods | po | 装载容器 | +| pod资源控制器 | replicationcontrollers | rc | 控制pod资源 | +| | replicasets | rs | 控制pod资源 | +| | deployments | deploy | 控制pod资源 | +| | daemonsets | ds | 控制pod资源 | +| | jobs | | 控制pod资源 | +| | cronjobs | cj | 控制pod资源 | +| | horizontalpodautoscalers | hpa | 控制pod资源 | +| | statefulsets | sts | 控制pod资源 | +| 服务发现资源 | services | svc | 统一pod对外接口 | +| | ingress | ing | 统一pod对外接口 | +| 存储资源 | volumeattachments | | 存储 | +| | persistentvolumes | pv | 存储 | +| | persistentvolumeclaims | pvc | 存储 | +| 配置资源 | configmaps | cm | 配置 | +| | secrets | | 配置 | + +**操作** + +kubernetes允许对资源进行多种操作,可以通过--help查看详细的操作命令 + +``` +kubectl --help +``` + +经常使用的操作有下面这些: + +| 命令分类 | 命令 | 翻译 | 命令作用 | +| :--------- | :----------- | :-------------------------- | :--------------------------- | +| 基本命令 | create | 创建 | 创建一个资源 | +| | edit | 编辑 | 编辑一个资源 | +| | get | 获取 | 获取一个资源 | +| | patch | 更新 | 更新一个资源 | +| | delete | 删除 | 删除一个资源 | +| | explain | 解释 | 展示资源文档 | +| 运行和调试 | run | 运行 | 在集群中运行一个指定的镜像 | +| | expose | 暴露 | 暴露资源为Service | +| | describe | 描述 | 显示资源内部信息 | +| | logs | 日志输出容器在 pod 中的日志 | 输出容器在 pod 中的日志 | +| | attach | 缠绕进入运行中的容器 | 进入运行中的容器 | +| | exec | 执行容器中的一个命令 | 执行容器中的一个命令 | +| | cp | 复制 | 在Pod内外复制文件 | +| | rollout | 首次展示 | 管理资源的发布 | +| | scale | 规模 | 扩(缩)容Pod的数量 | +| | autoscale | 自动调整 | 自动调整Pod的数量 | +| 高级命令 | apply | rc | 通过文件对资源进行配置 | +| | label | 标签 | 更新资源上的标签 | +| 其他命令 | cluster-info | 集群信息 | 显示集群信息 | +| | version | 版本 | 显示当前Server和Client的版本 | + +下面以一个namespace / pod的创建和删除简单演示下命令的使用: + +```shell +# 创建一个namespace +[root@master ~]# kubectl create namespace dev +namespace/dev created + +# 获取namespace +[root@master ~]# kubectl get ns +NAME STATUS AGE +default Active 21h +dev Active 21s +kube-node-lease Active 21h +kube-public Active 21h +kube-system Active 21h + +# 在此namespace下创建并运行一个nginx的Pod +[root@master ~]# kubectl run pod --image=nginx:latest -n dev +kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead. +deployment.apps/pod created + +# 查看新创建的pod +[root@master ~]# kubectl get pod -n dev +NAME READY STATUS RESTARTS AGE +pod 1/1 Running 0 21s + +# 删除指定的pod +[root@master ~]# kubectl delete pod pod-864f9875b9-pcw7x +pod "pod" deleted + +# 删除指定的namespace +[root@master ~]# kubectl delete ns dev +namespace "dev" deleted +``` + +### 3.3.2 命令式对象配置 + +命令式对象配置就是使用命令配合配置文件一起来操作kubernetes资源。 + +1) 创建一个nginxpod.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Namespace +metadata: + name: dev + +--- + +apiVersion: v1 +kind: Pod +metadata: + name: nginxpod + namespace: dev +spec: + containers: + - name: nginx-containers + image: nginx:latest +``` + +2)执行create命令,创建资源: + +```yaml +[root@master ~]# kubectl create -f nginxpod.yaml +namespace/dev created +pod/nginxpod created +``` + +此时发现创建了两个资源对象,分别是namespace和pod + +3)执行get命令,查看资源: + +```shell +[root@master ~]# kubectl get -f nginxpod.yaml +NAME STATUS AGE +namespace/dev Active 18s + +NAME READY STATUS RESTARTS AGE +pod/nginxpod 1/1 Running 0 17s +``` + +这样就显示了两个资源对象的信息 + +4)执行delete命令,删除资源: + +```shell +[root@master ~]# kubectl delete -f nginxpod.yaml +namespace "dev" deleted +pod "nginxpod" deleted +``` + +此时发现两个资源对象被删除了 + +``` +总结: + 命令式对象配置的方式操作资源,可以简单的认为:命令 + yaml配置文件(里面是命令需要的各种参数) +``` + +### 3.3.3 声明式对象配置 + +声明式对象配置跟命令式对象配置很相似,但是它只有一个命令apply。 + +```shell +# 首先执行一次kubectl apply -f yaml文件,发现创建了资源 +[root@master ~]# kubectl apply -f nginxpod.yaml +namespace/dev created +pod/nginxpod created + +# 再次执行一次kubectl apply -f yaml文件,发现说资源没有变动 +[root@master ~]# kubectl apply -f nginxpod.yaml +namespace/dev unchanged +pod/nginxpod unchanged +``` + +``` +总结: + 其实声明式对象配置就是使用apply描述一个资源最终的状态(在yaml中定义状态) + 使用apply操作资源: + 如果资源不存在,就创建,相当于 kubectl create + 如果资源已存在,就更新,相当于 kubectl patch +``` + +> 扩展:kubectl可以在node节点上运行吗 ? + +kubectl的运行是需要进行配置的,它的配置文件是$HOME/.kube,如果想要在node节点运行此命令,需要将master上的.kube文件复制到node节点上,即在master节点上执行下面操作: + +```shell +scp -r HOME/.kube node1: HOME/ +``` + +> 使用推荐: 三种方式应该怎么用 ? + +创建/更新资源 使用声明式对象配置 kubectl apply -f XXX.yaml + +删除资源 使用命令式对象配置 kubectl delete -f XXX.yaml + +查询资源 使用命令式对象管理 kubectl get(describe) 资源名称 + +# 4. 实战入门 + +本章节将介绍如何在kubernetes集群中部署一个nginx服务,并且能够对其进行访问。 + +## 4.1 Namespace + +Namespace是kubernetes系统中的一种非常重要资源,它的主要作用是用来实现**多套环境的资源隔离**或者**多租户的资源隔离**。 + +默认情况下,kubernetes集群中的所有的Pod都是可以相互访问的。但是在实际中,可能不想让两个Pod之间进行互相的访问,那此时就可以将两个Pod划分到不同的namespace下。kubernetes通过将集群内部的资源分配到不同的Namespace中,可以形成逻辑上的"组",以方便不同的组的资源进行隔离使用和管理。 + +可以通过kubernetes的授权机制,将不同的namespace交给不同租户进行管理,这样就实现了多租户的资源隔离。此时还能结合kubernetes的资源配额机制,限定不同租户能占用的资源,例如CPU使用量、内存使用量等等,来实现租户可用资源的管理。 + +![image-20200407100850484](Kubenetes.assets/image-20200407100850484.png) + +kubernetes在集群启动之后,会默认创建几个namespace + + + +```shell +[root@master ~]# kubectl get namespace +NAME STATUS AGE +default Active 45h # 所有未指定Namespace的对象都会被分配在default命名空间 +kube-node-lease Active 45h # 集群节点之间的心跳维护,v1.13开始引入 +kube-public Active 45h # 此命名空间下的资源可以被所有人访问(包括未认证用户) +kube-system Active 45h # 所有由Kubernetes系统创建的资源都处于这个命名空间 +``` + +下面来看namespace资源的具体操作: + +**查看** + +```shell +# 1 查看所有的ns 命令:kubectl get ns +[root@master ~]# kubectl get ns +NAME STATUS AGE +default Active 45h +kube-node-lease Active 45h +kube-public Active 45h +kube-system Active 45h + +# 2 查看指定的ns 命令:kubectl get ns ns名称 +[root@master ~]# kubectl get ns default +NAME STATUS AGE +default Active 45h + +# 3 指定输出格式 命令:kubectl get ns ns名称 -o 格式参数 +# kubernetes支持的格式有很多,比较常见的是wide、json、yaml +[root@master ~]# kubectl get ns default -o yaml +apiVersion: v1 +kind: Namespace +metadata: + creationTimestamp: "2021-05-08T04:44:16Z" + name: default + resourceVersion: "151" + selfLink: /api/v1/namespaces/default + uid: 7405f73a-e486-43d4-9db6-145f1409f090 +spec: + finalizers: + - kubernetes +status: + phase: Active + +# 4 查看ns详情 命令:kubectl describe ns ns名称 +[root@master ~]# kubectl describe ns default +Name: default +Labels: +Annotations: +Status: Active # Active 命名空间正在使用中 Terminating 正在删除命名空间 + +# ResourceQuota 针对namespace做的资源限制 +# LimitRange针对namespace中的每个组件做的资源限制 +No resource quota. +No LimitRange resource. +``` + +**创建** + +```shell +# 创建namespace +[root@master ~]# kubectl create ns dev +namespace/dev created +``` + +**删除** + +```shell +# 删除namespace +[root@master ~]# kubectl delete ns dev +namespace "dev" deleted +``` + +**配置方式** + +首先准备一个yaml文件:ns-dev.yaml + +```yaml +apiVersion: v1 +kind: Namespace +metadata: + name: dev +``` + +然后就可以执行对应的创建和删除命令了: + +创建:kubectl create -f ns-dev.yaml + +删除:kubectl delete -f ns-dev.yaml + +## 4.2 Pod + +Pod是kubernetes集群进行管理的最小单元,程序要运行必须部署在容器中,而容器必须存在于Pod中。 + +Pod可以认为是容器的封装,一个Pod中可以存在一个或者多个容器。 + +![image-20200407121501907](Kubenetes.assets/image-20200407121501907.png) + +kubernetes在集群启动之后,集群中的各个组件也都是以Pod方式运行的。可以通过下面命令查看: + +```shell +[root@master ~]# kubectl get pod -n kube-system +NAMESPACE NAME READY STATUS RESTARTS AGE +kube-system coredns-6955765f44-68g6v 1/1 Running 0 2d1h +kube-system coredns-6955765f44-cs5r8 1/1 Running 0 2d1h +kube-system etcd-master 1/1 Running 0 2d1h +kube-system kube-apiserver-master 1/1 Running 0 2d1h +kube-system kube-controller-manager-master 1/1 Running 0 2d1h +kube-system kube-flannel-ds-amd64-47r25 1/1 Running 0 2d1h +kube-system kube-flannel-ds-amd64-ls5lh 1/1 Running 0 2d1h +kube-system kube-proxy-685tk 1/1 Running 0 2d1h +kube-system kube-proxy-87spt 1/1 Running 0 2d1h +kube-system kube-scheduler-master 1/1 Running 0 2d1h +``` + +**创建并运行** + +kubernetes没有提供单独运行Pod的命令,都是通过Pod控制器来实现的 + +```shell +# 命令格式: kubectl run (pod控制器名称) [参数] +# --image 指定Pod的镜像 +# --port 指定端口 +# --namespace 指定namespace +[root@master ~]# kubectl run nginx --image=nginx:latest --port=80 --namespace dev +deployment.apps/nginx created +``` + +**查看pod信息** + +```shell +# 查看Pod基本信息 +[root@master ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +nginx 1/1 Running 0 43s + +# 查看Pod的详细信息 +[root@master ~]# kubectl describe pod nginx -n dev +Name: nginx +Namespace: dev +Priority: 0 +Node: node1/192.168.5.4 +Start Time: Wed, 08 May 2021 09:29:24 +0800 +Labels: pod-template-hash=5ff7956ff6 + run=nginx +Annotations: +Status: Running +IP: 10.244.1.23 +IPs: + IP: 10.244.1.23 +Controlled By: ReplicaSet/nginx +Containers: + nginx: + Container ID: docker://4c62b8c0648d2512380f4ffa5da2c99d16e05634979973449c98e9b829f6253c + Image: nginx:latest + Image ID: docker-pullable://nginx@sha256:485b610fefec7ff6c463ced9623314a04ed67e3945b9c08d7e53a47f6d108dc7 + Port: 80/TCP + Host Port: 0/TCP + State: Running + Started: Wed, 08 May 2021 09:30:01 +0800 + Ready: True + Restart Count: 0 + Environment: + Mounts: + /var/run/secrets/kubernetes.io/serviceaccount from default-token-hwvvw (ro) +Conditions: + Type Status + Initialized True + Ready True + ContainersReady True + PodScheduled True +Volumes: + default-token-hwvvw: + Type: Secret (a volume populated by a Secret) + SecretName: default-token-hwvvw + Optional: false +QoS Class: BestEffort +Node-Selectors: +Tolerations: node.kubernetes.io/not-ready:NoExecute for 300s + node.kubernetes.io/unreachable:NoExecute for 300s +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Normal Scheduled default-scheduler Successfully assigned dev/nginx-5ff7956ff6-fg2db to node1 + Normal Pulling 4m11s kubelet, node1 Pulling image "nginx:latest" + Normal Pulled 3m36s kubelet, node1 Successfully pulled image "nginx:latest" + Normal Created 3m36s kubelet, node1 Created container nginx + Normal Started 3m36s kubelet, node1 Started container nginx +``` + +**访问Pod** + +```shell +# 获取podIP +[root@master ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ... +nginx 1/1 Running 0 190s 10.244.1.23 node1 ... + +#访问POD +[root@master ~]# curl http://10.244.1.23:80 + + + + Welcome to nginx! + + +

    Thank you for using nginx.

    + + +``` + +**删除指定Pod** + +```shell +# 删除指定Pod +[root@master ~]# kubectl delete pod nginx -n dev +pod "nginx" deleted + +# 此时,显示删除Pod成功,但是再查询,发现又新产生了一个 +[root@master ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +nginx 1/1 Running 0 21s + +# 这是因为当前Pod是由Pod控制器创建的,控制器会监控Pod状况,一旦发现Pod死亡,会立即重建 +# 此时要想删除Pod,必须删除Pod控制器 + +# 先来查询一下当前namespace下的Pod控制器 +[root@master ~]# kubectl get deploy -n dev +NAME READY UP-TO-DATE AVAILABLE AGE +nginx 1/1 1 1 9m7s + +# 接下来,删除此PodPod控制器 +[root@master ~]# kubectl delete deploy nginx -n dev +deployment.apps "nginx" deleted + +# 稍等片刻,再查询Pod,发现Pod被删除了 +[root@master ~]# kubectl get pods -n dev +No resources found in dev namespace. +``` + +**配置操作** + +创建一个pod-nginx.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: nginx + namespace: dev +spec: + containers: + - image: nginx:latest + name: pod + ports: + - name: nginx-port + containerPort: 80 + protocol: TCP +``` + +然后就可以执行对应的创建和删除命令了: + +创建:kubectl create -f pod-nginx.yaml + +删除:kubectl delete -f pod-nginx.yaml + +## 4.3 Label + +Label是kubernetes系统中的一个重要概念。它的作用就是在资源上添加标识,用来对它们进行区分和选择。 + +Label的特点: + +- 一个Label会以key/value键值对的形式附加到各种对象上,如Node、Pod、Service等等 +- 一个资源对象可以定义任意数量的Label ,同一个Label也可以被添加到任意数量的资源对象上去 +- Label通常在资源对象定义时确定,当然也可以在对象创建后动态添加或者删除 + +可以通过Label实现资源的多维度分组,以便灵活、方便地进行资源分配、调度、配置、部署等管理工作。 + +> 一些常用的Label 示例如下: +> +> - 版本标签:"version":"release", "version":"stable"...... +> - 环境标签:"environment":"dev","environment":"test","environment":"pro" +> - 架构标签:"tier":"frontend","tier":"backend" + +标签定义完毕之后,还要考虑到标签的选择,这就要使用到Label Selector,即: + +Label用于给某个资源对象定义标识 + +Label Selector用于查询和筛选拥有某些标签的资源对象 + +当前有两种Label Selector: + +- 基于等式的Label Selector + + name = slave: 选择所有包含Label中key="name"且value="slave"的对象 + + env != production: 选择所有包括Label中的key="env"且value不等于"production"的对象 + +- 基于集合的Label Selector + + name in (master, slave): 选择所有包含Label中的key="name"且value="master"或"slave"的对象 + + name not in (frontend): 选择所有包含Label中的key="name"且value不等于"frontend"的对象 + +标签的选择条件可以使用多个,此时将多个Label Selector进行组合,使用逗号","进行分隔即可。例如: + +name=slave,env!=production + +name not in (frontend),env!=production + +**命令方式** + +```shell +# 为pod资源打标签 +[root@master ~]# kubectl label pod nginx-pod version=1.0 -n dev +pod/nginx-pod labeled + +# 为pod资源更新标签 +[root@master ~]# kubectl label pod nginx-pod version=2.0 -n dev --overwrite +pod/nginx-pod labeled + +# 查看标签 +[root@master ~]# kubectl get pod nginx-pod -n dev --show-labels +NAME READY STATUS RESTARTS AGE LABELS +nginx-pod 1/1 Running 0 10m version=2.0 + +# 筛选标签 +[root@master ~]# kubectl get pod -n dev -l version=2.0 --show-labels +NAME READY STATUS RESTARTS AGE LABELS +nginx-pod 1/1 Running 0 17m version=2.0 +[root@master ~]# kubectl get pod -n dev -l version!=2.0 --show-labels +No resources found in dev namespace. + +#删除标签 +[root@master ~]# kubectl label pod nginx-pod version- -n dev +pod/nginx-pod labeled +``` + +**配置方式** + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: nginx + namespace: dev + labels: + version: "3.0" + env: "test" +spec: + containers: + - image: nginx:latest + name: pod + ports: + - name: nginx-port + containerPort: 80 + protocol: TCP +``` + +然后就可以执行对应的更新命令了:kubectl apply -f pod-nginx.yaml + +## 4.4 Deployment + +在kubernetes中,Pod是最小的控制单元,但是kubernetes很少直接控制Pod,一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理,确保pod资源符合预期的状态,当pod的资源出现故障时,会尝试进行重启或重建pod。 + +在kubernetes中Pod控制器的种类有很多,本章节只介绍一种:Deployment。 + +![image-20200408193950807](Kubenetes.assets/image-20200408193950807.png) + +**命令操作** + +```shell +# 命令格式: kubectl create deployment 名称 [参数] +# --image 指定pod的镜像 +# --port 指定端口 +# --replicas 指定创建pod数量 +# --namespace 指定namespace +[root@master ~]# kubectl create deploy nginx --image=nginx:latest --port=80 --replicas=3 -n dev +deployment.apps/nginx created + +# 查看创建的Pod +[root@master ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +nginx-5ff7956ff6-6k8cb 1/1 Running 0 19s +nginx-5ff7956ff6-jxfjt 1/1 Running 0 19s +nginx-5ff7956ff6-v6jqw 1/1 Running 0 19s + +# 查看deployment的信息 +[root@master ~]# kubectl get deploy -n dev +NAME READY UP-TO-DATE AVAILABLE AGE +nginx 3/3 3 3 2m42s + +# UP-TO-DATE:成功升级的副本数量 +# AVAILABLE:可用副本的数量 +[root@master ~]# kubectl get deploy -n dev -o wide +NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR +nginx 3/3 3 3 2m51s nginx nginx:latest run=nginx + +# 查看deployment的详细信息 +[root@master ~]# kubectl describe deploy nginx -n dev +Name: nginx +Namespace: dev +CreationTimestamp: Wed, 08 May 2021 11:14:14 +0800 +Labels: run=nginx +Annotations: deployment.kubernetes.io/revision: 1 +Selector: run=nginx +Replicas: 3 desired | 3 updated | 3 total | 3 available | 0 unavailable +StrategyType: RollingUpdate +MinReadySeconds: 0 +RollingUpdateStrategy: 25% max unavailable, 25% max surge +Pod Template: + Labels: run=nginx + Containers: + nginx: + Image: nginx:latest + Port: 80/TCP + Host Port: 0/TCP + Environment: + Mounts: + Volumes: +Conditions: + Type Status Reason + ---- ------ ------ + Available True MinimumReplicasAvailable + Progressing True NewReplicaSetAvailable +OldReplicaSets: +NewReplicaSet: nginx-5ff7956ff6 (3/3 replicas created) +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Normal ScalingReplicaSet 5m43s deployment-controller Scaled up replicaset nginx-5ff7956ff6 to 3 + +# 删除 +[root@master ~]# kubectl delete deploy nginx -n dev +deployment.apps "nginx" deleted +``` + +**配置操作** + +创建一个deploy-nginx.yaml,内容如下: + +```yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: nginx + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + run: nginx + template: + metadata: + labels: + run: nginx + spec: + containers: + - image: nginx:latest + name: nginx + ports: + - containerPort: 80 + protocol: TCP +``` + +然后就可以执行对应的创建和删除命令了: + +创建:kubectl create -f deploy-nginx.yaml + +删除:kubectl delete -f deploy-nginx.yaml + +## 4.5 Service + +通过上节课的学习,已经能够利用Deployment来创建一组Pod来提供具有高可用性的服务。 + +虽然每个Pod都会分配一个单独的Pod IP,然而却存在如下两问题: + +- Pod IP 会随着Pod的重建产生变化 +- Pod IP 仅仅是集群内可见的虚拟IP,外部无法访问 + +这样对于访问这个服务带来了难度。因此,kubernetes设计了Service来解决这个问题。 + +Service可以看作是一组同类Pod**对外的访问接口**。借助Service,应用可以方便地实现服务发现和负载均衡。 + +![image-20200408194716912](Kubenetes.assets/image-20200408194716912.png) + +**操作一:创建集群内部可访问的Service** + + + +```shell +# 暴露Service +[root@master ~]# kubectl expose deploy nginx --name=svc-nginx1 --type=ClusterIP --port=80 --target-port=80 -n dev +service/svc-nginx1 exposed + +# 查看service +[root@master ~]# kubectl get svc svc-nginx1 -n dev -o wide +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR +svc-nginx1 ClusterIP 10.109.179.231 80/TCP 3m51s run=nginx + +# 这里产生了一个CLUSTER-IP,这就是service的IP,在Service的生命周期中,这个地址是不会变动的 +# 可以通过这个IP访问当前service对应的POD +[root@master ~]# curl 10.109.179.231:80 + + + +Welcome to nginx! + + +

    Welcome to nginx!

    +....... + + +``` + +**操作二:创建集群外部也可访问的Service** + +```shell +# 上面创建的Service的type类型为ClusterIP,这个ip地址只用集群内部可访问 +# 如果需要创建外部也可以访问的Service,需要修改type为NodePort +[root@master ~]# kubectl expose deploy nginx --name=svc-nginx2 --type=NodePort --port=80 --target-port=80 -n dev +service/svc-nginx2 exposed + +# 此时查看,会发现出现了NodePort类型的Service,而且有一对Port(80:31928/TC) +[root@master ~]# kubectl get svc svc-nginx2 -n dev -o wide +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR +svc-nginx2 NodePort 10.100.94.0 80:31928/TCP 9s run=nginx + +# 接下来就可以通过集群外的主机访问 节点IP:31928访问服务了 +# 例如在的电脑主机上通过浏览器访问下面的地址 +http://192.168.5.4:31928/ +``` + +**删除Service** + +```shell +[root@master ~]# kubectl delete svc svc-nginx-1 -n dev service "svc-nginx-1" deleted +``` + +**配置方式** + +创建一个svc-nginx.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Service +metadata: + name: svc-nginx + namespace: dev +spec: + clusterIP: 10.109.179.231 #固定svc的内网ip + ports: + - port: 80 + protocol: TCP + targetPort: 80 + selector: + run: nginx + type: ClusterIP +``` + +然后就可以执行对应的创建和删除命令了: + +创建:kubectl create -f svc-nginx.yaml + +删除:kubectl delete -f svc-nginx.yaml + +> **小结** +> +> 至此,已经掌握了Namespace、Pod、Deployment、Service资源的基本操作,有了这些操作,就可以在kubernetes集群中实现一个服务的简单部署和访问了,但是如果想要更好的使用kubernetes,就需要深入学习这几种资源的细节和原理。 + + + +# 5. Pod详解 + +## 5.1 Pod介绍 + +### 5.1.1 Pod结构 + +![image-20200407121501907](Kubenetes.assets/image-20200407121501907-1626781151898.png) + +每个Pod中都可以包含一个或者多个容器,这些容器可以分为两类: + +- 用户程序所在的容器,数量可多可少 + +- Pause容器,这是每个Pod都会有的一个**根容器**,它的作用有两个: + + - 可以以它为依据,评估整个Pod的健康状态 + + - 可以在根容器上设置Ip地址,其它容器都此Ip(Pod IP),以实现Pod内部的网路通信 + + ``` + 这里是Pod内部的通讯,Pod的之间的通讯采用虚拟二层网络技术来实现,我们当前环境用的是Flannel + ``` + +### 5.1.2 Pod定义 + +下面是Pod的资源清单: + +```shell +apiVersion: v1 #必选,版本号,例如v1 +kind: Pod   #必选,资源类型,例如 Pod +metadata:   #必选,元数据 + name: string #必选,Pod名称 + namespace: string #Pod所属的命名空间,默认为"default" + labels:    #自定义标签列表 + - name: string   +spec: #必选,Pod中容器的详细定义 + containers: #必选,Pod中容器列表 + - name: string #必选,容器名称 + image: string #必选,容器的镜像名称 + imagePullPolicy: [ Always|Never|IfNotPresent ] #获取镜像的策略 + command: [string] #容器的启动命令列表,如不指定,使用打包时使用的启动命令 + args: [string] #容器的启动命令参数列表 + workingDir: string #容器的工作目录 + volumeMounts: #挂载到容器内部的存储卷配置 + - name: string #引用pod定义的共享存储卷的名称,需用volumes[]部分定义的的卷名 + mountPath: string #存储卷在容器内mount的绝对路径,应少于512字符 + readOnly: boolean #是否为只读模式 + ports: #需要暴露的端口库号列表 + - name: string #端口的名称 + containerPort: int #容器需要监听的端口号 + hostPort: int #容器所在主机需要监听的端口号,默认与Container相同 + protocol: string #端口协议,支持TCP和UDP,默认TCP + env: #容器运行前需设置的环境变量列表 + - name: string #环境变量名称 + value: string #环境变量的值 + resources: #资源限制和请求的设置 + limits: #资源限制的设置 + cpu: string #Cpu的限制,单位为core数,将用于docker run --cpu-shares参数 + memory: string #内存限制,单位可以为Mib/Gib,将用于docker run --memory参数 + requests: #资源请求的设置 + cpu: string #Cpu请求,容器启动的初始可用数量 + memory: string #内存请求,容器启动的初始可用数量 + lifecycle: #生命周期钩子 + postStart: #容器启动后立即执行此钩子,如果执行失败,会根据重启策略进行重启 + preStop: #容器终止前执行此钩子,无论结果如何,容器都会终止 + livenessProbe: #对Pod内各容器健康检查的设置,当探测无响应几次后将自动重启该容器 + exec:   #对Pod容器内检查方式设置为exec方式 + command: [string] #exec方式需要制定的命令或脚本 + httpGet: #对Pod内个容器健康检查方法设置为HttpGet,需要制定Path、port + path: string + port: number + host: string + scheme: string + HttpHeaders: + - name: string + value: string + tcpSocket: #对Pod内个容器健康检查方式设置为tcpSocket方式 + port: number + initialDelaySeconds: 0 #容器启动完成后首次探测的时间,单位为秒 + timeoutSeconds: 0    #对容器健康检查探测等待响应的超时时间,单位秒,默认1秒 + periodSeconds: 0    #对容器监控检查的定期探测时间设置,单位秒,默认10秒一次 + successThreshold: 0 + failureThreshold: 0 + securityContext: + privileged: false + restartPolicy: [Always | Never | OnFailure] #Pod的重启策略 + nodeName: #设置NodeName表示将该Pod调度到指定到名称的node节点上 + nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上 + imagePullSecrets: #Pull镜像时使用的secret名称,以key:secretkey格式指定 + - name: string + hostNetwork: false #是否使用主机网络模式,默认为false,如果设置为true,表示使用宿主机网络 + volumes: #在该pod上定义共享存储卷列表 + - name: string #共享存储卷名称 (volumes类型有很多种) + emptyDir: {} #类型为emtyDir的存储卷,与Pod同生命周期的一个临时目录。为空值 + hostPath: string #类型为hostPath的存储卷,表示挂载Pod所在宿主机的目录 + path: string    #Pod所在宿主机的目录,将被用于同期中mount的目录 + secret:    #类型为secret的存储卷,挂载集群与定义的secret对象到容器内部 + scretname: string + items: + - key: string + path: string + configMap: #类型为configMap的存储卷,挂载预定义的configMap对象到容器内部 + name: string + items: + - key: string + path: string +``` + +```shell +#小提示: +# 在这里,可通过一个命令来查看每种资源的可配置项 +# kubectl explain 资源类型 查看某种资源可以配置的一级属性 +# kubectl explain 资源类型.属性 查看属性的子属性 +[root@k8s-master01 ~]# kubectl explain pod +KIND: Pod +VERSION: v1 +FIELDS: + apiVersion + kind + metadata + spec + status + +[root@k8s-master01 ~]# kubectl explain pod.metadata +KIND: Pod +VERSION: v1 +RESOURCE: metadata +FIELDS: + annotations + clusterName + creationTimestamp + deletionGracePeriodSeconds + deletionTimestamp + finalizers <[]string> + generateName + generation + labels + managedFields <[]Object> + name + namespace + ownerReferences <[]Object> + resourceVersion + selfLink + uid +``` + +在kubernetes中基本所有资源的一级属性都是一样的,主要包含5部分: + +- apiVersion 版本,由kubernetes内部定义,版本号必须可以用 kubectl api-versions 查询到 +- kind 类型,由kubernetes内部定义,版本号必须可以用 kubectl api-resources 查询到 +- metadata 元数据,主要是资源标识和说明,常用的有name、namespace、labels等 +- spec 描述,这是配置中最重要的一部分,里面是对各种资源配置的详细描述 +- status 状态信息,里面的内容不需要定义,由kubernetes自动生成 + +在上面的属性中,spec是接下来研究的重点,继续看下它的常见子属性: + +- containers <[]Object> 容器列表,用于定义容器的详细信息 +- nodeName 根据nodeName的值将pod调度到指定的Node节点上 +- nodeSelector 根据NodeSelector中定义的信息选择将该Pod调度到包含这些label的Node 上 +- hostNetwork 是否使用主机网络模式,默认为false,如果设置为true,表示使用宿主机网络 +- volumes <[]Object> 存储卷,用于定义Pod上面挂在的存储信息 +- restartPolicy 重启策略,表示Pod在遇到故障的时候的处理策略 + +## 5.2 Pod配置 + +本小节主要来研究`pod.spec.containers`属性,这也是pod配置中最为关键的一项配置。 + + + +```shell +[root@k8s-master01 ~]# kubectl explain pod.spec.containers +KIND: Pod +VERSION: v1 +RESOURCE: containers <[]Object> # 数组,代表可以有多个容器 +FIELDS: + name # 容器名称 + image # 容器需要的镜像地址 + imagePullPolicy # 镜像拉取策略 + command <[]string> # 容器的启动命令列表,如不指定,使用打包时使用的启动命令 + args <[]string> # 容器的启动命令需要的参数列表 + env <[]Object> # 容器环境变量的配置 + ports <[]Object> # 容器需要暴露的端口号列表 + resources # 资源限制和资源请求的设置 +``` + +### 5.2.1 基本配置 + +创建pod-base.yaml文件,内容如下: + + + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-base + namespace: dev + labels: + user: heima +spec: + containers: + - name: nginx + image: nginx:1.17.1 + - name: busybox + image: busybox:1.30 +``` + +![image-20210617223823675](Kubenetes.assets/image-20210617223823675-1626781695411.png) + +上面定义了一个比较简单Pod的配置,里面有两个容器: + +- nginx:用1.17.1版本的nginx镜像创建,(nginx是一个轻量级web容器) +- busybox:用1.30版本的busybox镜像创建,(busybox是一个小巧的linux命令集合) + + + +```shell +# 创建Pod +[root@k8s-master01 pod]# kubectl apply -f pod-base.yaml +pod/pod-base created + +# 查看Pod状况 +# READY 1/2 : 表示当前Pod中有2个容器,其中1个准备就绪,1个未就绪 +# RESTARTS : 重启次数,因为有1个容器故障了,Pod一直在重启试图恢复它 +[root@k8s-master01 pod]# kubectl get pod -n dev +NAME READY STATUS RESTARTS AGE +pod-base 1/2 Running 4 95s + +# 可以通过describe查看内部的详情 +# 此时已经运行起来了一个基本的Pod,虽然它暂时有问题 +[root@k8s-master01 pod]# kubectl describe pod pod-base -n dev +``` + +### 5.2.2 镜像拉取 + +创建pod-imagepullpolicy.yaml文件,内容如下: + + + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-imagepullpolicy + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + imagePullPolicy: Never # 用于设置镜像拉取策略 + - name: busybox + image: busybox:1.30 +``` + +![image-20210617223923659](Kubenetes.assets/image-20210617223923659.png) + +imagePullPolicy,用于设置镜像拉取策略,kubernetes支持配置三种拉取策略: + +- Always:总是从远程仓库拉取镜像(一直远程下载) +- IfNotPresent:本地有则使用本地镜像,本地没有则从远程仓库拉取镜像(本地有就本地 本地没远程下载) +- Never:只使用本地镜像,从不去远程仓库拉取,本地没有就报错 (一直使用本地) + +> 默认值说明: +> +> 如果镜像tag为具体版本号, 默认策略是:IfNotPresent +> +> 如果镜像tag为:latest(最终版本) ,默认策略是always + + + +```shell +# 创建Pod +[root@k8s-master01 pod]# kubectl create -f pod-imagepullpolicy.yaml +pod/pod-imagepullpolicy created + +# 查看Pod详情 +# 此时明显可以看到nginx镜像有一步Pulling image "nginx:1.17.1"的过程 +[root@k8s-master01 pod]# kubectl describe pod pod-imagepullpolicy -n dev +...... +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Normal Scheduled default-scheduler Successfully assigned dev/pod-imagePullPolicy to node1 + Normal Pulling 32s kubelet, node1 Pulling image "nginx:1.17.1" + Normal Pulled 26s kubelet, node1 Successfully pulled image "nginx:1.17.1" + Normal Created 26s kubelet, node1 Created container nginx + Normal Started 25s kubelet, node1 Started container nginx + Normal Pulled 7s (x3 over 25s) kubelet, node1 Container image "busybox:1.30" already present on machine + Normal Created 7s (x3 over 25s) kubelet, node1 Created container busybox + Normal Started 7s (x3 over 25s) kubelet, node1 Started container busybox +``` + +### 5.2.3 启动命令 + +在前面的案例中,一直有一个问题没有解决,就是的busybox容器一直没有成功运行,那么到底是什么原因导致这个容器的故障呢? + +原来busybox并不是一个程序,而是类似于一个工具类的集合,kubernetes集群启动管理后,它会自动关闭。解决方法就是让其一直在运行,这就用到了command配置。 + +创建pod-command.yaml文件,内容如下: + + + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-command + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","touch /tmp/hello.txt;while true;do /bin/echo $(date +%T) >> /tmp/hello.txt; sleep 3; done;"] +``` + +![image-20210617224457945](Kubenetes.assets/image-20210617224457945.png) + +command,用于在pod中的容器初始化完毕之后运行一个命令。 + +> 稍微解释下上面命令的意思: +> +> "/bin/sh","-c", 使用sh执行命令 +> +> touch /tmp/hello.txt; 创建一个/tmp/hello.txt 文件 +> +> while true;do /bin/echo $(date +%T) >> /tmp/hello.txt; sleep 3; done; 每隔3秒向文件中写入当前时间 + + + +```shell +# 创建Pod +[root@k8s-master01 pod]# kubectl create -f pod-command.yaml +pod/pod-command created + +# 查看Pod状态 +# 此时发现两个pod都正常运行了 +[root@k8s-master01 pod]# kubectl get pods pod-command -n dev +NAME READY STATUS RESTARTS AGE +pod-command 2/2 Runing 0 2s + +# 进入pod中的busybox容器,查看文件内容 +# 补充一个命令: kubectl exec pod名称 -n 命名空间 -it -c 容器名称 /bin/sh 在容器内部执行命令 +# 使用这个命令就可以进入某个容器的内部,然后进行相关操作了 +# 比如,可以查看txt文件的内容 +[root@k8s-master01 pod]# kubectl exec pod-command -n dev -it -c busybox /bin/sh +/ # tail -f /tmp/hello.txt +14:44:19 +14:44:22 +14:44:25 +``` + +``` +特别说明: + 通过上面发现command已经可以完成启动命令和传递参数的功能,为什么这里还要提供一个args选项,用于传递参数呢?这其实跟docker有点关系,kubernetes中的command、args两项其实是实现覆盖Dockerfile中ENTRYPOINT的功能。 + 1 如果command和args均没有写,那么用Dockerfile的配置。 + 2 如果command写了,但args没有写,那么Dockerfile默认的配置会被忽略,执行输入的command + 3 如果command没写,但args写了,那么Dockerfile中配置的ENTRYPOINT的命令会被执行,使用当前args的参数 + 4 如果command和args都写了,那么Dockerfile的配置被忽略,执行command并追加上args参数 +``` + +### 5.2.4 环境变量 + +创建pod-env.yaml文件,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-env + namespace: dev +spec: + containers: + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","while true;do /bin/echo $(date +%T);sleep 60; done;"] + env: # 设置环境变量列表 + - name: "username" + value: "admin" + - name: "password" + value: "123456" +``` + +env,环境变量,用于在pod中的容器设置环境变量。 + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-env.yaml +pod/pod-env created + +# 进入容器,输出环境变量 +[root@k8s-master01 ~]# kubectl exec pod-env -n dev -c busybox -it /bin/sh +/ # echo $username +admin +/ # echo $password +123456 +``` + +这种方式不是很推荐,推荐将这些配置单独存储在配置文件中,这种方式将在后面介绍。 + +### 5.2.5 端口设置 + +本小节来介绍容器的端口设置,也就是containers的ports选项。 + +首先看下ports支持的子选项: + +```shell +[root@k8s-master01 ~]# kubectl explain pod.spec.containers.ports +KIND: Pod +VERSION: v1 +RESOURCE: ports <[]Object> +FIELDS: + name # 端口名称,如果指定,必须保证name在pod中是唯一的 + containerPort # 容器要监听的端口(0 # 容器要在主机上公开的端口,如果设置,主机上只能运行容器的一个副本(一般省略) + hostIP # 要将外部端口绑定到的主机IP(一般省略) + protocol # 端口协议。必须是UDP、TCP或SCTP。默认为“TCP”。 +``` + +接下来,编写一个测试案例,创建pod-ports.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-ports + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: # 设置容器暴露的端口列表 + - name: nginx-port + containerPort: 80 + protocol: TCP +``` + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-ports.yaml +pod/pod-ports created + +# 查看pod +# 在下面可以明显看到配置信息 +[root@k8s-master01 ~]# kubectl get pod pod-ports -n dev -o yaml +...... +spec: + containers: + - image: nginx:1.17.1 + imagePullPolicy: IfNotPresent + name: nginx + ports: + - containerPort: 80 + name: nginx-port + protocol: TCP +...... +``` + +访问容器中的程序需要使用的是`Podip:containerPort` + +### 5.2.6 资源配额 + +容器中的程序要运行,肯定是要占用一定资源的,比如cpu和内存等,如果不对某个容器的资源做限制,那么它就可能吃掉大量资源,导致其它容器无法运行。针对这种情况,kubernetes提供了对内存和cpu的资源进行配额的机制,这种机制主要通过resources选项实现,他有两个子选项: + +- limits:用于限制运行时容器的最大占用资源,当容器占用资源超过limits时会被终止,并进行重启 +- requests :用于设置容器需要的最小资源,如果环境资源不够,容器将无法启动 + +可以通过上面两个选项设置资源的上下限。 + +接下来,编写一个测试案例,创建pod-resources.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-resources + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + resources: # 资源配额 + limits: # 限制资源(上限) + cpu: "2" # CPU限制,单位是core数 + memory: "10Gi" # 内存限制 + requests: # 请求资源(下限) + cpu: "1" # CPU限制,单位是core数 + memory: "10Mi" # 内存限制 +``` + +在这对cpu和memory的单位做一个说明: + +- cpu:core数,可以为整数或小数 +- memory: 内存大小,可以使用Gi、Mi、G、M等形式 + +```shell +# 运行Pod +[root@k8s-master01 ~]# kubectl create -f pod-resources.yaml +pod/pod-resources created + +# 查看发现pod运行正常 +[root@k8s-master01 ~]# kubectl get pod pod-resources -n dev +NAME READY STATUS RESTARTS AGE +pod-resources 1/1 Running 0 39s + +# 接下来,停止Pod +[root@k8s-master01 ~]# kubectl delete -f pod-resources.yaml +pod "pod-resources" deleted + +# 编辑pod,修改resources.requests.memory的值为10Gi +[root@k8s-master01 ~]# vim pod-resources.yaml + +# 再次启动pod +[root@k8s-master01 ~]# kubectl create -f pod-resources.yaml +pod/pod-resources created + +# 查看Pod状态,发现Pod启动失败 +[root@k8s-master01 ~]# kubectl get pod pod-resources -n dev -o wide +NAME READY STATUS RESTARTS AGE +pod-resources 0/1 Pending 0 20s + +# 查看pod详情会发现,如下提示 +[root@k8s-master01 ~]# kubectl describe pod pod-resources -n dev +...... +Warning FailedScheduling 35s default-scheduler 0/3 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 2 Insufficient memory.(内存不足) +``` + +## 5.3 Pod生命周期 + +我们一般将pod对象从创建至终的这段时间范围称为pod的生命周期,它主要包含下面的过程: + +- pod创建过程 +- 运行初始化容器(init container)过程 +- 运行主容器(main container) + - 容器启动后钩子(post start)、容器终止前钩子(pre stop) + - 容器的存活性探测(liveness probe)、就绪性探测(readiness probe) +- pod终止过程 + +![image-20200412111402706](Kubenetes.assets/image-20200412111402706-1626782188724.png) + +在整个生命周期中,Pod会出现5种**状态**(**相位**),分别如下: + +- 挂起(Pending):apiserver已经创建了pod资源对象,但它尚未被调度完成或者仍处于下载镜像的过程中 +- 运行中(Running):pod已经被调度至某节点,并且所有容器都已经被kubelet创建完成 +- 成功(Succeeded):pod中的所有容器都已经成功终止并且不会被重启 +- 失败(Failed):所有容器都已经终止,但至少有一个容器终止失败,即容器返回了非0值的退出状态 +- 未知(Unknown):apiserver无法正常获取到pod对象的状态信息,通常由网络通信失败所导致 + +### 5.3.1 创建和终止 + +**pod的创建过程** + +1. 用户通过kubectl或其他api客户端提交需要创建的pod信息给apiServer + +2. apiServer开始生成pod对象的信息,并将信息存入etcd,然后返回确认信息至客户端 + +3. apiServer开始反映etcd中的pod对象的变化,其它组件使用watch机制来跟踪检查apiServer上的变动 + +4. scheduler发现有新的pod对象要创建,开始为Pod分配主机并将结果信息更新至apiServer + +5. node节点上的kubelet发现有pod调度过来,尝试调用docker启动容器,并将结果回送至apiServer + +6. apiServer将接收到的pod状态信息存入etcd中 + + ![image-20200406184656917](Kubenetes.assets/image-20200406184656917-1626782168787.png) + +**pod的终止过程** + +1. 用户向apiServer发送删除pod对象的命令 +2. apiServcer中的pod对象信息会随着时间的推移而更新,在宽限期内(默认30s),pod被视为dead +3. 将pod标记为terminating状态 +4. kubelet在监控到pod对象转为terminating状态的同时启动pod关闭过程 +5. 端点控制器监控到pod对象的关闭行为时将其从所有匹配到此端点的service资源的端点列表中移除 +6. 如果当前pod对象定义了preStop钩子处理器,则在其标记为terminating后即会以同步的方式启动执行 +7. pod对象中的容器进程收到停止信号 +8. 宽限期结束后,若pod中还存在仍在运行的进程,那么pod对象会收到立即终止的信号 +9. kubelet请求apiServer将此pod资源的宽限期设置为0从而完成删除操作,此时pod对于用户已不可见 + +### 5.3.2 初始化容器 + +初始化容器是在pod的主容器启动之前要运行的容器,主要是做一些主容器的前置工作,它具有两大特征: + +1. 初始化容器必须运行完成直至结束,若某初始化容器运行失败,那么kubernetes需要重启它直到成功完成 +2. 初始化容器必须按照定义的顺序执行,当且仅当前一个成功之后,后面的一个才能运行 + +初始化容器有很多的应用场景,下面列出的是最常见的几个: + +- 提供主容器镜像中不具备的工具程序或自定义代码 +- 初始化容器要先于应用容器串行启动并运行完成,因此可用于延后应用容器的启动直至其依赖的条件得到满足 + +接下来做一个案例,模拟下面这个需求: + +假设要以主容器来运行nginx,但是要求在运行nginx之前先要能够连接上mysql和redis所在服务器 + +为了简化测试,事先规定好mysql`(192.168.5.4)`和redis`(192.168.5.5)`服务器的地址 + +创建pod-initcontainer.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-initcontainer + namespace: dev +spec: + containers: + - name: main-container + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + initContainers: + - name: test-mysql + image: busybox:1.30 + command: ['sh', '-c', 'until ping 192.168.5.14 -c 1 ; do echo waiting for mysql...; sleep 2; done;'] + - name: test-redis + image: busybox:1.30 + command: ['sh', '-c', 'until ping 192.168.5.15 -c 1 ; do echo waiting for reids...; sleep 2; done;'] +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-initcontainer.yaml +pod/pod-initcontainer created + +# 查看pod状态 +# 发现pod卡在启动第一个初始化容器过程中,后面的容器不会运行 +root@k8s-master01 ~]# kubectl describe pod pod-initcontainer -n dev +........ +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Normal Scheduled 49s default-scheduler Successfully assigned dev/pod-initcontainer to node1 + Normal Pulled 48s kubelet, node1 Container image "busybox:1.30" already present on machine + Normal Created 48s kubelet, node1 Created container test-mysql + Normal Started 48s kubelet, node1 Started container test-mysql + +# 动态查看pod +[root@k8s-master01 ~]# kubectl get pods pod-initcontainer -n dev -w +NAME READY STATUS RESTARTS AGE +pod-initcontainer 0/1 Init:0/2 0 15s +pod-initcontainer 0/1 Init:1/2 0 52s +pod-initcontainer 0/1 Init:1/2 0 53s +pod-initcontainer 0/1 PodInitializing 0 89s +pod-initcontainer 1/1 Running 0 90s + +# 接下来新开一个shell,为当前服务器新增两个ip,观察pod的变化 +[root@k8s-master01 ~]# ifconfig ens33:1 192.168.5.14 netmask 255.255.255.0 up +[root@k8s-master01 ~]# ifconfig ens33:2 192.168.5.15 netmask 255.255.255.0 up +``` + +### 5.3.3 钩子函数 + +钩子函数能够感知自身生命周期中的事件,并在相应的时刻到来时运行用户指定的程序代码。 + +kubernetes在主容器的启动之后和停止之前提供了两个钩子函数: + +- post start:容器创建之后执行,如果失败了会重启容器 +- pre stop :容器终止之前执行,执行完成之后容器将成功终止,在其完成之前会阻塞删除容器的操作 + +钩子处理器支持使用下面三种方式定义动作: + +- Exec命令:在容器内执行一次命令 + + ```yaml + …… + lifecycle: + postStart: + exec: + command: + - cat + - /tmp/healthy + …… + ``` + +- TCPSocket:在当前容器尝试访问指定的socket + + ```yaml + …… + lifecycle: + postStart: + tcpSocket: + port: 8080 + …… + ``` + +- HTTPGet:在当前容器中向某url发起http请求 + + ```yaml + …… + lifecycle: + postStart: + httpGet: + path: / #URI地址 + port: 80 #端口号 + host: 192.168.5.3 #主机地址 + scheme: HTTP #支持的协议,http或者https + …… + ``` + +接下来,以exec方式为例,演示下钩子函数的使用,创建pod-hook-exec.yaml文件,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-hook-exec + namespace: dev +spec: + containers: + - name: main-container + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + lifecycle: + postStart: + exec: # 在容器启动的时候执行一个命令,修改掉nginx的默认首页内容 + command: ["/bin/sh", "-c", "echo postStart... > /usr/share/nginx/html/index.html"] + preStop: + exec: # 在容器停止之前停止nginx服务 + command: ["/usr/sbin/nginx","-s","quit"] +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-hook-exec.yaml +pod/pod-hook-exec created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods pod-hook-exec -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +pod-hook-exec 1/1 Running 0 29s 10.244.2.48 node2 + +# 访问pod +[root@k8s-master01 ~]# curl 10.244.2.48 +postStart... +``` + +### 5.3.4 容器探测 + +容器探测用于检测容器中的应用实例是否正常工作,是保障业务可用性的一种传统机制。如果经过探测,实例的状态不符合预期,那么kubernetes就会把该问题实例" 摘除 ",不承担业务流量。kubernetes提供了两种探针来实现容器探测,分别是: + +- liveness probes:存活性探针,用于检测应用实例当前是否处于正常运行状态,如果不是,k8s会重启容器 +- readiness probes:就绪性探针,用于检测应用实例当前是否可以接收请求,如果不能,k8s不会转发流量 + +> livenessProbe 决定是否重启容器,readinessProbe 决定是否将请求转发给容器。 + +上面两种探针目前均支持三种探测方式: + +- Exec命令:在容器内执行一次命令,如果命令执行的退出码为0,则认为程序正常,否则不正常 + + ```yaml + …… + livenessProbe: + exec: + command: + - cat + - /tmp/healthy + …… + ``` + +- TCPSocket:将会尝试访问一个用户容器的端口,如果能够建立这条连接,则认为程序正常,否则不正常 + + ```yaml + …… + livenessProbe: + tcpSocket: + port: 8080 + …… + ``` + +- HTTPGet:调用容器内Web应用的URL,如果返回的状态码在200和399之间,则认为程序正常,否则不正常 + + ```yaml + …… + livenessProbe: + httpGet: + path: / #URI地址 + port: 80 #端口号 + host: 127.0.0.1 #主机地址 + scheme: HTTP #支持的协议,http或者https + …… + ``` + +下面以liveness probes为例,做几个演示: + +**方式一:Exec** + +创建pod-liveness-exec.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-liveness-exec + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + livenessProbe: + exec: + command: ["/bin/cat","/tmp/hello.txt"] # 执行一个查看文件的命令 +``` + +创建pod,观察效果 + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-liveness-exec.yaml +pod/pod-liveness-exec created + +# 查看Pod详情 +[root@k8s-master01 ~]# kubectl describe pods pod-liveness-exec -n dev +...... + Normal Created 20s (x2 over 50s) kubelet, node1 Created container nginx + Normal Started 20s (x2 over 50s) kubelet, node1 Started container nginx + Normal Killing 20s kubelet, node1 Container nginx failed liveness probe, will be restarted + Warning Unhealthy 0s (x5 over 40s) kubelet, node1 Liveness probe failed: cat: can't open '/tmp/hello11.txt': No such file or directory + +# 观察上面的信息就会发现nginx容器启动之后就进行了健康检查 +# 检查失败之后,容器被kill掉,然后尝试进行重启(这是重启策略的作用,后面讲解) +# 稍等一会之后,再观察pod信息,就可以看到RESTARTS不再是0,而是一直增长 +[root@k8s-master01 ~]# kubectl get pods pod-liveness-exec -n dev +NAME READY STATUS RESTARTS AGE +pod-liveness-exec 0/1 CrashLoopBackOff 2 3m19s + +# 当然接下来,可以修改成一个存在的文件,比如/tmp/hello.txt,再试,结果就正常了...... +``` + +**方式二:TCPSocket** + +创建pod-liveness-tcpsocket.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-liveness-tcpsocket + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + livenessProbe: + tcpSocket: + port: 8080 # 尝试访问8080端口 +``` + +创建pod,观察效果 + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-liveness-tcpsocket.yaml +pod/pod-liveness-tcpsocket created + +# 查看Pod详情 +[root@k8s-master01 ~]# kubectl describe pods pod-liveness-tcpsocket -n dev +...... + Normal Scheduled 31s default-scheduler Successfully assigned dev/pod-liveness-tcpsocket to node2 + Normal Pulled kubelet, node2 Container image "nginx:1.17.1" already present on machine + Normal Created kubelet, node2 Created container nginx + Normal Started kubelet, node2 Started container nginx + Warning Unhealthy (x2 over ) kubelet, node2 Liveness probe failed: dial tcp 10.244.2.44:8080: connect: connection refused + +# 观察上面的信息,发现尝试访问8080端口,但是失败了 +# 稍等一会之后,再观察pod信息,就可以看到RESTARTS不再是0,而是一直增长 +[root@k8s-master01 ~]# kubectl get pods pod-liveness-tcpsocket -n dev +NAME READY STATUS RESTARTS AGE +pod-liveness-tcpsocket 0/1 CrashLoopBackOff 2 3m19s + +# 当然接下来,可以修改成一个可以访问的端口,比如80,再试,结果就正常了...... +``` + +**方式三:HTTPGet** + +创建pod-liveness-httpget.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-liveness-httpget + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + livenessProbe: + httpGet: # 其实就是访问http://127.0.0.1:80/hello + scheme: HTTP #支持的协议,http或者https + port: 80 #端口号 + path: /hello #URI地址 +``` + +创建pod,观察效果 + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-liveness-httpget.yaml +pod/pod-liveness-httpget created + +# 查看Pod详情 +[root@k8s-master01 ~]# kubectl describe pod pod-liveness-httpget -n dev +....... + Normal Pulled 6s (x3 over 64s) kubelet, node1 Container image "nginx:1.17.1" already present on machine + Normal Created 6s (x3 over 64s) kubelet, node1 Created container nginx + Normal Started 6s (x3 over 63s) kubelet, node1 Started container nginx + Warning Unhealthy 6s (x6 over 56s) kubelet, node1 Liveness probe failed: HTTP probe failed with statuscode: 404 + Normal Killing 6s (x2 over 36s) kubelet, node1 Container nginx failed liveness probe, will be restarted + +# 观察上面信息,尝试访问路径,但是未找到,出现404错误 +# 稍等一会之后,再观察pod信息,就可以看到RESTARTS不再是0,而是一直增长 +[root@k8s-master01 ~]# kubectl get pod pod-liveness-httpget -n dev +NAME READY STATUS RESTARTS AGE +pod-liveness-httpget 1/1 Running 5 3m17s + +# 当然接下来,可以修改成一个可以访问的路径path,比如/,再试,结果就正常了...... +``` + +至此,已经使用liveness Probe演示了三种探测方式,但是查看livenessProbe的子属性,会发现除了这三种方式,还有一些其他的配置,在这里一并解释下: + +```shell +[root@k8s-master01 ~]# kubectl explain pod.spec.containers.livenessProbe +FIELDS: + exec + tcpSocket + httpGet + initialDelaySeconds # 容器启动后等待多少秒执行第一次探测 + timeoutSeconds # 探测超时时间。默认1秒,最小1秒 + periodSeconds # 执行探测的频率。默认是10秒,最小1秒 + failureThreshold # 连续探测失败多少次才被认定为失败。默认是3。最小值是1 + successThreshold # 连续探测成功多少次才被认定为成功。默认是1 +``` + +下面稍微配置两个,演示下效果即可: + +```yaml +[root@k8s-master01 ~]# more pod-liveness-httpget.yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-liveness-httpget + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + livenessProbe: + httpGet: + scheme: HTTP + port: 80 + path: / + initialDelaySeconds: 30 # 容器启动后30s开始探测 + timeoutSeconds: 5 # 探测超时时间为5s +``` + +### 5.3.5 重启策略 + +在上一节中,一旦容器探测出现了问题,kubernetes就会对容器所在的Pod进行重启,其实这是由pod的重启策略决定的,pod的重启策略有 3 种,分别如下: + +- Always :容器失效时,自动重启该容器,这也是默认值。 +- OnFailure : 容器终止运行且退出码不为0时重启 +- Never : 不论状态为何,都不重启该容器 + +重启策略适用于pod对象中的所有容器,首次需要重启的容器,将在其需要时立即进行重启,随后再次需要重启的操作将由kubelet延迟一段时间后进行,且反复的重启操作的延迟时长以此为10s、20s、40s、80s、160s和300s,300s是最大延迟时长。 + +创建pod-restartpolicy.yaml: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-restartpolicy + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - name: nginx-port + containerPort: 80 + livenessProbe: + httpGet: + scheme: HTTP + port: 80 + path: /hello + restartPolicy: Never # 设置重启策略为Never +``` + +运行Pod测试 + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-restartpolicy.yaml +pod/pod-restartpolicy created + +# 查看Pod详情,发现nginx容器失败 +[root@k8s-master01 ~]# kubectl describe pods pod-restartpolicy -n dev +...... + Warning Unhealthy 15s (x3 over 35s) kubelet, node1 Liveness probe failed: HTTP probe failed with statuscode: 404 + Normal Killing 15s kubelet, node1 Container nginx failed liveness probe + +# 多等一会,再观察pod的重启次数,发现一直是0,并未重启 +[root@k8s-master01 ~]# kubectl get pods pod-restartpolicy -n dev +NAME READY STATUS RESTARTS AGE +pod-restartpolicy 0/1 Running 0 5min42s +``` + +## 5.4 Pod调度 + +在默认情况下,一个Pod在哪个Node节点上运行,是由Scheduler组件采用相应的算法计算出来的,这个过程是不受人工控制的。但是在实际使用中,这并不满足的需求,因为很多情况下,我们想控制某些Pod到达某些节点上,那么应该怎么做呢?这就要求了解kubernetes对Pod的调度规则,kubernetes提供了四大类调度方式: + +- 自动调度:运行在哪个节点上完全由Scheduler经过一系列的算法计算得出 +- 定向调度:NodeName、NodeSelector +- 亲和性调度:NodeAffinity、PodAffinity、PodAntiAffinity +- 污点(容忍)调度:Taints、Toleration + +### 5.4.1 定向调度 + +定向调度,指的是利用在pod上声明nodeName或者nodeSelector,以此将Pod调度到期望的node节点上。注意,这里的调度是强制的,这就意味着即使要调度的目标Node不存在,也会向上面进行调度,只不过pod运行失败而已。 + +**NodeName** + +NodeName用于强制约束将Pod调度到指定的Name的Node节点上。这种方式,其实是直接跳过Scheduler的调度逻辑,直接将Pod调度到指定名称的节点。 + +接下来,实验一下:创建一个pod-nodename.yaml文件 + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-nodename + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + nodeName: node1 # 指定调度到node1节点上 +``` + +```shell +#创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-nodename.yaml +pod/pod-nodename created + +#查看Pod调度到NODE属性,确实是调度到了node1节点上 +[root@k8s-master01 ~]# kubectl get pods pod-nodename -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-nodename 1/1 Running 0 56s 10.244.1.87 node1 ...... + +# 接下来,删除pod,修改nodeName的值为node3(并没有node3节点) +[root@k8s-master01 ~]# kubectl delete -f pod-nodename.yaml +pod "pod-nodename" deleted +[root@k8s-master01 ~]# vim pod-nodename.yaml +[root@k8s-master01 ~]# kubectl create -f pod-nodename.yaml +pod/pod-nodename created + +#再次查看,发现已经向Node3节点调度,但是由于不存在node3节点,所以pod无法正常运行 +[root@k8s-master01 ~]# kubectl get pods pod-nodename -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-nodename 0/1 Pending 0 6s node3 ...... +``` + +**NodeSelector** + +NodeSelector用于将pod调度到添加了指定标签的node节点上。它是通过kubernetes的label-selector机制实现的,也就是说,在pod创建之前,会由scheduler使用MatchNodeSelector调度策略进行label匹配,找出目标node,然后将pod调度到目标节点,该匹配规则是强制约束。 + +接下来,实验一下: + +1 首先分别为node节点添加标签 + +```shell +[root@k8s-master01 ~]# kubectl label nodes node1 nodeenv=pro +node/node2 labeled +[root@k8s-master01 ~]# kubectl label nodes node2 nodeenv=test +node/node2 labeled +``` + +2 创建一个pod-nodeselector.yaml文件,并使用它创建Pod + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-nodeselector + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + nodeSelector: + nodeenv: pro # 指定调度到具有nodeenv=pro标签的节点上 +``` + +```shell +#创建Pod +[root@k8s-master01 ~]# kubectl create -f pod-nodeselector.yaml +pod/pod-nodeselector created + +#查看Pod调度到NODE属性,确实是调度到了node1节点上 +[root@k8s-master01 ~]# kubectl get pods pod-nodeselector -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-nodeselector 1/1 Running 0 47s 10.244.1.87 node1 ...... + +# 接下来,删除pod,修改nodeSelector的值为nodeenv: xxxx(不存在打有此标签的节点) +[root@k8s-master01 ~]# kubectl delete -f pod-nodeselector.yaml +pod "pod-nodeselector" deleted +[root@k8s-master01 ~]# vim pod-nodeselector.yaml +[root@k8s-master01 ~]# kubectl create -f pod-nodeselector.yaml +pod/pod-nodeselector created + +#再次查看,发现pod无法正常运行,Node的值为none +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +pod-nodeselector 0/1 Pending 0 2m20s + +# 查看详情,发现node selector匹配失败的提示 +[root@k8s-master01 ~]# kubectl describe pods pod-nodeselector -n dev +....... +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Warning FailedScheduling default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector. +``` + +### 5.4.2 亲和性调度 + +上一节,介绍了两种定向调度的方式,使用起来非常方便,但是也有一定的问题,那就是如果没有满足条件的Node,那么Pod将不会被运行,即使在集群中还有可用Node列表也不行,这就限制了它的使用场景。 + +基于上面的问题,kubernetes还提供了一种亲和性调度(Affinity)。它在NodeSelector的基础之上的进行了扩展,可以通过配置的形式,实现优先选择满足条件的Node进行调度,如果没有,也可以调度到不满足条件的节点上,使调度更加灵活。 + +Affinity主要分为三类: + +- nodeAffinity(node亲和性): 以node为目标,解决pod可以调度到哪些node的问题 +- podAffinity(pod亲和性) : 以pod为目标,解决pod可以和哪些已存在的pod部署在同一个拓扑域中的问题 +- podAntiAffinity(pod反亲和性) : 以pod为目标,解决pod不能和哪些已存在pod部署在同一个拓扑域中的问题 + +> 关于亲和性(反亲和性)使用场景的说明: +> +> **亲和性**:如果两个应用频繁交互,那就有必要利用亲和性让两个应用的尽可能的靠近,这样可以减少因网络通信而带来的性能损耗。 +> +> **反亲和性**:当应用的采用多副本部署时,有必要采用反亲和性让各个应用实例打散分布在各个node上,这样可以提高服务的高可用性。 + +**NodeAffinity** + +首先来看一下`NodeAffinity`的可配置项: + +```shell +pod.spec.affinity.nodeAffinity + requiredDuringSchedulingIgnoredDuringExecution Node节点必须满足指定的所有规则才可以,相当于硬限制 + nodeSelectorTerms 节点选择列表 + matchFields 按节点字段列出的节点选择器要求列表 + matchExpressions 按节点标签列出的节点选择器要求列表(推荐) + key 键 + values 值 + operator 关系符 支持Exists, DoesNotExist, In, NotIn, Gt, Lt + preferredDuringSchedulingIgnoredDuringExecution 优先调度到满足指定的规则的Node,相当于软限制 (倾向) + preference 一个节点选择器项,与相应的权重相关联 + matchFields 按节点字段列出的节点选择器要求列表 + matchExpressions 按节点标签列出的节点选择器要求列表(推荐) + key 键 + values 值 + operator 关系符 支持In, NotIn, Exists, DoesNotExist, Gt, Lt + weight 倾向权重,在范围1-100。 +``` + +```shell +关系符的使用说明: + +- matchExpressions: + - key: nodeenv # 匹配存在标签的key为nodeenv的节点 + operator: Exists + - key: nodeenv # 匹配标签的key为nodeenv,且value是"xxx"或"yyy"的节点 + operator: In + values: ["xxx","yyy"] + - key: nodeenv # 匹配标签的key为nodeenv,且value大于"xxx"的节点 + operator: Gt + values: "xxx" +``` + +接下来首先演示一下`requiredDuringSchedulingIgnoredDuringExecution` , + +创建pod-nodeaffinity-required.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-nodeaffinity-required + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + affinity: #亲和性设置 + nodeAffinity: #设置node亲和性 + requiredDuringSchedulingIgnoredDuringExecution: # 硬限制 + nodeSelectorTerms: + - matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签 + - key: nodeenv + operator: In + values: ["xxx","yyy"] +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-required.yaml +pod/pod-nodeaffinity-required created + +# 查看pod状态 (运行失败) +[root@k8s-master01 ~]# kubectl get pods pod-nodeaffinity-required -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-nodeaffinity-required 0/1 Pending 0 16s ...... + +# 查看Pod的详情 +# 发现调度失败,提示node选择失败 +[root@k8s-master01 ~]# kubectl describe pod pod-nodeaffinity-required -n dev +...... + Warning FailedScheduling default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector. + Warning FailedScheduling default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector. + +#接下来,停止pod +[root@k8s-master01 ~]# kubectl delete -f pod-nodeaffinity-required.yaml +pod "pod-nodeaffinity-required" deleted + +# 修改文件,将values: ["xxx","yyy"]------> ["pro","yyy"] +[root@k8s-master01 ~]# vim pod-nodeaffinity-required.yaml + +# 再次启动 +[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-required.yaml +pod/pod-nodeaffinity-required created + +# 此时查看,发现调度成功,已经将pod调度到了node1上 +[root@k8s-master01 ~]# kubectl get pods pod-nodeaffinity-required -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-nodeaffinity-required 1/1 Running 0 11s 10.244.1.89 node1 ...... +``` + +接下来再演示一下`requiredDuringSchedulingIgnoredDuringExecution` , + +创建pod-nodeaffinity-preferred.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-nodeaffinity-preferred + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + affinity: #亲和性设置 + nodeAffinity: #设置node亲和性 + preferredDuringSchedulingIgnoredDuringExecution: # 软限制 + - weight: 1 + preference: + matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签(当前环境没有) + - key: nodeenv + operator: In + values: ["xxx","yyy"] +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-preferred.yaml +pod/pod-nodeaffinity-preferred created + +# 查看pod状态 (运行成功) +[root@k8s-master01 ~]# kubectl get pod pod-nodeaffinity-preferred -n dev +NAME READY STATUS RESTARTS AGE +pod-nodeaffinity-preferred 1/1 Running 0 40s +``` + +``` +NodeAffinity规则设置的注意事项: + 1 如果同时定义了nodeSelector和nodeAffinity,那么必须两个条件都得到满足,Pod才能运行在指定的Node上 + 2 如果nodeAffinity指定了多个nodeSelectorTerms,那么只需要其中一个能够匹配成功即可 + 3 如果一个nodeSelectorTerms中有多个matchExpressions ,则一个节点必须满足所有的才能匹配成功 + 4 如果一个pod所在的Node在Pod运行期间其标签发生了改变,不再符合该Pod的节点亲和性需求,则系统将忽略此变化 +``` + +**PodAffinity** + +PodAffinity主要实现以运行的Pod为参照,实现让新创建的Pod跟参照pod在一个区域的功能。 + +首先来看一下`PodAffinity`的可配置项: + +```shell +pod.spec.affinity.podAffinity + requiredDuringSchedulingIgnoredDuringExecution 硬限制 + namespaces 指定参照pod的namespace + topologyKey 指定调度作用域 + labelSelector 标签选择器 + matchExpressions 按节点标签列出的节点选择器要求列表(推荐) + key 键 + values 值 + operator 关系符 支持In, NotIn, Exists, DoesNotExist. + matchLabels 指多个matchExpressions映射的内容 + preferredDuringSchedulingIgnoredDuringExecution 软限制 + podAffinityTerm 选项 + namespaces + topologyKey + labelSelector + matchExpressions + key 键 + values 值 + operator + matchLabels + weight 倾向权重,在范围1-100 +``` + +``` +topologyKey用于指定调度时作用域,例如: + 如果指定为kubernetes.io/hostname,那就是以Node节点为区分范围 + 如果指定为beta.kubernetes.io/os,则以Node节点的操作系统类型来区分 +``` + +接下来,演示下`requiredDuringSchedulingIgnoredDuringExecution`, + +1)首先创建一个参照Pod,pod-podaffinity-target.yaml: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-podaffinity-target + namespace: dev + labels: + podenv: pro #设置标签 +spec: + containers: + - name: nginx + image: nginx:1.17.1 + nodeName: node1 # 将目标pod名确指定到node1上 +``` + +```shell +# 启动目标pod +[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-target.yaml +pod/pod-podaffinity-target created + +# 查看pod状况 +[root@k8s-master01 ~]# kubectl get pods pod-podaffinity-target -n dev +NAME READY STATUS RESTARTS AGE +pod-podaffinity-target 1/1 Running 0 4s +``` + +2)创建pod-podaffinity-required.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-podaffinity-required + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + affinity: #亲和性设置 + podAffinity: #设置pod亲和性 + requiredDuringSchedulingIgnoredDuringExecution: # 硬限制 + - labelSelector: + matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签 + - key: podenv + operator: In + values: ["xxx","yyy"] + topologyKey: kubernetes.io/hostname +``` + +上面配置表达的意思是:新Pod必须要与拥有标签nodeenv=xxx或者nodeenv=yyy的pod在同一Node上,显然现在没有这样pod,接下来,运行测试一下。 + +```shell +# 启动pod +[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-required.yaml +pod/pod-podaffinity-required created + +# 查看pod状态,发现未运行 +[root@k8s-master01 ~]# kubectl get pods pod-podaffinity-required -n dev +NAME READY STATUS RESTARTS AGE +pod-podaffinity-required 0/1 Pending 0 9s + +# 查看详细信息 +[root@k8s-master01 ~]# kubectl describe pods pod-podaffinity-required -n dev +...... +Events: + Type Reason Age From Message + ---- ------ ---- ---- ------- + Warning FailedScheduling default-scheduler 0/3 nodes are available: 2 node(s) didn't match pod affinity rules, 1 node(s) had taints that the pod didn't tolerate. + +# 接下来修改 values: ["xxx","yyy"]----->values:["pro","yyy"] +# 意思是:新Pod必须要与拥有标签nodeenv=xxx或者nodeenv=yyy的pod在同一Node上 +[root@k8s-master01 ~]# vim pod-podaffinity-required.yaml + +# 然后重新创建pod,查看效果 +[root@k8s-master01 ~]# kubectl delete -f pod-podaffinity-required.yaml +pod "pod-podaffinity-required" deleted +[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-required.yaml +pod/pod-podaffinity-required created + +# 发现此时Pod运行正常 +[root@k8s-master01 ~]# kubectl get pods pod-podaffinity-required -n dev +NAME READY STATUS RESTARTS AGE LABELS +pod-podaffinity-required 1/1 Running 0 6s +``` + +关于`PodAffinity`的 `preferredDuringSchedulingIgnoredDuringExecution`,这里不再演示。 + +**PodAntiAffinity** + +PodAntiAffinity主要实现以运行的Pod为参照,让新创建的Pod跟参照pod不在一个区域中的功能。 + +它的配置方式和选项跟PodAffinty是一样的,这里不再做详细解释,直接做一个测试案例。 + +1)继续使用上个案例中目标pod + +```shell +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide --show-labels +NAME READY STATUS RESTARTS AGE IP NODE LABELS +pod-podaffinity-required 1/1 Running 0 3m29s 10.244.1.38 node1 +pod-podaffinity-target 1/1 Running 0 9m25s 10.244.1.37 node1 podenv=pro +``` + +2)创建pod-podantiaffinity-required.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-podantiaffinity-required + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + affinity: #亲和性设置 + podAntiAffinity: #设置pod亲和性 + requiredDuringSchedulingIgnoredDuringExecution: # 硬限制 + - labelSelector: + matchExpressions: # 匹配podenv的值在["pro"]中的标签 + - key: podenv + operator: In + values: ["pro"] + topologyKey: kubernetes.io/hostname +``` + +上面配置表达的意思是:新Pod必须要与拥有标签nodeenv=pro的pod不在同一Node上,运行测试一下。 + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-podantiaffinity-required.yaml +pod/pod-podantiaffinity-required created + +# 查看pod +# 发现调度到了node2上 +[root@k8s-master01 ~]# kubectl get pods pod-podantiaffinity-required -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE .. +pod-podantiaffinity-required 1/1 Running 0 30s 10.244.1.96 node2 .. +``` + +### 5.4.3 污点和容忍 + +实践中,若集群中的一组机器专用于为运行非生产型的容器应用而备置,而且它们可能随时按需上下线,那么就应该为其添加污点信息,以确保仅那些能容忍此污点的非生产型Pod对象可以调度其上。另外,某些有着特殊硬件的节点需要专用于运行一类有着此类硬件资源需求的Pod对象时,例如,那些有着SSD或GPU的设备,也应该为其添加污点信息以排除其他的Pod对象。 + +**污点(Taints)** + +前面的调度方式都是站在Pod的角度上,通过在Pod上添加属性,来确定Pod是否要调度到指定的Node上,其实我们也可以站在Node的角度上,通过在Node上添加**污点**属性,来决定是否允许Pod调度过来。 + +Node被设置上污点之后就和Pod之间存在了一种相斥的关系,进而拒绝Pod调度进来,甚至可以将已经存在的Pod驱逐出去。 + +污点的格式为:`key=value:effect`, key和value是污点的标签,effect描述污点的作用,支持如下三个选项: + +- PreferNoSchedule:kubernetes将尽量避免把Pod调度到具有该污点的Node上,除非没有其他节点可调度 +- NoSchedule:kubernetes将不会把Pod调度到具有该污点的Node上,但不会影响当前Node上已存在的Pod +- NoExecute:kubernetes将不会把Pod调度到具有该污点的Node上,同时也会将Node上已存在的Pod驱离 + +![image-20200605021606508](Kubenetes.assets/image-20200605021831545.png) + +使用kubectl设置和去除污点的命令示例如下: + +```shell +# 设置污点 +kubectl taint nodes node1 key=value:effect + +# 去除污点 +kubectl taint nodes node1 key:effect- + +# 去除所有污点 +kubectl taint nodes node1 key- +``` + +接下来,演示下污点的效果: + +1. 准备节点node1(为了演示效果更加明显,暂时停止node2节点) +2. 为node1节点设置一个污点: `tag=heima:PreferNoSchedule`;然后创建pod1( pod1 可以 ) +3. 修改为node1节点设置一个污点: `tag=heima:NoSchedule`;然后创建pod2( pod1 正常 pod2 失败 ) +4. 修改为node1节点设置一个污点: `tag=heima:NoExecute`;然后创建pod3 ( 3个pod都失败 ) + +```shell +# 为node1设置污点(PreferNoSchedule) +[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:PreferNoSchedule + +# 创建pod1 +[root@k8s-master01 ~]# kubectl run taint1 --image=nginx:1.17.1 -n dev +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +taint1-7665f7fd85-574h4 1/1 Running 0 2m24s 10.244.1.59 node1 + +# 为node1设置污点(取消PreferNoSchedule,设置NoSchedule) +[root@k8s-master01 ~]# kubectl taint nodes node1 tag:PreferNoSchedule- +[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:NoSchedule + +# 创建pod2 +[root@k8s-master01 ~]# kubectl run taint2 --image=nginx:1.17.1 -n dev +[root@k8s-master01 ~]# kubectl get pods taint2 -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +taint1-7665f7fd85-574h4 1/1 Running 0 2m24s 10.244.1.59 node1 +taint2-544694789-6zmlf 0/1 Pending 0 21s + +# 为node1设置污点(取消NoSchedule,设置NoExecute) +[root@k8s-master01 ~]# kubectl taint nodes node1 tag:NoSchedule- +[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:NoExecute + +# 创建pod3 +[root@k8s-master01 ~]# kubectl run taint3 --image=nginx:1.17.1 -n dev +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED +taint1-7665f7fd85-htkmp 0/1 Pending 0 35s +taint2-544694789-bn7wb 0/1 Pending 0 35s +taint3-6d78dbd749-tktkq 0/1 Pending 0 6s +``` + +``` +小提示: + 使用kubeadm搭建的集群,默认就会给master节点添加一个污点标记,所以pod就不会调度到master节点上. +``` + +**容忍(Toleration)** + +上面介绍了污点的作用,我们可以在node上添加污点用于拒绝pod调度上来,但是如果就是想将一个pod调度到一个有污点的node上去,这时候应该怎么做呢?这就要使用到**容忍**。 + +![image-20200514095913741](Kubenetes.assets/image-20200514095913741.png) + +> 污点就是拒绝,容忍就是忽略,Node通过污点拒绝pod调度上去,Pod通过容忍忽略拒绝 + +下面先通过一个案例看下效果: + +1. 上一小节,已经在node1节点上打上了`NoExecute`的污点,此时pod是调度不上去的 +2. 本小节,可以通过给pod添加容忍,然后将其调度上去 + +创建pod-toleration.yaml,内容如下 + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-toleration + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + tolerations: # 添加容忍 + - key: "tag" # 要容忍的污点的key + operator: "Equal" # 操作符 + value: "heima" # 容忍的污点的value + effect: "NoExecute" # 添加容忍的规则,这里必须和标记的污点规则相同 +``` + +```shell +# 添加容忍之前的pod +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED +pod-toleration 0/1 Pending 0 3s + +# 添加容忍之后的pod +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED +pod-toleration 1/1 Running 0 3s 10.244.1.62 node1 +``` + +下面看一下容忍的详细配置: + +```shell +[root@k8s-master01 ~]# kubectl explain pod.spec.tolerations +...... +FIELDS: + key # 对应着要容忍的污点的键,空意味着匹配所有的键 + value # 对应着要容忍的污点的值 + operator # key-value的运算符,支持Equal和Exists(默认) + effect # 对应污点的effect,空意味着匹配所有影响 + tolerationSeconds # 容忍时间, 当effect为NoExecute时生效,表示pod在Node上的停留时间 +``` + + + +# 6. Pod控制器详解 + +## 6.1 Pod控制器介绍 + +Pod是kubernetes的最小管理单元,在kubernetes中,按照pod的创建方式可以将其分为两类: + +- 自主式pod:kubernetes直接创建出来的Pod,这种pod删除后就没有了,也不会重建 +- 控制器创建的pod:kubernetes通过控制器创建的pod,这种pod删除了之后还会自动重建 + +> **`什么是Pod控制器`** +> +> Pod控制器是管理pod的中间层,使用Pod控制器之后,只需要告诉Pod控制器,想要多少个什么样的Pod就可以了,它会创建出满足条件的Pod并确保每一个Pod资源处于用户期望的目标状态。如果Pod资源在运行中出现故障,它会基于指定策略重新编排Pod。 + +在kubernetes中,有很多类型的pod控制器,每种都有自己的适合的场景,常见的有下面这些: + +- ReplicationController:比较原始的pod控制器,已经被废弃,由ReplicaSet替代 +- ReplicaSet:保证副本数量一直维持在期望值,并支持pod数量扩缩容,镜像版本升级 +- Deployment:通过控制ReplicaSet来控制Pod,并支持滚动升级、回退版本 +- Horizontal Pod Autoscaler:可以根据集群负载自动水平调整Pod的数量,实现削峰填谷 +- DaemonSet:在集群中的指定Node上运行且仅运行一个副本,一般用于守护进程类的任务 +- Job:它创建出来的pod只要完成任务就立即退出,不需要重启或重建,用于执行一次性任务 +- Cronjob:它创建的Pod负责周期性任务控制,不需要持续后台运行 +- StatefulSet:管理有状态应用 + +## 6.2 ReplicaSet(RS) + +ReplicaSet的主要作用是**保证一定数量的pod正常运行**,它会持续监听这些Pod的运行状态,一旦Pod发生故障,就会重启或重建。同时它还支持对pod数量的扩缩容和镜像版本的升降级。 + +![img](Kubenetes.assets/image-20200612005334159.png) + +ReplicaSet的资源清单文件: + +```yaml +apiVersion: apps/v1 # 版本号 +kind: ReplicaSet # 类型 +metadata: # 元数据 + name: # rs名称 + namespace: # 所属命名空间 + labels: #标签 + controller: rs +spec: # 详情描述 + replicas: 3 # 副本数量 + selector: # 选择器,通过它指定该控制器管理哪些pod + matchLabels: # Labels匹配规则 + app: nginx-pod + matchExpressions: # Expressions匹配规则 + - {key: app, operator: In, values: [nginx-pod]} + template: # 模板,当副本数量不足时,会根据下面的模板创建pod副本 + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 +``` + +在这里面,需要新了解的配置项就是`spec`下面几个选项: + +- replicas:指定副本数量,其实就是当前rs创建出来的pod的数量,默认为1 + +- selector:选择器,它的作用是建立pod控制器和pod之间的关联关系,采用的Label Selector机制 + + 在pod模板上定义label,在控制器上定义选择器,就可以表明当前控制器能管理哪些pod了 + +- template:模板,就是当前控制器创建pod所使用的模板板,里面其实就是前一章学过的pod的定义 + +**创建ReplicaSet** + +创建pc-replicaset.yaml文件,内容如下: + +```yaml +apiVersion: apps/v1 +kind: ReplicaSet +metadata: + name: pc-replicaset + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 +``` + +```shell +# 创建rs +[root@k8s-master01 ~]# kubectl create -f pc-replicaset.yaml +replicaset.apps/pc-replicaset created + +# 查看rs +# DESIRED:期望副本数量 +# CURRENT:当前副本数量 +# READY:已经准备好提供服务的副本数量 +[root@k8s-master01 ~]# kubectl get rs pc-replicaset -n dev -o wide +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES SELECTOR +pc-replicaset 3 3 3 22s nginx nginx:1.17.1 app=nginx-pod + +# 查看当前控制器创建出来的pod +# 这里发现控制器创建出来的pod的名称是在控制器名称后面拼接了-xxxxx随机码 +[root@k8s-master01 ~]# kubectl get pod -n dev +NAME READY STATUS RESTARTS AGE +pc-replicaset-6vmvt 1/1 Running 0 54s +pc-replicaset-fmb8f 1/1 Running 0 54s +pc-replicaset-snrk2 1/1 Running 0 54s +``` + +**扩缩容** + +```shell +# 编辑rs的副本数量,修改spec:replicas: 6即可 +[root@k8s-master01 ~]# kubectl edit rs pc-replicaset -n dev +replicaset.apps/pc-replicaset edited + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-replicaset-6vmvt 1/1 Running 0 114m +pc-replicaset-cftnp 1/1 Running 0 10s +pc-replicaset-fjlm6 1/1 Running 0 10s +pc-replicaset-fmb8f 1/1 Running 0 114m +pc-replicaset-s2whj 1/1 Running 0 10s +pc-replicaset-snrk2 1/1 Running 0 114m + +# 当然也可以直接使用命令实现 +# 使用scale命令实现扩缩容, 后面--replicas=n直接指定目标数量即可 +[root@k8s-master01 ~]# kubectl scale rs pc-replicaset --replicas=2 -n dev +replicaset.apps/pc-replicaset scaled + +# 命令运行完毕,立即查看,发现已经有4个开始准备退出了 +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-replicaset-6vmvt 0/1 Terminating 0 118m +pc-replicaset-cftnp 0/1 Terminating 0 4m17s +pc-replicaset-fjlm6 0/1 Terminating 0 4m17s +pc-replicaset-fmb8f 1/1 Running 0 118m +pc-replicaset-s2whj 0/1 Terminating 0 4m17s +pc-replicaset-snrk2 1/1 Running 0 118m + +#稍等片刻,就只剩下2个了 +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-replicaset-fmb8f 1/1 Running 0 119m +pc-replicaset-snrk2 1/1 Running 0 119m +``` + +**镜像升级** + +```shell +# 编辑rs的容器镜像 - image: nginx:1.17.2 +[root@k8s-master01 ~]# kubectl edit rs pc-replicaset -n dev +replicaset.apps/pc-replicaset edited + +# 再次查看,发现镜像版本已经变更了 +[root@k8s-master01 ~]# kubectl get rs -n dev -o wide +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES ... +pc-replicaset 2 2 2 140m nginx nginx:1.17.2 ... + +# 同样的道理,也可以使用命令完成这个工作 +# kubectl set image rs rs名称 容器=镜像版本 -n namespace +[root@k8s-master01 ~]# kubectl set image rs pc-replicaset nginx=nginx:1.17.1 -n dev +replicaset.apps/pc-replicaset image updated + +# 再次查看,发现镜像版本已经变更了 +[root@k8s-master01 ~]# kubectl get rs -n dev -o wide +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES ... +pc-replicaset 2 2 2 145m nginx nginx:1.17.1 ... +``` + +**删除ReplicaSet** + +```shell +# 使用kubectl delete命令会删除此RS以及它管理的Pod +# 在kubernetes删除RS前,会将RS的replicasclear调整为0,等待所有的Pod被删除后,在执行RS对象的删除 +[root@k8s-master01 ~]# kubectl delete rs pc-replicaset -n dev +replicaset.apps "pc-replicaset" deleted +[root@k8s-master01 ~]# kubectl get pod -n dev -o wide +No resources found in dev namespace. + +# 如果希望仅仅删除RS对象(保留Pod),可以使用kubectl delete命令时添加--cascade=false选项(不推荐)。 +[root@k8s-master01 ~]# kubectl delete rs pc-replicaset -n dev --cascade=false +replicaset.apps "pc-replicaset" deleted +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-replicaset-cl82j 1/1 Running 0 75s +pc-replicaset-dslhb 1/1 Running 0 75s + +# 也可以使用yaml直接删除(推荐) +[root@k8s-master01 ~]# kubectl delete -f pc-replicaset.yaml +replicaset.apps "pc-replicaset" deleted +``` + +## 6.3 Deployment(Deploy) + +为了更好的解决服务编排的问题,kubernetes在V1.2版本开始,引入了Deployment控制器。值得一提的是,这种控制器并不直接管理pod,而是通过管理ReplicaSet来简介管理Pod,即:Deployment管理ReplicaSet,ReplicaSet管理Pod。所以Deployment比ReplicaSet功能更加强大。 + +![img](Kubenetes.assets/image-20200612005524778.png) + +Deployment主要功能有下面几个: + +- 支持ReplicaSet的所有功能 +- 支持发布的停止、继续 +- 支持滚动升级和回滚版本 + +Deployment的资源清单文件: + +```yaml +apiVersion: apps/v1 # 版本号 +kind: Deployment # 类型 +metadata: # 元数据 + name: # rs名称 + namespace: # 所属命名空间 + labels: #标签 + controller: deploy +spec: # 详情描述 + replicas: 3 # 副本数量 + revisionHistoryLimit: 3 # 保留历史版本 + paused: false # 暂停部署,默认是false + progressDeadlineSeconds: 600 # 部署超时时间(s),默认是600 + strategy: # 策略 + type: RollingUpdate # 滚动更新策略 + rollingUpdate: # 滚动更新 + maxSurge: 30% # 最大额外可以存在的副本数,可以为百分比,也可以为整数 + maxUnavailable: 30% # 最大不可用状态的 Pod 的最大值,可以为百分比,也可以为整数 + selector: # 选择器,通过它指定该控制器管理哪些pod + matchLabels: # Labels匹配规则 + app: nginx-pod + matchExpressions: # Expressions匹配规则 + - {key: app, operator: In, values: [nginx-pod]} + template: # 模板,当副本数量不足时,会根据下面的模板创建pod副本 + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 +``` + +**创建deployment** + +创建pc-deployment.yaml,内容如下: + +```yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: pc-deployment + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 +``` + +```shell +# 创建deployment +[root@k8s-master01 ~]# kubectl create -f pc-deployment.yaml --record=true +deployment.apps/pc-deployment created + +# 查看deployment +# UP-TO-DATE 最新版本的pod的数量 +# AVAILABLE 当前可用的pod的数量 +[root@k8s-master01 ~]# kubectl get deploy pc-deployment -n dev +NAME READY UP-TO-DATE AVAILABLE AGE +pc-deployment 3/3 3 3 15s + +# 查看rs +# 发现rs的名称是在原来deployment的名字后面添加了一个10位数的随机串 +[root@k8s-master01 ~]# kubectl get rs -n dev +NAME DESIRED CURRENT READY AGE +pc-deployment-6696798b78 3 3 3 23s + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-deployment-6696798b78-d2c8n 1/1 Running 0 107s +pc-deployment-6696798b78-smpvp 1/1 Running 0 107s +pc-deployment-6696798b78-wvjd8 1/1 Running 0 107s +``` + +**扩缩容** + +```shell +# 变更副本数量为5个 +[root@k8s-master01 ~]# kubectl scale deploy pc-deployment --replicas=5 -n dev +deployment.apps/pc-deployment scaled + +# 查看deployment +[root@k8s-master01 ~]# kubectl get deploy pc-deployment -n dev +NAME READY UP-TO-DATE AVAILABLE AGE +pc-deployment 5/5 5 5 2m + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-deployment-6696798b78-d2c8n 1/1 Running 0 4m19s +pc-deployment-6696798b78-jxmdq 1/1 Running 0 94s +pc-deployment-6696798b78-mktqv 1/1 Running 0 93s +pc-deployment-6696798b78-smpvp 1/1 Running 0 4m19s +pc-deployment-6696798b78-wvjd8 1/1 Running 0 4m19s + +# 编辑deployment的副本数量,修改spec:replicas: 4即可 +[root@k8s-master01 ~]# kubectl edit deploy pc-deployment -n dev +deployment.apps/pc-deployment edited + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-deployment-6696798b78-d2c8n 1/1 Running 0 5m23s +pc-deployment-6696798b78-jxmdq 1/1 Running 0 2m38s +pc-deployment-6696798b78-smpvp 1/1 Running 0 5m23s +pc-deployment-6696798b78-wvjd8 1/1 Running 0 5m23s +``` + +**镜像更新** + +deployment支持两种更新策略:`重建更新`和`滚动更新`,可以通过`strategy`指定策略类型,支持两个属性: + +```yaml +strategy:指定新的Pod替换旧的Pod的策略, 支持两个属性: + type:指定策略类型,支持两种策略 + Recreate:在创建出新的Pod之前会先杀掉所有已存在的Pod + RollingUpdate:滚动更新,就是杀死一部分,就启动一部分,在更新过程中,存在两个版本Pod + rollingUpdate:当type为RollingUpdate时生效,用于为RollingUpdate设置参数,支持两个属性: + maxUnavailable:用来指定在升级过程中不可用Pod的最大数量,默认为25%。 + maxSurge: 用来指定在升级过程中可以超过期望的Pod的最大数量,默认为25%。 +``` + +重建更新 + +1) 编辑pc-deployment.yaml,在spec节点下添加更新策略 + +```yaml +spec: + strategy: # 策略 + type: Recreate # 重建更新 +``` + +2) 创建deploy进行验证 + +```shell +# 变更镜像 +[root@k8s-master01 ~]# kubectl set image deployment pc-deployment nginx=nginx:1.17.2 -n dev +deployment.apps/pc-deployment image updated + +# 观察升级过程 +[root@k8s-master01 ~]# kubectl get pods -n dev -w +NAME READY STATUS RESTARTS AGE +pc-deployment-5d89bdfbf9-65qcw 1/1 Running 0 31s +pc-deployment-5d89bdfbf9-w5nzv 1/1 Running 0 31s +pc-deployment-5d89bdfbf9-xpt7w 1/1 Running 0 31s + +pc-deployment-5d89bdfbf9-xpt7w 1/1 Terminating 0 41s +pc-deployment-5d89bdfbf9-65qcw 1/1 Terminating 0 41s +pc-deployment-5d89bdfbf9-w5nzv 1/1 Terminating 0 41s + +pc-deployment-675d469f8b-grn8z 0/1 Pending 0 0s +pc-deployment-675d469f8b-hbl4v 0/1 Pending 0 0s +pc-deployment-675d469f8b-67nz2 0/1 Pending 0 0s + +pc-deployment-675d469f8b-grn8z 0/1 ContainerCreating 0 0s +pc-deployment-675d469f8b-hbl4v 0/1 ContainerCreating 0 0s +pc-deployment-675d469f8b-67nz2 0/1 ContainerCreating 0 0s + +pc-deployment-675d469f8b-grn8z 1/1 Running 0 1s +pc-deployment-675d469f8b-67nz2 1/1 Running 0 1s +pc-deployment-675d469f8b-hbl4v 1/1 Running 0 2s +``` + +滚动更新 + +1) 编辑pc-deployment.yaml,在spec节点下添加更新策略 + +```yaml +spec: + strategy: # 策略 + type: RollingUpdate # 滚动更新策略 + rollingUpdate: + maxSurge: 25% + maxUnavailable: 25% +``` + +2) 创建deploy进行验证 + +```shell +# 变更镜像 +[root@k8s-master01 ~]# kubectl set image deployment pc-deployment nginx=nginx:1.17.3 -n dev +deployment.apps/pc-deployment image updated + +# 观察升级过程 +[root@k8s-master01 ~]# kubectl get pods -n dev -w +NAME READY STATUS RESTARTS AGE +pc-deployment-c848d767-8rbzt 1/1 Running 0 31m +pc-deployment-c848d767-h4p68 1/1 Running 0 31m +pc-deployment-c848d767-hlmz4 1/1 Running 0 31m +pc-deployment-c848d767-rrqcn 1/1 Running 0 31m + +pc-deployment-966bf7f44-226rx 0/1 Pending 0 0s +pc-deployment-966bf7f44-226rx 0/1 ContainerCreating 0 0s +pc-deployment-966bf7f44-226rx 1/1 Running 0 1s +pc-deployment-c848d767-h4p68 0/1 Terminating 0 34m + +pc-deployment-966bf7f44-cnd44 0/1 Pending 0 0s +pc-deployment-966bf7f44-cnd44 0/1 ContainerCreating 0 0s +pc-deployment-966bf7f44-cnd44 1/1 Running 0 2s +pc-deployment-c848d767-hlmz4 0/1 Terminating 0 34m + +pc-deployment-966bf7f44-px48p 0/1 Pending 0 0s +pc-deployment-966bf7f44-px48p 0/1 ContainerCreating 0 0s +pc-deployment-966bf7f44-px48p 1/1 Running 0 0s +pc-deployment-c848d767-8rbzt 0/1 Terminating 0 34m + +pc-deployment-966bf7f44-dkmqp 0/1 Pending 0 0s +pc-deployment-966bf7f44-dkmqp 0/1 ContainerCreating 0 0s +pc-deployment-966bf7f44-dkmqp 1/1 Running 0 2s +pc-deployment-c848d767-rrqcn 0/1 Terminating 0 34m + +# 至此,新版本的pod创建完毕,就版本的pod销毁完毕 +# 中间过程是滚动进行的,也就是边销毁边创建 +``` + +滚动更新的过程: + +![img](Kubenetes.assets/image-20200416140251491.png) + +镜像更新中rs的变化 + +```shell +# 查看rs,发现原来的rs的依旧存在,只是pod数量变为了0,而后又新产生了一个rs,pod数量为4 +# 其实这就是deployment能够进行版本回退的奥妙所在,后面会详细解释 +[root@k8s-master01 ~]# kubectl get rs -n dev +NAME DESIRED CURRENT READY AGE +pc-deployment-6696798b78 0 0 0 7m37s +pc-deployment-6696798b11 0 0 0 5m37s +pc-deployment-c848d76789 4 4 4 72s +``` + +**版本回退** + +deployment支持版本升级过程中的暂停、继续功能以及版本回退等诸多功能,下面具体来看. + +kubectl rollout: 版本升级相关功能,支持下面的选项: + +- status 显示当前升级状态 +- history 显示 升级历史记录 +- pause 暂停版本升级过程 +- resume 继续已经暂停的版本升级过程 +- restart 重启版本升级过程 +- undo 回滚到上一级版本(可以使用--to-revision回滚到指定版本) + +```shell +# 查看当前升级版本的状态 +[root@k8s-master01 ~]# kubectl rollout status deploy pc-deployment -n dev +deployment "pc-deployment" successfully rolled out + +# 查看升级历史记录 +[root@k8s-master01 ~]# kubectl rollout history deploy pc-deployment -n dev +deployment.apps/pc-deployment +REVISION CHANGE-CAUSE +1 kubectl create --filename=pc-deployment.yaml --record=true +2 kubectl create --filename=pc-deployment.yaml --record=true +3 kubectl create --filename=pc-deployment.yaml --record=true +# 可以发现有三次版本记录,说明完成过两次升级 + +# 版本回滚 +# 这里直接使用--to-revision=1回滚到了1版本, 如果省略这个选项,就是回退到上个版本,就是2版本 +[root@k8s-master01 ~]# kubectl rollout undo deployment pc-deployment --to-revision=1 -n dev +deployment.apps/pc-deployment rolled back + +# 查看发现,通过nginx镜像版本可以发现到了第一版 +[root@k8s-master01 ~]# kubectl get deploy -n dev -o wide +NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES +pc-deployment 4/4 4 4 74m nginx nginx:1.17.1 + +# 查看rs,发现第一个rs中有4个pod运行,后面两个版本的rs中pod为运行 +# 其实deployment之所以可是实现版本的回滚,就是通过记录下历史rs来实现的, +# 一旦想回滚到哪个版本,只需要将当前版本pod数量降为0,然后将回滚版本的pod提升为目标数量就可以了 +[root@k8s-master01 ~]# kubectl get rs -n dev +NAME DESIRED CURRENT READY AGE +pc-deployment-6696798b78 4 4 4 78m +pc-deployment-966bf7f44 0 0 0 37m +pc-deployment-c848d767 0 0 0 71m +``` + +**金丝雀发布** + +Deployment控制器支持控制更新过程中的控制,如“暂停(pause)”或“继续(resume)”更新操作。 + +[reference-depolyment](deployment.md) + +比如有一批新的Pod资源创建完成后立即暂停更新过程,此时,仅存在一部分新版本的应用,主体部分还是旧的版本。然后,再筛选一小部分的用户请求路由到新版本的Pod应用,继续观察能否稳定地按期望的方式运行。确定没问题之后再继续完成余下的Pod资源滚动更新,否则立即回滚更新操作。这就是所谓的金丝雀发布。 + +```shell +# 更新deployment的版本,并配置暂停deployment +[root@k8s-master01 ~]# kubectl set image deploy pc-deployment nginx=nginx:1.17.4 -n dev && kubectl rollout pause deployment pc-deployment -n dev +deployment.apps/pc-deployment image updated +deployment.apps/pc-deployment paused + +#观察更新状态 +[root@k8s-master01 ~]# kubectl rollout status deploy pc-deployment -n dev  +Waiting for deployment "pc-deployment" rollout to finish: 2 out of 4 new replicas have been updated... + +# 监控更新的过程,可以看到已经新增了一个资源,但是并未按照预期的状态去删除一个旧的资源,就是因为使用了pause暂停命令 + +[root@k8s-master01 ~]# kubectl get rs -n dev -o wide +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES +pc-deployment-5d89bdfbf9 3 3 3 19m nginx nginx:1.17.1 +pc-deployment-675d469f8b 0 0 0 14m nginx nginx:1.17.2 +pc-deployment-6c9f56fcfb 2 2 2 3m16s nginx nginx:1.17.4 +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-deployment-5d89bdfbf9-rj8sq 1/1 Running 0 7m33s +pc-deployment-5d89bdfbf9-ttwgg 1/1 Running 0 7m35s +pc-deployment-5d89bdfbf9-v4wvc 1/1 Running 0 7m34s +pc-deployment-6c9f56fcfb-996rt 1/1 Running 0 3m31s +pc-deployment-6c9f56fcfb-j2gtj 1/1 Running 0 3m31s + +# 确保更新的pod没问题了,继续更新 +[root@k8s-master01 ~]# kubectl rollout resume deploy pc-deployment -n dev +deployment.apps/pc-deployment resumed + +# 查看最后的更新情况 +[root@k8s-master01 ~]# kubectl get rs -n dev -o wide +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES +pc-deployment-5d89bdfbf9 0 0 0 21m nginx nginx:1.17.1 +pc-deployment-675d469f8b 0 0 0 16m nginx nginx:1.17.2 +pc-deployment-6c9f56fcfb 4 4 4 5m11s nginx nginx:1.17.4 + +[root@k8s-master01 ~]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +pc-deployment-6c9f56fcfb-7bfwh 1/1 Running 0 37s +pc-deployment-6c9f56fcfb-996rt 1/1 Running 0 5m27s +pc-deployment-6c9f56fcfb-j2gtj 1/1 Running 0 5m27s +pc-deployment-6c9f56fcfb-rf84v 1/1 Running 0 37s +``` + +**删除Deployment** + +```shell +# 删除deployment,其下的rs和pod也将被删除 +[root@k8s-master01 ~]# kubectl delete -f pc-deployment.yaml +deployment.apps "pc-deployment" deleted +``` + +## 6.4 Horizontal Pod Autoscaler(HPA) + +在前面的课程中,我们已经可以实现通过手工执行`kubectl scale`命令实现Pod扩容或缩容,但是这显然不符合Kubernetes的定位目标--自动化、智能化。 Kubernetes期望可以实现通过监测Pod的使用情况,实现pod数量的自动调整,于是就产生了Horizontal Pod Autoscaler(HPA)这种控制器。 + +HPA可以获取每个Pod利用率,然后和HPA中定义的指标进行对比,同时计算出需要伸缩的具体值,最后实现Pod的数量的调整。其实HPA与之前的Deployment一样,也属于一种Kubernetes资源对象,它通过追踪分析RC控制的所有目标Pod的负载变化情况,来确定是否需要针对性地调整目标Pod的副本数,这是HPA的实现原理。 + +![img](Kubenetes.assets/image-20200608155858271.png) + +接下来,我们来做一个实验 + +**1 安装metrics-server** + +metrics-server可以用来收集集群中的资源使用情况 + +```shell +# 安装git +[root@k8s-master01 ~]# yum install git -y +# 获取metrics-server, 注意使用的版本 +[root@k8s-master01 ~]# git clone -b v0.3.6 https://github.com/kubernetes-incubator/metrics-server +# 修改deployment, 注意修改的是镜像和初始化参数 +[root@k8s-master01 ~]# cd /root/metrics-server/deploy/1.8+/ +[root@k8s-master01 1.8+]# vim metrics-server-deployment.yaml +按图中添加下面选项 +hostNetwork: true +image: registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-server-amd64:v0.3.6 +args: +- --kubelet-insecure-tls +- --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP +``` + +![image-20200608163326496](Kubenetes.assets/image-20200608163326496.png) + +```shell +# 安装metrics-server +[root@k8s-master01 1.8+]# kubectl apply -f ./ + +# 查看pod运行情况 +[root@k8s-master01 1.8+]# kubectl get pod -n kube-system +metrics-server-6b976979db-2xwbj 1/1 Running 0 90s + +# 使用kubectl top node 查看资源使用情况 +[root@k8s-master01 1.8+]# kubectl top node +NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% +k8s-master01 289m 14% 1582Mi 54% +k8s-node01 81m 4% 1195Mi 40% +k8s-node02 72m 3% 1211Mi 41% +[root@k8s-master01 1.8+]# kubectl top pod -n kube-system +NAME CPU(cores) MEMORY(bytes) +coredns-6955765f44-7ptsb 3m 9Mi +coredns-6955765f44-vcwr5 3m 8Mi +etcd-master 14m 145Mi +... +# 至此,metrics-server安装完成 +``` + +**2 准备deployment和servie** + +创建pc-hpa-pod.yaml文件,内容如下: + +```yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: nginx + namespace: dev +spec: + strategy: # 策略 + type: RollingUpdate # 滚动更新策略 + replicas: 1 + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + resources: # 资源配额 + limits: # 限制资源(上限) + cpu: "1" # CPU限制,单位是core数 + requests: # 请求资源(下限) + cpu: "100m" # CPU限制,单位是core数 +``` + +```shell +# 创建service +[root@k8s-master01 1.8+]# kubectl expose deployment nginx --type=NodePort --port=80 -n dev +``` + +```shell +# 查看 +[root@k8s-master01 1.8+]# kubectl get deployment,pod,svc -n dev +NAME READY UP-TO-DATE AVAILABLE AGE +deployment.apps/nginx 1/1 1 1 47s + +NAME READY STATUS RESTARTS AGE +pod/nginx-7df9756ccc-bh8dr 1/1 Running 0 47s + +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +service/nginx NodePort 10.101.18.29 80:31830/TCP 35s +``` + +**3 部署HPA** + +创建pc-hpa.yaml文件,内容如下: + +```yaml +apiVersion: autoscaling/v1 +kind: HorizontalPodAutoscaler +metadata: + name: pc-hpa + namespace: dev +spec: + minReplicas: 1 #最小pod数量 + maxReplicas: 10 #最大pod数量 + targetCPUUtilizationPercentage: 3 # CPU使用率指标 + scaleTargetRef: # 指定要控制的nginx信息 + apiVersion: apps/v1 + kind: Deployment + name: nginx +``` + +```shell +# 创建hpa +[root@k8s-master01 1.8+]# kubectl create -f pc-hpa.yaml +horizontalpodautoscaler.autoscaling/pc-hpa created + +# 查看hpa + [root@k8s-master01 1.8+]# kubectl get hpa -n dev +NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE +pc-hpa Deployment/nginx 0%/3% 1 10 1 62s +``` + +**4 测试** + +使用压测工具对service地址`192.168.5.4:31830`进行压测,然后通过控制台查看hpa和pod的变化 + +hpa变化 + +```shell +[root@k8s-master01 ~]# kubectl get hpa -n dev -w +NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE +pc-hpa Deployment/nginx 0%/3% 1 10 1 4m11s +pc-hpa Deployment/nginx 0%/3% 1 10 1 5m19s +pc-hpa Deployment/nginx 22%/3% 1 10 1 6m50s +pc-hpa Deployment/nginx 22%/3% 1 10 4 7m5s +pc-hpa Deployment/nginx 22%/3% 1 10 8 7m21s +pc-hpa Deployment/nginx 6%/3% 1 10 8 7m51s +pc-hpa Deployment/nginx 0%/3% 1 10 8 9m6s +pc-hpa Deployment/nginx 0%/3% 1 10 8 13m +pc-hpa Deployment/nginx 0%/3% 1 10 1 14m +``` + +deployment变化 + +```shell +[root@k8s-master01 ~]# kubectl get deployment -n dev -w +NAME READY UP-TO-DATE AVAILABLE AGE +nginx 1/1 1 1 11m +nginx 1/4 1 1 13m +nginx 1/4 1 1 13m +nginx 1/4 1 1 13m +nginx 1/4 4 1 13m +nginx 1/8 4 1 14m +nginx 1/8 4 1 14m +nginx 1/8 4 1 14m +nginx 1/8 8 1 14m +nginx 2/8 8 2 14m +nginx 3/8 8 3 14m +nginx 4/8 8 4 14m +nginx 5/8 8 5 14m +nginx 6/8 8 6 14m +nginx 7/8 8 7 14m +nginx 8/8 8 8 15m +nginx 8/1 8 8 20m +nginx 8/1 8 8 20m +nginx 1/1 1 1 20m +``` + +pod变化 + +``` +[root@k8s-master01 ~]# kubectl get pods -n dev -w +NAME READY STATUS RESTARTS AGE +nginx-7df9756ccc-bh8dr 1/1 Running 0 11m +nginx-7df9756ccc-cpgrv 0/1 Pending 0 0s +nginx-7df9756ccc-8zhwk 0/1 Pending 0 0s +nginx-7df9756ccc-rr9bn 0/1 Pending 0 0s +nginx-7df9756ccc-cpgrv 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-8zhwk 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-rr9bn 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-m9gsj 0/1 Pending 0 0s +nginx-7df9756ccc-g56qb 0/1 Pending 0 0s +nginx-7df9756ccc-sl9c6 0/1 Pending 0 0s +nginx-7df9756ccc-fgst7 0/1 Pending 0 0s +nginx-7df9756ccc-g56qb 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-m9gsj 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-sl9c6 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-fgst7 0/1 ContainerCreating 0 0s +nginx-7df9756ccc-8zhwk 1/1 Running 0 19s +nginx-7df9756ccc-rr9bn 1/1 Running 0 30s +nginx-7df9756ccc-m9gsj 1/1 Running 0 21s +nginx-7df9756ccc-cpgrv 1/1 Running 0 47s +nginx-7df9756ccc-sl9c6 1/1 Running 0 33s +nginx-7df9756ccc-g56qb 1/1 Running 0 48s +nginx-7df9756ccc-fgst7 1/1 Running 0 66s +nginx-7df9756ccc-fgst7 1/1 Terminating 0 6m50s +nginx-7df9756ccc-8zhwk 1/1 Terminating 0 7m5s +nginx-7df9756ccc-cpgrv 1/1 Terminating 0 7m5s +nginx-7df9756ccc-g56qb 1/1 Terminating 0 6m50s +nginx-7df9756ccc-rr9bn 1/1 Terminating 0 7m5s +nginx-7df9756ccc-m9gsj 1/1 Terminating 0 6m50s +nginx-7df9756ccc-sl9c6 1/1 Terminating 0 6m50s +``` + +## 6.5 DaemonSet(DS) + +DaemonSet类型的控制器可以保证在集群中的每一台(或指定)节点上都运行一个副本。一般适用于日志收集、节点监控等场景。也就是说,如果一个Pod提供的功能是节点级别的(每个节点都需要且只需要一个),那么这类Pod就适合使用DaemonSet类型的控制器创建。 + +![img](Kubenetes.assets/image-20200612010223537.png) + +DaemonSet控制器的特点: + +- 每当向集群中添加一个节点时,指定的 Pod 副本也将添加到该节点上 +- 当节点从集群中移除时,Pod 也就被垃圾回收了 + +下面先来看下DaemonSet的资源清单文件 + +```yaml +apiVersion: apps/v1 # 版本号 +kind: DaemonSet # 类型 +metadata: # 元数据 + name: # rs名称 + namespace: # 所属命名空间 + labels: #标签 + controller: daemonset +spec: # 详情描述 + revisionHistoryLimit: 3 # 保留历史版本 + updateStrategy: # 更新策略 + type: RollingUpdate # 滚动更新策略 + rollingUpdate: # 滚动更新 + maxUnavailable: 1 # 最大不可用状态的 Pod 的最大值,可以为百分比,也可以为整数 + selector: # 选择器,通过它指定该控制器管理哪些pod + matchLabels: # Labels匹配规则 + app: nginx-pod + matchExpressions: # Expressions匹配规则 + - {key: app, operator: In, values: [nginx-pod]} + template: # 模板,当副本数量不足时,会根据下面的模板创建pod副本 + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 +``` + +创建pc-daemonset.yaml,内容如下: + +```yaml +apiVersion: apps/v1 +kind: DaemonSet +metadata: + name: pc-daemonset + namespace: dev +spec: + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 +``` + +```shell +# 创建daemonset +[root@k8s-master01 ~]# kubectl create -f pc-daemonset.yaml +daemonset.apps/pc-daemonset created + +# 查看daemonset +[root@k8s-master01 ~]# kubectl get ds -n dev -o wide +NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES +pc-daemonset 2 2 2 2 2 24s nginx nginx:1.17.1 + +# 查看pod,发现在每个Node上都运行一个pod +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +pc-daemonset-9bck8 1/1 Running 0 37s 10.244.1.43 node1 +pc-daemonset-k224w 1/1 Running 0 37s 10.244.2.74 node2 + +# 删除daemonset +[root@k8s-master01 ~]# kubectl delete -f pc-daemonset.yaml +daemonset.apps "pc-daemonset" deleted +``` + +## 6.6 Job + +Job,主要用于负责**批量处理(一次要处理指定数量任务)**短暂的**一次性(每个任务仅运行一次就结束)**任务。Job特点如下: + +- 当Job创建的pod执行成功结束时,Job将记录成功结束的pod数量 +- 当成功结束的pod达到指定的数量时,Job将完成执行 + +![img](Kubenetes.assets/image-20200618213054113.png) + +Job的资源清单文件: + + + +```yaml +apiVersion: batch/v1 # 版本号 +kind: Job # 类型 +metadata: # 元数据 + name: # rs名称 + namespace: # 所属命名空间 + labels: #标签 + controller: job +spec: # 详情描述 + completions: 1 # 指定job需要成功运行Pods的次数。默认值: 1 + parallelism: 1 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1 + activeDeadlineSeconds: 30 # 指定job可运行的时间期限,超过时间还未结束,系统将会尝试进行终止。 + backoffLimit: 6 # 指定job失败后进行重试的次数。默认是6 + manualSelector: true # 是否可以使用selector选择器选择pod,默认是false + selector: # 选择器,通过它指定该控制器管理哪些pod + matchLabels: # Labels匹配规则 + app: counter-pod + matchExpressions: # Expressions匹配规则 + - {key: app, operator: In, values: [counter-pod]} + template: # 模板,当副本数量不足时,会根据下面的模板创建pod副本 + metadata: + labels: + app: counter-pod + spec: + restartPolicy: Never # 重启策略只能设置为Never或者OnFailure + containers: + - name: counter + image: busybox:1.30 + command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"] +``` + +``` +关于重启策略设置的说明: + 如果指定为OnFailure,则job会在pod出现故障时重启容器,而不是创建pod,failed次数不变 + 如果指定为Never,则job会在pod出现故障时创建新的pod,并且故障pod不会消失,也不会重启,failed次数加1 + 如果指定为Always的话,就意味着一直重启,意味着job任务会重复去执行了,当然不对,所以不能设置为Always +``` + +创建pc-job.yaml,内容如下: + +```yaml +apiVersion: batch/v1 +kind: Job +metadata: + name: pc-job + namespace: dev +spec: + manualSelector: true + selector: + matchLabels: + app: counter-pod + template: + metadata: + labels: + app: counter-pod + spec: + restartPolicy: Never + containers: + - name: counter + image: busybox:1.30 + command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"] +``` + +```shell +# 创建job +[root@k8s-master01 ~]# kubectl create -f pc-job.yaml +job.batch/pc-job created + +# 查看job +[root@k8s-master01 ~]# kubectl get job -n dev -o wide -w +NAME COMPLETIONS DURATION AGE CONTAINERS IMAGES SELECTOR +pc-job 0/1 21s 21s counter busybox:1.30 app=counter-pod +pc-job 1/1 31s 79s counter busybox:1.30 app=counter-pod + +# 通过观察pod状态可以看到,pod在运行完毕任务后,就会变成Completed状态 +[root@k8s-master01 ~]# kubectl get pods -n dev -w +NAME READY STATUS RESTARTS AGE +pc-job-rxg96 1/1 Running 0 29s +pc-job-rxg96 0/1 Completed 0 33s + +# 接下来,调整下pod运行的总数量和并行数量 即:在spec下设置下面两个选项 +# completions: 6 # 指定job需要成功运行Pods的次数为6 +# parallelism: 3 # 指定job并发运行Pods的数量为3 +# 然后重新运行job,观察效果,此时会发现,job会每次运行3个pod,总共执行了6个pod +[root@k8s-master01 ~]# kubectl get pods -n dev -w +NAME READY STATUS RESTARTS AGE +pc-job-684ft 1/1 Running 0 5s +pc-job-jhj49 1/1 Running 0 5s +pc-job-pfcvh 1/1 Running 0 5s +pc-job-684ft 0/1 Completed 0 11s +pc-job-v7rhr 0/1 Pending 0 0s +pc-job-v7rhr 0/1 Pending 0 0s +pc-job-v7rhr 0/1 ContainerCreating 0 0s +pc-job-jhj49 0/1 Completed 0 11s +pc-job-fhwf7 0/1 Pending 0 0s +pc-job-fhwf7 0/1 Pending 0 0s +pc-job-pfcvh 0/1 Completed 0 11s +pc-job-5vg2j 0/1 Pending 0 0s +pc-job-fhwf7 0/1 ContainerCreating 0 0s +pc-job-5vg2j 0/1 Pending 0 0s +pc-job-5vg2j 0/1 ContainerCreating 0 0s +pc-job-fhwf7 1/1 Running 0 2s +pc-job-v7rhr 1/1 Running 0 2s +pc-job-5vg2j 1/1 Running 0 3s +pc-job-fhwf7 0/1 Completed 0 12s +pc-job-v7rhr 0/1 Completed 0 12s +pc-job-5vg2j 0/1 Completed 0 12s + +# 删除job +[root@k8s-master01 ~]# kubectl delete -f pc-job.yaml +job.batch "pc-job" deleted +``` + +## 6.7 CronJob(CJ) + +CronJob控制器以Job控制器资源为其管控对象,并借助它管理pod资源对象,Job控制器定义的作业任务在其控制器资源创建之后便会立即执行,但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行**时间点**及**重复运行**的方式。也就是说,**CronJob可以在特定的时间点(反复的)去运行job任务**。 + +![img](Kubenetes.assets/image-20200618213149531.png) + +CronJob的资源清单文件: + +```yaml +apiVersion: batch/v1beta1 # 版本号 +kind: CronJob # 类型 +metadata: # 元数据 + name: # rs名称 + namespace: # 所属命名空间 + labels: #标签 + controller: cronjob +spec: # 详情描述 + schedule: # cron格式的作业调度运行时间点,用于控制任务在什么时间执行 + concurrencyPolicy: # 并发执行策略,用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业 + failedJobHistoryLimit: # 为失败的任务执行保留的历史记录数,默认为1 + successfulJobHistoryLimit: # 为成功的任务执行保留的历史记录数,默认为3 + startingDeadlineSeconds: # 启动作业错误的超时时长 + jobTemplate: # job控制器模板,用于为cronjob控制器生成job对象;下面其实就是job的定义 + metadata: + spec: + completions: 1 + parallelism: 1 + activeDeadlineSeconds: 30 + backoffLimit: 6 + manualSelector: true + selector: + matchLabels: + app: counter-pod + matchExpressions: 规则 + - {key: app, operator: In, values: [counter-pod]} + template: + metadata: + labels: + app: counter-pod + spec: + restartPolicy: Never + containers: + - name: counter + image: busybox:1.30 + command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"] +``` + +```yaml +需要重点解释的几个选项: +schedule: cron表达式,用于指定任务的执行时间 + */1 * * * * + <分钟> <小时> <日> <月份> <星期> + + 分钟 值从 0 到 59. + 小时 值从 0 到 23. + 日 值从 1 到 31. + 月 值从 1 到 12. + 星期 值从 0 到 6, 0 代表星期日 + 多个时间可以用逗号隔开; 范围可以用连字符给出;*可以作为通配符; /表示每... +concurrencyPolicy: + Allow: 允许Jobs并发运行(默认) + Forbid: 禁止并发运行,如果上一次运行尚未完成,则跳过下一次运行 + Replace: 替换,取消当前正在运行的作业并用新作业替换它 +``` + +创建pc-cronjob.yaml,内容如下: + +```yaml +apiVersion: batch/v1beta1 +kind: CronJob +metadata: + name: pc-cronjob + namespace: dev + labels: + controller: cronjob +spec: + schedule: "*/1 * * * *" + jobTemplate: + metadata: + spec: + template: + spec: + restartPolicy: Never + containers: + - name: counter + image: busybox:1.30 + command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"] +``` + +```shell +# 创建cronjob +[root@k8s-master01 ~]# kubectl create -f pc-cronjob.yaml +cronjob.batch/pc-cronjob created + +# 查看cronjob +[root@k8s-master01 ~]# kubectl get cronjobs -n dev +NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE +pc-cronjob */1 * * * * False 0 6s + +# 查看job +[root@k8s-master01 ~]# kubectl get jobs -n dev +NAME COMPLETIONS DURATION AGE +pc-cronjob-1592587800 1/1 28s 3m26s +pc-cronjob-1592587860 1/1 28s 2m26s +pc-cronjob-1592587920 1/1 28s 86s + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev +pc-cronjob-1592587800-x4tsm 0/1 Completed 0 2m24s +pc-cronjob-1592587860-r5gv4 0/1 Completed 0 84s +pc-cronjob-1592587920-9dxxq 1/1 Running 0 24s + + +# 删除cronjob +[root@k8s-master01 ~]# kubectl delete -f pc-cronjob.yaml +cronjob.batch "pc-cronjob" deleted +``` + + + + + +# 7. Service详解 + +## 7.1 Service介绍 + +在kubernetes中,pod是应用程序的载体,我们可以通过pod的ip来访问应用程序,但是pod的ip地址不是固定的,这也就意味着不方便直接采用pod的ip对服务进行访问。 + +为了解决这个问题,kubernetes提供了Service资源,Service会对提供同一个服务的多个pod进行聚合,并且提供一个统一的入口地址。通过访问Service的入口地址就能访问到后面的pod服务。 + +![img](Kubenetes.assets/image-20200408194716912-1626783758946.png) + +Service在很多情况下只是一个概念,真正起作用的其实是kube-proxy服务进程,每个Node节点上都运行着一个kube-proxy服务进程。当创建Service的时候会通过api-server向etcd写入创建的service的信息,而kube-proxy会基于监听的机制发现这种Service的变动,然后**它会将最新的Service信息转换成对应的访问规则**。 + +![img](Kubenetes.assets/image-20200509121254425.png) + + + +``` +# 10.97.97.97:80 是service提供的访问入口 +# 当访问这个入口的时候,可以发现后面有三个pod的服务在等待调用, +# kube-proxy会基于rr(轮询)的策略,将请求分发到其中一个pod上去 +# 这个规则会同时在集群内的所有节点上都生成,所以在任何一个节点上访问都可以。 +[root@node1 ~]# ipvsadm -Ln +IP Virtual Server version 1.2.1 (size=4096) +Prot LocalAddress:Port Scheduler Flags + -> RemoteAddress:Port Forward Weight ActiveConn InActConn +TCP 10.97.97.97:80 rr + -> 10.244.1.39:80 Masq 1 0 0 + -> 10.244.1.40:80 Masq 1 0 0 + -> 10.244.2.33:80 Masq 1 0 0 +``` + +kube-proxy目前支持三种工作模式: + +**userspace 模式** + +userspace模式下,kube-proxy会为每一个Service创建一个监听端口,发向Cluster IP的请求被Iptables规则重定向到kube-proxy监听的端口上,kube-proxy根据LB算法选择一个提供服务的Pod并和其建立链接,以将请求转发到Pod上。 该模式下,kube-proxy充当了一个四层负责均衡器的角色。由于kube-proxy运行在userspace中,在进行转发处理时会增加内核和用户空间之间的数据拷贝,虽然比较稳定,但是效率比较低。 + +![img](Kubenetes.assets/image-20200509151424280.png) + +**关于Nginx/LVS/HAProxy负载均衡,及L4/L7知识可参考这篇 - [Nginx/LVS/HAProxy负载均衡软件的优缺点详解](http://www.ha97.com/5646.html)** + +**iptables 模式** + +iptables模式下,kube-proxy为service后端的每个Pod创建对应的iptables规则,直接将发向Cluster IP的请求重定向到一个Pod IP。 该模式下kube-proxy不承担四层负责均衡器的角色,只负责创建iptables规则。该模式的优点是较userspace模式效率更高,但不能提供灵活的LB策略,当后端Pod不可用时也无法进行重试。 + +![img](Kubenetes.assets/image-20200509152947714.png) + +**ipvs 模式** + +ipvs模式和iptables类似,kube-proxy监控Pod的变化并创建相应的ipvs规则。ipvs相对iptables转发效率更高。除此以外,ipvs支持更多的LB算法。 + +![img](Kubenetes.assets/image-20200509153731363.png) + +```shell +# 此模式必须安装ipvs内核模块,否则会降级为iptables +# 开启ipvs +[root@k8s-master01 ~]# kubectl edit cm kube-proxy -n kube-system +# 修改mode: "ipvs" +[root@k8s-master01 ~]# kubectl delete pod -l k8s-app=kube-proxy -n kube-system +[root@node1 ~]# ipvsadm -Ln +IP Virtual Server version 1.2.1 (size=4096) +Prot LocalAddress:Port Scheduler Flags + -> RemoteAddress:Port Forward Weight ActiveConn InActConn +TCP 10.97.97.97:80 rr + -> 10.244.1.39:80 Masq 1 0 0 + -> 10.244.1.40:80 Masq 1 0 0 + -> 10.244.2.33:80 Masq 1 0 0 +``` + +## 7.2 Service类型 + +Service的资源清单文件: + +```yaml +kind: Service # 资源类型 +apiVersion: v1 # 资源版本 +metadata: # 元数据 + name: service # 资源名称 + namespace: dev # 命名空间 +spec: # 描述 + selector: # 标签选择器,用于确定当前service代理哪些pod + app: nginx + type: # Service类型,指定service的访问方式 + clusterIP: # 虚拟服务的ip地址 + sessionAffinity: # session亲和性,支持ClientIP、None两个选项 + ports: # 端口信息 + - protocol: TCP + port: 3017 # service端口 + targetPort: 5003 # pod端口 + nodePort: 31122 # 主机端口 +``` + +- ClusterIP:默认值,它是Kubernetes系统自动分配的虚拟IP,只能在集群内部访问 +- NodePort:将Service通过指定的Node上的端口暴露给外部,通过此方法,就可以在集群外部访问服务 +- LoadBalancer:使用外接负载均衡器完成到服务的负载分发,注意此模式需要外部云环境支持 +- ExternalName: 把集群外部的服务引入集群内部,直接使用 + +## 7.3 Service使用 + +### 7.3.1 实验环境准备 + +在使用service之前,首先利用Deployment创建出3个pod,注意要为pod设置`app=nginx-pod`的标签 + +创建deployment.yaml,内容如下: + +```yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: pc-deployment + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 +``` + +```shell +[root@k8s-master01 ~]# kubectl create -f deployment.yaml +deployment.apps/pc-deployment created + +# 查看pod详情 +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide --show-labels +NAME READY STATUS IP NODE LABELS +pc-deployment-66cb59b984-8p84h 1/1 Running 10.244.1.39 node1 app=nginx-pod +pc-deployment-66cb59b984-vx8vx 1/1 Running 10.244.2.33 node2 app=nginx-pod +pc-deployment-66cb59b984-wnncx 1/1 Running 10.244.1.40 node1 app=nginx-pod + +# 为了方便后面的测试,修改下三台nginx的index.html页面(三台修改的IP地址不一致) +# kubectl exec -it pc-deployment-66cb59b984-8p84h -n dev /bin/sh +# echo "10.244.1.39" > /usr/share/nginx/html/index.html + +#修改完毕之后,访问测试 +[root@k8s-master01 ~]# curl 10.244.1.39 +10.244.1.39 +[root@k8s-master01 ~]# curl 10.244.2.33 +10.244.2.33 +[root@k8s-master01 ~]# curl 10.244.1.40 +10.244.1.40 +``` + +### 7.3.2 ClusterIP类型的Service + +创建service-clusterip.yaml文件 + +```yaml +apiVersion: v1 +kind: Service +metadata: + name: service-clusterip + namespace: dev +spec: + selector: + app: nginx-pod + clusterIP: 10.97.97.97 # service的ip地址,如果不写,默认会生成一个 + type: ClusterIP + ports: + - port: 80 # Service端口 + targetPort: 80 # pod端口 +``` + +```shell +# 创建service +[root@k8s-master01 ~]# kubectl create -f service-clusterip.yaml +service/service-clusterip created + +# 查看service +[root@k8s-master01 ~]# kubectl get svc -n dev -o wide +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR +service-clusterip ClusterIP 10.97.97.97 80/TCP 13s app=nginx-pod + +# 查看service的详细信息 +# 在这里有一个Endpoints列表,里面就是当前service可以负载到的服务入口 +[root@k8s-master01 ~]# kubectl describe svc service-clusterip -n dev +Name: service-clusterip +Namespace: dev +Labels: +Annotations: +Selector: app=nginx-pod +Type: ClusterIP +IP: 10.97.97.97 +Port: 80/TCP +TargetPort: 80/TCP +Endpoints: 10.244.1.39:80,10.244.1.40:80,10.244.2.33:80 +Session Affinity: None +Events: + +# 查看ipvs的映射规则 +[root@k8s-master01 ~]# ipvsadm -Ln +TCP 10.97.97.97:80 rr + -> 10.244.1.39:80 Masq 1 0 0 + -> 10.244.1.40:80 Masq 1 0 0 + -> 10.244.2.33:80 Masq 1 0 0 + +# 访问10.97.97.97:80观察效果 +[root@k8s-master01 ~]# curl 10.97.97.97:80 +10.244.2.33 +``` + +**Endpoint** + +Endpoint是kubernetes中的一个资源对象,存储在etcd中,用来记录一个service对应的所有pod的访问地址,它是根据service配置文件中selector描述产生的。 + +一个Service由一组Pod组成,这些Pod通过Endpoints暴露出来,**Endpoints是实现实际服务的端点集合**。换句话说,service和pod之间的联系是通过endpoints实现的。 + +![image-20200509191917069](Kubenetes.assets/image-20200509191917069.png) + +**负载分发策略** + +对Service的访问被分发到了后端的Pod上去,目前kubernetes提供了两种负载分发策略: + +- 如果不定义,默认使用kube-proxy的策略,比如随机、轮询 + +- 基于客户端地址的会话保持模式,即来自同一个客户端发起的所有请求都会转发到固定的一个Pod上 + + 此模式可以使在spec中添加`sessionAffinity:ClientIP`选项 + +```shell +# 查看ipvs的映射规则【rr 轮询】 +[root@k8s-master01 ~]# ipvsadm -Ln +TCP 10.97.97.97:80 rr + -> 10.244.1.39:80 Masq 1 0 0 + -> 10.244.1.40:80 Masq 1 0 0 + -> 10.244.2.33:80 Masq 1 0 0 + +# 循环访问测试 +[root@k8s-master01 ~]# while true;do curl 10.97.97.97:80; sleep 5; done; +10.244.1.40 +10.244.1.39 +10.244.2.33 +10.244.1.40 +10.244.1.39 +10.244.2.33 + +# 修改分发策略----sessionAffinity:ClientIP + +# 查看ipvs规则【persistent 代表持久】 +[root@k8s-master01 ~]# ipvsadm -Ln +TCP 10.97.97.97:80 rr persistent 10800 + -> 10.244.1.39:80 Masq 1 0 0 + -> 10.244.1.40:80 Masq 1 0 0 + -> 10.244.2.33:80 Masq 1 0 0 + +# 循环访问测试 +[root@k8s-master01 ~]# while true;do curl 10.97.97.97; sleep 5; done; +10.244.2.33 +10.244.2.33 +10.244.2.33 + +# 删除service +[root@k8s-master01 ~]# kubectl delete -f service-clusterip.yaml +service "service-clusterip" deleted +``` + +### 7.3.3 HeadLiness类型的Service + +在某些场景中,开发人员可能不想使用Service提供的负载均衡功能,而希望自己来控制负载均衡策略,针对这种情况,kubernetes提供了HeadLiness Service,这类Service不会分配Cluster IP,如果想要访问service,只能通过service的域名进行查询。 + +创建service-headliness.yaml + +```yaml +apiVersion: v1 +kind: Service +metadata: + name: service-headliness + namespace: dev +spec: + selector: + app: nginx-pod + clusterIP: None # 将clusterIP设置为None,即可创建headliness Service + type: ClusterIP + ports: + - port: 80 + targetPort: 80 +``` + +```shell +# 创建service +[root@k8s-master01 ~]# kubectl create -f service-headliness.yaml +service/service-headliness created + +# 获取service, 发现CLUSTER-IP未分配 +[root@k8s-master01 ~]# kubectl get svc service-headliness -n dev -o wide +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR +service-headliness ClusterIP None 80/TCP 11s app=nginx-pod + +# 查看service详情 +[root@k8s-master01 ~]# kubectl describe svc service-headliness -n dev +Name: service-headliness +Namespace: dev +Labels: +Annotations: +Selector: app=nginx-pod +Type: ClusterIP +IP: None +Port: 80/TCP +TargetPort: 80/TCP +Endpoints: 10.244.1.39:80,10.244.1.40:80,10.244.2.33:80 +Session Affinity: None +Events: + +# 查看域名的解析情况 +[root@k8s-master01 ~]# kubectl exec -it pc-deployment-66cb59b984-8p84h -n dev /bin/sh +/ # cat /etc/resolv.conf +nameserver 10.96.0.10 +search dev.svc.cluster.local svc.cluster.local cluster.local + +[root@k8s-master01 ~]# dig @10.96.0.10 service-headliness.dev.svc.cluster.local +service-headliness.dev.svc.cluster.local. 30 IN A 10.244.1.40 +service-headliness.dev.svc.cluster.local. 30 IN A 10.244.1.39 +service-headliness.dev.svc.cluster.local. 30 IN A 10.244.2.33 +``` + +### 7.3.4 NodePort类型的Service + +在之前的样例中,创建的Service的ip地址只有集群内部才可以访问,如果希望将Service暴露给集群外部使用,那么就要使用到另外一种类型的Service,称为NodePort类型。NodePort的工作原理其实就是**将service的端口映射到Node的一个端口上**,然后就可以通过`NodeIp:NodePort`来访问service了。 + +![img](Kubenetes.assets/image-20200620175731338.png) + +创建service-nodeport.yaml + +```yaml +apiVersion: v1 +kind: Service +metadata: + name: service-nodeport + namespace: dev +spec: + selector: + app: nginx-pod + type: NodePort # service类型 + ports: + - port: 80 + nodePort: 30002 # 指定绑定的node的端口(默认的取值范围是:30000-32767), 如果不指定,会默认分配 + targetPort: 80 +``` + +```shell +# 创建service +[root@k8s-master01 ~]# kubectl create -f service-nodeport.yaml +service/service-nodeport created + +# 查看service +[root@k8s-master01 ~]# kubectl get svc -n dev -o wide +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) SELECTOR +service-nodeport NodePort 10.105.64.191 80:30002/TCP app=nginx-pod + +# 接下来可以通过电脑主机的浏览器去访问集群中任意一个nodeip的30002端口,即可访问到pod +``` + +### 7.3.5 LoadBalancer类型的Service + +LoadBalancer和NodePort很相似,目的都是向外部暴露一个端口,区别在于LoadBalancer会在集群的外部再来做一个负载均衡设备,而这个设备需要外部环境支持的,外部服务发送到这个设备上的请求,会被设备负载之后转发到集群中。 + +![img](Kubenetes.assets/image-20200510103945494.png) + +### 7.3.6 ExternalName类型的Service + +ExternalName类型的Service用于引入集群外部的服务,它通过`externalName`属性指定外部一个服务的地址,然后在集群内部访问此service就可以访问到外部的服务了。 + +![img](Kubenetes.assets/image-20200510113311209.png) + +```shell +apiVersion: v1 +kind: Service +metadata: + name: service-externalname + namespace: dev +spec: + type: ExternalName # service类型 + externalName: www.baidu.com #改成ip地址也可以 +``` + +```shell +# 创建service +[root@k8s-master01 ~]# kubectl create -f service-externalname.yaml +service/service-externalname created + +# 域名解析 +[root@k8s-master01 ~]# dig @10.96.0.10 service-externalname.dev.svc.cluster.local +service-externalname.dev.svc.cluster.local. 30 IN CNAME www.baidu.com. +www.baidu.com. 30 IN CNAME www.a.shifen.com. +www.a.shifen.com. 30 IN A 39.156.66.18 +www.a.shifen.com. 30 IN A 39.156.66.14 +``` + +## 7.4 Ingress介绍 + +在前面课程中已经提到,Service对集群之外暴露服务的主要方式有两种:NotePort和LoadBalancer,但是这两种方式,都有一定的缺点: + +- NodePort方式的缺点是会占用很多集群机器的端口,那么当集群服务变多的时候,这个缺点就愈发明显 +- LB方式的缺点是每个service需要一个LB,浪费、麻烦,并且需要kubernetes之外设备的支持 + +基于这种现状,kubernetes提供了Ingress资源对象,Ingress只需要一个NodePort或者一个LB就可以满足暴露多个Service的需求。工作机制大致如下图表示: + +![img](Kubenetes.assets/image-20200623092808049.png) + +实际上,Ingress相当于一个7层的负载均衡器,是kubernetes对反向代理的一个抽象,它的工作原理类似于Nginx,可以理解成在**Ingress里建立诸多映射规则,Ingress Controller通过监听这些配置规则并转化成Nginx的反向代理配置 , 然后对外部提供服务**。在这里有两个核心概念: + +- ingress:kubernetes中的一个对象,作用是定义请求如何转发到service的规则 +- ingress controller:具体实现反向代理及负载均衡的程序,对ingress定义的规则进行解析,根据配置的规则来实现请求转发,实现方式有很多,比如Nginx, Contour, Haproxy等等 + +Ingress(以Nginx为例)的工作原理如下: + +1. 用户编写Ingress规则,说明哪个域名对应kubernetes集群中的哪个Service +2. Ingress控制器动态感知Ingress服务规则的变化,然后生成一段对应的Nginx反向代理配置 +3. Ingress控制器会将生成的Nginx配置写入到一个运行着的Nginx服务中,并动态更新 +4. 到此为止,其实真正在工作的就是一个Nginx了,内部配置了用户定义的请求转发规则 + +![img](Kubenetes.assets/image-20200516112704764.png) + +## 7.5 Ingress使用 + +### 7.5.1 环境准备 + +**搭建ingress环境** + +``` +# 创建文件夹 +[root@k8s-master01 ~]# mkdir ingress-controller +[root@k8s-master01 ~]# cd ingress-controller/ + +# 获取ingress-nginx,本次案例使用的是0.30版本 +[root@k8s-master01 ingress-controller]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml +[root@k8s-master01 ingress-controller]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml + +# 修改mandatory.yaml文件中的仓库 +# 修改quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 +# 为quay-mirror.qiniu.com/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 +# 创建ingress-nginx +[root@k8s-master01 ingress-controller]# kubectl apply -f ./ + +# 查看ingress-nginx +[root@k8s-master01 ingress-controller]# kubectl get pod -n ingress-nginx +NAME READY STATUS RESTARTS AGE +pod/nginx-ingress-controller-fbf967dd5-4qpbp 1/1 Running 0 12h + +# 查看service +[root@k8s-master01 ingress-controller]# kubectl get svc -n ingress-nginx +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +ingress-nginx NodePort 10.98.75.163 80:32240/TCP,443:31335/TCP 11h +``` + +**准备service和pod** + +为了后面的实验比较方便,创建如下图所示的模型 + +![img](Kubenetes.assets/image-20200516102419998.png) + +创建tomcat-nginx.yaml + +```yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: nginx-deployment + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + app: nginx-pod + template: + metadata: + labels: + app: nginx-pod + spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 + +--- + +apiVersion: apps/v1 +kind: Deployment +metadata: + name: tomcat-deployment + namespace: dev +spec: + replicas: 3 + selector: + matchLabels: + app: tomcat-pod + template: + metadata: + labels: + app: tomcat-pod + spec: + containers: + - name: tomcat + image: tomcat:8.5-jre10-slim + ports: + - containerPort: 8080 + +--- + +apiVersion: v1 +kind: Service +metadata: + name: nginx-service + namespace: dev +spec: + selector: + app: nginx-pod + clusterIP: None + type: ClusterIP + ports: + - port: 80 + targetPort: 80 + +--- + +apiVersion: v1 +kind: Service +metadata: + name: tomcat-service + namespace: dev +spec: + selector: + app: tomcat-pod + clusterIP: None + type: ClusterIP + ports: + - port: 8080 + targetPort: 8080 +``` + +```shell +# 创建 +[root@k8s-master01 ~]# kubectl create -f tomcat-nginx.yaml + +# 查看 +[root@k8s-master01 ~]# kubectl get svc -n dev +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +nginx-service ClusterIP None 80/TCP 48s +tomcat-service ClusterIP None 8080/TCP 48s +``` + +### 7.5.2 Http代理 + +创建ingress-http.yaml + +```yaml +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + name: ingress-http + namespace: dev +spec: + rules: + - host: nginx.itheima.com + http: + paths: + - path: / + backend: + serviceName: nginx-service + servicePort: 80 + - host: tomcat.itheima.com + http: + paths: + - path: / + backend: + serviceName: tomcat-service + servicePort: 8080 +``` + +```shell +# 创建 +[root@k8s-master01 ~]# kubectl create -f ingress-http.yaml +ingress.extensions/ingress-http created + +# 查看 +[root@k8s-master01 ~]# kubectl get ing ingress-http -n dev +NAME HOSTS ADDRESS PORTS AGE +ingress-http nginx.itheima.com,tomcat.itheima.com 80 22s + +# 查看详情 +[root@k8s-master01 ~]# kubectl describe ing ingress-http -n dev +... +Rules: +Host Path Backends +---- ---- -------- +nginx.itheima.com / nginx-service:80 (10.244.1.96:80,10.244.1.97:80,10.244.2.112:80) +tomcat.itheima.com / tomcat-service:8080(10.244.1.94:8080,10.244.1.95:8080,10.244.2.111:8080) +... + +# 接下来,在本地电脑上配置host文件,解析上面的两个域名到192.168.109.100(master)上 +# 然后,就可以分别访问tomcat.itheima.com:32240 和 nginx.itheima.com:32240 查看效果了 +``` + +### 7.5.3 Https代理 + +创建证书 + +```shell +# 生成证书 +openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=BJ/L=BJ/O=nginx/CN=itheima.com" + +# 创建密钥 +kubectl create secret tls tls-secret --key tls.key --cert tls.crt +``` + +创建ingress-https.yaml + +```yaml +apiVersion: extensions/v1beta1 +kind: Ingress +metadata: + name: ingress-https + namespace: dev +spec: + tls: + - hosts: + - nginx.itheima.com + - tomcat.itheima.com + secretName: tls-secret # 指定秘钥 + rules: + - host: nginx.itheima.com + http: + paths: + - path: / + backend: + serviceName: nginx-service + servicePort: 80 + - host: tomcat.itheima.com + http: + paths: + - path: / + backend: + serviceName: tomcat-service + servicePort: 8080 +``` + +```shell +# 创建 +[root@k8s-master01 ~]# kubectl create -f ingress-https.yaml +ingress.extensions/ingress-https created + +# 查看 +[root@k8s-master01 ~]# kubectl get ing ingress-https -n dev +NAME HOSTS ADDRESS PORTS AGE +ingress-https nginx.itheima.com,tomcat.itheima.com 10.104.184.38 80, 443 2m42s + +# 查看详情 +[root@k8s-master01 ~]# kubectl describe ing ingress-https -n dev +... +TLS: + tls-secret terminates nginx.itheima.com,tomcat.itheima.com +Rules: +Host Path Backends +---- ---- -------- +nginx.itheima.com / nginx-service:80 (10.244.1.97:80,10.244.1.98:80,10.244.2.119:80) +tomcat.itheima.com / tomcat-service:8080(10.244.1.99:8080,10.244.2.117:8080,10.244.2.120:8080) +... + +# 下面可以通过浏览器访问https://nginx.itheima.com:31335 和 https://tomcat.itheima.com:31335来查看了 +``` + +# 8. 数据存储 + +在前面已经提到,容器的生命周期可能很短,会被频繁地创建和销毁。那么容器在销毁时,保存在容器中的数据也会被清除。这种结果对用户来说,在某些情况下是不乐意看到的。为了持久化保存容器的数据,kubernetes引入了Volume的概念。 + +Volume是Pod中能够被多个容器访问的共享目录,它被定义在Pod上,然后被一个Pod里的多个容器挂载到具体的文件目录下,kubernetes通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。Volume的生命容器不与Pod中单个容器的生命周期相关,当容器终止或者重启时,Volume中的数据也不会丢失。 + +kubernetes的Volume支持多种类型,比较常见的有下面几个: + +- 简单存储:EmptyDir、HostPath、NFS +- 高级存储:PV、PVC +- 配置存储:ConfigMap、Secret + +CG: +- Dynamic Provisioning + - 创建PVC + - Kubernetes能根据用户提交的PVC找到StorageClass自动创建pv,storageclass是创建pv的模板 + - 运维人员只要创建有限的storageclass模板 + - 目的是减轻运维创建pv的工作量。 +- Local PV,高优先级应用,本地缓存。不可用宿主机上的目录,不可控。本地额外磁盘,一般“一个pv一块盘。 +- 插件FlexVolumn / CSI, 用于自定 + + +## 8.1 基本存储 + +### 8.1.1 EmptyDir + +EmptyDir是最基础的Volume类型,一个EmptyDir就是Host上的一个空目录。 + +EmptyDir是在Pod被分配到Node时创建的,它的初始内容为空,并且无须指定宿主机上对应的目录文件,因为kubernetes会自动分配一个目录,当Pod销毁时, EmptyDir中的数据也会被永久删除。 EmptyDir用途如下: + +- 临时空间,例如用于某些应用程序运行时所需的临时目录,且无须永久保留 +- 一个容器需要从另一个容器中获取数据的目录(多容器共享目录) + +接下来,通过一个容器之间文件共享的案例来使用一下EmptyDir。 + +在一个Pod中准备两个容器nginx和busybox,然后声明一个Volume分别挂在到两个容器的目录中,然后nginx容器负责向Volume中写日志,busybox中通过命令将日志内容读到控制台。 + +![img](Kubenetes.assets/image-20200413174713773.png) + +创建一个volume-emptydir.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: volume-emptydir + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 + volumeMounts: # 将logs-volume挂在到nginx容器中,对应的目录为 /var/log/nginx + - name: logs-volume + mountPath: /var/log/nginx + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","tail -f /logs/access.log"] # 初始命令,动态读取指定文件中内容 + volumeMounts: # 将logs-volume 挂在到busybox容器中,对应的目录为 /logs + - name: logs-volume + mountPath: /logs + volumes: # 声明volume, name为logs-volume,类型为emptyDir + - name: logs-volume + emptyDir: {} +``` + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f volume-emptydir.yaml +pod/volume-emptydir created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods volume-emptydir -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +volume-emptydir 2/2 Running 0 97s 10.42.2.9 node1 ...... + +# 通过podIp访问nginx +[root@k8s-master01 ~]# curl 10.42.2.9 +...... + +# 通过kubectl logs命令查看指定容器的标准输出 +[root@k8s-master01 ~]# kubectl logs -f volume-emptydir -n dev -c busybox +10.42.1.0 - - [27/Jun/2021:15:08:54 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-" +``` + +### 8.1.2 HostPath + +上节课提到,EmptyDir中数据不会被持久化,它会随着Pod的结束而销毁,如果想简单的将数据持久化到主机中,可以选择HostPath。 + +HostPath就是将Node主机中一个实际目录挂在到Pod中,以供容器使用,这样的设计就可以保证Pod销毁了,但是数据依据可以存在于Node主机上。 + +![img](Kubenetes.assets/image-20200413214031331.png) + +创建一个volume-hostpath.yaml: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: volume-hostpath + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 + volumeMounts: + - name: logs-volume + mountPath: /var/log/nginx + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","tail -f /logs/access.log"] + volumeMounts: + - name: logs-volume + mountPath: /logs + volumes: + - name: logs-volume + hostPath: + path: /root/logs + type: DirectoryOrCreate # 目录存在就使用,不存在就先创建后使用 +``` + +``` +关于type的值的一点说明: + DirectoryOrCreate 目录存在就使用,不存在就先创建后使用 + Directory 目录必须存在 + FileOrCreate 文件存在就使用,不存在就先创建后使用 + File 文件必须存在 + Socket unix套接字必须存在 + CharDevice 字符设备必须存在 + BlockDevice 块设备必须存在 +``` + +```shell +# 创建Pod +[root@k8s-master01 ~]# kubectl create -f volume-hostpath.yaml +pod/volume-hostpath created + +# 查看Pod +[root@k8s-master01 ~]# kubectl get pods volume-hostpath -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE ...... +pod-volume-hostpath 2/2 Running 0 16s 10.42.2.10 node1 ...... + +#访问nginx +[root@k8s-master01 ~]# curl 10.42.2.10 + +# 接下来就可以去host的/root/logs目录下查看存储的文件了 +### 注意: 下面的操作需要到Pod所在的节点运行(案例中是node1) +[root@node1 ~]# ls /root/logs/ +access.log error.log + +# 同样的道理,如果在此目录下创建一个文件,到容器中也是可以看到的 +``` + +### 8.1.3 NFS + +HostPath可以解决数据持久化的问题,但是一旦Node节点故障了,Pod如果转移到了别的节点,又会出现问题了,此时需要准备单独的网络存储系统,比较常用的用NFS、CIFS。 + +NFS是一个网络文件存储系统,可以搭建一台NFS服务器,然后将Pod中的存储直接连接到NFS系统上,这样的话,无论Pod在节点上怎么转移,只要Node跟NFS的对接没问题,数据就可以成功访问。 + +![img](Kubenetes.assets/image-20200413215133559.png) + +1)首先要准备nfs的服务器,这里为了简单,直接是master节点做nfs服务器 + +```shell +# 在nfs上安装nfs服务 +[root@nfs ~]# yum install nfs-utils -y + +# 准备一个共享目录 +[root@nfs ~]# mkdir /root/data/nfs -pv + +# 将共享目录以读写权限暴露给192.168.5.0/24网段中的所有主机 +[root@nfs ~]# vim /etc/exports +[root@nfs ~]# more /etc/exports +/root/data/nfs 192.168.5.0/24(rw,no_root_squash) + +# 启动nfs服务 +[root@nfs ~]# systemctl restart nfs +``` + +2)接下来,要在的每个node节点上都安装下nfs,这样的目的是为了node节点可以驱动nfs设备 + +```shell +# 在node上安装nfs服务,注意不需要启动 +[root@k8s-master01 ~]# yum install nfs-utils -y +``` + +3)接下来,就可以编写pod的配置文件了,创建volume-nfs.yaml + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: volume-nfs + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + ports: + - containerPort: 80 + volumeMounts: + - name: logs-volume + mountPath: /var/log/nginx + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","tail -f /logs/access.log"] + volumeMounts: + - name: logs-volume + mountPath: /logs + volumes: + - name: logs-volume + nfs: + server: 192.168.5.6 #nfs服务器地址 + path: /root/data/nfs #共享文件路径 +``` + +4)最后,运行下pod,观察结果 + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f volume-nfs.yaml +pod/volume-nfs created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods volume-nfs -n dev +NAME READY STATUS RESTARTS AGE +volume-nfs 2/2 Running 0 2m9s + +# 查看nfs服务器上的共享目录,发现已经有文件了 +[root@k8s-master01 ~]# ls /root/data/ +access.log error.log +``` + +## 8.2 高级存储 + +前面已经学习了使用NFS提供存储,此时就要求用户会搭建NFS系统,并且会在yaml配置nfs。由于kubernetes支持的存储系统有很多,要求客户全都掌握,显然不现实。为了能够屏蔽底层存储实现的细节,方便用户使用, kubernetes引入PV和PVC两种资源对象。 + +PV(Persistent Volume)是持久化卷的意思,是对底层的共享存储的一种抽象。一般情况下PV由kubernetes管理员进行创建和配置,它与底层具体的共享存储技术有关,并通过插件完成与共享存储的对接。 + +PVC(Persistent Volume Claim)是持久卷声明的意思,是用户对于存储需求的一种声明。换句话说,PVC其实就是用户向kubernetes系统发出的一种资源需求申请。 + +![img](Kubenetes.assets/image-20200514194111567.png) + +使用了PV和PVC之后,工作可以得到进一步的细分: + +- 存储:存储工程师维护 +- PV: kubernetes管理员维护 +- PVC:kubernetes用户维护 + +### 8.2.1 PV + +PV是存储资源的抽象,下面是资源清单文件: + +```yaml +apiVersion: v1 +kind: PersistentVolume +metadata: + name: pv2 +spec: + nfs: # 存储类型,与底层真正存储对应 + capacity: # 存储能力,目前只支持存储空间的设置 + storage: 2Gi + accessModes: # 访问模式 + storageClassName: # 存储类别 + persistentVolumeReclaimPolicy: # 回收策略 +``` + +PV 的关键配置参数说明: + +- **存储类型** + + 底层实际存储的类型,kubernetes支持多种存储类型,每种存储类型的配置都有所差异 + +- **存储能力(capacity)** + +目前只支持存储空间的设置( storage=1Gi ),不过未来可能会加入IOPS、吞吐量等指标的配置 + +- **访问模式(accessModes)** + + 用于描述用户应用对存储资源的访问权限,访问权限包括下面几种方式: + + - ReadWriteOnce(RWO):读写权限,但是只能被单个节点挂载 + - ReadOnlyMany(ROX): 只读权限,可以被多个节点挂载 + - ReadWriteMany(RWX):读写权限,可以被多个节点挂载 + + `需要注意的是,底层不同的存储类型可能支持的访问模式不同` + +- **回收策略(persistentVolumeReclaimPolicy)** + + 当PV不再被使用了之后,对其的处理方式。目前支持三种策略: + + - Retain (保留) 保留数据,需要管理员手工清理数据 + - Recycle(回收) 清除 PV 中的数据,效果相当于执行 rm -rf /thevolume/\* + - Delete (删除) 与 PV 相连的后端存储完成 volume 的删除操作,当然这常见于云服务商的存储服务 + + `需要注意的是,底层不同的存储类型可能支持的回收策略不同` + +- **存储类别** + + PV可以通过storageClassName参数指定一个存储类别 + + - 具有特定类别的PV只能与请求了该类别的PVC进行绑定 + - 未设定类别的PV则只能与不请求任何类别的PVC进行绑定 + +- **状态(status)** + + 一个 PV 的生命周期中,可能会处于4中不同的阶段: + + - Available(可用): 表示可用状态,还未被任何 PVC 绑定 + - Bound(已绑定): 表示 PV 已经被 PVC 绑定 + - Released(已释放): 表示 PVC 被删除,但是资源还未被集群重新声明 + - Failed(失败): 表示该 PV 的自动回收失败 + +**实验** + +使用NFS作为存储,来演示PV的使用,创建3个PV,对应NFS中的3个暴露的路径。 + +1) 准备NFS环境 + +```shell +# 创建目录 +[root@nfs ~]# mkdir /root/data/{pv1,pv2,pv3} -pv + +# 暴露服务 +[root@nfs ~]# more /etc/exports +/root/data/pv1 192.168.5.0/24(rw,no_root_squash) +/root/data/pv2 192.168.5.0/24(rw,no_root_squash) +/root/data/pv3 192.168.5.0/24(rw,no_root_squash) + +# 重启服务 +[root@nfs ~]# systemctl restart nfs +``` + +2) 创建pv.yaml + +```yaml +apiVersion: v1 +kind: PersistentVolume +metadata: + name: pv1 +spec: + capacity: + storage: 1Gi + accessModes: + - ReadWriteMany + persistentVolumeReclaimPolicy: Retain + nfs: + path: /root/data/pv1 + server: 192.168.5.6 + +--- + +apiVersion: v1 +kind: PersistentVolume +metadata: + name: pv2 +spec: + capacity: + storage: 2Gi + accessModes: + - ReadWriteMany + persistentVolumeReclaimPolicy: Retain + nfs: + path: /root/data/pv2 + server: 192.168.5.6 + +--- + +apiVersion: v1 +kind: PersistentVolume +metadata: + name: pv3 +spec: + capacity: + storage: 3Gi + accessModes: + - ReadWriteMany + persistentVolumeReclaimPolicy: Retain + nfs: + path: /root/data/pv3 + server: 192.168.5.6 +``` + +```shell +# 创建 pv +[root@k8s-master01 ~]# kubectl create -f pv.yaml +persistentvolume/pv1 created +persistentvolume/pv2 created +persistentvolume/pv3 created + +# 查看pv +[root@k8s-master01 ~]# kubectl get pv -o wide +NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS AGE VOLUMEMODE +pv1 1Gi RWX Retain Available 10s Filesystem +pv2 2Gi RWX Retain Available 10s Filesystem +pv3 3Gi RWX Retain Available 9s Filesystem +``` + +### 8.2.2 PVC + +PVC是资源的申请,用来声明对存储空间、访问模式、存储类别需求信息。下面是资源清单文件: + +```yaml +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: pvc + namespace: dev +spec: + accessModes: # 访问模式 + selector: # 采用标签对PV选择 + storageClassName: # 存储类别 + resources: # 请求空间 + requests: + storage: 5Gi +``` + +PVC 的关键配置参数说明: + +- **访问模式(accessModes)** + +用于描述用户应用对存储资源的访问权限 + +- **选择条件(selector)** + + 通过Label Selector的设置,可使PVC对于系统中己存在的PV进行筛选 + +- **存储类别(storageClassName)** + + PVC在定义时可以设定需要的后端存储的类别,只有设置了该class的pv才能被系统选出 + +- **资源请求(Resources )** + + 描述对存储资源的请求 + +**实验** + +1) 创建pvc.yaml,申请pv + +```yaml +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: pvc1 + namespace: dev +spec: + accessModes: + - ReadWriteMany + resources: + requests: + storage: 1Gi +--- +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: pvc2 + namespace: dev +spec: + accessModes: + - ReadWriteMany + resources: + requests: + storage: 1Gi +--- +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: pvc3 + namespace: dev +spec: + accessModes: + - ReadWriteMany + resources: + requests: + storage: 1Gi +``` + +```shell +# 创建pvc +[root@k8s-master01 ~]# kubectl create -f pvc.yaml +persistentvolumeclaim/pvc1 created +persistentvolumeclaim/pvc2 created +persistentvolumeclaim/pvc3 created + +# 查看pvc +[root@k8s-master01 ~]# kubectl get pvc -n dev -o wide +NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE +pvc1 Bound pv1 1Gi RWX 15s Filesystem +pvc2 Bound pv2 2Gi RWX 15s Filesystem +pvc3 Bound pv3 3Gi RWX 15s Filesystem + +# 查看pv +[root@k8s-master01 ~]# kubectl get pv -o wide +NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM AGE VOLUMEMODE +pv1 1Gi RWx Retain Bound dev/pvc1 3h37m Filesystem +pv2 2Gi RWX Retain Bound dev/pvc2 3h37m Filesystem +pv3 3Gi RWX Retain Bound dev/pvc3 3h37m Filesystem +``` + +2) 创建pods.yaml, 使用pv + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod1 + namespace: dev +spec: + containers: + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","while true;do echo pod1 >> /root/out.txt; sleep 10; done;"] + volumeMounts: + - name: volume + mountPath: /root/ + volumes: + - name: volume + persistentVolumeClaim: + claimName: pvc1 + readOnly: false +--- +apiVersion: v1 +kind: Pod +metadata: + name: pod2 + namespace: dev +spec: + containers: + - name: busybox + image: busybox:1.30 + command: ["/bin/sh","-c","while true;do echo pod2 >> /root/out.txt; sleep 10; done;"] + volumeMounts: + - name: volume + mountPath: /root/ + volumes: + - name: volume + persistentVolumeClaim: + claimName: pvc2 + readOnly: false +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pods.yaml +pod/pod1 created +pod/pod2 created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pods -n dev -o wide +NAME READY STATUS RESTARTS AGE IP NODE +pod1 1/1 Running 0 14s 10.244.1.69 node1 +pod2 1/1 Running 0 14s 10.244.1.70 node1 + +# 查看pvc +[root@k8s-master01 ~]# kubectl get pvc -n dev -o wide +NAME STATUS VOLUME CAPACITY ACCESS MODES AGE VOLUMEMODE +pvc1 Bound pv1 1Gi RWX 94m Filesystem +pvc2 Bound pv2 2Gi RWX 94m Filesystem +pvc3 Bound pv3 3Gi RWX 94m Filesystem + +# 查看pv +[root@k8s-master01 ~]# kubectl get pv -n dev -o wide +NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM AGE VOLUMEMODE +pv1 1Gi RWX Retain Bound dev/pvc1 5h11m Filesystem +pv2 2Gi RWX Retain Bound dev/pvc2 5h11m Filesystem +pv3 3Gi RWX Retain Bound dev/pvc3 5h11m Filesystem + +# 查看nfs中的文件存储 +[root@nfs ~]# more /root/data/pv1/out.txt +node1 +node1 +[root@nfs ~]# more /root/data/pv2/out.txt +node2 +node2 +``` + +### 8.2.3 生命周期 + +PVC和PV是一一对应的,PV和PVC之间的相互作用遵循以下生命周期: + +- **资源供应**:管理员手动创建底层存储和PV + +- **资源绑定**:用户创建PVC,kubernetes负责根据PVC的声明去寻找PV,并绑定 + + 在用户定义好PVC之后,系统将根据PVC对存储资源的请求在已存在的PV中选择一个满足条件的 + + - 一旦找到,就将该PV与用户定义的PVC进行绑定,用户的应用就可以使用这个PVC了 + - 如果找不到,PVC则会无限期处于Pending状态,直到等到系统管理员创建了一个符合其要求的PV + + PV一旦绑定到某个PVC上,就会被这个PVC独占,不能再与其他PVC进行绑定了 + +- **资源使用**:用户可在pod中像volume一样使用pvc + + Pod使用Volume的定义,将PVC挂载到容器内的某个路径进行使用。 + +- **资源释放**:用户删除pvc来释放pv + + 当存储资源使用完毕后,用户可以删除PVC,与该PVC绑定的PV将会被标记为“已释放”,但还不能立刻与其他PVC进行绑定。通过之前PVC写入的数据可能还被留在存储设备上,只有在清除之后该PV才能再次使用。 + +- **资源回收**:kubernetes根据pv设置的回收策略进行资源的回收 + + 对于PV,管理员可以设定回收策略,用于设置与之绑定的PVC释放资源之后如何处理遗留数据的问题。只有PV的存储空间完成回收,才能供新的PVC绑定和使用 + +![img](Kubenetes.assets/image-20200515002806726.png) + +## 8.3 配置存储 + +### 8.3.1 ConfigMap + +ConfigMap是一种比较特殊的存储卷,它的主要作用是用来存储配置信息的。 + +创建configmap.yaml,内容如下: + +```yaml +apiVersion: v1 +kind: ConfigMap +metadata: + name: configmap + namespace: dev +data: + info: | + username:admin + password:123456 +``` + +接下来,使用此配置文件创建configmap + +```shell +# 创建configmap +[root@k8s-master01 ~]# kubectl create -f configmap.yaml +configmap/configmap created + +# 查看configmap详情 +[root@k8s-master01 ~]# kubectl describe cm configmap -n dev +Name: configmap +Namespace: dev +Labels: +Annotations: + +Data +==== +info: +---- +username:admin +password:123456 + +Events: +``` + +接下来创建一个pod-configmap.yaml,将上面创建的configmap挂载进去 + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-configmap + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + volumeMounts: # 将configmap挂载到目录 + - name: config + mountPath: /configmap/config + volumes: # 引用configmap + - name: config + configMap: + name: configmap +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-configmap.yaml +pod/pod-configmap created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pod pod-configmap -n dev +NAME READY STATUS RESTARTS AGE +pod-configmap 1/1 Running 0 6s + +#进入容器 +[root@k8s-master01 ~]# kubectl exec -it pod-configmap -n dev /bin/sh +# cd /configmap/config/ +# ls +info +# more info +username:admin +password:123456 + +# 可以看到映射已经成功,每个configmap都映射成了一个目录 +# key--->文件 value---->文件中的内容 +# 此时如果更新configmap的内容, 容器中的值也会动态更新 +``` + +### 8.3.2 Secret + +在kubernetes中,还存在一种和ConfigMap非常类似的对象,称为Secret对象。它主要用于存储敏感信息,例如密码、秘钥、证书等等。 + +1) 首先使用base64对数据进行编码 + +```shell +[root@k8s-master01 ~]# echo -n 'admin' | base64 #准备username +YWRtaW4= +[root@k8s-master01 ~]# echo -n '123456' | base64 #准备password +MTIzNDU2 +``` + +2) 接下来编写secret.yaml,并创建Secret + +```yaml +apiVersion: v1 +kind: Secret +metadata: + name: secret + namespace: dev +type: Opaque +data: + username: YWRtaW4= + password: MTIzNDU2 +``` + +```shell +# 创建secret +[root@k8s-master01 ~]# kubectl create -f secret.yaml +secret/secret created + +# 查看secret详情 +[root@k8s-master01 ~]# kubectl describe secret secret -n dev +Name: secret +Namespace: dev +Labels: +Annotations: +Type: Opaque +Data +==== +password: 6 bytes +username: 5 bytes +``` + +3) 创建pod-secret.yaml,将上面创建的secret挂载进去: + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: pod-secret + namespace: dev +spec: + containers: + - name: nginx + image: nginx:1.17.1 + volumeMounts: # 将secret挂载到目录 + - name: config + mountPath: /secret/config + volumes: + - name: config + secret: + secretName: secret +``` + +```shell +# 创建pod +[root@k8s-master01 ~]# kubectl create -f pod-secret.yaml +pod/pod-secret created + +# 查看pod +[root@k8s-master01 ~]# kubectl get pod pod-secret -n dev +NAME READY STATUS RESTARTS AGE +pod-secret 1/1 Running 0 2m28s + +# 进入容器,查看secret信息,发现已经自动解码了 +[root@k8s-master01 ~]# kubectl exec -it pod-secret /bin/sh -n dev +/ # ls /secret/config/ +password username +/ # more /secret/config/username +admin +/ # more /secret/config/password +123456 +``` + +至此,已经实现了利用secret实现了信息的编码。 + +# 9. 安全认证 + +## 9.1 访问控制概述 + +Kubernetes作为一个分布式集群的管理工具,保证集群的安全性是其一个重要的任务。所谓的安全性其实就是保证对Kubernetes的各种**客户端**进行**认证和鉴权**操作。 + +**客户端** + +在Kubernetes集群中,客户端通常有两类: + +- **User Account**:一般是独立于kubernetes之外的其他服务管理的用户账号。 +- **Service Account**:kubernetes管理的账号,用于为Pod中的服务进程在访问Kubernetes时提供身份标识。 + +![img](Kubenetes.assets/image-20200520102949189.png) + +**认证、授权与准入控制** + +ApiServer是访问及管理资源对象的唯一入口。任何一个请求访问ApiServer,都要经过下面三个流程: + +- Authentication(认证):身份鉴别,只有正确的账号才能够通过认证 +- Authorization(授权): 判断用户是否有权限对访问的资源执行特定的动作 +- Admission Control(准入控制):用于补充授权机制以实现更加精细的访问控制功能。 + +![img](Kubenetes.assets/image-20200520103942580.png) + +## 9.2 认证管理 + +Kubernetes集群安全的最关键点在于如何识别并认证客户端身份,它提供了3种客户端身份认证方式: + +- HTTP Base认证:通过用户名+密码的方式认证 + + ``` + 这种认证方式是把“用户名:密码”用BASE64算法进行编码后的字符串放在HTTP请求中的Header Authorization域里发送给服务端。服务端收到后进行解码,获取用户名及密码,然后进行用户身份认证的过程。 + ``` + +- HTTP Token认证:通过一个Token来识别合法用户 + + ``` + 这种认证方式是用一个很长的难以被模仿的字符串--Token来表明客户身份的一种方式。每个Token对应一个用户名,当客户端发起API调用请求时,需要在HTTP Header里放入Token,API Server接到Token后会跟服务器中保存的token进行比对,然后进行用户身份认证的过程。 + ``` + +- HTTPS证书认证:基于CA根证书签名的双向数字证书认证方式 + + ``` + 这种认证方式是安全性最高的一种方式,但是同时也是操作起来最麻烦的一种方式。 + ``` + +![img](Kubenetes.assets/image-20200518211037434.png) + +**HTTPS认证大体分为3个过程:** + +1. 证书申请和下发 + + ``` + HTTPS通信双方的服务器向CA机构申请证书,CA机构下发根证书、服务端证书及私钥给申请者 + ``` + +2. 客户端和服务端的双向认证 + + ``` + 1> 客户端向服务器端发起请求,服务端下发自己的证书给客户端, + 客户端接收到证书后,通过私钥解密证书,在证书中获得服务端的公钥, + 客户端利用服务器端的公钥认证证书中的信息,如果一致,则认可这个服务器 + 2> 客户端发送自己的证书给服务器端,服务端接收到证书后,通过私钥解密证书, + 在证书中获得客户端的公钥,并用该公钥认证证书信息,确认客户端是否合法 + ``` + +3. 服务器端和客户端进行通信 + + ``` + 服务器端和客户端协商好加密方案后,客户端会产生一个随机的秘钥并加密,然后发送到服务器端。 + 服务器端接收这个秘钥后,双方接下来通信的所有内容都通过该随机秘钥加密 + ``` + +> 注意: Kubernetes允许同时配置多种认证方式,只要其中任意一个方式认证通过即可 + +## 9.3 授权管理 + +授权发生在认证成功之后,通过认证就可以知道请求用户是谁, 然后Kubernetes会根据事先定义的授权策略来决定用户是否有权限访问,这个过程就称为授权。 + +每个发送到ApiServer的请求都带上了用户和资源的信息:比如发送请求的用户、请求的路径、请求的动作等,授权就是根据这些信息和授权策略进行比较,如果符合策略,则认为授权通过,否则会返回错误。 + +API Server目前支持以下几种授权策略: + +- AlwaysDeny:表示拒绝所有请求,一般用于测试 +- AlwaysAllow:允许接收所有请求,相当于集群不需要授权流程(Kubernetes默认的策略) +- ABAC:基于属性的访问控制,表示使用用户配置的授权规则对用户请求进行匹配和控制 +- Webhook:通过调用外部REST服务对用户进行授权 +- Node:是一种专用模式,用于对kubelet发出的请求进行访问控制 +- RBAC:基于角色的访问控制(kubeadm安装方式下的默认选项) + +RBAC(Role-Based Access Control) 基于角色的访问控制,主要是在描述一件事情:**给哪些对象授予了哪些权限** + +其中涉及到了下面几个概念: + +- 对象:User、Groups、ServiceAccount +- 角色:代表着一组定义在资源上的可操作动作(权限)的集合 +- 绑定:将定义好的角色跟用户绑定在一起 + +![img](Kubenetes.assets/image-20200519181209566.png) + +RBAC引入了4个顶级资源对象: + +- Role、ClusterRole:角色,用于指定一组权限 +- RoleBinding、ClusterRoleBinding:角色绑定,用于将角色(权限)赋予给对象 + +**Role、ClusterRole** + +一个角色就是一组权限的集合,这里的权限都是许可形式的(白名单)。 + +```yaml +# Role只能对命名空间内的资源进行授权,需要指定nameapce +kind: Role +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + namespace: dev + name: authorization-role +rules: +- apiGroups: [""] # 支持的API组列表,"" 空字符串,表示核心API群 + resources: ["pods"] # 支持的资源对象列表 + verbs: ["get", "watch", "list"] # 允许的对资源对象的操作方法列表 +``` + +```yaml +# ClusterRole可以对集群范围内资源、跨namespaces的范围资源、非资源类型进行授权 +kind: ClusterRole +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + name: authorization-clusterrole +rules: +- apiGroups: [""] + resources: ["pods"] + verbs: ["get", "watch", "list"] +``` + +需要详细说明的是,rules中的参数: + +- apiGroups: 支持的API组列表 + + ``` + "","apps", "autoscaling", "batch" + ``` + +- resources:支持的资源对象列表 + + ``` + "services", "endpoints", "pods","secrets","configmaps","crontabs","deployments","jobs", + "nodes","rolebindings","clusterroles","daemonsets","replicasets","statefulsets", + "horizontalpodautoscalers","replicationcontrollers","cronjobs" + ``` + +- verbs:对资源对象的操作方法列表 + + ``` + "get", "list", "watch", "create", "update", "patch", "delete", "exec" + ``` + +**RoleBinding、ClusterRoleBinding** + +角色绑定用来把一个角色绑定到一个目标对象上,绑定目标可以是User、Group或者ServiceAccount。 + +```yaml +# RoleBinding可以将同一namespace中的subject绑定到某个Role下,则此subject即具有该Role定义的权限 +kind: RoleBinding +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + name: authorization-role-binding + namespace: dev +subjects: +- kind: User + name: heima + apiGroup: rbac.authorization.k8s.io +roleRef: + kind: Role + name: authorization-role + apiGroup: rbac.authorization.k8s.io +``` + +```yaml +# ClusterRoleBinding在整个集群级别和所有namespaces将特定的subject与ClusterRole绑定,授予权限 +kind: ClusterRoleBinding +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + name: authorization-clusterrole-binding +subjects: +- kind: User + name: heima + apiGroup: rbac.authorization.k8s.io +roleRef: + kind: ClusterRole + name: authorization-clusterrole + apiGroup: rbac.authorization.k8s.io +``` + +**RoleBinding引用ClusterRole进行授权** + +RoleBinding可以引用ClusterRole,对属于同一命名空间内ClusterRole定义的资源主体进行授权。 + +``` + 一种很常用的做法就是,集群管理员为集群范围预定义好一组角色(ClusterRole),然后在多个命名空间中重复使用这些ClusterRole。这样可以大幅提高授权管理工作效率,也使得各个命名空间下的基础性授权规则与使用体验保持一致。 +``` + +```yaml +# 虽然authorization-clusterrole是一个集群角色,但是因为使用了RoleBinding +# 所以heima只能读取dev命名空间中的资源 +kind: RoleBinding +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + name: authorization-role-binding-ns + namespace: dev +subjects: +- kind: User + name: heima + apiGroup: rbac.authorization.k8s.io +roleRef: + kind: ClusterRole + name: authorization-clusterrole + apiGroup: rbac.authorization.k8s.io +``` + +**实战:创建一个只能管理dev空间下Pods资源的账号** + +1) 创建账号 + +```shell +# 1) 创建证书 +[root@k8s-master01 pki]# cd /etc/kubernetes/pki/ +[root@k8s-master01 pki]# (umask 077;openssl genrsa -out devman.key 2048) + +# 2) 用apiserver的证书去签署 +# 2-1) 签名申请,申请的用户是devman,组是devgroup +[root@k8s-master01 pki]# openssl req -new -key devman.key -out devman.csr -subj "/CN=devman/O=devgroup" +# 2-2) 签署证书 +[root@k8s-master01 pki]# openssl x509 -req -in devman.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out devman.crt -days 3650 + +# 3) 设置集群、用户、上下文信息 +[root@k8s-master01 pki]# kubectl config set-cluster kubernetes --embed-certs=true --certificate-authority=/etc/kubernetes/pki/ca.crt --server=https://192.168.109.100:6443 + +[root@k8s-master01 pki]# kubectl config set-credentials devman --embed-certs=true --client-certificate=/etc/kubernetes/pki/devman.crt --client-key=/etc/kubernetes/pki/devman.key + +[root@k8s-master01 pki]# kubectl config set-context devman@kubernetes --cluster=kubernetes --user=devman + +# 切换账户到devman +[root@k8s-master01 pki]# kubectl config use-context devman@kubernetes +Switched to context "devman@kubernetes". + +# 查看dev下pod,发现没有权限 +[root@k8s-master01 pki]# kubectl get pods -n dev +Error from server (Forbidden): pods is forbidden: User "devman" cannot list resource "pods" in API group "" in the namespace "dev" + +# 切换到admin账户 +[root@k8s-master01 pki]# kubectl config use-context kubernetes-admin@kubernetes +Switched to context "kubernetes-admin@kubernetes". +``` + +2) 创建Role和RoleBinding,为devman用户授权 + +```yaml +kind: Role +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + namespace: dev + name: dev-role +rules: +- apiGroups: [""] + resources: ["pods"] + verbs: ["get", "watch", "list"] + +--- + +kind: RoleBinding +apiVersion: rbac.authorization.k8s.io/v1beta1 +metadata: + name: authorization-role-binding + namespace: dev +subjects: +- kind: User + name: devman + apiGroup: rbac.authorization.k8s.io +roleRef: + kind: Role + name: dev-role + apiGroup: rbac.authorization.k8s.io +``` + +```shell +[root@k8s-master01 pki]# kubectl create -f dev-role.yaml +role.rbac.authorization.k8s.io/dev-role created +rolebinding.rbac.authorization.k8s.io/authorization-role-binding created +``` + +3) 切换账户,再次验证 + +```shell +# 切换账户到devman +[root@k8s-master01 pki]# kubectl config use-context devman@kubernetes +Switched to context "devman@kubernetes". + +# 再次查看 +[root@k8s-master01 pki]# kubectl get pods -n dev +NAME READY STATUS RESTARTS AGE +nginx-deployment-66cb59b984-8wp2k 1/1 Running 0 4d1h +nginx-deployment-66cb59b984-dc46j 1/1 Running 0 4d1h +nginx-deployment-66cb59b984-thfck 1/1 Running 0 4d1h + +# 为了不影响后面的学习,切回admin账户 +[root@k8s-master01 pki]# kubectl config use-context kubernetes-admin@kubernetes +Switched to context "kubernetes-admin@kubernetes". +``` + +## 9.4 准入控制 + +通过了前面的认证和授权之后,还需要经过准入控制处理通过之后,apiserver才会处理这个请求。 + +准入控制是一个可配置的控制器列表,可以通过在Api-Server上通过命令行设置选择执行哪些准入控制器: + +``` +--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel, + DefaultStorageClass,ResourceQuota,DefaultTolerationSeconds +``` + +只有当所有的准入控制器都检查通过之后,apiserver才执行该请求,否则返回拒绝。 + +当前可配置的Admission Control准入控制如下: + +- AlwaysAdmit:允许所有请求 +- AlwaysDeny:禁止所有请求,一般用于测试 +- AlwaysPullImages:在启动容器之前总去下载镜像 +- DenyExecOnPrivileged:它会拦截所有想在Privileged Container上执行命令的请求 +- ImagePolicyWebhook:这个插件将允许后端的一个Webhook程序来完成admission controller的功能。 +- Service Account:实现ServiceAccount实现了自动化 +- SecurityContextDeny:这个插件将使用SecurityContext的Pod中的定义全部失效 +- ResourceQuota:用于资源配额管理目的,观察所有请求,确保在namespace上的配额不会超标 +- LimitRanger:用于资源限制管理,作用于namespace上,确保对Pod进行资源限制 +- InitialResources:为未设置资源请求与限制的Pod,根据其镜像的历史资源的使用情况进行设置 +- NamespaceLifecycle:如果尝试在一个不存在的namespace中创建资源对象,则该创建请求将被拒绝。当删除一个namespace时,系统将会删除该namespace中所有对象。 +- DefaultStorageClass:为了实现共享存储的动态供应,为未指定StorageClass或PV的PVC尝试匹配默认的StorageClass,尽可能减少用户在申请PVC时所需了解的后端存储细节 +- DefaultTolerationSeconds:这个插件为那些没有设置forgiveness tolerations并具有notready:NoExecute和unreachable:NoExecute两种taints的Pod设置默认的“容忍”时间,为5min +- PodSecurityPolicy:这个插件用于在创建或修改Pod时决定是否根据Pod的security context和可用的PodSecurityPolicy对Pod的安全策略进行控制 + + + +# 10. DashBoard + +之前在kubernetes中完成的所有操作都是通过命令行工具kubectl完成的。其实,为了提供更丰富的用户体验,kubernetes还开发了一个基于web的用户界面(Dashboard)。用户可以使用Dashboard部署容器化的应用,还可以监控应用的状态,执行故障排查以及管理kubernetes中各种资源。 + +## 10.1 部署Dashboard + +1) 下载yaml,并运行Dashboard + +```shell +# 下载yaml +[root@k8s-master01 ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml + +# 修改kubernetes-dashboard的Service类型 +kind: Service +apiVersion: v1 +metadata: + labels: + k8s-app: kubernetes-dashboard + name: kubernetes-dashboard + namespace: kubernetes-dashboard +spec: + type: NodePort # 新增 + ports: + - port: 443 + targetPort: 8443 + nodePort: 30009 # 新增 + selector: + k8s-app: kubernetes-dashboard + +# 部署 +[root@k8s-master01 ~]# kubectl create -f recommended.yaml + +# 查看namespace下的kubernetes-dashboard下的资源 +[root@k8s-master01 ~]# kubectl get pod,svc -n kubernetes-dashboard +NAME READY STATUS RESTARTS AGE +pod/dashboard-metrics-scraper-c79c65bb7-zwfvw 1/1 Running 0 111s +pod/kubernetes-dashboard-56484d4c5-z95z5 1/1 Running 0 111s + +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +service/dashboard-metrics-scraper ClusterIP 10.96.89.218 8000/TCP 111s +service/kubernetes-dashboard NodePort 10.104.178.171 443:30009/TCP 111s +``` + +2)创建访问账户,获取token + +```shell +# 创建账号 +[root@k8s-master01-1 ~]# kubectl create serviceaccount dashboard-admin -n kubernetes-dashboard + +# 授权 +[root@k8s-master01-1 ~]# kubectl create clusterrolebinding dashboard-admin-rb --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:dashboard-admin + +# 获取账号token +[root@k8s-master01 ~]# kubectl get secrets -n kubernetes-dashboard | grep dashboard-admin +dashboard-admin-token-xbqhh kubernetes.io/service-account-token 3 2m35s + +[root@k8s-master01 ~]# kubectl describe secrets dashboard-admin-token-xbqhh -n kubernetes-dashboard +Name: dashboard-admin-token-xbqhh +Namespace: kubernetes-dashboard +Labels: +Annotations: kubernetes.io/service-account.name: dashboard-admin + kubernetes.io/service-account.uid: 95d84d80-be7a-4d10-a2e0-68f90222d039 + +Type: kubernetes.io/service-account-token + +Data +==== +namespace: 20 bytes +token: eyJhbGciOiJSUzI1NiIsImtpZCI6ImJrYkF4bW5XcDhWcmNGUGJtek5NODFuSXl1aWptMmU2M3o4LTY5a2FKS2cifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4teGJxaGgiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiOTVkODRkODAtYmU3YS00ZDEwLWEyZTAtNjhmOTAyMjJkMDM5Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmVybmV0ZXMtZGFzaGJvYXJkOmRhc2hib2FyZC1hZG1pbiJ9.NAl7e8ZfWWdDoPxkqzJzTB46sK9E8iuJYnUI9vnBaY3Jts7T1g1msjsBnbxzQSYgAG--cV0WYxjndzJY_UWCwaGPrQrt_GunxmOK9AUnzURqm55GR2RXIZtjsWVP2EBatsDgHRmuUbQvTFOvdJB4x3nXcYLN2opAaMqg3rnU2rr-A8zCrIuX_eca12wIp_QiuP3SF-tzpdLpsyRfegTJZl6YnSGyaVkC9id-cxZRb307qdCfXPfCHR_2rt5FVfxARgg_C0e3eFHaaYQO7CitxsnIoIXpOFNAR8aUrmopJyODQIPqBWUehb7FhlU1DCduHnIIXVC_UICZ-MKYewBDLw +ca.crt: 1025 bytes +``` + +3)通过浏览器访问Dashboard的UI + +在登录页面上输入上面的token + +![image-20200520144548997](Kubenetes.assets/image-20200520144548997.png) + +出现下面的页面代表成功 + +![image-20200520144959353](Kubenetes.assets/image-20200520144959353.png) + +## 10.2 使用DashBoard + +本章节以Deployment为例演示DashBoard的使用 + +**查看** + +选择指定的命名空间`dev`,然后点击`Deployments`,查看dev空间下的所有deployment + +![img](Kubenetes.assets/image-20200520154628679.png) + +**扩缩容** + +在`Deployment`上点击`规模`,然后指定`目标副本数量`,点击确定 + +![img](Kubenetes.assets/image-20200520162605102.png) + +**编辑** + +在`Deployment`上点击`编辑`,然后修改`yaml文件`,点击确定 + +![image-20200520163253644](Kubenetes.assets/image-20200520163253644.png) + +**查看Pod** + +点击`Pods`, 查看pods列表 + +![img](Kubenetes.assets/image-20200520163552110.png) + +**操作Pod** + +选中某个Pod,可以对其执行日志(logs)、进入执行(exec)、编辑、删除操作 + +![img](Kubenetes.assets/image-20200520163832827.png) + +> Dashboard提供了kubectl的绝大部分功能,这里不再一一演示 + + diff --git a/kubectl.md b/kubectl.md new file mode 100644 index 0000000..1efa415 --- /dev/null +++ b/kubectl.md @@ -0,0 +1,91 @@ + +# kubectl基本使用 + +## kubectl 创建对象 +$ kubectl create -f ./my-manifest.yaml #创建资源 + +$ kubectl create -f ./my1.yaml -f ./my2.yaml #使用多个文件创建资源 + +$ kubectl create -f ./dir #使用目录下的所有清单文件(yaml)来创建资源 + +$ kubectl create -f https://git.io/vPieo #使用url创建资源 + +$ kubectl run nginx --image=nginx #启动一个nginx实例 + +$ kubectl explain pods #获取pod和svc的文档 + +## kubectl 显示和查找资源 +以下命令查找资源时可能查不到的原因是需要指定namespace,通过 -n 指定即可,或者all + +$ kubectl get pods --all-namespaces #列出所有namespace中的pod,也可以是services、deployment等 + +$ kubectl get pods -o wide #列出pod并显示详细信息 + +$ kubectl get deployment my-dep #列出指定daployment + +$ kubectl get pods --include-uninitialized #列出该namespace中的所有pod,包括未初始化的 + +## 使用详细输出来描述命令 + +$ kubectl describe nodes #查看node节点信息 + +$ kubectl describe pods #查看pod详细信息 + +$ kubectl get services --sort-by=.metadata.name --all-namespaces #l列出所有service并按名称排序 + +## 根据重启次数排序列出pod + +$ kubectl get pods --sort-by='.status.containerStatuses[0].restartCount' --all-namespaces + +## 获取所有具有app=cassandra的pod中的version标签 + +$ kubectl get pods --selector=app=cassandra rc -o jsonpath='{.items[*].metadata.labels.version}' + +## 获取所有节点的ExternalIP + +$ kubectl get nodes -o jsonpath='{.items[*].status.addresses[?(@.type=="ExternlIP")].address}' + +## kubectl编辑资源 + +$ kubectl -n codeus edit svc/c #编辑codeus命名空间下名称为c的service + +## kubectl Scale 资源 +### 扩展pod下容器数量 + +$ kubectl scale --replicas=3 rs/foo #扩展名称为foo的资源到3个,是否使用rs取决于yaml中的编写 + +例如yaml中kind: Deployment ,则应通过下面方法扩展 + +$ kubectl scale --replicas=3 deployment/foo + +### 直接通过创建资源的yaml文件扩展 + +$ kubectl scale --replicas=3 -f foo.yaml + +### 根据判断条件扩展 + +例如条件是:如果mysql的数量是2,则扩展到3 + +$ kubectl scale --current-replicas=2 --replicas=3 deployment/mysql + +### 同时扩展多个资源 + +$ kubectl scale --replicas=5 rc/foo rc/bar rc/baz + +## kubectl 删除资源 +$ kubectl delete deployment #删除指定deployment,此方法还可以删除service等 + +$ kubectl delete -f xxx.yaml #通过创建此pod的yaml文件删除pod + +## kubectl 与运行中的pod交互 +$ kubectl -n logs my-podname #查看pod日志, -f 持续查看 + +$ kubectl port-forward my-podname 5000:6000 #转发pod中的6000端口到本地的5000端口 + +$ kubectl exec my-podname -- ls / #在已存在的容器中执行命令 + + +## [kubectl cheatsheet](https://kubernetes.io/zh/docs/reference/kubectl/cheatsheet/) + + + diff --git a/kubectlcmd.md b/kubectlcmd.md new file mode 100644 index 0000000..5b2cc9a --- /dev/null +++ b/kubectlcmd.md @@ -0,0 +1,453 @@ +# 本页列举了常用的 “kubectl” 命令和标志 + +## Kubectl 自动补全 + +### BASH + + +```bash +source <(kubectl completion bash) # 在 bash 中设置当前 shell 的自动补全,要先安装 bash-completion 包。 +echo "source <(kubectl completion bash)" >> ~/.bashrc # 在您的 bash shell 中永久的添加自动补全 +``` + +您还可以为 `kubectl` 使用一个速记别名,该别名也可以与 completion 一起使用: + +```bash +alias k=kubectl +complete -F __start_kubectl k +``` + +### ZSH + + +```bash +source <(kubectl completion zsh) # 在 zsh 中设置当前 shell 的自动补全 +echo "[[ $commands[kubectl] ]] && source <(kubectl completion zsh)" >> ~/.zshrc # 在您的 zsh shell 中永久的添加自动补全 +``` + + +## Kubectl 上下文和配置 + +设置 `kubectl` 与哪个 Kubernetes 集群进行通信并修改配置信息。 +查看[使用 kubeconfig 跨集群授权访问](/zh/docs/tasks/access-application-cluster/configure-access-multiple-clusters/) +文档获取配置文件详细信息。 + + +```bash +kubectl config view # 显示合并的 kubeconfig 配置。 + +# 同时使用多个 kubeconfig 文件并查看合并的配置 +KUBECONFIG=~/.kube/config:~/.kube/kubconfig2 kubectl config view + +# 获取 e2e 用户的密码 +kubectl config view -o jsonpath='{.users[?(@.name == "e2e")].user.password}' + +kubectl config view -o jsonpath='{.users[].name}' # 显示第一个用户 +kubectl config view -o jsonpath='{.users[*].name}' # 获取用户列表 +kubectl config get-contexts # 显示上下文列表 +kubectl config current-context # 展示当前所处的上下文 +kubectl config use-context my-cluster-name # 设置默认的上下文为 my-cluster-name + +# 添加新的用户配置到 kubeconf 中,使用 basic auth 进行身份认证 +kubectl config set-credentials kubeuser/foo.kubernetes.com --username=kubeuser --password=kubepassword + +# 在指定上下文中持久性地保存名字空间,供所有后续 kubectl 命令使用 +kubectl config set-context --current --namespace=ggckad-s2 + +# 使用特定的用户名和名字空间设置上下文 +kubectl config set-context gce --user=cluster-admin --namespace=foo \ + && kubectl config use-context gce + +kubectl config unset users.foo # 删除用户 foo +``` + + +## Kubectl apply +`apply` 通过定义 Kubernetes 资源的文件来管理应用。 +它通过运行 `kubectl apply` 在集群中创建和更新资源。 +这是在生产中管理 Kubernetes 应用的推荐方法。 +参见 [Kubectl 文档](https://kubectl.docs.kubernetes.io)。 + + +## 创建对象 {#creating-objects} + +Kubernetes 配置可以用 YAML 或 JSON 定义。可以使用的文件扩展名有 +`.yaml`、`.yml` 和 `.json`。 + + +```bash +kubectl apply -f ./my-manifest.yaml # 创建资源 +kubectl apply -f ./my1.yaml -f ./my2.yaml # 使用多个文件创建 +kubectl apply -f ./dir # 基于目录下的所有清单文件创建资源 +kubectl apply -f https://git.io/vPieo # 从 URL 中创建资源 +kubectl create deployment nginx --image=nginx # 启动单实例 nginx + +# 创建一个打印 “Hello World” 的 Job +kubectl create job hello --image=busybox -- echo "Hello World" + +# 创建一个打印 “Hello World” 间隔1分钟的 CronJob +kubectl create cronjob hello --image=busybox --schedule="*/1 * * * *" -- echo "Hello World" + +kubectl explain pods # 获取 pod 清单的文档说明 + +# 从标准输入创建多个 YAML 对象 +cat < pod.yaml + +kubectl attach my-pod -i # 挂接到一个运行的容器中 +kubectl port-forward my-pod 5000:6000 # 在本地计算机上侦听端口 5000 并转发到 my-pod 上的端口 6000 +kubectl exec my-pod -- ls / # 在已有的 Pod 中运行命令(单容器场景) +kubectl exec --stdin --tty my-pod -- /bin/sh # 使用交互 shell 访问正在运行的 Pod (一个容器场景) +kubectl exec my-pod -c my-container -- ls / # 在已有的 Pod 中运行命令(多容器场景) +kubectl top pod POD_NAME --containers # 显示给定 Pod 和其中容器的监控数据 +kubectl top pod POD_NAME --sort-by=cpu # 显示给定 Pod 的指标并且按照 'cpu' 或者 'memory' 排序 +``` + + +## 与 Deployments 和 Services 进行交互 + + +```bash +kubectl logs deploy/my-deployment # 获取一个 Deployment 的 Pod 的日志(单容器例子) +kubectl logs deploy/my-deployment -c my-container # 获取一个 Deployment 的 Pod 的日志(多容器例子) + +kubectl port-forward svc/my-service 5000 # 侦听本地端口 5000 并转发到 Service 后端端口 5000 +kubectl port-forward svc/my-service 5000:my-service-port # 侦听本地端口 5000 并转发到名字为 的 Service 目标端口 + +kubectl port-forward deploy/my-deployment 5000:6000 # 侦听本地端口 5000 并转发到 创建的 Pod 里的端口 6000 +kubectl exec deploy/my-deployment -- ls # 在 Deployment 里的第一个 Pod 的第一个容器里运行命令(单容器和多容器例子) +``` + + +## 与节点和集群进行交互 + + +```bash +kubectl cordon my-node # 标记 my-node 节点为不可调度 +kubectl drain my-node # 对 my-node 节点进行清空操作,为节点维护做准备 +kubectl uncordon my-node # 标记 my-node 节点为可以调度 +kubectl top node my-node # 显示给定节点的度量值 +kubectl cluster-info # 显示主控节点和服务的地址 +kubectl cluster-info dump # 将当前集群状态转储到标准输出 +kubectl cluster-info dump --output-directory=/path/to/cluster-state # 将当前集群状态输出到 /path/to/cluster-state + +# 如果已存在具有指定键和效果的污点,则替换其值为指定值。 +kubectl taint nodes foo dedicated=special-user:NoSchedule +``` + + +### 资源类型 + + +列出所支持的全部资源类型和它们的简称、[API 组](/zh/docs/concepts/overview/kubernetes-api/#api-groups-and-versioning), 是否是[名字空间作用域](/zh/docs/concepts/overview/working-with-objects/namespaces) 和 [Kind](/zh/docs/concepts/overview/working-with-objects/kubernetes-objects)。 + +```bash +kubectl api-resources +``` + + +用于探索 API 资源的其他操作: + + +```bash +kubectl api-resources --namespaced=true # 所有命名空间作用域的资源 +kubectl api-resources --namespaced=false # 所有非命名空间作用域的资源 +kubectl api-resources -o name # 用简单格式列举所有资源(仅显示资源名称) +kubectl api-resources -o wide # 用扩展格式列举所有资源(又称 "wide" 格式) +kubectl api-resources --verbs=list,get # 支持 "list" 和 "get" 请求动词的所有资源 +kubectl api-resources --api-group=extensions # "extensions" API 组中的所有资源 +``` + + +### 格式化输出 + +要以特定格式将详细信息输出到终端窗口,将 `-o`(或者 `--output`)参数添加到支持的 `kubectl` 命令中。 + + +输出格式 | 描述 +--------------| ----------- +`-o=custom-columns=` | 使用逗号分隔的自定义列来打印表格 +`-o=custom-columns-file=` | 使用 `` 文件中的自定义列模板打印表格 +`-o=json` | 输出 JSON 格式的 API 对象 +`-o=jsonpath=