此博文来自博主srsunbing。有问题欢迎进入博主专页进行互动讨论！博客地址：http://srsunbing.blog.51cto.com/3221858/1657672入坑IT已经快10年了。从开发到运维再到DBA，我一直在做顶层的工作，做着琐碎的事情，今天就来巴拉巴拉为自己当年做过的项目，慰藉一下逝去的青春吧！小项目我就不说了，说几个能拿到手的。第一个中标的项目是广东移动的多媒体座席项目，大概是在2007年10月或11月左右。什么是多媒体座席？不是东西，其实是广东移动的网站10086版系统（类似QQ）是广东移动部署互联网业务的一个入口。也是为了在不方便打电话的时候通过网络解决服务问题，不至于造成服务盲区。项目系统架构：终端+集群应用服务器+集群中间件+RAC9I数据库，开发语言：Java+PL/SQL。立项之初，各种资源投入到位，项目进展顺利，但后期情况发生了变化，主要是广东移动在2008年开始进入3G网络时代，现有系统为成立于2003年。对于2G网络，已经不能满足3G业务的发展需求。一个全新的系统已经在计划中，并将很快实施。但是，这个多媒体代理系统仍然是2G网络的一部分，显然不能满足3G业务的发展需要，所以这个项目陷入了尴尬的境地。上不去下不来的状态迟早会被消除，功课就完成了一大半，之前的努力就白费了。因此，项目后期的资源投入跟不上，一些问题得不到解决。主要问题是消息丢失、消息分发不及时、消息重复分发等，这些问题比较棘手，需要每天跟踪，分析日志，修改代码。然而，这些问题并不是每天都会发生。基本上，它们可能出现在业务高峰期，给跟踪和分析带来很大的困难。当您跟踪时间时它们可能不会出现，并且跟踪会影响系统性能。如果等到问题出现再跟进就来不及了。这是问题的棘手部分。但是客户不管你，他要的是一个付了钱就可以正常使用的系统，而你说日志无法追踪，无法定位，这不是理由！所以，我们遇到客户，就像老鼠遇到猫一样，都躲得远远的。后来实在不能再拖了，于是总部派了两个研发团队到现场解决问题。再加上市场忽悠，问题终于解决了，客户签了验收报告，项目终于完工了。.虽然客户没有签下这个项目的合同，但并不代表客户不支持我们的工作。相反，客户在项目上还是给了我们很大的支持。例如，我们怀疑移动内网可能有拦截敏感信息的可能。建议**能去外网测试，客户立马安排了十几个人去网吧测试，没想到跟网络有关。说实话，如果客户不帮你，想找一群人测试也不容易。这是我工作这么多年唯一难忘的一次考试经历。所以，多和客户沟通，充分利用客户的资源，对顺带完成项目有很大的帮助。包括我后来做的几个项目，客户给了我很大的帮助，包括吃住等等，我也要对客户表示感谢。对这个多媒体代理项目的评价是“累、散、慢”。#p#2008年，广东移动的主力项目是BOSS项目。我们客服主要是协助BOSS做技术支持工作，作为双方的接口，定位测试中发现的问题，谁负责解决。参与广东移动八城动感地带缩减项目和中山移动OCE缩减智能网项目，均在中山市。这些项目都比较大，参与的人多，没有一个厂商。项目的组织结构也比较复杂，都是项目负责人负责制。移动方担任相日总指挥，厂家担任总指挥。它下面有几个职能组，每个组有一个组长，组员混杂。动感地带回切项目是将动感地带的计费从之前的其他系统全部切到BOSS系统。项目是封闭开发，比较辛苦，但是这个项目的薪水比较好。项目经理每晚带领一个团队。帮人喝酒，到了***，一听到“喝酒”两个字就想吐。还有每周一次的自助餐和郊游，比如在中山市外徒步。项目现场还设有娱乐健身设备。总之，项目活动非常丰富。不是有些项目从早到晚是一回事，埋头苦干写代码。这个项目是我做过的最开心的项目。主要是项目的主体不在我们这边，大家不用太担心，完成自己的工作就好，让***不想走。项目交接时，中山电视台也进行了现场报道。这个项目的评价是一个字'酷'。这个项目也验证了一个道理，就是有钱好办事，有钱可以团结大家。认识不认识无所谓，只要你们都懂钱就行。看来钱真是个神奇的东西啊！2009年主要在东莞做项目。先来说说东莞的地名：横坑、小坑、长坑、井上等，听名字，不是坑就是井，没有坑不行！移动客服所在的位置也比较偏僻，东西南北一公里以内，人迹罕至。2009年第一个项目是广东移动一级客服项目。这是一个内部报表系统，就是省公司将各个市、市公司的经营数据提取到省公司的数据库中，然后进行各种处理和展示，以便省公司进行分析和决策。系统架构与上述项目相同。广东移动的主要系统架构基本相同，这里不再赘述。当然，这个报表系统还有两层数据的抽取和转换。第一层是从六大中心的数据库中提取数据，添加到省公司的数据库中。处理，其他一切都是一样的。项目过程就不多说了。资源到位，项目进展顺利。唯一不足的是要经常去机房，但是那一带交通不便，基本没有车可以坐。所以只能弄辆旧自行车骑到机房，吃饭也不方便。属于找不到钱的地方，只能靠方便面来解决。为什么这个项目与上述项目如此不同？除了地域因素，还有一个核心问题，那就是缺钱。准确的说，没有多余的项目活动经费，没钱只能吃方便面，吃什么吃肉喝什么！这是我做过的收入最差的项目。幸运的是，项目本身没有任何问题。它完成得早，我也早些松了口气。对这个项目的评价是“苦、累、差”，太糟糕了，糟糕透了！#p#2010年12月底项目实施过程中，NGCC系统发生重大故障。当时的处理过程有点类似于上个月底支付宝失败的处理过程。先说到这里吧。故障原因是某数据库主机swap分区耗尽（P595主机32个CPU，96G内存），但该主机未宕机，无法自动将服务切换到另一台主机。当时的影响是广东移动半个省的10086通话受到影响，时间是11点左右，已经进入业务高峰期。这是一个非常严重的故障，立即向省公司报告。分析故障***给出的解决方案是关闭monitor，让应用自动切换到另一台主机。提交方案后，等待省公司领导批复。但事情并没有想象的那么简单。为什么？因为那里有应急系统。***省公司领导要求切换到应急系统，让主进程先启动服务，其他问题以后再解决。嗯，如果领导让你用emergency，就用emergency。结果，应急系统还是老系统的进程文件。立即从新系统复制一份完整的进程文件并紧急替换，修改配置，启动相关服务。大约需要20分钟左右完成，至此10086呼叫可以接通，当然只能提供主进程服务。一个多小时过去了，主进程可以使用了。接下来我们马上解决主机交换问题，修改交换分区并重启主机，几十分钟过去了。主机终于准备好了，数据库可以正常使用了。再次向省公司领导汇报是否立即切回，因为应急系统不能提供完整的服务，等等……最后领导下令切回，很快就完成了切回，故障解决了，但是时间已经过去了两个多小时。不知道支付宝的故障是怎么处理的，但两者选其一（就是让高层领导选择开启紧急服务还是重启服务）估计也没有那么简单。leader给了一个很好的理由，他这样做的好处和坏处是什么。然后领导做出决定，这可能是集体决定。领导也要考虑责任的问题，集体责任胜于个人责任！所以事情并没有我们想象的那么简单，也永远不会简单。我们可以简单地看到问题，但领导不能简单地看到问题。这大概就是我们做不了领导的原因吧！2011年离开通信行业，进入互联网行业。也做过一些项目，比如某公司的CRM系统，某电商公司的分布式服务平台项目（系统架构：LVS+集群应用服务器+11GRAC，前端使用DNS加速，后端使用memcache缓存），这些项目给人的感觉是，无论从规模、技术、项目管理水平，还是项目参与者的素质，都与广东移动的项目有较大差距。别的不说，我没钱没权利，什么都做不了，也做不好。我曾经遇到过一个只有几十万的小项目，拖了一年多。买家得到的不是他想要的，卖家说钱只能赚这个！***买卖双方一无所获。看着都累，更别说做了。人们经常问项目的成功取决于什么，什么时间、成本、质量、范围，废话！我认为这取决于权力和金钱。没钱没权利，拿什么做项目，拿什么拉拢人心，吃什么喝什么，拿什么做黑幕交易。在这个非常现实的社会，首先要解决这些非常现实的问题。只有这样，我们才能开始进行该项目。当然，时间、成本、质量、范围和沟通也很重要。以上就是我那些年做过的项目，先说到这里吧！
