仓酷云

标题: PHP教程之日记剖析办法概述 [打印本页]

作者: 海妖 时间: 2015-2-3 23:34
标题: PHP教程之日记剖析办法概述
exit来实现结束后面的PHP语句的执行，缩小调试范围，特别是数据库交互的程序，先输出个SQL语句看看，对了，再分析怎么会插入/删除不成功呢？这样对查错很有帮助。　　日记在盘算机体系中是一个十分普遍的概念，任何法式都有能够输入日记：操作体系内核、各类使用办事器等等。日记的内容、范围和用处也各不不异，很难混为一谈。
  　　本文会商的日记处置办法中的日记，仅指Web日记。其实并没有准确的界说，能够包含但不限于各类前端Web办事器——apache、lighttpd、tomcat等发生的用户会见日记，和各类Web使用法式本人输入的日记。
  　　在Web日记中，每条日记凡是代表着用户的一次会见行动，例以下面就是一条典范的apache日记：
  　　211.87.152.44 – - [18/Mar/2005:12:21:42 +0800] “GET / HTTP/1.1″ 200 899 “http://www.百度.com/” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)”
  　　从下面这条日记中，咱们可以失掉良多有效的信息，例如会见者的IP、会见的工夫、会见的方针网页、来历的地址和会见者所利用的客户真个UserAgent信息等。假如需求更多的信息，则要用其它手腕去获得：例如想失掉用户屏幕的分辩率，普通需求利用js代码独自发送恳求;而假如想失掉诸如用户会见的详细旧事题目等信息，则能够需求Web使用法式在本人的代码里输入。
  　　为何要剖析日记
  　　毫无疑问，Web日记中包括了大批人们——次要是产物剖析人员会感乐趣的信息，最复杂的，咱们可以从中获得网站每类页面的PV值(PageView，页面会见量)、自力IP数(即去重以后的IP数目)等;略微庞杂一些的，可以盘算得出用户所检索的关头词排行榜、用户逗留工夫最高的页面等;更庞杂的，构建告白点击模子、剖析用户行动特点等等。
  　　既然这些数据是如斯的有效，那末固然已有没有数现成的东西可以匡助咱们来剖析它们，例如awstats、Webalizer，都是专门用于统计剖析Web办事器日记的收费法式。
  　　别的还有一类产物，它们不剖析直接日记，而是经由过程让用户在页面中嵌入js代码的体例来直接停止数据统计，或说咱们可以以为它是直接让日记输入到了它们的办事器。典范的代表产物——赫赫有名的Google Analytics，别的还有国际的cnzz、百度统计等。
  　　良多人能够会说，既然如斯，咱们为何还需求本人来剖析日记，有需要吗?固然有。咱们的用户(产物剖析人员)需求是无量尽的，下面说的这几类东西固然很好很壮大，但明显没举措知足全体的需求。
  　　不管是当地剖析的东西，仍是在线的剖析办事，它们固然提很丰厚的的统计剖析功效，可以做必定水平的设置装备摆设，然而仍然很无限的。要停止稍庞杂点的剖析，或要做基于日记的数据发掘，仍然需求本人来完成。
  　　别的绝大多半日记剖析东西都是只能用于单机的，数据量稍大就没辙了。同时那些供应在线剖析的办事关于单个站点凡是也都有最大流量的限制——这是很轻易了解的，他们也需求思索办事器的负载。
  　　所以，良多时分仍是得靠本人。
  　　怎样停止日记剖析
  　　这并非一个复杂的成绩。即便咱们把“日记”限制为Web日记，仍然包括了不计其数种能够的格局和数据，而是“剖析”更是难以界说，或许是复杂的统计值的盘算，或许是庞杂的数据发掘算法。
  　　上面其实不盘算会商这些庞杂的成绩，而只是笼统的会商若何构建停止日记剖析任务的基本。有了这些基本会让基于日记的复杂统计剖析变得很复杂，并让庞杂的剖析发掘等变得可行。
  　　大批数据的情形
  　　先思索最复杂的情形，在数据范围对照小的时分，或许是几十MB、几百MB或几十GB，总之就是在单机处置尚能忍耐的时分。一切都很好办，现成的各类Unix/Linux东西——awk、grep、sort、join等都是日记剖析的利器，假如仅仅是想晓得某个页面的PV，一个wc+grep就可以弄定。假如有稍庞杂的逻辑，那就利用各类剧本言语，特别是perl，共同巨大的正则表达式，根基就能够处理一切的成绩。
  　　例如，咱们想从下面提到的apache日记中失掉会见量最高前100个IP，完成很复杂：
  　　cat logfile awk ‘{a[$1]++} END {for(b in a) print b”\t”a}’sort -k2 -rhead -n 100
  　　不外当咱们需求频仍去剖析日记的时分，下面的做法在一段工夫以后能够就会让咱们头疼若何停止各类日记文件、用于剖析的剧本文件、crontab文件等等的保护，而且能够会存在大批反复的代码来做数据格局的解析和清洗，这个时分或许就需求更适合的器材，好比——数据库。
  　　固然，要利用数据库来停止日记剖析仍是需求一些价值的，最次要的就是若何将各类异构的日记文件导入的数据库中——这个进程凡是称为ETL(Extraction-Transformation-Loading)。幸亏仍然有各类现成的开源、收费的东西来匡助咱们做这件工作，而且在日记品种不太多的时分，本人写几个复杂的剧本来完成这项任务也其实不坚苦。例如可以将下面的日记去失落不用要的字段，然后导入以下的数据库中：
  　　


登录/注册后可看大图

  　　如今需求思索一下用甚么数据库来存储这些数据。MySQL是一个很经典的开源数据库，它的传统引擎(MyISAM或InnoDB，行存储)或许其实不十分的合适日记数据的存储，然而在小数据量的时分仍是很够用的。并且，在这方面如今已有了更好的选择，例如开源且收费的Infobright、Infinidb，都是专门为数据仓库使用而停止了优化的数据引擎，采取列存储，有优秀的数据紧缩，处置几百GB的数据根基上不是成绩。
  　　利用数据库的优点之一就是，巨大的SQL可以帮咱们很复杂的完成绝大局部的统计剖析任务——PV只需求SELECT+COUNT，盘算搜刮词排行只需求SELECT+COUNT+GROUP+ORDER+LIMIT。另外，数据库自己的布局化存储形式也让日记数据的办理变的更复杂，削减运维价值。
  　　一样仍是下面的谁人例子，复杂的一个SQL就能够弄定：
  　　SELECT * FROM (SELECT ip, COUNT(*) AS ip_count FROM apache_log GROUP BY ip) a ORDER BY ip_count DESC LIMIT 100
  　　至于功能成绩，数据库的索引和各类优化机制凡是会让咱们的统计剖析任务变得更快，而且下面提到的Infobright和Infinidb都专门为相似SUM、COUNt之类的会萃使用做了优化。固然也不是相对的会快，例如在数据库中停止LIKE操作，凡是会比grep一个文件还要慢良多。
  　　更进一步的，利用基于数据库的存储，可以很轻易的停止OLAP(联机剖析处置)使用，从日记中发掘价值会变的加倍复杂。
  　　更多的数据怎样办
  　　一个好的数据库仿佛会让工作变的很复杂，然而别忘了后面提到的都是单机数据库。一台单机在存储容量、并发性上毫无疑问都是有很大限制的。而日记数据的特色之一就是随工夫延续增加，而且因为良多剖析进程常常需求汗青数据。短工夫内的增加或许可以经由过程分库、分表或数据紧缩等来处理，不外很明显并非久长之计。
  　　想要完全处理数据范围增加带来的成绩，很天然的会想到利用散布式手艺，联合下面的结论，或许利用某个散布式数据库是一个好选择，那末对终究用户就能够完整通明了。这个切实其实是很幻想的情形，不外实际常常是严酷的。
  　　起首，完成对照完善的散布式数据库(受限于CAP准绳)是一个十分庞杂的成绩，因而在这里其实不像单机数据库那样，有那末多开源的好器材可以用，乃至于商用的也并非太多。固然，也并不是相对，假如有钱，仍是可以思索一下Oracle RAC、Greenplum之类器材。
  　　其次，绝大多半散布式数据库都是NoSQL的，所以想持续用上SQL的那些长处根基上是没期望，取而代之的都是一些复杂、难以利用的接口。单从这点看来，利用这些数据库的价值已下降良多了。
  　　所以，仍是先实际一点，先退一步思索若何处理的超大范围的日记的剖析成绩，而不是想若何让它变的像在小数据范围时那样复杂。单单想做到这点，今朝看来并非太难，而且仍然有收费的午饭可以吃。
  　　Hadoop是巨大的Apache基金会上面的一套散布式体系，包含散布式文件体系(HDFS)、MapReduce盘算框架、HBase等良多组件——这些根基都是Google的GFS/MapReduce/BigTable的克隆产物。
  　　Hadoop经由数年的开展，今朝已很成熟了，特别是个中的HDFS和MapReduce盘算框架组件。数百台机械的集群已被证实可使用，可以承当PB级其余数据。
  　　Hadoop项目中的HBase是一个按列存储的NoSQL散布式数据库，它供应的功效和接口都十分复杂，只能停止复杂的K-V查询，因而其实不直接合用于大多半日记剖析使用。所以普通利用Hadoop来做日记剖析，起首仍是需求将日记存储在HDFS中，然后再利用它供应的MapReduce API编写日记剖析法式。
  　　MapReduce是一种散布式编程模子，其实不难进修，然而很明显利用它来处置日记的价值仍然弘远于单机剧本或SQL。一个复杂的词频统计盘算能够都需求上百代码——SQL只需求一行，别的还有庞杂的情况筹办和启动剧本。
  　　例好像样仍是下面的例子，完成就要庞杂的多，凡是需求两轮MapReduce来完成。起首要在第一轮的mapper上钩算局部ip的会见次数之和，并以ip为key输入：
  　　//遍历输出，并聚合了局
  　　foreach(record in input) {
  　　ip = record.ip;
  　　dict[ip]++;
  　　}
  　　//用emit输入，第一个参数为key，用于reduce的分发
  　　foreach( in dict) {
  　　emit(ip, count);
  　　}
  　　然后在第一轮的reduce中就能够失掉每一个ip完全的计数，可以特地排个序，而且只保存前100个。
  　　count = 0;
  　　//关于每一个key(ip),遍历一切的values(count)，并累加
  　　while(input.values.hasNext()) {
  　　count += input.values.next();
  　　}
  　　//拔出到巨细为100的堆中
  　　heap_insert(input.key, count);
  　　在reduce停止的时分输入：
  　　//输入以后reduce中count最高的100个ip
  　　foreach( in dict) {
  　　emit(ip, count);
  　　}
  　　因为reduce普通会有良多个，所以最初还需求将一切reduce的输入停止兼并、再排序，并失掉终究的前100个IP和对应的会见量。
  　　所以，利用Hadoop来做日记剖析很明显不是一件复杂工作，它带来了良多的额定的进修和运维本钱，然而最少，它让超大范围的日记剖析酿成了能够。
  　　如何变得更复杂
  　　在超大范围的数据上做任何工作都不是一件轻易的工作，包含日记剖析，但也并非说散布式的日记剖析就必定要去写MapReduce代码，老是可以去做进一步的笼统，在特定的使用下让工作变得更复杂。
  　　或许有人会很天然的想到假如能用SQL来操作Hadoop上的数据该有多好。现实上，不单单只要你一团体会这么想，良多人都这么想，而且他们完成了这个设法，因而就有了Hive。
  　　Hive如今也是Hadoop项面前目今面的一个子项目，它可让咱们用SQL的接口来履行MapReduce，乃至供应了JDBC和ODBC的接口。有了这个以后，Hadoop根基上被包装成一个数据库。固然实践上Hive的SQL终究仍是被翻译成了MapReduce代码来履行，因而即便最复杂的SQL能够也要履行好几十秒。幸亏在凡是的离线日记剖析中，这个工夫仍是可以承受的。更主要的是，关于下面提到的例子，咱们又可以用一样的SQL来完成份析义务了。
  　　固然Hive并非完整的兼容SQL语法，并且也不克不及做到完整的对用户屏障细节。良多时分为了履行功能的优化，仍然需求用户去懂得一些MapReduce的根基常识，依据本人的使用形式来设置一些参数，不然咱们能够会发明一个查询履行很慢，或压根履行不出来。
  　　别的，很明显Hive也其实不能掩盖一切的需求，所以它仍然保存拔出原始MapReduce代码的接口，以便扩大。
  　　更多的成绩
  　　即便有了Hive如许一个相似于数据库的器材，咱们仍然还有良多工作需求做。例如工夫久了，能够会有愈来愈多的需求例行履行的SQL，而这些SQL中，或许有一些是做了反复的工作;或许有一些的履行效力十分低下，一个庞杂的SQL就占满了一切的盘算资本。如许的体系会变得愈来愈难以保护的，直到有一天例行的SQL终究跑不完了。而终究用户常常不会去关怀这些工作，他们只关怀本人提交的查询是否是能即时失掉呼应，怎样才干尽快的拿到了局。
  　　举个复杂的例子，假如发明在利用apache_log的一切查询中，几近没有人用个中的user_agent字段，那末咱们完整可以把这个字段去除失落，或拆分红两张表，以削减多半查询的IO工夫，进步履行的效力。
  　　为了体系化的处理这些成绩，咱们能够需求引入例行义务的调剂机制，能够需求去剖析一切的SQL来发明哪些是可以兼并的、哪些的功能需求优化，利用的数据表是否是需求做程度或垂直分表等等。依据实践情形的分歧，这时候工作多是人工来完成，也多是写法式来主动剖析并调剂。
  　　再者跟着日记类型、剖析需求的不休增加。用户会愈来愈多的埋怨很难找到想要的数据在哪份日记里，或跑的好好的查询由于日记格局的变更而俄然不克不及用了。别的下面提到的ETL进程也会变得庞杂，复杂的转换导入剧本极可能已处理不了成绩。这时候候能够需求构建一个数据办理体系，或爽性思索创立一个所谓的数据仓库。
  　　总之，跟着日记数据量、日记类型、用户数目、剖析需求等等的不休增加，愈来愈多的成绩会逐步显现出来，日记剖析这件工作能够就不再像咱们最后想的那末复杂，会变得愈来愈有价值，也愈来愈有应战。
会有很多高手的鼓励，新手的支持，慢慢你劲头就十足，有更多的信心和兴趣去学。
作者: 变相怪杰 时间: 2015-2-4 02:22
爱上php，他也会爱上你。
作者: 蒙在股里 时间: 2015-2-8 04:13
写的比较杂，因为我也是个新手，不当至于大家多多指正。
作者: 第二个灵魂 时间: 2015-2-8 13:50
php是动态网站开发的优秀语言，在学习的时候万万不能冒进。在系统的学习前，我认为不应该只是追求实现某种效果，因为即使你复制他人的代码调试成功，实现了你所期望的效果，你也不了解其中的原理。
作者: 若相依 时间: 2015-2-21 19:40
建议加几个专业的phper的群，当然啦需要说话的人多，一处一点问题能有人回答你的，当然啦要让人回答你的问题，平时就得躲在里面聊天，大家混熟啦，愿意回答你问题的人自然就多啦。
作者: 冷月葬花魂 时间: 2015-3-2 22:52
使用zendstdio 写代码的的时候，把tab 的缩进设置成4个空格是很有必要的
作者: 仓酷云 时间: 2015-3-11 12:52
个人呢觉得，配wamp 最容易漏的一步就是忘了把$PHP$目录下的libmysql.dll拷贝到windows系统目录的system32目录下，还有重启apache。
作者: 山那边是海 时间: 2015-3-15 10:28
使用zendstdio 写代码的的时候，把tab 的缩进设置成4个空格是很有必要的
作者: 柔情似水 时间: 2015-3-15 19:08
对于初学者来说不推荐去拿钱买的。当然如果一个网站你经常去用，而且里面的资料也比较有用，最好还是买个会员比较好，毕竟那些也是别人的工作成果。
作者: 飘飘悠悠 时间: 2015-3-22 02:31
为了以后维护的方便最好是代码上都加上注释，“予人方便，自己方便”。此外开发文档什么的最好都弄齐全。我觉得这是程序员必备的素质。虽然会消耗点很多的时间。但是确实是非常有必要的。
作者: admin 时间: 2015-4-1 20:08
在我安装pear包的时候老是提示，缺少某某文件，才发现那群extension 的排列是应该有一点的顺序，而我安装的版本的排序不是正常的排序。没办法我只好把那群冒号加了上去，只留下我需要使用的扩展。
作者: 金色的骷髅 时间: 2015-4-6 19:08
至于模板嘛，各位高人一直以来就是争论不休，我一只小菜鸟就不加入战团啦，咱们新手还是多学点东西的好。
作者: 乐观 时间: 2015-4-12 15:55
要进行开发，搭建环境是首先需要做的事，windows下面我习惯把环境那个安装在C盘下面，因为我配的环境经常出现诡异事件，什么事都没做环境有的时候就不能用啦。
作者: 灵魂腐蚀 时间: 2015-4-20 20:26
php里的数组为空的时候是不能拿来遍历的；（这个有点低级啊，不过我刚被这个边界问题墨迹了好长一会）
作者: 再见西城 时间: 2015-4-26 05:09
个人呢觉得，配wamp 最容易漏的一步就是忘了把$PHP$目录下的libmysql.dll拷贝到windows系统目录的system32目录下，还有重启apache。
作者: 老尸 时间: 2015-6-17 19:54
我学习了一段时间后，我发现效果并不好（估计是我自身的问题）。因为一个人的精力总是有限的，同时学习这么多，会导致每个的学习时间都得不到保证。
作者: 简单生活 时间: 2015-7-9 08:53
你很难利用原理去编写自己的代码。对于php来说，系统的学习我认为还是很重要的，当你有一定理解后，你可你针对某种效果研究，我想那时你不会只是复制代码的水平了。
作者: 透明 时间: 2015-7-20 02:22
做为1门年轻的语言，php一直很努力。
作者: 小魔女 时间: 2015-7-20 18:29
建数据库表的时候，int型要输入长度的，其实是个摆设的输入几位都没影响的，只要大于4就行，囧。

欢迎光临仓酷云 (http://ckuyun.com/) Powered by Discuz! X3.2