1. <?php
    2. /**
    3. * **************************************************************************************
    4. * Description : 自动化执行 命令行模式
    5. * monolog,Thriftlog,Phplog,Accesslog,php-fpm,nginx
    6. * yuyuecall,lunciyuyue,reqyuyue,vrayrender,houselog
    7. *
    8. * 导入到 ES
    9. * Filename : AlllogCommand.php
    10. * Create time : 2015-06-27
    11. * Last modified : 2015-06-30
    12. * update : bfire.lai
    13. * $getNum :第个文件读取行数 832行
    14. * **************************************************************************************
    15. */
    16. class AlllogCommand
    17. {
    18. /*@var _host*/
    19. protected $_host = '';
    20. /*@var _port*/
    21. protected $_port = '';
    22. /*@var _index*/
    23. protected $_index = '';
    24. /*@var _type*/
    25. protected $_type = '';
    26. /*@var _root*/
    27. protected $_root = '';
    28. /*@var _curl*/
    29. protected $_curl;
    30. /*@var _logdir */
    31. protected $_logdir = array();
    32. /*@var _logdir*/
    33. protected $_logflag = 0;
    35. /* 程序执行入口*/
    36. public function run()
    37. {
    38. //网站根目录
    39. if (!defined('ROOT')) {
    40. define('ROOT', dirname(__FILE__));
    41. //目前root 只显示到 D:\wamp\www\tboss\log2es
    42. }
    43. //导入 ES 与 log_Info 配置
    44. $all_Config = require_once(ROOT.'/Allconfig.php');
    46. //导入 cur 配置
    47. require_once(ROOT.'/Curl.php');
    48. $curl = new Curl();
    50. //库与表
    51. $index = $all_Config['params']['es_Conn']['_index'];
    52. $host = $all_Config['params']['es_Conn']['host'];
    53. $port = $all_Config['params']['es_Conn']['port'];
    54. $log_Info = $all_Config['params']['log_Info'];
    55. //init
    56. $this->setHost($host);
    57. $this->setPort($port);
    58. $this->setIndex($index);
    59. $this->setRoot(ROOT);
    60. $this->setCurl($curl);
    61. $this->setLogdir($all_Config['params']['log_Info']);
    62. $this->setLogflag($all_Config['params']['log_Flag']);
    63. $countLog = count($log_Info);
    64. //////////////////////生成文档 start //////////////////////
    65. //新增记录数组集
    66. $arr = array();
    67. $docCountArr = array();
    68. //////////////////////生成文档 end //////////////////////
    70. if(is_array($log_Info) && $countLog)
    71. {
    72. foreach ($log_Info as $key => $value)
    73. {
    74. switch($value['_logtype'])
    75. {
    76. case 1 :
    77. //app log monolog,Thriftlog,appphplog,accesslog
    78. $this->appJsonToEs($value['_dir'],$value['_pointname'],$value['_type'],$value['_proj'],$value['_iid'],$value['_getNum']);
    79. break;
    80. case 2 :
    81. //log2es
    82. $this->logJsonToEs($value['_dir'],$value['_pointname'],$value['_type'],$value['_proj'],$value['_iid'],$value['_getNum']);
    83. break;
    84. case 3 :
    85. //nginxlog
    86. $this->logOneLineToEs($value['_dir'],$value['_pointname'],$value['_type'],$value['_proj'],$value['_iid'],$value['_getNum']);
    87. break;
    88. case 4 :
    89. //phpfpm,yuyuecall,lunciyuyue,reqyuyue,vrayrender
    90. $this->logMoreLineToEs($value['_dir'],$value['_pointname'],$value['_type'],$value['_proj'],$value['_iid'],$value['_getNum']);
    91. break;
    92. case 5 :
    93. //
    94. break;
    95. default:
    96. # code...
    97. break;
    98. }
    99. }
    100. }
    101. //exit;
    102. }
    103. ///////////////////////////类属性方法 开始/////////////////////////////////
    104. /**
    105. * Sets specific curl values (updates and keeps default values)
    106. * @param string $curl Params
    107. * @return $this
    108. */
    109. public function setCurl($curl)
    110. {
    111. $this->_curl= $curl;
    112. return $this;
    113. }
    114. /**
    115. * Sets specific host values (updates and keeps default values)
    116. * @param string $host Params
    117. * @return $this
    118. */
    119. public function setHost($host)
    120. {
    121. $this->_host= $host;
    122. return $this;
    123. }
    124. /**
    125. * Sets specific port values (updates and keeps default values)
    126. * @param string $port Params
    127. * @return $this
    128. */
    129. public function setPort($port)
    130. {
    131. $this->_port= $port;
    132. return $this;
    133. }
    134. /**
    135. * Sets specific index values (updates and keeps default values)
    136. * @param string $index Params
    137. * @return $this
    138. */
    139. public function setIndex($index)
    140. {
    141. $this->_index= $index;
    142. return $this;
    143. }
    144. /**
    145. * Sets specific type values (updates and keeps default values)
    146. * @param string $type Params
    147. * @return $this
    148. */
    149. public function setType($type)
    150. {
    151. $this->_type = $type;
    152. return $this;
    153. }
    154. /**
    155. * Sets specific root values (updates and keeps default values)
    156. * @param string $root Params
    157. * @return $this
    158. */
    159. public function setRoot($root)
    160. {
    161. $this->_root = $root;
    162. return $this;
    163. }
    164. /**
    165. * Sets specific logdir values (updates and keeps default values)
    166. * @param string $logdir Params
    167. * @return $this
    168. */
    169. public function setLogdir($logdir)
    170. {
    171. $this->_logdir = $logdir;
    172. return $this;
    173. }
    174. /**
    175. * Sets specific logflag values (updates and keeps default values)
    176. * @param string $logflag Params
    177. * @return $this
    178. */
    179. public function setLogflag($logflag)
    180. {
    181. $this->_logflag = $logflag;
    182. return $this;
    183. }
    184. ///////////////////////////类属性方法 结束/////////////////////////////////
    185. /**
    186. * @功能：APP 类monolog,thriftlog,appphplog,accesslog 此四类JSON格式处理
    187. * @参数：
    188. * $fileName=> 文件名
    189. * $_pointname=> 指针名
    190. * $_type=> 业务
    191. * $_proj=> 服务
    192. * $_iid=> 节点
    193. * $_getNum=> 第次读取行数
    194. * $return => 返回结果集,
    195. */
    196. function appJsonToEs($fileName, $_pointname, $_type, $_proj='', $_iid='', $_getNum=100)
    197. {
    198. //读取方式1
    199. $logarr = $this->getLogArr($fileName,$_pointname,0,$_getNum);
    200. //print_r($logarr);
    201. //exit;
    203. //没有数据则直接返回
    204. $countlogarr = count($logarr);
    205. if($countlogarr < 2){
    206. return ;
    207. }
    209. //处理LOG数组
    210. foreach ($logarr as $key => $value)
    211. {
    212. //空值不作处理
    213. if(!$value){return;}
    215. //value str 转换 json 对象
    216. $jsonlogArr = array();
    217. $jsonlogArr = json_decode($value, true);
    218. if(is_array($jsonlogArr)){
    219. //处理第一条记录
    220. $logtime = date("Y-m-d H:i:s");
    221. $_id ='';
    222. $cl ='';
    223. $m ='';
    224. $tsn ='';
    225. $txt ='';
    226. $ip ='';
    227. $ag ='';
    228. $file ='';
    229. $ln =0;
    230. $uid ='';
    231. foreach ($jsonlogArr as $k => $v) {
    232. //日志文本中的时间
    233. if($k == 'time'){
    234. $logtime =$v;
    235. }
    236. if($k == 'REQUEST_TIME'){
    237. $logtime =$v['sec'];
    238. $logtime = date("Y-m-d H:i:s",$logtime);
    239. }
    240. //日志文本中的 IP
    241. if($k == 'REMOTE_ADDR'){
    242. $ip =$v;
    243. }
    244. //日志文本中的 ag
    245. if($k == 'HTTP_USER_AGENT'){
    246. $ag =$v;
    247. }
    248. //日志文本中的 monolog txt
    249. if($k == 'request'){
    250. foreach ($v as $k2 => $v2) {
    251. if($k2 == 'module') {
    252. $cl= $v2;
    253. }elseif($k2 == 'model'){
    254. $cl= $v2;
    255. }
    256. if($k2 == 'action') {$m= $v2;}
    257. }
    258. }
    259. //日志文本中的 thriftlog,appphplog,accesslog txt
    260. if($k == 'data'){
    261. foreach ($v as $k2 => $v2) {
    262. //thriftlog
    263. if($k2 == 'methodName') {$cl= $v2;}
    264. if($k2 == 'param') {
    265. foreach ($v2 as $k3 => $v3) {
    266. if($k3 == 'sort') {
    267. foreach ($v3 as $k4 => $v4) {
    268. if($v4['classname']) {
    269. $m= $v4['classname'];
    270. }
    271. }
    272. }
    273. }
    274. }
    275. //appphplog
    276. if($k2 == 'ERRFILE') {$file= $v2;}
    277. if($k2 == 'ERRLINE') {$ln = (int)$v2;}
    278. if($k2 == 'REQUEST') {
    279. foreach ($v2 as $k3 => $v3) {
    280. if($k3 == 'model') {$cl= $v3;}
    281. if($k3 == 'action') {$m= $v3;}
    282. if($k3 == 'uid') {$uid= $v3;}
    283. }
    284. }
    285. //accesslog
    286. if($k2 == 'req') {
    287. foreach ($v2 as $k3 => $v3) {
    288. if($k3 == 'model') {$cl= $v3;}
    289. if($k3 == 'action') {$m= $v3;}
    290. }
    291. }
    292. }
    293. }
    294. }
    295. $time = time();
    296. $_id = $cl.'-'.$m.'-'.$time.'-'.strtotime($logtime);
    297. $tsn = (int)strtotime($logtime)*1000;
    298. $txt = $value;
    299. $file = $file?$file:$fileName;
    300. $data = array(
    301. 'proj'=>$_proj,
    302. 'sid' =>'',
    303. 'file'=>$file,
    304. 'iid' =>$_iid,
    305. 'seq' =>0,
    306. 'ts' =>$logtime,
    307. 'tsn' =>$tsn,
    308. 'lv' =>'ERROR',
    309. 'lvn' =>40000,
    310. 'th' =>'',
    311. 'cl' =>$cl,
    312. 'm' =>$m,
    313. 'ln' =>$ln,
    314. 'bsid'=>'',
    315. 'esid'=>'',
    316. 'txt' =>$txt,
    317. 'ex' =>'',
    318. 'ag' =>$ag,
    319. 'ip' =>$ip,
    320. 'uid' =>$uid,
    321. );
    322. //数组转换JSON对象
    323. $jsonStr = json_encode($data);
    324. //数据导入
    325. $url = $_type.'/'.$_id.'/';
    326. //$url = $_type.'/_search';
    327. $this->curlToEs($url,$jsonStr,$_pointname);
    328. }
    329. }
    330. }
    332. /**
    333. * @功能：类 JAVA标准日志格式 处理
    334. * @参数：
    335. * $fileName=> 文件名
    336. * $_pointname=> 指针名
    337. * $_type=> 业务
    338. * $_proj=> 服务
    339. * $_iid=> 节点
    340. * $_getNum=> 第次读取行数
    341. * $return => 返回结果集,
    342. */
    343. function logJsonToEs($fileName, $_pointname, $_type, $_proj='', $_iid='', $_getNum=100)
    344. {
    346. //读取方式2
    347. $logarr = $this->getLogArr($fileName,$_pointname,0,$_getNum);
    348. //print_r($logarr);
    349. //exit;
    351. //没有数据则直接返回
    352. $countlogarr = count($logarr);
    353. if($countlogarr < 2){
    354. return ;
    355. }
    357. //处理LOG数组
    358. foreach ($logarr as $key => $value) {
    360. //空值不作处理
    361. if(!$value){return;}
    363. //value str 转换 json 对象
    364. $jsonlogArr = array();
    365. $jsonlogArr = json_decode($value, true);
    366. if(is_array($jsonlogArr)){
    367. //处理第一条记录
    368. $_id ='';//编号
    369. $proj =$_proj;//项目编号 服务
    370. $sid ='';//服务名字
    371. $file ='';//采集的日志文件名
    372. $iid =$_iid;//实例号
    373. $seq =0;//日志收集的序列号
    374. $ts = date("Y-m-d H:i:s");//时间戳
    375. $tsn ='';//时间戳的毫秒数字
    376. $lv ='';//日志级别：TRACE,DEBUG等
    377. $lvn ='';//日志级别的数字
    378. $th ='';//线程名
    379. $cl ='';//类名或文件名
    380. $m ='';//方法名
    381. $ln =0;//行号
    382. $bsid ='';//业务会话id
    383. $esid ='';//总线会话id
    384. $txt ='';//日志内容
    385. $ex ='';//异常Exception日志的堆栈信息
    386. $ag ='';//user agent
    387. $ip ='';//调用者ip
    388. $uid ='';//用户id
    389. foreach ($jsonlogArr as $k => $v) {
    390. if($k == 'proj'){ $proj =$v;}
    391. if($k == 'sid') { $sid =$v;}
    392. if($k == 'file'){ $file =$v;}
    393. if($k == 'iid'){ $iid =$v;}
    394. if($k == 'seq'){ $seq =$v;}
    395. if($k == 'ts') { $ts =$v;}
    396. if($k == 'tsn'){ $tsn =$v;}
    397. if($k == 'lv'){ $lv =$v;}
    398. if($k == 'lvn'){ $lvn =$v;}
    399. if($k == 'th'){ $th =$v;}
    400. if($k == 'cl'){ $cl =$v;}
    401. if($k == 'm'){ $m =$v;}
    402. if($k == 'ln'){ $ln =$v;}
    403. if($k == 'bsid'){ $bsid =$v;}
    404. if($k == 'esid'){ $esid =$v;}
    405. if($k == 'txt'){ $txt =$v;}
    406. if($k == 'ex'){ $ex =$v;}
    407. if($k == 'ag'){ $ag =$v;}
    408. if($k == 'ip'){ $ip =$v;}
    409. if($k == 'uid'){ $uid =$v;}
    410. }
    411. $time = time();
    412. $_id = $key.'-'.$time.'-'.$tsn;
    413. $file = $file?$file:$fileName;
    414. $tsn = (int)$tsn*1000;
    415. $data = array(
    416. 'proj'=>$proj,
    417. 'sid' =>$sid,
    418. 'file'=>$file,
    419. 'iid' =>$iid,
    420. 'seq' =>$seq,
    421. 'ts' =>$ts,
    422. 'tsn' =>$tsn,
    423. 'lv' =>$lv,
    424. 'lvn' =>$lvn,
    425. 'th' =>$th,
    426. 'cl' =>$cl,
    427. 'm' =>$m,
    428. 'ln' =>$ln,
    429. 'bsid'=>$bsid,
    430. 'esid'=>$esid,
    431. 'txt' =>$txt,
    432. 'ex' =>$ex,
    433. 'ag' =>$ag,
    434. 'ip' =>$ip,
    435. 'uid' =>$uid,
    436. );
    437. //print_r($data);
    438. // exit;
    439. //数组转换JSON对象
    440. $jsonStr = json_encode($data);
    441. //数据导入
    442. $url = $_type.'/'.$_id.'/';
    443. //$url = $_type.'/_search';
    444. $this->curlToEs($url,$jsonStr,$_pointname);
    445. }
    446. }
    447. }
    449. /**
    450. * @功能：类 单行 nginxlog 错误 日志格式 处理
    451. * @参数：
    452. * $fileName=> 文件名
    453. * $_pointname=> 指针名
    454. * $_type=> 业务
    455. * $_proj=> 服务
    456. * $_iid=> 节点
    457. * $_getNum=> 第次读取行数
    458. * $return => 返回结果集,
    459. */
    460. function logOneLineToEs($fileName, $_pointname, $_type, $_proj='', $_iid='', $_getNum=100)
    461. {
    463. //读取方式3
    464. $logarr = $this->getLogArr($fileName,$_pointname,0,$_getNum);
    465. //print_r($logarr);
    466. //exit;
    468. //没有数据则直接返回
    469. $countlogarr = count($logarr);
    470. if($countlogarr < 2){
    471. return ;
    472. }
    473. //处理第一条记录
    474. $_id ='';//编号
    475. $proj =$_proj;//项目编号 服务
    476. $sid ='';//服务名字
    477. $file ='';//采集的日志文件名
    478. $iid =$_iid;//实例号
    479. $seq =0;//日志收集的序列号
    480. $ts = date("Y-m-d H:i:s");//时间戳
    481. $tsn ='';//时间戳的毫秒数字
    482. $lv ='ERROR';//日志级别：TRACE,DEBUG等
    483. $lvn ='';//日志级别的数字
    484. $th ='';//线程名
    485. $cl ='';//类名或文件名
    486. $m ='';//方法名
    487. $ln =0;//行号
    488. $bsid ='';//业务会话id
    489. $esid ='';//总线会话id
    490. $txt ='';//日志内容
    491. $ex ='';//异常Exception日志的堆栈信息
    492. $ag ='';//user agent
    493. $ip ='';//调用者ip
    494. $uid ='';//用户id
    496. //处理日志记录时间与IP逻辑
    497. $findme1 = '[';
    498. $findme2 = ',';
    499. $findme3 = ']';
    500. $timestr ='';
    502. //处理LOG数组
    503. foreach ($logarr as $key => $value) {
    505. //空值不作处理
    506. if(!$value){return;}
    508. //获取时间日期位置
    509. $pos2 = $this->findStrindex($value,$findme1);
    510. if ($pos2 !== false) {
    511. $timestr = substr($value,0,$pos2);
    512. }
    513. //获取IP 开始与结束位置
    514. $pos1 = $this->findStrindex($value,$findme2,1);
    515. $pos3 = $this->findStrindex($value,$findme2,2);
    516. if ($pos1 !== false && $pos3 !== false) {
    517. $ip = substr($value,$pos1+1,$pos3-$pos1-1);
    518. }
    520. //获取lv 开始与结束位置
    521. $pos4 = $this->findStrindex($value,$findme1);
    522. $pos5 = $this->findStrindex($value,$findme3);
    523. if ($pos4 !== false && $pos5 !== false) {
    524. $lv = substr($value,$pos4+1,$pos5-$pos4-1);
    525. }
    526. //lv lvn 取值
    527. $level = $this->getLoglevel($lv);
    528. $lv = $level['lv'];
    529. $lvn = $level['lvn'];
    530. //处理
    531. $logtime = strtotime($timestr);
    532. $time = time();
    533. $_id = $key.'-'.$time.'-'.$logtime;
    534. $ts = date('Y/m/d H:i:s', $logtime);
    535. $tsn = (int)$logtime*1000;
    536. $txt = $value;
    537. $data = array(
    538. 'proj'=>$proj,
    539. 'sid' =>$sid,
    540. 'file'=>$file,
    541. 'iid' =>$iid,
    542. 'seq' =>$seq,
    543. 'ts' =>$ts,
    544. 'tsn' =>$tsn,
    545. 'lv' =>$lv,
    546. 'lvn' =>$lvn,
    547. 'th' =>$th,
    548. 'cl' =>$cl,
    549. 'm' =>$m,
    550. 'ln' =>$ln,
    551. 'bsid'=>$bsid,
    552. 'esid'=>$esid,
    553. 'txt' =>$txt,
    554. 'ex' =>$ex,
    555. 'ag' =>$ag,
    556. 'ip' =>$ip,
    557. 'uid' =>$uid,
    558. );
    559. //print_r($data);
    560. //exit;
    561. //数组转换JSON对象
    562. $jsonStr = json_encode($data);
    563. //数据导入
    564. $url = $_type.'/'.$_id.'/';
    565. //$url = $_type.'/_search';
    566. $this->curlToEs($url,$jsonStr,$_pointname);
    567. }
    568. }
    569. /**
    570. * @功能：类 多行 php标准日志格式 处理
    571. * @参数：
    572. * $fileName=> 文件名
    573. * $_pointname=> 指针名
    574. * $_type=> 业务
    575. * $_proj=> 服务
    576. * $_iid=> 节点
    577. * $_getNum=> 第次读取行数
    578. * $return => 返回结果集,
    579. */
    580. function logMoreLineToEs($fileName, $_pointname, $_type, $_proj='', $_iid='', $_getNum=100)
    581. {
    583. //读取方式4
    584. $logarr = $this->getLogArr($fileName,$_pointname,1,$_getNum);
    585. //print_r($logarr);
    586. //exit;
    588. //没有数据则直接返回
    589. $countlogarr = count($logarr);
    590. if($countlogarr < 2){
    591. return ;
    592. }
    594. //处理日志记录时间与IP逻辑
    595. $findme1 = '[';
    596. $findme2 = ',';
    597. $findme3 = ']';
    598. $timestr ='';
    600. //处理LOG数组
    601. //日志格式
    602. //[2015-06-29 09:20:09][INFO][IP: 192.168.3.39][pc] [flash-house] txt
    603. //$arr =array();
    604. foreach ($logarr as $key => $value) {
    606. //处理第一条记录
    607. $_id ='';//编号
    608. $proj =$_proj;//项目编号 服务
    609. $sid ='';//服务名字
    610. $file ='';//采集的日志文件名
    611. $iid =$_iid;//实例号
    612. $seq =0;//日志收集的序列号
    613. $ts = date("Y-m-d H:i:s");//时间戳
    614. $tsn ='';//时间戳的毫秒数字
    615. $lv ='ERROR';//日志级别：TRACE,DEBUG等
    616. $lvn =40000;//日志级别的数字
    617. $th ='';//线程名
    618. $cl ='';//类名或文件名
    619. $m ='';//方法名
    620. $ln =0;//行号
    621. $bsid ='';//业务会话id
    622. $esid ='';//总线会话id
    623. $txt ='';//日志内容
    624. $ex ='';//异常Exception日志的堆栈信息
    625. $ag ='';//user agent
    626. $ip ='';//调用者ip
    627. $uid ='';//用户id
    629. //空值不作处理
    630. if(!$value){return;}
    632. //获取时间日期结束位置
    633. $pos2 = $this->findStrindex($value,$findme3);
    634. if ($pos2 !== false) {
    635. $timestr = substr($value,0,$pos2);
    636. }
    637. //获取时间日期开始位置
    638. $pos1 = $this->findStrindex($timestr,$findme1);
    639. if ($pos1 !== false) {
    640. $timestr = substr($timestr,$pos1+1);
    641. }else{
    642. $value = '['.$value;
    643. }
    645. //获取lv 开始与结束位置
    646. $lvt = '';
    647. $pos5 = $this->findStrindex($value,$findme1,2);
    648. $pos6 = $this->findStrindex($value,$findme3,2);
    649. if ($pos5 !== false && $pos6 !== false) {
    650. $lvt = substr($value,$pos5+1,$pos6-$pos5-1);
    651. }
    652. $lvt = strtoupper($lvt);
    653. $loglevelArr = array('ERROR','WARN','INFO','DEBUG','TRACE');
    654. if (in_array($lvt,$loglevelArr, TRUE)){
    655. //lv lvn 取值
    656. $level = $this->getLoglevel($lvt);
    657. $lv = $level['lv'];
    658. $lvn = $level['lvn'];
    659. }
    660. //获取ip 开始与结束位置
    661. $ipt = '';
    662. $pos5 = $this->findStrindex($value,$findme1,3);
    663. $pos6 = $this->findStrindex($value,$findme3,3);
    664. if ($pos5 !== false && $pos6 !== false) {
    665. $ipt = substr($value,$pos5+1,$pos6-$pos5-1);
    666. }
    667. //判断某字符出现次数
    668. $ipcount = substr_count($ipt,'.');
    669. if($ipcount == 3){
    670. $ip = $ipt;
    671. }
    673. //获取proj 开始与结束位置
    674. $projt = '';
    675. $pos5 = $this->findStrindex($value,$findme1,4);
    676. $pos6 = $this->findStrindex($value,$findme3,4);
    677. if ($pos5 !== false && $pos6 !== false) {
    678. $projt = substr($value,$pos5+1,$pos6-$pos5-1);
    679. }
    680. $projlen = strlen($projt);
    681. if($projlen >0 && $projlen<20 && $_type !='yuyuecall' ){
    682. $proj = $projt;
    683. }
    685. //获取iid 开始与结束位置
    686. $iidt = '';
    687. $pos5 = $this->findStrindex($value,$findme1,5);
    688. $pos6 = $this->findStrindex($value,$findme3,5);
    689. if ($pos5 !== false && $pos6 !== false) {
    690. $iidt = substr($value,$pos5+1,$pos6-$pos5-1);
    691. }
    692. $iidlen = strlen($iidt);
    693. if($iidlen >0 && $iidlen<20 && $_type !='yuyuecall' ){
    694. $iid = $iidt;
    695. }
    697. //获取txt 开始与结束位置
    698. $txtt = '';
    699. $pos6 = $this->findStrindex($value,$findme3,5);
    700. if ($pos6 !== false) {
    701. $txtt = substr($value,$pos6+1);
    702. }
    703. //判断txt 是否是JSON 数据
    704. $txtarr = json_decode($txtt, true);
    705. $jsontxt = json_encode($txtarr);
    706. if($jsontxt !='null'){
    707. $txt = $txtt;
    708. }
    709. if(!$txt){
    710. $txt = $value;
    711. }
    712. //处理
    713. $logtime = strtotime($timestr);
    714. $time = time();
    715. $_id = $key.'-'.$time.'-'.$logtime;
    716. $ts = date('Y/m/d H:i:s', $logtime);
    717. $tsn = (int)$logtime*1000;
    719. $data = array(
    720. 'proj'=>$proj,
    721. 'sid' =>$sid,
    722. 'file'=>$file,
    723. 'iid' =>$iid,
    724. 'seq' =>$seq,
    725. 'ts' =>$ts,
    726. 'tsn' =>$tsn,
    727. 'lv' =>$lv,
    728. 'lvn' =>$lvn,
    729. 'th' =>$th,
    730. 'cl' =>$cl,
    731. 'm' =>$m,
    732. 'ln' =>$ln,
    733. 'bsid'=>$bsid,
    734. 'esid'=>$esid,
    735. 'txt' =>$txt,
    736. 'ex' =>$ex,
    737. 'ag' =>$ag,
    738. 'ip' =>$ip,
    739. 'uid' =>$uid,
    740. );
    741. //print_r($data);
    742. //exit;
    743. //数组转换JSON对象
    744. $jsonStr = json_encode($data);
    745. //数据导入
    746. $url = $_type.'/'.$_id.'/';
    747. //$url = $_type.'/_search';
    748. $this->curlToEs($url,$jsonStr,$_pointname);
    749. }
    750. //print_r($arr);
    751. //exit;
    752. }
    754. /**
    755. * @功能：通过CURL 方式把数据POST 到ES 系统中
    756. * @参数：
    757. * $url=> POST 地址
    758. * $jsonStr=> 数据的JSON串
    759. * $return => 返回结果集,
    760. */
    761. function curlToEs($url,$jsonStr,$intype='')
    762. {
    763. //$url = 'http://'.$this->_host.':'.$this->_port.'/'.$this->_index.'/'.$_type;
    764. //$url = $url.'/'.$_id
    765. //$url = $url.'/_search';
    766. //$output = $this->_curl->get($url);
    768. //URL 正式地址
    769. $url = 'http://'.$this->_host.':'.$this->_port.'/'.$this->_index.'/'.$url;
    770. $output = $this->_curl->put($url, $jsonStr);
    771. //$output = $this->_curl->get($url);
    773. //记录日志
    774. $param['intype'] = $intype;
    775. $param['txt'] = $output;
    776. $param['curlUrl'] = $url;
    777. $param['curlParam'] = $jsonStr;
    778. $args = $this->_curl->getErrNo();
    779. $this->rewritetolog($param, $args);
    780. }
    782. /**
    783. * @功能：获取日志数组
    784. * @参数：$fileName=>获取日志的路径,
    785. * $indexType=> 要获取的类型
    786. * $getNum=> 要获取的行数
    787. * $return => 返回结果集,
    788. */
    789. function del_dir()
    790. {
    791. $now = time();
    792. $time = strtotime('-1 day', $now);
    793. $yday = date('Ymd', $time);
    794. $root = $this->_root;
    795. $indexName = $root.'/log/logIndex'.$yday.'.txt';
    796. if (file_exists($indexName)) {
    797. $result=unlink ($indexName);
    798. }
    799. }
    801. /**
    802. * @功能：获取日志数组
    803. * @参数：$fileName=>获取日志的路径,
    804. * $indexType=> 要获取的类型
    805. * $moreLine=> 是否多行处理
    806. * $getNum=> 要获取的行数
    807. * $return => 返回结果集,
    808. */
    809. function getLogArr($fileName,$indexType,$moreLine=0,$getNum=100)
    810. {
    811. $root = $this->_root;
    812. $indexName = $root.'/log/logIndex'.date('Ymd').'.txt';
    813. $txtIndex = @file_get_contents($indexName);
    814. $arrIndex = explode("\n", $txtIndex);
    815. $IndexArr = array();
    816. if($arrIndex[0]){
    817. $allindexArr = json_decode($arrIndex[0], true);
    818. if(is_array($allindexArr)){
    819. $IndexArr = $allindexArr;
    820. }
    821. }else{
    822. $IndexArr[$indexType] = 0;
    823. $indexJson = json_encode($IndexArr);
    824. $this->writeFile($indexName,$indexJson,'w');
    825. }
    826. //del dir for yesteday
    827. //检查是否有昨天Index文件
    828. $this->del_dir();
    829. $logarr = array();
    830. $findex = 0;
    831. if (!file_exists($fileName)) {
    832. //记录日志
    833. $param['intype'] = $indexType;
    834. $param['txt'] = "this is no file in $fileName";
    835. $args = 404;
    836. $this->rewritetolog($param, $args);
    837. return $logarr;
    838. }
    839. $fp = @fopen($fileName, 'r');
    840. $i = 0;
    841. $content = '';
    842. fseek($fp, $findex);
    843. while(!feof($fp) && $i++< $getNum)
    844. //while(!feof($fp))
    845. {
    846. $content .= fgets($fp);
    847. $findex = ftell($fp);//记录findex以便下次读取
    848. }
    849. //日志多行处理方式
    850. if($moreLine){
    851. $logarr = explode("\n[", $content);
    852. $count = count($logarr);
    853. if($count>1){
    854. $first = $logarr[0];
    855. $end = end($logarr);
    856. $endarrName = $root.'/log/endarr.php';
    857. $txtIndex = @file_get_contents($endarrName);
    858. $arrIndex = explode("\n", $txtIndex);
    859. $endarr = array();
    860. if($arrIndex[0]){
    861. $allindexArr = json_decode($arrIndex[0], true);
    862. if(is_array($allindexArr)){
    863. $endarr = $allindexArr;
    864. }
    865. }
    866. //首字符
    867. $firstStr = substr( $first, 0, 1 );
    868. if($firstStr == '['){
    869. if(@$endarr[$indexType]){
    870. $logarr[$count-1] = $endarr[$indexType];
    871. }
    872. }else{
    873. $allendstr = $endarr[$indexType].$first;
    874. $logarr[0] = $allendstr;
    875. }
    876. //最后一行存入数组
    877. $endarr[$indexType] = $end;
    878. $indexJson = json_encode($endarr);
    879. $this->writeFile($endarrName,$indexJson,'w');
    880. }
    881. }else{
    882. //日志单行处理方式
    883. $logarr = explode("\n", $content);
    884. }
    885. //文件指针位置
    886. $IndexArr[$indexType] = $findex;
    887. $indexJson = json_encode($IndexArr);
    888. $this->writeFile($indexName,$indexJson,'w');
    890. return $logarr;
    891. }
    893. /**
    894. * 查找某字符在字符串中的位置
    895. * @param string $string Params
    896. * @param string $find Params
    897. * @param int $num Params
    898. * @return $pos
    899. */
    900. public function findStrindex($string, $find, $num=1)
    901. {
    902. $pos = -1;
    903. $n = 0;
    904. do{
    905. $pos = strpos($string, $find, $pos+1);
    906. $n++;
    907. if($n==$num){
    908. break;
    909. }
    910. }while($pos!==false);
    912. return $pos;
    913. }
    915. /*
    916. **
    917. * 写文件
    918. * @param string $file 文件路径
    919. * @param string $str 写入内容
    920. * @param char $mode 写入模式
    921. */
    922. function writeFile($file,$str,$mode='w'){
    923. $oldmask = @umask(0);
    924. $fp = @fopen($file,$mode);
    925. @flock($fp, 3);
    926. if(!$fp){
    927. Return false;
    928. } else {
    929. @fwrite($fp,$str);
    930. @fclose($fp);
    931. @umask($oldmask);
    932. Return true;
    933. }
    934. }
    935. /**
    936. * @功能：日志记录
    937. * @参数：
    938. @param $param Array()
    939. $param['intype'] => 要记录日志的类型,
    940. $param['txt'] => 返回结果集,
    941. * $args => 返回结果状态，0表示成功，非0表示失败
    942. * $logger => 是否要记录日志
    943. * @返回：若转换成功返回true,否则返回false或直接跳出
    944. * 显示行号 __LINE__
    945. */
    946. function rewritetolog($param=array(), $args='', $logger =true)
    947. {
    948. //$log['_id'] = '';//编号
    949. //$log['proj'] = '';//项目编号
    950. $log['sid'] = '';//服务名字
    951. $log['file'] = '';//采集的日志文件名
    952. $log['iid'] = '';//实例号
    953. $log['seq'] = 0;//日志收集的序列号
    954. //$log['ts'] = '';//时间戳
    955. //$log['tsn'] = '';//时间戳的毫秒数字
    956. $log['lv'] = 'ERROR';//日志级别：TRACE,DEBUG等
    957. $log['lvn'] = 40000;//日志级别的数字
    958. $log['th'] = '';//线程名
    959. $log['cl'] = '';//类名或文件名
    960. $log['m'] = '';//方法名
    961. $log['ln'] = 0;//行号
    962. $log['bsid'] = '';//业务会话id
    963. $log['esid'] = '';//总线会话id
    964. $log['txt'] = '';//日志内容
    965. $log['ex'] = '';//异常Exception日志的堆栈信息
    966. $log['ag'] = '';//user agent
    967. $log['ip'] = '';//调用者ip
    968. $log['uid'] = '';//用户id
    969. $time = time();
    970. $ts = date('Y-m-d H:i:s',$time);
    971. $tsn = (int)($time*1000);
    972. $log['proj'] = 'log2es';//项目编号
    973. $log['ts'] = $ts;//时间戳
    974. $log['tsn'] = $tsn;//时间戳的毫秒数字
    976. $logStr = '';
    977. if($logger){
    978. $status = 'INFO';
    979. $flag = $this->_logflag;
    980. $curl = $this->_curl;
    981. $t['time'] = (string)date("Y-m-d H:i:s");
    982. $t['name'] = $param['intype']?(string)$param['intype']:'';
    983. $t['txt'] = $param['txt']?$param['txt']:'';
    984. $t['curlUrl'] = @$param['curlUrl']?(string)$param['curlUrl']:'';
    985. $t['curlParam'] = @$param['curlParam']?$param['curlParam']:'';
    986. $t['curlInfo'] = $curl->getInfo(); //$curl->getInfo();
    987. $t['curlStatus'] = $curl->getStatus();//$curl->getStatus();
    988. $t['curlError'] = $curl->getError(); //$curl->getError();
    989. $t['curlErrNo'] = $curl->getErrNo(); //$curl->getErrNo();
    991. if($flag){
    992. if($args){
    993. $status = 'ERROR';
    994. }
    995. $t['status'] = (string)$status;
    996. //处理日志记录
    997. $level = $this->getLoglevel($status);//日志级别
    998. $log['lv'] = $level['lv'];//日志级别：TRACE,DEBUG等
    999. $log['lvn'] = $level['lvn'];//日志级别的数字
    1000. $log['txt'] = $t;//日志内容
    1002. //print_r($log);
    1003. //exit;
    1004. //$_SERVER
    1005. $logStr = json_encode($log);
    1006. $logStr = $logStr.'
    1007. ';
    1008. $root = $this->_root;
    1009. $fileName = $root.'/log/';
    1010. $fileName = $fileName.date('Y-m-d').".log";
    1011. $this->writeFile($fileName,$logStr,'a');
    1012. }else{
    1013. if($args){
    1014. $status = 'ERROR';
    1015. //}
    1016. $t['status'] = (string)$status;
    1017. //处理日志记录
    1018. $level = $this->getLoglevel($status);//日志级别
    1019. $log['lv'] = $level['lv'];//日志级别：TRACE,DEBUG等
    1020. $log['lvn'] = $level['lvn'];//日志级别的数字
    1021. $log['txt'] = $t;//日志内容
    1022. //$_SERVER
    1023. $logStr = json_encode($log);
    1024. $logStr = $logStr.'
    1025. ';
    1026. $root = $this->_root;
    1027. $fileName = $root.'/log/';
    1028. $fileName = $fileName.date('Y-m-d').".log";
    1029. $this->writeFile($fileName,$logStr,'a');
    1030. }
    1031. }
    1032. }
    1033. }
    1035. /*
    1036. **
    1037. * 日志级别
    1038. * @param string $lv 日志级别字符串
    1039. * @return int 返回数字
    1040. */
    1041. function getLoglevel($lv)
    1042. {
    1043. $lv = strtoupper($lv);
    1044. $loglevel = array(
    1045. 'ERROR'=>'40000',//40000
    1046. 'WARN'=>'30000',//30000
    1047. 'INFO'=>'20000',//20000
    1048. 'DEBUG'=>'10000',//10000
    1049. 'TRACE'=>'5000',//5000
    1050. );
    1051. if($loglevel[$lv]){
    1052. $level['lv'] = $lv;
    1053. $level['lvn']= $loglevel[$lv];
    1054. }else{
    1055. $level['lv'] = 'ERROR';
    1056. $level['lvn']= 40000;
    1057. }
    1058. return $level;
    1059. }
    1060. }
    1061. //执行程序脚本
    1062. $alllog = new AlllogCommand();
    1063. $alllog->run();
    1064. ?>