今天早上查看zabbix的时候报错，错误截图如下：
    【MySQL】故障恢复一例 - 图1

    一看就是数据库有问题，登陆数据库服务器一看，mysqld进程已经没有了，接着查看系统日志，截图如下：
    【MySQL】故障恢复一例 - 图2
    可以很清楚地看到，OOM，mysqld进程被kill。
    找到问题了，我们调小innodb_buffer_pool_size跟tokudb_cache_size，然后启动数据库。数据库正常启动，但是，前台依旧报错。
    我们登录数据库手动查一条数据测试一下看看。

    select * from history limit 1;
    1033 Incorrect information in file: ‘./mysql/zabbix/history.frm

    很可能就是mysqld被意外kill以后造成表损坏，我们手动删除ibdata1跟logfile，然后启动数据库。
    启动过程报错，错误大概是这样的：

    1. 2014-DD-MM 02:15:16 16414 [Note] Found 1 prepared transaction(s) in TokuDB
    2. 2014-DD-MM 02:15:16 16414 [ERROR] Found 1 prepared transactions! It means that mysqld was not shut down properly last time and critical recovery information (last binlog or tc.log file) was manually deleted after a crash. You have to start mysqld with --tc-heuristic-recover switch to commit or rollback pending transactions.
    3. 2014-DD-MM 02:15:16 16414 [ERROR] Aborting

    那么，我们在配置文件mysqld下增加参数

    1. #innodb_force_recovery = 1

    启动时增加参数：

    1. /usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --user=mysql  --tc-heuristic-recover=rollback &

    ok,数据库正常启动，事务也回滚了。
    我们再次修改参数

    1. #innodb_force_recovery = 0

    这时，数据库即可正常操作。