我们将以一些简短的故事开始。不可否认，每一个故事都是对可解释性机器学习的夸张呼吁。如果你赶时间你可以跳过这些故事。如果你想从中得到快乐和动力，那就请继续阅读。
该格式的灵感来源于Jack Clark’s的Import AI Newsletter。如果你对这些故事感兴趣或者你对AI感兴趣，我推荐你注册。

闪电不会击中两次

2030：瑞士的一个医学实验

“这肯定不是最糟糕的死亡方式！”Tom总结道，尝试着在这悲剧中找到积极的一面。他从静脉注射杆上取下泵。Lena补充道，“他只是由于错误的原因而死。”“而且肯定是用了错误的吗啡泵！只是为我们创造更多的工作！”Tom拧下泵的固定板时抱怨道。卸下所有螺钉之后，他举起板子，把他放到了另一边。他将电缆插入诊断端口。
“你不仅仅是抱怨有工作，对吗？”Lena 对他嘲笑道。
“当然不，从来没有！”他讽刺的喊道。
他启动了泵的计算机。
Lena将电缆的另一端插入了她的平板电脑。“好的，诊断正常运行，”她宣布。“我真的很好奇到底出了什么错误。”
“他确实让我们的John Doe 进入涅槃。高浓度的吗啡物质。我的意思是……这是第一次，对吗？通常情况下一个坏掉的泵释放出的甜味物质很少或者什么都没有。但是永远不会，你知道的，像疯狂的一枪，”Tom解释道。
“我知道。你不必说服我…嘿，看看这个。”莉娜举起她的平板电脑你看到这座山峰了吗？这就是止痛药混合物的效力。看！该行显示参考标高。这个可怜的家伙血液系统中混合了止痛药，可以杀死他17倍以上。由我们这里的泵注入。“在这里……”她轻轻地说，“在这里你可以看到病人死亡的时刻。”“那么，你知道发生了什么事吗，老板？”汤姆问他的上司。
“嗯……传感器似乎很好。心率、氧水平、血糖等数据按预期收集。血氧数据中有一些缺失值，但这并不罕见。看这里。传感器还检测到患者心率减慢，以及由吗啡衍生物和其他止痛剂引起的皮质醇水平极低。”她继续浏览诊断报告。
汤姆着迷地盯着屏幕。这是他第一次调查真正的设备故障。
“好的，这是我们的第一块拼图。系统未能向医院的通信通道发送警告。警告已触发，但在协议级别被拒绝。这可能是我们的错，但也可能是医院的错。请将日志发送给IT团队，”莉娜告诉汤姆。
汤姆点点头，眼睛仍然盯着屏幕。
莉娜继续说：“这很奇怪。该警告还应导致泵关闭。但它显然没有做到这一点。那一定是个错误。质量团队遗漏了一些东西。非常糟糕的事情。可能与协议问题有关。”
“那么，泵的应急系统不知怎么坏了，但为什么泵开得满满当当，给约翰·多伊注射了那么多止痛药？”汤姆想知道。
“好问题。你是对的。撇开紧急情况不谈，泵根本不应该给药那么多。考虑到低水平的皮质醇和其他警告信号，该算法应该提前停止。
汤姆问她：“也许是运气不好，比如万里挑一，比如被闪电击中？”。
“不，汤姆。如果你读过我发给你的文件，你就会知道泵首先是在动物实验中训练的，然后是在人类身上训练的，以学习根据感觉输入注射足量的止痛药。泵的算法可能不透明且复杂，但它不是随机的。这意味着，在相同的情况下，泵会再次以完全相同的方式运行。我们的病人会再次死亡。感官输入的组合或不期望的交互作用一定触发了泵的错误行为。这就是为什么我们必须深入挖掘，找出这里发生了什么，”莉娜解释说。
“我明白了……”汤姆沉思着回答病人不是很快就会死吗？因为癌症还是什么？”
莉娜一边看分析报告一边点头。
汤姆站起来，走到窗前。他向外看，眼睛盯着远处的一个点。”也许机器帮了他一个忙，让他从痛苦中解脱出来。不再有痛苦。也许它只是做了正确的事情。就像闪电，但是，你知道，一个好的。我的意思是喜欢彩票，但不是随机的。但这是有原因的。如果我是泵，我也会这样做。”
她终于抬起头看着他。
他一直看着外面的东西。
两人沉默了一会儿。
莉娜再次低下头继续分析。”不，汤姆。这是一只虫子……只是一只该死的虫子。”

信任下降

2050：新加坡的地铁站

她冲向璧山地铁站。带着她的想法，她已经在工作了。新神经结构的测试现在应该已经完成了。她领导了政府“个人实体税收亲和力预测系统”的重新设计，该系统预测一个人是否会向税务局隐瞒资金。她的团队已经提出了一项优雅的工程。如果成功，该系统将不仅为税务局服务，还将为反恐警报系统和商业登记处等其他系统提供信息。有一天，政府甚至可以将这些预测纳入公民信任评分。公民信任评分评估一个人的可信度。这个估计会影响到你日常生活的每一个方面，比如获得贷款或者你需要等待多长时间才能拿到新护照。当她走下自动扶梯时，她想象着她的团队系统与公民信任评分系统的整合会是什么样子。 她经常在RFID阅读器上擦手，但不降低行走速度。她的思想被占据了，但感官预期和现实的不和谐在她的大脑中敲响了警钟。
太晚了。
她撞上地铁入口大门，屁股先着地摔了下来。门本来应该开着的，但是没有开。她目瞪口呆地站起来，看着大门旁边的屏幕。”请再试一次，”屏幕上一个友好的微笑建议道。一个人走过，不理她，用手擦了擦读卡器。门开了，他走了进来。门又关上了。她擦了擦鼻子。它疼，但至少没有流血。她试图开门，但又被拒绝了。这很奇怪。也许她的公共交通账户没有足够的代币。她看了看智能手表，查看账户余额。
“登录被拒绝。请与您的公民咨询局联系！”她的手表告诉了她。
她感到一阵恶心，就像拳头打在胃部一样。她怀疑发生了什么事。为了证实她的理论，她开始了手机游戏“狙击手公会”，一个自我射击游戏。应用程序再次自动直接关闭，这证实了她的理论。她头晕了，又坐在地板上。
只有一个可能的解释：她的公民信任分数下降了。基本上。一个小的下降意味着一些小的不便，比如不能得到头等舱的航班，或者要等更长的时间才能拿到官方文件。低信任分数是罕见的，这意味着你被列为社会的威胁。与这些人打交道的一项措施是让他们远离地铁等公共场所。政府限制公民信任分数低的主体进行金融交易。他们还开始积极监控你在社交媒体上的行为，甚至限制某些内容，比如暴力游戏。如果你的公民信任分数越低，你就越难提高分数。得分很低的人通常永远不会康复。
她想不出为什么她的分数会下降。分数基于机器学习。公民信任评分系统就像一台运转良好的发动机，运转着社会。信任评分系统的绩效始终受到密切监控。自本世纪初以来，机器学习变得更好了。它变得如此高效，以至于信任评分系统做出的决定不再有争议。可靠的系统。
她绝望地笑了。绝对正确的系统。要是…就好了这个系统很少失败。但它失败了。她一定是其中一个特例；系统错误；从现在起，一个被遗弃的人。没有人敢质疑这个制度。它太过融入政府，融入社会本身，不值得质疑。在剩下的少数几个民主国家，禁止组织反民主运动，不是因为这些运动本身就是恶意的，而是因为它们会破坏当前体系的稳定。同样的逻辑也适用于现在更常见的算法。由于对现状的威胁，禁止对算法进行评论。
算法信任是社会秩序的结构。为了共同的利益，很少有虚假的信任蔑视被默认。成百上千的其他预测系统和数据库输入了分数，这使得我们无法知道是什么原因导致了她的分数下降。她觉得自己身上和身下都有一个大黑洞。她带着恐惧的神情望向虚空。
她的税收亲和力系统最终被纳入公民信托评分系统，但她从未意识到这一点。

费米回形针

公元612年（火星定居之后）：火星上的博物馆

“历史很无聊，”Xola低声对她的朋友说。蓝头发的女孩Xola懒洋洋地用左手追赶一架在房间里嗡嗡作响的投影机。”“历史是重要的，”老师看着那些女孩，心烦意乱地说。Xola脸红了。她没想到老师会偷听到她。 “Xola，你刚才学了什么？”老师问她“古人耗尽了地球上所有的资源，然后就死了？”她仔细地问不，他们让气候变热，不是人，而是电脑和机器。“这是地球，不是地球，”另一个叫林的女孩补充道。Xola点头表示同意。老师带着一丝骄傲，微笑着点了点头。”你们都是对的。你知道为什么会这样吗？“因为人们目光短浅、贪婪？”Xola问道人们无法停止他们的机器！”林脱口而出。
“再说一次，你们都是对的，”老师决定，“但事情远比这复杂得多。当时大多数人都不知道发生了什么。有些人看到了剧烈的变化，但无法逆转。这一时期最著名的作品是一位匿名作者的诗。它最好地捕捉了当时发生的事情。仔细听！”
老师开始写这首诗。十几只小无人机在孩子们面前重新定位，开始将视频直接投射到他们的眼睛里。它显示了一个穿着西装的人站在一片只剩下树桩的森林里。他开始说话：
机器计算；机器预测。
我们前进，因为我们是它的一部分。
我们在训练中追求最佳状态。
最优解是一维的、局部的、无约束的。
硅和肉，追逐指数。
成长是我们的心态。
当所有的奖励都收集到了，
副作用被忽视；
当所有的硬币都被开采出来，
自然落后了,；
我们会有麻烦的，
毕竟，指数增长是一个泡沫。
公地的悲剧正在上演，
爆炸,，
在我们眼前。
冷酷的计算和冰冷的贪婪，
让地球充满热量。
一切都在消亡，
我们正在遵守。
就像戴着眼罩的马一样，我们在自己创造的种族中赛跑，
走向文明的伟大过滤器。
因此，我们坚持不懈地前进。
因为我们是机器的一部分。
拥抱熵。
“黑暗的记忆，”老师说，打破了房间里的沉默它将上载到您的库中。你的作业是把它记到下周。”Xola叹了口气。她设法抓住了一只小雄蜂。无人机从中央处理器和引擎中发热。Xola喜欢它温暖她的手。