<commit_before>> by <NAME>  
> translated by Unintell
[原文链接](https://intelligence.org/research-guide/)


**如果人类想要制造出具有正面作用的、强于人类本身的人工智能，我们必须面对三个艰巨的挑战。首先，我们制造的超人系统（smarter-than-human systems）必须具有高度的可靠性，这样才能确保它能够满足我们给定的目标或者偏好。其次，系统的设计必须具有容错性，这样才能在人为错误发生的时候对系统进行在线修改或者修正。第三，这个系统必须能够真的学习到有益的目标或者偏好。**

MIRI目前的研究项目着眼于了解如何在[原则](https://intelligence.org/2015/07/27/miris-approach/)上克服这些挑战。关于可靠推理（reliable reasoning）的问题的某些方面，我们甚至在理论上都不甚了解；有一些关于有限理智（bounded rationality）的问题，我们在有所简化的情况也无法解决。作为第一步，我们的研究主要考虑从简化的情况出发。由此看来，我们现在的研究更像是纯数学，而不是软件工程或者是实用的机器学习问题。

这篇简介简短地介绍了我们优先需要研究的问题，并且提供一些资料以帮助你快速了解相关问题的前沿状态。其目的不在于合理化这些研究课题，更多关于我们的研究动机的信息，请参考以下文章：[MIRI的研究方式](https://intelligence.org/2015/07/27/miris-approach/)，[技术日程](http://intelligence.org/files/TechnicalAgenda.pdf)，[支持文献](http://intelligence.org/technical-agenda).

注（2016-sep）：这篇研究指导基于我们的技术日程文档，2016年以来，我们又引入了[专注于机器学习的研究日程](https://intelligence.org/files/AlignmentMachineLearning.pdf)。请参考这个文档以了解另外一部分没有在此提及，但是我们认为很有价值的研究方向。

    #目录  
    1. 如何使用该指导  
    2. 基础信息  
    3. 现实建模（realistic World-models）  
    4. 决策论  
    5. 逻辑不确定性  
    6. Vingean Reflection  
    7. 可矫正性  
    8. 价值学习  
    9. 其他工具  
    10. 了解我们的使命  



*to be continued*<commit_msg>fix format<commit_after>> by <NAME>  
> translated by Unintell
[原文链接](https://intelligence.org/research-guide/)


**如果人类想要制造出具有正面作用的、强于人类本身的人工智能，我们必须面对三个艰巨的挑战。首先，我们制造的超人系统（smarter-than-human systems）必须具有高度的可靠性，这样才能确保它能够满足我们给定的目标或者偏好。其次，系统的设计必须具有容错性，这样才能在人为错误发生的时候对系统进行在线修改或者修正。第三，这个系统必须能够真的学习到有益的目标或者偏好。**

MIRI目前的研究项目着眼于了解如何在[原则](https://intelligence.org/2015/07/27/miris-approach/)上克服这些挑战。关于可靠推理（reliable reasoning）的问题的某些方面，我们甚至在理论上都不甚了解；有一些关于有限理智（bounded rationality）的问题，我们在有所简化的情况也无法解决。作为第一步，我们的研究主要考虑从简化的情况出发。由此看来，我们现在的研究更像是纯数学，而不是软件工程或者是实用的机器学习问题。

这篇简介简短地介绍了我们优先需要研究的问题，并且提供一些资料以帮助你快速了解相关问题的前沿状态。其目的不在于合理化这些研究课题，更多关于我们的研究动机的信息，请参考以下文章：[MIRI的研究方式](https://intelligence.org/2015/07/27/miris-approach/)，[技术日程](http://intelligence.org/files/TechnicalAgenda.pdf)，[支持文献](http://intelligence.org/technical-agenda).

注（2016-sep）：这篇研究指导基于我们的技术日程文档，2016年以来，我们又引入了[专注于机器学习的研究日程](https://intelligence.org/files/AlignmentMachineLearning.pdf)。请参考这个文档以了解另外一部分没有在此提及，但是我们认为很有价值的研究方向。
---
#目录  
1. 如何使用该指导  
2. 基础信息  
3. 现实建模（realistic World-models）  
4. 决策论  
5. 逻辑不确定性  
6. Vingean Reflection  
7. 可矫正性  
8. 价值学习  
9. 其他工具  
10. 了解我们的使命  
---


*to be continued*
{'fraction_non_alphanumeric': 0.1251596424010217, 'fraction_numerical': 0.02979991485738612, 'mean_word_length': 6.580645161290323, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 9, 'https://': 8, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3299188', 'n_tokens_mistral': 1673, 'n_tokens_neox': 1822, 'n_words': 80}