人工智能（AI）是如何处理数据的？
现代的人工智能 (AI)的应用大都基于一个新基础上——机器学习！基于机器学习的人工智能可以如虎添翼，无需复杂知识工程，轻松训练新的解决方案~就让我们一起来康康机器学习中 Amazon SageMaker Processing 是如何高效处理数据的吧！超多干货，建议点赞收藏，码住慢慢看~（内含超良心免费机器学习大礼包，千万别错过哦！） Amazon SageMaker Processing 是 Amazon SageMaker 的一项新功能，可让您轻松地在完全托管的基础设施上运行预处理、后处理和模型评估工作负载。 训练准确的机器学习 (ML) 模型需要许多不同的步骤，但没有什么比预处理数据集更重要，例如： 这些任务包括在数据集上运行定制脚本（我被告知在没有月亮的天空下），并保存处理后的版本，以供以后的培训作业使用。如您所料，对 ML 团队来说，手动运行它们或必须构建和扩展自动化工具的前景并不令人兴奋。对于后处理作业（筛选、整理等）和模型评估作业（针对不同测试集对模型评分）而言，也是如此。 为解决此问题，我们构建了 Amazon SageMaker Processing。下面我来进行更多介绍。 现在就上手！点击下方链接，获取亚马逊云科技机器学习大礼包！也不要忘了关注“亚马逊云科技”官方知乎账号，随时随地接收新鲜资讯～ Amazon SageMaker Processing 简介 Amazon SageMaker Processing 推出了新的 Python 开发工具包，使数据科学家和 ML 工程师可以轻松地在 Amazon SageMaker 上运行预处理、后处理和模型评估工作负载。 该开发工具包使用 SageMaker 的内置容器来进行 scikit-learn，这可能是最受欢迎的数据集转换库之一。 如果您还需要其他工具，还可以使用自己的 Docker 映像，而不必遵循任何 Docker 映像规范：这为您提供了最大的灵活性，无论是在 SageMaker Processing 还是在 Amazon ECS 和 Amazon Elastic Kubernetes Service 之类的 Amazon 容器服务上，甚至在内部，均是如此。 用 scikit-learn 快速演示怎么样？ 然后，我将简要讨论如何使用您自己的容器。当然，您可以在  Github 上找到完整的示例。 使用内置的 Scikit-Learn 容器预处理数据 以下是使用 SageMaker Processing 开发工具包来运行 scikit-learn 作业的方法。 首先，让我们创建一个 SKLearnProcessor 对象，传递要使用的 scikit-learn 版本以及对托管基础设施的要求。 然后，我们可以像下面这样，运行预处理脚本（稍后将介绍更多有关该操作的内容）： 就这么简单！ 让我们通过查看预处理脚本的框架将所有内容放在一起。 快速浏览 S3 存储桶，确认文件已成功处理并保存。现在，我可以将它们直接用作 SageMaker 培训作业的输入。 $ aws s3 ls --recursive s3://sagemaker-us-west-2-123456789012/sagemaker-scikit-learn-2019-11-20-13-57-17-805/output2019-11-20 15:03:22 19967 sagemaker-scikit-learn-2019-11-20-13-57-17-805/output/test.csv2019-11-20 15:03:22 64998 sagemaker-scikit-learn-2019-11-20-13-57-17-805/output/train.csv2019-11-20 15:03:22 18058 sagemaker-scikit-learn-2019-11-20-13-57-17-805/output/validation.csv 现在如何使用自己的容器？ 使用自己的容器处理数据 比如说您想使用热门的 spaCy 库预处理文本数据。您可以使用以下方法为其定义一个普通 Docker 容器。 然后，您可以构建 Docker 容器，在本地进行测试，然后将其推送到我们的托管 Docker 注册表服务 Amazon Elastic Container Registry。 下一步，可以使用 ScriptProcessor 对象配置处理作业，并传递您已构建和推送的容器的名称。 最后，您可以像前面的示例一样运行该作业。 其余过程与上述过程完全相同：将输入复制到容器内部，将输出从容器复制到 S3。 很简单，对不对？ 同样，我专注的是预处理，但是您可以运行类似的任务进行后处理和模型评估。不要忘记查看 Github 中的示例。 现在就上手！点击下方链接，获取亚马逊云科技机器学习大礼包！也不要忘了关注“亚马逊云科技”官方知乎账号，随时随地接收新鲜资讯～ 如果您觉得这篇回答对您有帮助，还请点个赞鼓励我们吧～