NTT东部如何利用Amazon Chime SDK应对数字化转型

由小林岳志和加藤智近于2023年4月12日发布于Amazon Chime SDK、商业生产力、客户解决方案 永久链接 分享

本篇博客为NTT东部的中村义雄所撰写，内容和观点仅代表作者个人，AWS对此帖子的内容和准确性不承担任何责任。

NTT东部作为日本的区域通信服务提供商，主要提供互联网连接服务和移动通信服务，同时也专注于通过各种云服务实现数字化转型DX。为了改善沟通，我们正在利用Amazon Chime SDK。

重点总结：

关键要点

NTT东部使用Amazon Chime SDK开发“远程协助工具”以提升客户满意度。该工具通过视频和音频实时支持消费者，提升了联系中心的效率。实现了双向会议和图像传输功能，为内部业务沟通带来了便利。

今天，我想介绍我们公司在使用Amazon Chime SDK时的某些挑战。

远程协助工具

在我所在的团队中，我们开发并运营了一个“远程协助工具”，利用Amazon Chime SDK Meetings将遇到沟通问题的消费者与联系中心连接起来，实时支持消费者的视频和音频解决方案。此前，联系中心主要通过电话解决问题，但现在通过视频交互，我们能够快速解决那些仅通过语言无法传达的问题，从而提高客户满意度。

在开发过程中，我们选择了基于WebRTC的服务，以优先考虑实时性能。在多个服务中，我们选择了Amazon Chime SDK，原因如下：

飞鱼网络梯子选择理由内容稳定性Amazon Chime SDK有着长久且稳定的经验计费模型Amazon Chime SDK的按需计费模式与代理的使用频率相匹配，而不是许可系统可定制性能够根据需要定制SDK以适应诸如联系中心等安全场所

远程协助工具是一个基于React的无服务器Web应用程序。UI的基本部分使用Amazon Chime SDK React组件库，允许即使是小型团队也能实现丰富的用户界面和简单的业务逻辑。

联系中心代理通过Amazon Cognito登录，并使用Amazon SNS发送消费者访客访问链接。消费者通过此链接加入视频会议，并向会议发送实时视频。

虽然视频传输相对简单，但我们使用了实时平台的数据消息功能来改善沟通质量。

数据消息功能基于Amazon Chime SDK Meeting使用的WebRTC，并使用为视频连接准备的WebSocket进行数据通信。它可以向所有与会者包括自己传输最多2KB的字符字符串，并在服务器上保留最长5分钟。会议结束后这些消息将被删除。

绘图功能

远程协助工具利用数据消息为实时图像添加标记，以便对方能够轻松理解视频中的问题区域。

根据坐标类型，该工具将标记坐标、标记绘制所在的视频图像ID和绘制状态转换为JSON字符串。视频图像的ID是必要的，因为可能会显示多达25个视频图像，以确保可以在正确的视频图像上重现标记。可以为视频发送者获取各种状态信息。

typescripttype Coordinate = { x number y number tileId number isDrawing boolean}

最后，这些包含发送者信息和主题信息的数据将反映给所有与会者。

图像传输

不幸的是，如果持有相机的手移动，标记可能会指向完全不同的地方。因此，有人提出请求希望标记视频快照并发送给对方。由于可能包含个人信息，禁止上传图像。

快照和视频标记使用JavaScript完成。创建的静态图像进行Base64编码并转换为字符串。每个数据消息的最大大小为2KB。字符串化的静态图像以JPG格式压缩到小于或等于2KB，并分拆成多个数据消息发送。

javascriptconst chunkList string[] = base64captureDatamatch(new RegExp({11536} g))chunkListforEach((chunk) =gt { const message = { chunkStatus chunkStatus // start body end base64ImageChunk chunk } // 发送数据消息})

数据消息的接收方接收一系列数据消息，将它们按发送顺序组合，恢复图像数据，并在canvas标签上反映出来。

双向组会议

远程协助工具基于从用户到联系中心代理的一对一视频通信。我们使用额外的Amazon Chime SDK Messaging来增强双向组会议功能。

该应用程序强调内部业务沟通。之前，像修复电话线路电杆或通信设备等任务的工人通过电话接收来自高级技术人员的指示。然而，通过支持内部团队的视频和音频，工作效率得以提升。

作为要求，必须交换文本、URLs、摄像头图像等，并将其保存为聊天历史。为满足此要求，利用了Amazon Chime SDK Messaging。Amazon Chime SDK Messaging提供完整的实时基础设施聊天功能。

此外，还添加了允许用户用表情符号进行反应的功能。此功能是使用CONTROLMESSAGE实现的，数据在网络中以30字节的低成本共享，并与DynamoDB集成。

您可以在聊天频道中发起视频会议并进行群聊。

Amazon Chime SDK Messaging不仅出色地作为聊天功能使用，还可以认为是一种服务，使分段WebSocket可按需规模化并以低成本实时传递数据。似乎存在许多使用它的可能性。我们也在考虑新的使用方式。

使用C客户端库远程控制DeepRacer

关于Amazon Chime SDK，有一点需要注意的是，其服务定位不同于Amazon Chime应用程序。

虽然Amazon Chime以其团队视频会议工具而闻名，但后者则提供了“实时通信基础设施”，便于使用聚合WebRTC和WebSocket的服务。视频通话和聊天只是一个例子，可以得到大力利用，但若仅关注这些，可能会缩小服务范围而错失宝贵机会。有了Amazon Chime SDK，开发人员可以自由创新构建服务。

作为实验性尝试，我们对2022年8月推出的Amazon Chime SDK Meetings C客户端库进行了研究。

WebRTC技术也用于网络摄像头，能够通过互联网将监控摄像头图像发送到远程设备。此外，通过接收来自远程设备的控制命令并进行预定处理，可以改变摄像头的方向或放大。

同样，通过使用C客户端库，我们尝试通过互联网接收来自远程设备的指令以进行操作。

远程控制概述

无人机UAV等设备通常配备有AI功能的计算机，这些计算机通过线缆连接到主体，帮助进行自主控制和外部通信。以DeepRacer为例，我在车上安装了一台Raspberry Pi，实现了相同的功能。

虽然DeepRacer通过机器学习提供自动驾驶机制，但在本次测试中，摄像头和推理组件被移除并由Raspberry Pi替代。Raspberry Pi配备摄像头，通过Chime SDK将视频发送到控制设备PC。DeepRacer可通过API控制，因此控制设备向Raspberry Pi发送数据消息，并利用接收到的消息进行API请求以控制DeepRacer。

单向控制：飞行控制

您可以从控制设备操控DeepRacer。若要同时或单独控制多个DeepRacer，数据消息中应包含目标信息。由于数据消息会发送给包括自己在内的所有参与者，因此如果接收到的数据消息中含有的目标信息AttendeeID与自己的AttendeeID相同，则执行该操作，否则将其丢弃。

此配置允许通过一个控制设备同时或单独控制多达249个DeepRacer，同时接收多达25个视频流。当使用复制会议功能时，最多可同时控制的DeepRacer数量增加到9999。

我使用手头的两个DeepRacer确认了此功能。控制设备使用React组件库构建，并通过浏览器向DeepRacer发送操作命令。当有绿色框时，表示发送给单辆车的命令，而没有框则表示发送给所有车辆的命令。

您可以看到，这些车辆根据命令移动并接收实时视频。

双向控制：接收指标

使用类似机制，控制设备收集并聚合每辆车的信息。当控制设备通过数据消息发送状态收集命令时，各个车辆的Raspberry Pi接收该命令，获取DeepRacer的电池信息并通过REST发送数据消息和状态返回命令。

作为预防措施，只有分配给自己的数据消息应被处理。每辆车仅处理状态收集命令，控制设备则仅处理从车辆返回的状态命令。

通过根据角色处理必要的数据消息，可以在控制设备上聚合车辆信息。

结论

我介绍了几个使用Amazon Chime SDK的项目。Amazon Chime SDK拥有卓越的实时通信基础设施，不仅限于视频通话和聊天，还进行了多种特性扩展，包括与电信运营商和AI功能的集成。

让我们挑战自己，利用这一通信基础设施开发新服务吧！感谢您的阅读。

标签： Amazon Chime SDK、chime、通信开发服务、会议、视频、WebRTC

小林岳志

小林岳志是AWS的一名高级CDS专家解决方案架构师，驻扎在西雅图。他热衷于使用AWS服务为客户构建解决方案。

加藤智近