Teradata QueryGrid和Azure 人类发展指数nsight

连接Teradata QueryGrid到Azure 人类发展指数nsight

卢沙
卢沙
2021年11月17日 11分钟阅读
许多Teradata客户对将Teradata 有利的与微软Azure的第一方服务集成感兴趣. 本入门指南将帮助您连接Teradata QueryGrid到Azure 人类发展指数nsight服务.

尽管这种方法已经在内部实现和测试过,但它是按原样提供的. Teradata QueryGrid确实支持Azure 人类发展指数nsight,十大电子游艺平台首选强烈建议使用Teradata来确定最佳的配置和架构. 本文的方法不能取代正式的产品文档.

十大电子游艺平台首选鼓励您的反馈. 十大电子游艺平台首选希望了解您认为有用的内容,以及十大电子游艺平台首选如何改进本指南. 请将您的反馈发送到 卢.shah@carlforcongress.com.

免责声明:本指南包括来自Microsoft和Teradata产品文档的内容.

概述

本文描述了将Teradata QueryGrid连接到人类发展指数nsight (Hadoop)集群并从Azure上的Teradata 有利的查询它的最小步骤. 它将强调的部署需求 Azure上的Teradata (DIY), 十大电子游艺网站观点, Teradata QueryGridAzure 人类发展指数nsight. 十大电子游艺平台首选将使用十大电子游艺网站观点来配置这些服务,以便在平台之间无缝连接. 最后, 十大电子游艺平台首选将创建一个外部服务器连接,并利用QueryGrid fabric来执行SQL从有利的到人类发展指数nsight集群.

这是一个工作流程的图表.
屏幕-射- 2021 - 11 - 18 - 10 - 49 - 14点.png

关于Azure 人类发展指数nsight

Azure 人类发展指数nsight 微软的大数据服务是100%使用Apache Hadoop和其他流行的大数据解决方案吗. 一个现代的、基于云的数据平台,可以管理任何类型的数据. 无论数据是结构化的还是非结构化的, 无论大小, 人类发展指数nsight让您充分发挥大数据的价值.

与人类发展指数nsight, 你可以通过微软的现代数据平台无缝地处理所有类型的数据. 十大电子游艺平台首选的平台提供了简单、易于管理和开放的企业级大数据解决方案. 人类发展指数nsight为包括Batch在内的所有大数据需求提供了一个平台, 互动, 没有SQL和流. 它还具有强大的工具和开发环境生态系统.

支持的集群类型包括:Hadoop (蜂巢), HBase, 风暴, 火花, 卡夫卡, 交互式蜂巢(LLAP), 和ML服务.

有关更多信息,请参见 文档.

对Teradata有利

有利的 is the platform for Pervasive Data Intelligence; delivering real-time intelligent answers to users 和 systems across all parts of an organization. 它利用了100%的业务数据,无论其规模、容量或复杂性如何. 在Azure上运行Teradata数据库软件类似于在现场数据中心中运行Teradata数据库.
优势结合描述性, 预测, 规范的分析, 自主决策, 毫升功能, 和可视化工具融为一体, 集成平台,揭示实时商业智能的规模, 无论数据驻留在哪里.
有利的使公司能够启动小型和弹性规模的计算或存储, 只为他们使用的东西付费, 利用低成本的对象存储并整合分析工作负载.
有利的支持R、Python、Teradata Studio和任何其他基于sql的工具. 您可以跨公共云部署有利的, 本地, 优化或商品基础设施, 或作为服务.
有关更多信息,请参见 文档.

对Teradata QueryGrid

Teradata QueryGrid 2.X是一个提供无缝连接的数据分析结构, 高性能数据访问, 处理, 以及跨一个或多个数据源的移动. Teradata QueryGrid支持以下连接器:
  • Teradata数据库
  • 蜂巢
  • 火花SQL
  • Oracle(仅作为目标连接器)
  • 亮光企业很快
有关更多信息,请参见 文档.

先决条件

你应该熟悉Teradata 有利的, Teradata QueryGrid和Azure 人类发展指数nsight
您将需要以下账户和系统:
  • Teradata优势(DIY)在Azure实例(版本16.20)或晚.

过程

一旦你满足了先决条件,请遵循以下步骤:
  1. 需求
  2. 使用Teradata观点和Teradata QueryGrid管理器在Azure上部署Teradata (DIY)
  3. 为Azure 人类发展指数nsight集群创建子网
  4. 创建Azure 人类发展指数nsight集群
  5. 创建公网IP地址和入站端口
  6. 配置Teradata QueryGrid管理器
  7. 配置十大电子游艺网站观点
  8. 在视点QueryGrid Portlet中配置QueryGrid
  9. 配置和使用QueryGrid连接器
  10. 加载数据到人类发展指数nsight
  11. 从有利的查询人类发展指数nsight数据
  12. 清理
注意:获取所有用户名、密码、私有和公共IP地址,以备以后使用.

步骤1: 需求
在部署Teradata生态系统之前, 您的Azure订阅必须具有足够级别的权限 贡献者 订阅级别的角色和足够的配额限制.
  1. 登录到 Azure门户,点击 订阅 快速检查图标. 否则,在左侧窗格上单击 Cost Management + Billing > Cost Management > Azure 订阅s
屏幕-射- 2021 - 11 - 18 - 10 - 52 - 05点.png有关更多信息,请参见 Azure文档中心 和搜索 贡献者角色azure订阅.
  1. 接下来,检查订阅是否有足够的配额限制(建议:128核). 在您的订阅页面,单击 使用+配额,过滤 选择一个供应商 (e.g.,微软计算)和 所有位置 (e.g.、部署地区). 如果什么都没有出现,那就改变 只显示与使用有关的项目 to 显示所有.
屏幕-射- 2021 - 11 - 18 - - 10 - 52 - 53.png
  1. 点击 请求增加 如果不满足配额限制,单击 配额类型 并选择 计算虚拟机(core - vcpu)订阅限制增加 并按照指示提交申请.
有关更多信息,请参见 这个链接 获取关于请求核心配额增加以及Azure订阅和服务限制的说明, 配额, 和约束, 读到这

步骤2:在Azure上部署Teradata (DIY)

解决方案模板允许您同时部署多个Teradata产品. 在部署, 可以新建资源组,也可以使用已有资源组, 包含VNet的空资源组, 虚拟机, 存储账户, 网络安全组, 等等.
  1. 在门户中,单击 屏幕-射- 2021 - 11 - 18 - 10 - 54 - 15点.png 创建一个资源 标识位于左上角并搜索 Teradata. 目录下会出现Teradata产品列表 结果 窗格.
  2. 选择 Teradata优势(DIY) 解决方案模板,单击 创建
  3. 配置 基本 刀片设置—输入new 资源组 点击 创建新的,选择 地区,输入 密码 ,单击 下一个
  4. 配置 数据库 刀片设置-输入 DBC密码,选择 数据库层: 企业的节点数量: 2 并点击 下一个
  5. 配置 的观点 刀片设置-选择 是的 并输入 密码视点图像版: 多个系统 并点击 下一个 通过对 QueryGrid经理 叶片
  6. 配置 QueryGrid经理 刀片设置-选择 是的 并点击 下一个  通过对 一般设置 (叶片11)
  7. 配置 一般设置 —选择默认值,单击 下一个
  8. In 回顾+创建 叶片,点击 创建 后验证.
部署过程可能需要40到60分钟,这取决于您的配置和您所在地区的资源可用性.

注:与Teradata优势(DIY)开发者层不同,企业级软件是 免费和Azure基础设施的虚拟机,虚拟网络和存储成本存在. 

有关更多信息,请参见 Teradata 有利的™Azure (DIY)安装和管理指南.

步骤3:为Azure 人类发展指数nsight集群创建子网

在十大电子游艺平台首选部署人类发展指数nsight之前, 十大电子游艺平台首选需要在Teradata生态系统虚拟网络中为人类发展指数nsight集群创建一个子网.
  1. 在门户中,打开Teradata资源组或单击 转到资源组
  2. 点击 vnet-teradata子网 并点击 +子网 并添加子网名称(e.g., 人类发展指数子网),并保留选项的默认值,然后单击 OK
屏幕-射- 2021 - 11 - 18 - 10 - 55 - 41点.png
3. 刷新 子网 查看新添加的 人类发展指数子网

步骤4:创建Azure 人类发展指数nsight集群

接下来,创建人类发展指数nsight (Hadoop)集群,包含2个headnode和2个workernode.
  1. 在门户中,单击 屏幕-射- 2021 - 11 - 18 -在- 10 - 54 - 15 - am - (1).png 创建一个资源 签名和搜索 人类发展指数nsight
  2. 选择 Azure 人类发展指数nsight 解决方案模板,单击 创建
  3. 配置 基础知识 刀片设置—输入new 资源组 点击 创建新的,输入 集群名称,选择 地区 (与Teradata部署相同),选择 集群类型版本 (e.g.Hadoop 2.7.3 / 人类发展指数 3.6)并输入 集群登录 密码 并点击 下一个:存储
屏幕-射- 2021 - 11 - 18 -在- 10 - 55 - 41 - am - (1).png注意:检查 Teradata®QueryGrid™组件和连接器兼容性矩阵 查看人类发展指数nsight版本支持详情.

4.配置 存储 刀片设置-选择 主存储账户 select (New) <人类发展指数 集群名称> 并保留其他属性的默认值(空白),然后单击 下一个:安全+网络
屏幕-射- 2021 - 11 - 18 - 10 - 57 - 50点.png
5. 配置 安全+网络 刀片设置-选择 虚拟网络 vnet-teradata子网 您在步骤3 (e.g., 人类发展指数子网),然后单击 接下来:配置+定价
屏幕-射- 2021 - 11 - 18 - 10 - 58 - 25点.png
6配置 配置+定价 刀片设置-更改 工作者节点 的节点数量4 to 2 有关本文,请单击 回顾+创建

屏幕-射- 2021 - 11 - 18 -在- 10 - 59 - 04 -.png
7. 点击 创建 一旦验证通过. 预计部署时间为15-20分钟.

步骤5:创建公网IP地址和入站端口

对于外部客户端访问Teradata数据库和vm,您需要为NIC接口创建一个公共IP地址,并为端口1025创建一个入站安全规则. 默认情况下, Azure上的Teradata和Teradata产品(十大电子游艺网站观点和Teradata QueryGrid经理)没有部署一个公共IP地址或入站端口来访问数据库.

创建公网IP地址
  1. 在门户中,打开Azure资源组上的Teradata,并单击 网卡接口: 数据库-nic00
  2. 点击 IP配置 然后点击 ip 的名字
    1. 公共IP地址 to 联系
    2. 选择公网IP地址 下拉框中,单击 创建新的
    3. 添加公网IP地址 提示输入 的名字 和改变 赋值 to 静态
    4. 点击 OK保存
屏幕-射- 2021 - 11 - 18岁- 11 - 00 - 26点.png
屏幕-射- 2021 - 11 - 18岁- 11 - 02 - 24点.png
4. 刷新入站安全规则,查看新的端口条目

步骤6:配置Teradata QueryGrid管理器

在部署一个QueryGrid经理 VM之后, 您需要登录到虚拟机中添加用户,并为的观点帐户设置访问QueryGrid经理虚拟机的密码. 您将需要在部署期间创建的QueryGrid经理虚拟机用户名和密码.
  1. 使用以下命令登录到QueryGrid经理虚拟机 腻子 和上一步创建的公网IP地址.
  2. 切换到root用户环境.
> sudo su -
  1. 将用户' tdqgm '添加到QueryGrid经理用户组,以防止权限错误.
# sudo usermod - tdqgm azureuser
  1. 设置默认 的观点 密码
# / opt / teradata / tdqgm / bin / reset-密码.sh
有关更多信息,请参见 Teradata 有利的™Azure (DIY)安装和管理指南.

步骤7:配置Teradata观点

在配置QueryGrid之前, 十大电子游艺平台首选首先需要将Teradata和QueryGrid经理系统添加到的观点 Monitored systems 港口let中.
  1. 从您的浏览器, 使用在步骤4中为的观点 VM创建的公网IP地址打开的观点门户登录屏幕.
注意:忽略你的连接不是私人信息,点击 推进 并点击 继续 link
  1. 以。方式登录到的观点门户 管理密码 在VM部署时创建.
  2. 单击管理港口let(齿轮图标)并单击 监控系统 港口let.
屏幕-射- 2021 - 11 - 18岁- 11 - 03 - 53点.png
有关更多信息,请参见 Teradata 有利的™Azure (DIY)安装和管理指南.

       e. 中添加QueryGrid管理器 监控系统 港口let:首先,安装一个QueryGrid根证书
  1. 点击 选择Portlet 下拉
  2. 单击 证书.
  3. 从“安装程序”列表中单击 证书颁发机构.
  4. 点击 安装证书.
  5. 输入别名(e.g., cert),最多30个字符.
  6. 选择 一个值得信赖的支持 服务选项
  7. 输入 私有ip 地址 主机名 一个Teradata QueryGrid管理器实例(e.g.10.0.0.9)
  8. 类型 9443 随着 港口 数量.
  9. 点击 安装
屏幕-射- 2021 - 11 - 18岁- 11 - 17 - 48点.png
中的QueryGrid管理器 监控系统 港口let
  1. 点击 选择Portlet 下拉
  2. 点击 监控系统.
  3. 点击 + 旁边 系统 并选择 添加QueryGrid.
  4. 一般系统的细节,输入系统昵称(e.g.,最多8个字符.
  5. 选择 启用系统 复选框.
  6. 进入 私有IP 地址 主机ID Teradata QueryGrid管理器.
  7. 登录,输入 凭证 的观点 和重置密码执行 步骤6 使的观点能够访问QueryGrid经理.
  8. 点击 应用 关闭 管理港口let
屏幕-射- 2021 - 11 - 18岁- 11 - 18 - 19点.png有关更多信息,请参见 Teradata®QueryGrid™安装和用户指南.

步骤8:在视角QueryGrid Portlet中配置QueryGrid

在这一节中, 十大电子游艺平台首选将向的观点添加QueryGrid 港口let,并配置QueryGrid以访问人类发展指数nsight集群. 这将包括添加数据中心, 为每个数据源系统添加适当的Teradata和人类发展指数nsight节点和QueryGrid软件. 接下来,定义Fabric并为Teradata和人类发展指数nsight添加连接器. 最后,创建一个链接来定义Teradata(初始源)和人类发展指数nsight(目标).  

注意:本文将使用部署在解决方案模板中的QueryGrid软件版本. 十大电子游艺平台首选将不包括上传最新版本.
  1. 向视点门户添加QueryGrid 港口let
  1. 在门户中,单击 添加内容.
  2. 找到并单击 QueryGrid 港口let.
  3. 点击 添加.
屏幕-射- 2021 - 11 - 18岁- 11 - 19 - 14点.pngb. 审查数据中心
  1. 面料成分中,选择 数据中心.
  2. (可选)单击 编辑 在默认情况下 数据中心 在部署QueryGrid经理时创建,重命名并单击 保存
屏幕-射- 2021 - 11 - 18岁- 11 - 20 - 51点.pngc. 添加数据源系统
  1. 面料成分中,选择 系统.
  2. 点击 + 旁边 系统.
  3. At 添加系统,输入系统名称(e.g.TD)用于Teradata数据源系统
  4. Select 数据中心
  5. Select 节点 软件 从解决方案模板部署的版本
  6. 资源分配,设置 每个节点的最大内存 to 1GB
  7. 点击 保存
  8. 重复添加人类发展指数nsight数据源系统(e.g.人类发展指数)具有相同的性质
d. 扩容节点

您需要将节点的私有IP地址添加到上一步中创建的各个数据源系统中. Teradata节点到 TD 数据源系统和人类发展指数nsight (Hadoop)节点(头节点和工作节点)到 人类发展指数 源系统数据. 这将启用 tdqg-node 包,以便在所有节点上自动安装.
  1. 面料成分中,选择 系统.
  2. 选择 源系统数据 您想要添加节点到. (e.g., TD)
  3. 节点 选项卡上,单击 + 旁边 节点.
屏幕-射- 2021 - 11 - 18岁- 11 - 21 - 49点.png
屏幕-射- 2021 - 11 - 18岁- 11 - 23 - 46点.png屏幕-射- 2021 - 11 - 18岁- 11 - 24 - 20点.png
屏幕-射- 2021 - 11 - 18 - - 1 - 10 - 07点.png屏幕-射- 2021 - 11 - 18 - - 1 - 12 - 14点.png屏幕-射- 2021 - 11 - 18 - - 1 - 12 - 45点.png屏幕-射- 2021 - 11 - 18 - - 1 - 13 - 25点.png屏幕-射- 2021 - 11 - 18 - - 1 - 13 - 54点.png有关更多信息,请参见 Teradata®QueryGrid™安装和用户指南.

步骤9:配置和使用连接器

对于本文和简单的演示, 使用任何Teradata客户端工具创建授权对象, 授予权限并创建一个外部服务器连接到十大电子游艺平台首选的人类发展指数nsight集群.
  1. 以管理员身份登录, 如dbc, 启动Teradata数据库系统, 并为目标服务器创建授权对象, 例如:

创建授权td_server_db.蜂巢service 作为定义者信任用户'蜂巢“密码”蜂巢' ;
对象中创建授权对象 td_server_db 数据库. 使用DEFINER子句可以使授权对所有用户全局可用.
  1. 的CREATE SERVER和EXECUTE FUNCTION权限 td_server_db 数据库切换到Administrator用户,例如:

GRANT CREATE SERVER ON td_server_db TO dbc;
授予dbc在TD_SYSFNLIB上执行函数的权限
  1. 创建到人类发展指数nsight (Hadoop)集群的外部服务器连接

创建外部服务器target_server_name
外部安全定义器TRUSTED target_server_auth
使用
链接(“链接名”)
版本(“版本”)
使用td_sysfnlib导入.QGInitiatorIm港口,
使用td_sysfnlib导出.QGInitiatorEx港口;

例如, 其中Teradata数据库是初始化系统,人类发展指数nsight集群是目标/远程系统,使用名为TD2人类发展指数.

创建外国服务器 remotehdi
外部安全定义器受信任 蜂巢service
使用
链接(“TD2人类发展指数')
版本(“活跃的”)
使用td_sysfnlib导入.QGInitiatorIm港口,
使用td_sysfnlib导出.QGInitiatorEx港口;

有关更多信息,请参见 Teradata®QueryGrid™安装和用户指南.

步骤10:加载数据到人类发展指数nsight

在查询人类发展指数nsight (Hadoop)集群之前,十大电子游艺平台首选需要创建一个表和一些数据.
  1. 在门户中,打开人类发展指数nsight资源组并单击 publicIpheadnode - 为您的人类发展指数 headnode0虚拟机的公共IP地址.
  2. 登录, sshuser 和密码使用Putty
  3. 修改为root用户:sudo su -
  4. 在提示符使用Beeline (蜂巢 server2命令行界面),输入:
直线- u " jdbc: 蜂巢2: / /:10001 /违约;运输方式= http”
  1. 创建表t_test
  2. Insert into t_test values(100);
  3. Insert into t_test values(101);

步骤11:从有利的查询人类发展指数nsight数据

最后,使用任何Teradata客户端工具来查询人类发展指数nsight数据.
  1. 以dbc身份登录到初始化的Teradata数据库系统,使用公共IP地址
  2. 从人类发展指数nsight中插入和选择数据
    1. 插入t_test@remotehdi值(1);
    2. Select * 从 t_test@remotehdi;
屏幕-射- 2021 - 11 - 18 - - 1 - 15 - 05点.png
3. 加入人类发展指数nsight和有利的的数据
  1. 创建表td_server_db.localtbl (c1 int)
  2. 插入td_server_db.localtbl值(200)
  3. 插入td_server_db.localtbl值(201)
  4. 插入td_server_db.localtbl值(2)
  5. Select * 从 t_test@remotehdi union all Select * 从 td_server_db.localtbl
屏幕-射- 2021 - 11 - 18 - - 1 - 16 - 02点.png
4. 创建一个视图
  1. 创建视图td_server_db.T_test_v as Select * 从 t_test@remotehdi;
  2. Select * 从 td_server_db.t_test_v;
用户甚至不知道他们正在访问外部服务器

5. 显示外部服务器——允许您查看包含名称值对的服务器对象定义,相关的表操作符使用该名称值对连接到外部服务器

6. 删除外部服务器——除了从字典表中删除服务器对象及其相关信息之外, 关联表操作符上的所有依赖项都被删除.删除外部服务器td_server_db.remotehdi;

步骤12:清理

为了避免为您的Azure订阅所使用的资源而产生费用,请遵循以下步骤.
删除资源组
  1. 登录Azure门户,点击 资源组 在左窗格中.
  2. 点击 资源组 并点击 删除资源组 在菜单
  3. In 删除资源组 在资源组名称中键入窗格类型以验证是否删除.
  4. 点击 删除
  5. 重复执行该操作,可删除其他资源组

关于卢沙

卢沙是Teradata合作伙伴技术顾问团队的成员. 之前就咨询过微软的合作伙伴关系, 他是IBM Cognos和Oracle Hyperion合作伙伴关系的技术顾问. 以及他在商业智能和“数据库内”解决方案方面的丰富经验, Rupal曾与各种Teradata应用组织合作,他为这些组织提供数据库咨询. 他的成绩是B.A. 在加州大学圣地亚哥分校的数学和计算机科学专业, 他目前在圣地亚哥工作. 通过以下方式查看所有帖子 卢沙

保持了解

订阅十大电子游艺网站博客,以获得每周的见解



我同意Teradata公司, 作为本网站的供应商, 可能会偶尔向我发送关于产品的Teradata营销通信邮件, 数据分析, 还有活动和网络会议邀请. 我明白,我可以在任何时候通过跟踪我收到的任何电子邮件底部的取消订阅链接来取消订阅.

你的隐私很重要. 您的个人信息将根据本条例收集、存储和处理 Teradata全球隐私政策.

详见Teradata