您现在的位置是:网站首页> 软件下载软件下载
PiFlow(大数据流水线系统)V0.9官方版
2021-06-25
235人已围观
简介 PiFlow(大数据流水线系统)V0.9官方版
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。 软件特色 简单易用。 可视化配置流水线。 监控流水线。 查看流水线日志。 检查点功能。 扩展性强: 支持自定义开发数据处理组件。 性能优越: 基于分布式计算引擎Spark开发。 功能强大: 提供100+的数据处理组件。 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。 集成了微生物领域的相关算法。 使用方法 解压piflow-server-v0.9.tar.gz。 tar -zxvf piflow-server-v0.9.tar.gz。 编辑配置文件config.properties。 运行、停止、重启PiFlow Server。 start.sh、stop.sh、 restart.sh、 status.sh。 测试 PiFlow Server。 设置环境变量 PIFLOW_HOME。 vim /etc/profile。 export PIFLOW_HOME=/yourPiflowPath/bin。 export PATH=PATH:PIFLOW_HOME/bin。 运行如下命令。 piflow flow start example/mockDataFlow.json。 piflow flow stop appID。 piflow flow info appID。 piflow flow log appID。 piflow flowGroup start example/mockDataGroup.json。 piflow flowGroup stop groupId。 piflow flowGroup info groupId。 如何配置config.properties。 #spark and yarn config。 spark.master=yarn。 spark.deploy.mode=cluster。 #hdfs default file system。 fs.defaultFS=hdfs://10.0.86.191:9000。 #yarn resourcemanager.hostname。 yarn.resourcemanager.hostname=10.0.86.191。 #if you want to use hive, set hive metastore uris。 #hive.metastore.uris=thrift://10.0.88.71:9083。 #show data in log, set 0 if you do not want to show data in logs。 data.show=10。 #server port server.port=8002 #h2db port h2.port=50002
相关内容
- 360压缩V1.0.0.1031国际纯净版
- HiBackup(硬盘备份软件)V1.0.6官方版
- AnyTXTSearcher(文本内容搜索工具)V1.2.341.0免费版历史版本AnyTXTSearcher(文本内容搜索工具)V1.0.75官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.178官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.201官方版
- GameExtractor(游戏资源提取工具)V3.04免费版
- X3dnten.dllV1.0官方版
- PasswordChangerProfessional(开机密码修改)V6.0.6免费版
- TotalCommander(文件管理器)V9.51中文版
- WindowsMovieMaker(家庭电脑制作)V2.6官方版
- 飞象多聊V2.8官方版
- 边锋游戏大厅V8.0.58.0完整版
点击排行
- Agena Mac版下载 Agena for Mac(开发编程语言) V2.37.4 苹果电脑版 下载-
- 兰迪少儿英语Mac版下载 兰迪少儿英语 for Mac(少儿英语教学软件) V1.5.7 苹果电脑版 下载-
- 华信mac版下载 华信(即时云通讯)for mac V4.2.1 苹果电脑版 下载-
- PDFelement mac版下载 PDFelement for mac(pdf编辑工具) V7.6.5.3126 苹果电脑版 下载-
- PDF Recover Mac版下载 PDF Recover for Mac(PDF文件处理工具) V13.2 苹果电脑版 下载-
- Across Mac版下载 Across for Mac(蓝牙设备管理工具) V2.02 苹果电脑版 下载-
- SQLight Mac版下载 SQLight for Mac(数据库管理器) V3.0.0.0 苹果电脑版 下载-
- 直播云教师端mac版下载 直播云教师端(在线授课软件)for mac v4.1.6.31067 苹果电脑版 下载-
本栏推荐
-
Agena Mac版下载 Agena for Mac(开发编程语言) V2.37.4 苹果电脑版 下载-
-
兰迪少儿英语Mac版下载 兰迪少儿英语 for Mac(少儿英语教学软件) V1.5.7 苹果电脑版 下载-
-
华信mac版下载 华信(即时云通讯)for mac V4.2.1 苹果电脑版 下载-
-
PDFelement mac版下载 PDFelement for mac(pdf编辑工具) V7.6.5.3126 苹果电脑版 下载-
-
PDF Recover Mac版下载 PDF Recover for Mac(PDF文件处理工具) V13.2 苹果电脑版 下载-
-
Across Mac版下载 Across for Mac(蓝牙设备管理工具) V2.02 苹果电脑版 下载-
-
SQLight Mac版下载 SQLight for Mac(数据库管理器) V3.0.0.0 苹果电脑版 下载-
猜你喜欢
- Agena Mac版下载 Agena for Mac(开发编程语言) V2.37.4 苹果电脑版 下载-
- 兰迪少儿英语Mac版下载 兰迪少儿英语 for Mac(少儿英语教学软件) V1.5.7 苹果电脑版 下载-
- 华信mac版下载 华信(即时云通讯)for mac V4.2.1 苹果电脑版 下载-
- PDFelement mac版下载 PDFelement for mac(pdf编辑工具) V7.6.5.3126 苹果电脑版 下载-
- PDF Recover Mac版下载 PDF Recover for Mac(PDF文件处理工具) V13.2 苹果电脑版 下载-
- Across Mac版下载 Across for Mac(蓝牙设备管理工具) V2.02 苹果电脑版 下载-
- SQLight Mac版下载 SQLight for Mac(数据库管理器) V3.0.0.0 苹果电脑版 下载-