首页 > 办公 > 文秘 > 岗位职责 > 大数据架构师岗位的具体职责表述(通用24篇)

大数据架构师岗位的具体职责表述(通用24篇)

   来源:文书咖    阅读: 2.63W 次
字号:

用手机扫描二维码 在手机上继续观看

手机查看

大数据架构师岗位的具体职责表述 篇1

职责:

大数据架构师岗位的具体职责表述(通用24篇)

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决,以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

任职要求:

1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据架构师岗位的具体职责表述 篇2

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师岗位的具体职责表述 篇3

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格:

985/211本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;

良好的团队合作精神,较强的沟通能力和学习能力 ;

大数据架构师岗位的具体职责表述 篇4

职责:

1、大数据平台的规划、设计、实施,并优化数据库;

2、对数据库进行管理,负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优,排错,保证数据正确率;

4、配合其他部门进行的数据处理、查询,统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求:

1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;

3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;

4、熟悉C++、Java、C#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力,较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

大数据架构师岗位的具体职责表述 篇5

职责:

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优,具备大数据生产平台调优经验;

4.金融行业,运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展,并引入到公司技术架构;

6.指导大数据工程师的日常工作,并培养技术骨干。

任职资格:

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;

8.沟通顺畅,重点突出,高效。

大数据架构师岗位的具体职责表述 篇6

职责:

1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

4、负责指导研发完成大数据产品的开发

5、带领团队进行产品核心技术的创新和积累

岗位要求:

1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

4、有实际应用storm、spark、flume、kafka等项目经验优先;

5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

大数据架构师岗位的具体职责表述 篇7

职责:

1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

任职要求:

1. 硕士及以上学历,计算机相关专业。

2. JAVA基础扎实,不少于8年的一线开发经验,精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术,熟悉Maven或Ant.,熟悉Python语言开发加分。

3. 不少于4年大数据的直接研发经验,精通Hadoop/Spark系统,有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。

4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。

7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构师岗位的具体职责表述 篇8

职责:

1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;

3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

岗位要求:

1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;

3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

4、对数据敏感,洞察力强,了解国内外广告发展趋势;

5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

大数据架构师岗位的具体职责表述 篇9

职责:

1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;

2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;

4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;

5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;

6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;

7、深入研究大数据相关技术和产品,跟进业界先进技术;

【任职要求】

1、统计学、应用数学或计算机相关专业大学本科以上学历;

2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;

4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言

6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先

7、熟悉大数据可视化工具Tableau/echarts

8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

大数据架构师岗位的具体职责表述 篇10

职责:

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格:

1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师岗位的具体职责表述 篇11

职责:

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。

5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求:

1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR,熟练HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练Linux/Unix平台上的开发环境

6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精

大数据架构师岗位的具体职责表述 篇12

职责:

1、负责大数据平台的技术选型,基于Spark、Hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台,为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计,支撑解决方案实施。

任职要求:

1、本科及以上学历,具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

2、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用,并能进行性能调优;

4、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战。

大数据架构师岗位的具体职责表述 篇13

职责:

1、对业务需求深入分析,从而进行大数据平台核心应用的架构设计、开发和技术支持;

2、规划业务应用系统和基础平台的技术架构,参与需求分析、建模、架构设计、技术决策以及详细设计;

3、把握复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关;

5、在大数据平台建设路线图指导下,进行架构实施和交付物投递,同时确保研发质量和方向的准确性;

6、进行团队技术的培训和梯队建设岗位要求;

任职条件:

1、本科或以上学历,计算机相关专业,8年以上研发经验,3年以上大数据平台相关工作经验;

2、精通Java开发技术,熟悉Shell、Scala语言和PYTHON优先;

3、编程基础扎实,熟悉I/O、多线程、集群等基础框架和原理,熟悉分布式、缓存、消息等机制;

4、熟悉常用设计模式,代码评审规则,单元测试,持续集成;

5、熟悉AWS云服务或阿里云服务;

6、熟悉容器技术原理、生态系统,熟悉Docker、Mesos、Kubernetes等容器系统、大规模容器资源调度系统、分布式应用生命周期。

大数据架构师岗位的具体职责表述 篇14

职责

1、负责大数据架构设计,包括定义数据的存储、集成(ETL)、应用,支撑业务运营和数据分析类需求实现;

2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;

3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;

4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;

岗位要求

业务技能要求:

1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;

n2、精通或者熟悉Hadoop体系架构,以及HDFS/HBase/Hive/MapReduce/Spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;

3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;

4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;

n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。

专业知识要求:

1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;

2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;

3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师岗位的具体职责表述 篇15

职责:

根据大数据业务需求,设计大数据方案及架构,实现相关功能;

搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作,能够完成和指导负责业务数据建模。

职位要求:

计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

精通大数据主流框架(如 Hadoop、hive、Spark等);

熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师岗位的具体职责表述 篇16

职责

1、参与打造数据中内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据公共层;

3、参与数据产品与应用的数据研发,发掘数据商业价值,打造极致体验的数据产品;

4、深入理解数据产品的使用场景,为业务方在可用性、成本上做更好的设计做参考;

5、团队成员的搭建与培养,任务划分,进度监控,代码规范,质量保证。

任职要求

1、熟悉数据仓库建模理论,3年以上相关领域实践经验;

2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;

3、精通Java、Python、Scala、go等开发语言中的1到2种;

4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;

5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;

6、对olap,多维分析及kylin熟悉的更好;

7、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;

8、对新技术,新事物有很好的探索和求知欲;

9、熟悉常规的机器学习算法:降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。

大数据架构师岗位的具体职责表述 篇17

职责:

1、负责spark, hadoop, flink等开发和优化。

2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。

3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。

4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.

5、主动创造和发掘新的基于大数据挖掘产品商业模式.

任职要求:

1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。

3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。

4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;

6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;

大数据架构师岗位的具体职责表述 篇18

职责:

1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;

2、负责掌握第三方接口的调用和功能实现,持续优化服务性能和容量,并保证产品的兼容性和执行效率;

3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护,确保项目进度和质量;

4、协助制定测试计划,及时发现并修复BUG,实现服务端的性能优化。

任职资格:

1、大学本科3年以上工作经验,计算机相关专业;

2、熟悉软件项目开发流程,具有良好编码风格及文档编写能力;

3、熟悉Linux服务器相关技术,能够独立完成服务器部署,具有相关经验;

4、熟悉Hadoop/Spark框架,JAVA基础扎实;

5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式数据库;

6、熟悉SpringCloud,SSM,Docker,redis开发者优先;

7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;

8、了解Socket网络编程、MQTT等,有相应实践经验者优先;

9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师岗位的具体职责表述 篇19

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

任职要求:

本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

大数据架构师岗位的具体职责表述 篇20

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历,计算机相关专业,5年以上工作经验;

2)频繁换工作,比如一年一个公司,请绕路;

3)3年以上产品架构经验,主导过产品的成功上线;

4)对底层设备通讯协议,B/S系统,手机APP开发等都有一定的了解;

5)对各种主流语言C#JavaPathon有一定的了解

5)精通各种大数据架构,并深入研究过其中一种,有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

大数据架构师岗位的具体职责表述 篇21

职责:

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

任职要求:

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;

3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;

4、掌握常见数据流接入工具,包括Flume、kafka等;

5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

6、掌握一种或以上实时处理语言,如JAVA、SCALA、PYTHON等,有SCALA经验者优先;

7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师岗位的具体职责表述 篇22

职责:

1. 负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。

3. 结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4. 对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。

任职要求:

1. 熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;

2. 掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3. 精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;

4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;

5. 熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。

大数据架构师岗位的具体职责表述 篇23

职责:

负责大数据平台的规划和搭建、完成大数据平台的日常运营工作,为数据分析和展现提供支持;

对系统框架相关技术和业务进行培训,并负责核心代码编写,指导团队开发及解决出现的系统问题;

参与基于大数据平台的创新业务场景进行数据产品的架构设计,负责数据产品的研发交付;

负责处理大数据平台的疑难问题,为数据团队提供可靠的技术支持;

负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;

及时跟进大数据领域新技术并分享,提升团队技术能力。

任职要求:

本科或以上学历,5年以上数据系统建设经验,3年以上大数据架构设计经验;

精通 java,python,scala 等一种大数据开发语言,熟悉Hadoop生态圈,包括但不限于hdfs,hive,spark, 有丰富的大数据项目的实践经验;

具备创新精神,条理清晰,沟通表达和逻辑思维能力强;

熟悉数据仓库的设计和开发,对数据架构有深入的了解和具备相关的项目实践经验优先;

对SQL on Hadoop 的开源查询引擎(如Presto、 Apache Drill ) 原理有深入研究优先;

有敏捷大数据和数据可视化实践经验优先。

大数据架构师岗位的具体职责表述 篇24

职责:

1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力,精通PHP及其他开发语言;

4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

秘书基础
写作指导
规章制度
谈判技巧
外贸信函
工商税务
新闻报道
个人写作