一、基礎(chǔ)技能培訓(xùn)內(nèi)容
在鄭州的大數(shù)據(jù)產(chǎn)品測(cè)試培訓(xùn)中，基礎(chǔ)技能的培訓(xùn)是重要的組成部分。這部分內(nèi)容旨在為后續(xù)深入學(xué)習(xí)大數(shù)據(jù)測(cè)試打下堅(jiān)實(shí)的基礎(chǔ)。
首先是編程語(yǔ)言相關(guān)知識(shí)。JavaSE是其中的關(guān)鍵部分，涵蓋Java基礎(chǔ)語(yǔ)法、面向?qū)ο?、JavaAPI、MySQL數(shù)據(jù)庫(kù)及SQL語(yǔ)句、JDBC、線程、網(wǎng)絡(luò)編程、反射等內(nèi)容。雖然做大數(shù)據(jù)不需要深入學(xué)習(xí)Java技術(shù)，但掌握J(rèn)avaSE相關(guān)知識(shí)是必不可少的，它是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)知識(shí)。同時(shí)，Scala作為一種新語(yǔ)言，主要用于后續(xù)階段的語(yǔ)言基礎(chǔ)學(xué)習(xí)，也是需要了解的內(nèi)容。
前端知識(shí)方面，包括HTML基礎(chǔ)知識(shí)、css基礎(chǔ)知識(shí)、JavaScript、Jquery、XML&版本控制等。靜態(tài)網(wǎng)頁(yè)基礎(chǔ)部分如HTML和CSS，是第一階段的學(xué)習(xí)內(nèi)容。JavaWeb的學(xué)習(xí)則能讓學(xué)員了解前端的簡(jiǎn)單知識(shí)，這有助于提高前端后端交流的效率。
企業(yè)級(jí)開發(fā)框架方面，像Spring、Spring mvc、SpringBoot、MyBatis等框架的學(xué)習(xí)，也是大數(shù)據(jù)測(cè)試培訓(xùn)基礎(chǔ)階段的重要內(nèi)容。這些框架知識(shí)能夠讓學(xué)員對(duì)整個(gè)開發(fā)流程有更深入的理解，為大數(shù)據(jù)測(cè)試中的相關(guān)操作提供知識(shí)儲(chǔ)備。
二、大數(shù)據(jù)技術(shù)框架相關(guān)培訓(xùn)內(nèi)容
（一）Linux系統(tǒng)及相關(guān)知識(shí) 由于大數(shù)據(jù)相關(guān)軟件大多在Linux上運(yùn)行，所以Linux系統(tǒng)的學(xué)習(xí)非常重要。在培訓(xùn)中，會(huì)涉及Linux基礎(chǔ)知識(shí)、CentOS安裝部署基礎(chǔ)概念、常用命令管理、常用Shell編程命令等內(nèi)容。扎實(shí)的Linux知識(shí)不僅有助于大數(shù)據(jù)測(cè)試工作，而且在許多編程語(yǔ)言中也能得到應(yīng)用。
（二）大數(shù)據(jù)核心框架知識(shí) 1. Hadoop生態(tài)體系 - HDFS：學(xué)員會(huì)學(xué)習(xí)HDFS概念、HDFS內(nèi)部結(jié)構(gòu)與讀寫原理、HDFS故障讀寫容錯(cuò)與備份機(jī)制、Zookeeper、HDFSHA及Federation聯(lián)邦等。Hadoop作為分布式系統(tǒng)基礎(chǔ)架構(gòu)，其核心組件如HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive等都是學(xué)習(xí)的重點(diǎn)內(nèi)容。 - MapReduce：培訓(xùn)內(nèi)容包括MapReduce編程基礎(chǔ)、MapReduce執(zhí)行過(guò)程、MR原理、分片混洗等。 - HBase：涉及HBase模型坐標(biāo)結(jié)構(gòu)訪問(wèn)場(chǎng)景、HBase訪問(wèn)Shell接口、HBase訪問(wèn)API接口、HBaseRowkey設(shè)計(jì)、HBase合并分裂數(shù)據(jù)定位等方面的學(xué)習(xí)。 - Hive：核心工作是把SQL語(yǔ)句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫(kù)表，并提供HQL(Hive SQL)查詢功能。 2. Spark生態(tài)體系 - 會(huì)學(xué)習(xí)Scala、Spark等內(nèi)容，以及相關(guān)項(xiàng)目，如交通領(lǐng)域汽車流量監(jiān)控項(xiàng)目等。Spark專注于在集群中并行處理數(shù)據(jù)，使用RDD(彈性分布式數(shù)據(jù)集)處理RAM中的數(shù)據(jù)。 3. 其他框架 - Kafka課程體系也是培訓(xùn)內(nèi)容的一部分，Kafka在大數(shù)據(jù)的處理流程中扮演著重要角色。 - Flink課程體系也會(huì)被涉及，這種技術(shù)在一些大廠如阿里常用，是*的大數(shù)據(jù)處理技術(shù)之一。 - 還有Redis，包括Redis概念、Redis配置、Redis持久化RDB與AOF、Redis操作、Redis Sentinel、Redis Cluster等內(nèi)容的學(xué)習(xí)。
三、數(shù)據(jù)處理工具相關(guān)培訓(xùn)內(nèi)容
（一）數(shù)據(jù)采集工具 1. NG實(shí)時(shí)日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理。 2. Logstash是開源的服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來(lái)源采集數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到“存儲(chǔ)庫(kù)”中。
（二）數(shù)據(jù)轉(zhuǎn)移工具 Sqoop是用來(lái)將關(guān)系型數(shù)據(jù)庫(kù)和Hadoop中的數(shù)據(jù)進(jìn)行相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到Hadoop中，也可以將Hadoop中的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中。另外，DataX也具備類似的數(shù)據(jù)轉(zhuǎn)移功能。
四、大數(shù)據(jù)質(zhì)量特性相關(guān)培訓(xùn)內(nèi)容
借鑒ISO9126軟件質(zhì)量模型標(biāo)準(zhǔn)中的6大特性（功能性、易用性、可靠性、效率性、可維護(hù)性、可移植性），大數(shù)據(jù)產(chǎn)品測(cè)試培訓(xùn)中也會(huì)涉及相關(guān)內(nèi)容。
（一）功能性方面 1. 數(shù)據(jù)全面性：質(zhì)疑拿到的爬蟲數(shù)據(jù)對(duì)應(yīng)的友商是否全面，除了友商A的數(shù)據(jù)應(yīng)該獲取，友商B、C、D的數(shù)據(jù)是否有考慮；每個(gè)友商選取的對(duì)標(biāo)門店是否具有代表性等，通常在需求評(píng)審階段提出。 2. 數(shù)據(jù)完整性：要質(zhì)疑拿到的數(shù)據(jù)是否完整，例如數(shù)據(jù)確保指定時(shí)間范圍內(nèi)每天有數(shù)據(jù)，排除被風(fēng)控了的情況；還要檢查數(shù)據(jù)是否重復(fù)，如同1條URL對(duì)應(yīng)2條結(jié)果數(shù)據(jù)。 3. 數(shù)據(jù)合理性：需要質(zhì)疑拿到的數(shù)據(jù)是否符合數(shù)據(jù)庫(kù)規(guī)定類型、以及是否出現(xiàn)異常值。 4. 數(shù)據(jù)準(zhǔn)確性：質(zhì)疑拿到數(shù)據(jù)的結(jié)果表與數(shù)據(jù)源頭表是否一致，可能源表經(jīng)過(guò)A -> B ->.的轉(zhuǎn)換過(guò)程，要確保數(shù)據(jù)的準(zhǔn)確性。
（二）易用性方面 主要是考慮在大數(shù)據(jù)測(cè)試過(guò)程中，相關(guān)工具和流程是否便于使用，例如數(shù)據(jù)采集工具是否易于配置，數(shù)據(jù)處理流程是否易于操作等內(nèi)容。雖然這部分內(nèi)容可能相對(duì)較難量化，但在實(shí)際的大數(shù)據(jù)產(chǎn)品測(cè)試中是不可忽視的。
綜上所述，鄭州的大數(shù)據(jù)產(chǎn)品測(cè)試培訓(xùn)涵蓋了從基礎(chǔ)技能到大數(shù)據(jù)技術(shù)框架、數(shù)據(jù)處理工具以及大數(shù)據(jù)質(zhì)量特性等多方面的內(nèi)容，這些內(nèi)容旨在培養(yǎng)學(xué)員全面的大數(shù)據(jù)產(chǎn)品測(cè)試能力。
轉(zhuǎn)載：http://santuchuan.cn/zixun_detail/134227.html