AIST Global

Title:Տվյալների մասնագետ / ինժեներ

Location:Yerevan, 24/3 Nairi Zaryan, Yerevan, Armenia

Salary Range: SALARY IS NOT MENTIONED

Description:Մենք փնտրում ենք տվյալների մասնագետ / ինժեներ, ով կհավաքի, կդասակարգի, կգործարկի և կհետազոտի տվյալների բազան։ Հիմնական ուշադրությունը պետք է կենտրոնացնել նշված նպատակների համար օպտիմալ լուծումներ ընտրելու վրա։ Հաջորդ քայլը տվյալ լուծումների ապահովումը, իրագործումն ու վերահսկումն է։

Requirements:

- Web scraping-ի փորձառություն, հատկապես՝ Beautiful Soup, Scrapy, Requests, LXML, Selenium գրադարաններով,
- Ընդհանուր պատկերացում, թե ինչպես օգտագործել Proxies և ինտեգրել տվյալները տվյալների բազայում,
- Համակարգչային ենթակառուցվածքի սկզբունքների խորը պատկերացում,
- Hadoop կլաստերի և ներառվող բոլոր ծառայությունների կառավարում,
- Կլաստերի գործարկման հետ կապված ցանկացած ընթացիկ խնդրի լուծման ունակություն,
- Hadoop v2-ի, MapReduce-ի, HDFS-ի մասնագիտացում,
- Հոսքի վերամշակման համակարգերի կառուցման փորձ՝ օգտագործելով լուծումներ, ինչպիսիք են՝ Storm-ը կամ Spark-Streaming-ը,
- Մեծ տվյալների հարցման գործիքների (Pig, Hive, Impala) լավ տիրապետում,
- Spark-ի փորձառություն,
- Տվյալների տարբեր աղբյուրներից տվալների ինտեգրման փորձ,
- NoSQL-ի դատաբազաների հետ աշխատելու փորձ, ինչպիսիք են՝ HBase, Cassandra, MongoDB,
- Տարբեր ETL տեխնիկաների (օր․՝ Flume) իմացություն,
- Տարբեր հաղորդակցման միջոցներով աշխատելու փորձ, օր․՝ Kafka կամ RabbitMQ,
- Big Data ML գործիքների տիրապետում, ինչպես օրինակ՝ Mahout, SparkML, կամ H2O,
- Lambda Architecture-ի լավ իմացություն՝ ներառյալ բոլոր առավելություններն ու թերությունները,
- Cloudera/MapR/Hortonworks-ի հետ աշխատելու փորձառություն:

Հմտություններ՝
- Python,
- Beautiful Soup.
- Scrapy.
- Selenium.
- Requests.
- LXML.
- MySql,
- (RestfullAPI)։

Responsibilities:

- Ընտրել և ինտեգրել ցանկացած տեսակի մեծ տվյալների գործիքներ, որոնք անհրաժեշտ են պահանջվող հնարավորություններն ապահովելու համար,
- Իրականացնել ETL գործընթացը,
- Վերահսկել գործընթացը, առաջարկել և ներկայացնել ենթակառուցվածքում անհրաժեշտ փոփոխությունները,
- Սահմանել տվյալների պահպանման քաղաքականությունը։

Address:  24/3 Nairi Zaryan, Yerevan, Armenia

Views:    20