将数据转化为行动的18个必备数据科学工具（2023版）

数据科学适合任何喜欢解开纷乱问题并在显而易见的混乱中发现隐藏奇迹的人。

这就像在干草堆中搜寻针一样；只是数据科学家根本不需要弄脏手。他们使用带有丰富图表的精美工具，观察一堆数字，然后深入数据堆中，找到形式为高商业价值的洞察力的有价值的针。

一个典型的data scientist工具箱应该包括至少每个类别的一个项目：关系型数据库、NoSQL数据库、大数据框架、可视化工具、网络爬虫工具、编程语言、IDE以及deep learning工具。

关系型数据库

关系型数据库是一个通过属性表结构化的数据集合。这些表可以相互关联，定义关系和限制，并创建所谓的数据模型。要使用关系型数据库，通常使用一种称为SQL（结构化查询语言）的语言。

管理关系型数据库结构和数据的应用程序称为RDBMS（关系数据库管理系统）。有很多此类应用程序，最相关的应用程序最近开始将重点放在数据科学领域，添加用于处理大数据存储库并应用数据分析和机器学习等技术的功能。

SQL Server

Microsoft’s RDBMS，通过不断扩展其企业功能已经发展了20多年。自2016年起，SQL Server提供了一系列支持内嵌R代码的服务。SQL Server 2017通过将其R服务更名为机器语言服务，并添加对Python语言的支持，提高了赌注（下面将更多介绍这两种语言）。

通过这些重要的添加，SQL Server旨在面向可能没有Transact SQL经验的数据科学家。

SQL Server远非免费产品。您可以购买许可证将其安装在Windows Server上（价格将根据并发用户数量而变化），或者通过Microsoft Azure云作为付费服务使用。Learning Microsoft SQL Server is easy。

MySQL

在开源软件方面，MySQL拥有RDBMS的流行冠军。虽然Oracle目前拥有它，但根据GNU通用公共许可证的条款，它仍然是免费且开源的。由于其符合SQL标准，大多数基于Web的应用程序都使用MySQL作为底层数据存储库。

帮助其流行的还有其简单的安装过程、庞大的开发者社区、大量全面的文档以及phpMyAdmin等第三方工具，简化了日常管理活动。尽管MySQL没有用于数据分析的本地功能，但其开放性允许与几乎任何可视化、报告和商业智能工具整合。

PostgreSQL

另一个开源RDBMS选项是PostgreSQL。虽然不如MySQL流行，但PostgreSQL因其灵活性、可扩展性和对复杂查询的支持而脱颖而出，这些查询超出了基本的SELECT、WHERE和GROUP BY语句。

这些功能使其在数据科学家中越来越受欢迎。另一个有趣的特点是对多环境的支持，使其可以在云端和本地环境中使用，或者在两者的混合云环境中使用，通常称为混合云环境。

PostgreSQL具有将在线分析处理（OLAP）与在线事务处理（OLTP）相结合的能力，以混合事务/分析处理（HTAP）的方式工作。由于添加了用于地理数据的PostGIS和用于文档的JSON-B，它还非常适合与大数据一起使用。PostgreSQL还支持非结构化数据，使其可以同时属于SQL和NoSQL数据库的范畴。

NoSQL数据库

也被称为非关系数据库，这种类型的数据存储库提供更快速地访问非表格数据结构。一些这些结构的例子包括图形、文档、宽列、键值等等。NoSQL数据存储可以牺牲数据一致性以换取其他好处，如可用性、分区和访问速度。

由于NoSQL数据存储中没有SQL，查询这种类型的数据库的唯一方法是使用低级语言，而没有任何一种语言像SQL一样被广泛接受。此外，NoSQL没有标准规范。这就是为什么讽刺的是，一些NoSQL数据库开始添加对SQL脚本的支持。

MongoDB

MongoDB是一种流行的NoSQL数据库系统，它以JSON文档的形式存储数据。它的重点是可扩展性和以非结构化方式存储数据的灵活性。这意味着在所有存储的元素中没有必须遵守的固定字段列表。此外，数据结构可以随时间改变，这在关系数据库中意味着对正在运行的应用程序有很大的影响风险。

MongoDB中的技术支持索引、自定义查询和聚合，为数据分析提供了坚实的基础。数据库的分布式性质提供了高可用性、扩展性和地理分布的功能，无需复杂的工具。

Redis

This是开源NoSQL领域的另一个选择。它基本上是一个在内存中运行的数据结构存储，除了提供数据库服务外，它还可以作为缓存内存和message broker。

它支持许多非传统的数据结构，包括哈希、地理空间索引、列表和有序集合。由于在处理数据密集型任务（例如计算集合交集、排序长列表或生成复杂排名）方面具有高性能，因此它非常适合数据科学。Redis出色性能的原因是其内存操作。它可以配置选择性地持久化数据。

大数据框架

假设您需要分析Facebook用户在一个月内生成的数据。我们谈论的是照片、视频、信息等等。考虑到社交网络的用户每天向其添加超过500 TB的数据，很难估量整个月份的数据量。

为了以有效的方式处理如此庞大的数据量，您需要一个能够在分布式架构上计算统计数据的适当框架。市场上有两个主导框架：Hadoop和Spark。

Hadoop

作为一个大数据框架，Hadoop处理与检索、处理和存储大量数据相关的复杂性。Hadoop在由处理简单算法的计算机集群组成的分布式环境中运行。有一个名为MapReduce的编排算法，将大任务分割成小部分，然后将这些小任务分配给可用的集群。

Hadoop推荐用于需要快速访问和高可用性的企业级数据存储库，所有这些都在低成本的方案中实现。但是您需要一个具有深入的Hadoop knowledge的Linux管理员来维护框架并使其运行。

Spark

Hadoop并不是唯一可用于大数据处理的框架。在这个领域中,另一个著名的大名是Spark。Spark引擎的设计目标是在分析速度和易用性方面超越Hadoop。显然,它实现了这个目标：一些比较显示,Spark在磁盘上工作时比Hadoop快10倍,在内存中操作时比Hadoop快100倍。它还需要更少的机器来处理相同数量的数据。

除了速度,Spark还支持流处理。这种类型的数据处理,也称为实时处理,涉及连续输入和输出的数据。

可视化工具

数据科学家之间的一个常见笑话是,如果你折磨数据足够长时间,它会坦白出你需要知道的。在这种情况下,“折磨”是指通过转换和过滤数据来操纵数据,以便更好地可视化它。而这就是数据可视化工具的用武之地。这些工具从多个来源获取预处理的数据,并以图形化、易理解的形式展示出其揭示的真相。

有数以百计的工具属于这个类别。不管你喜不喜欢,最广泛使用的是Microsoft Excel及其图表工具。Excel图表对于使用Excel的任何人都是可访问的,但功能有限。同样适用于其他电子表格应用程序,如Google Sheets和Libre Office。但我们在这里讨论的是更具体的工具,专门为商业智能(BI)和数据分析而定制的工具。

Power BI

不久前,Microsoft发布了其Power BI可视化应用程序。它可以从各种来源获取数据,如文本文件、数据库、电子表格,以及包括Facebook和Twitter在内的许多在线数据服务,并使用这些数据生成包含图表、表格、地图和许多其他可视化对象的仪表板。仪表板对象是交互式的,意味着您可以在图表中点击数据系列以选择它,并将其用作板上其他对象的过滤器。

Power BI是Windows桌面应用程序(Office 365套件的一部分)、Web应用程序和在线服务的组合,用于在Web上发布仪表板并与用户共享。该服务允许您创建和管理权限,仅向特定人员授予对仪表板的访问权限。

Tableau

Tableau是另一个选项,可以从多个数据源的组合中创建交互式仪表板。它还提供桌面版本、Web版本和在线服务,可共享您创建的仪表板。它可以自然地“与您的思维方式一起使用”(正如它所声称的那样),对于非技术人员来说易于使用,并通过大量的教程和在线视频得到加强。

Tableau最杰出的一些功能是它的无限数据连接器、实时和内存数据,以及针对移动设备优化的设计。

QlikView

QlikView提供一个干净简单的用户界面,帮助分析师通过易于理解的可视元素发现现有数据中的新见解。

这个工具以其灵活性而闻名,它提供了一个称为关联搜索的功能,帮助您专注于最重要的数据,节省您自己查找数据所需的时间。

使用QlikView,您可以与合作伙伴进行实时协作,进行比较分析。所有相关数据都可以合并到一个应用程序中,并通过限制数据访问的安全功能对其进行访问。

抓取工具

当互联网刚刚兴起的时候，网络爬虫开始在整个网络中收集信息。随着技术的发展，网络爬取这个术语变成了，但仍然具有相同的意思：自动从网站中提取信息。要进行网络抓取，您可以使用自动化流程或机器人，它们可以从一个网页跳转到另一个网页，从中提取数据并将其导出到不同的格式或将其插入到数据库中以进行进一步分析。

以下是目前最受欢迎的三种网络爬虫的特点。

Octoparse

网络爬虫提供了一些有趣的特点，包括内置工具，可以从不方便为爬虫工作提供信息的网站中获取信息。它是一个桌面应用程序，无需编码，具有用户友好的界面，可以通过图形化工作流设计器可视化提取过程。

除了独立应用程序外，Octoparse还提供云服务，以加快数据提取过程。使用云服务而不是桌面应用程序时，用户可以获得4倍到10倍的速度提升。如果您坚持使用桌面版本，可以免费使用Octoparse。但如果您想使用云服务，就必须选择其中一种付费计划。

Content Grabber

如果您正在寻找一个功能丰富的抓取工具，您应该关注。与Octoparse不同，使用Content Grabber需要具备高级编程技能。作为交换条件，您将获得脚本编辑、调试界面和其他高级功能。使用Content Grabber，您可以使用.Net语言编写正则表达式。这样，您就不必使用内置工具生成表达式。

该工具提供了一个API（应用程序编程接口），您可以使用它将抓取功能添加到您的桌面和Web应用程序中。要使用此API，开发人员需要获得Content Grabber Windows服务的访问权限。

ParseHub

可以处理各种不同类型的内容，包括论坛、嵌套评论、日历和地图。它还可以处理包含身份验证、Javascript、Ajax等内容的页面。ParseHub可以用作Web应用程序或桌面应用程序，在Windows、macOS X和Linux上运行。

与Content Grabber类似，建议具备一些编程知识，以充分利用ParseHub。它有一个免费版本，限制为5个项目和每次运行200个页面。

编程语言

就像前面提到的SQL语言专门用于与关系数据库一起工作一样，还有其他专注于数据科学的语言。这些语言允许开发人员编写处理大规模数据分析（例如统计和）的程序。

SQL也被认为是开发人员在进行数据科学时应该具备的重要技能，但这是因为大多数组织仍然在关系数据库上拥有大量数据。“真正”的数据科学语言是R和Python。

Python

是一种高级、解释型、通用的编程语言，非常适合快速应用程序开发。它具有简单易学的语法，可以降低程序维护成本的学习曲线。有很多原因使其成为数据科学的首选语言。举几个例子：脚本潜力、冗长性、可移植性和性能。

对于计划在进行真正的、艰难的数据处理工作之前进行大量实验并希望开发完整应用程序的数据科学家来说，这种语言是一个。

R

R language主要用于统计数据处理和绘图。尽管它不适用于开发全功能应用程序，如Python的情况，但由于其在数据挖掘和数据分析方面的潜力，R在近年来变得非常流行。

多亏了一个不断增长的免费可用包的库，扩展了R的功能，使其能够进行各种数据处理工作，包括线性/非线性建模、分类、统计测试等。

学习它并不容易，但一旦你熟悉了它的理念，你将像专业人士一样进行统计计算。

集成开发环境（IDE）

如果你真的考虑致力于数据科学，那么你需要仔细选择一个适合你需求的集成开发环境（IDE），因为你和你的IDE将会花费大量时间一起工作。

一个理想的IDE应该将你在日常工作中需要的所有工具整合在一起，作为一个编码者：一个带有语法高亮和自动补全功能的文本编辑器，一个强大的调试器，一个对象浏览器，以及对外部工具的轻松访问。此外，它还必须与你偏好的编程语言兼容，所以在知道你将使用的编程语言后选择IDE是一个好主意。

Spyder

This通用IDE主要面向的是需要编码的科学家和分析师。为了让他们感到舒适，它不仅限于IDE的功能，还提供了用于数据探索/可视化和交互执行的工具，就像科学包中可以找到的那样。Spyder中的编辑器支持多种语言，并添加了类浏览器、窗口分割、跳转到定义、自动代码补全，甚至还有代码分析工具。

调试器可以帮助你交互式地跟踪每行代码，并且分析工具可以帮助你找到并消除低效之处。

PyCharm

如果你使用Python编程，那么你选择的IDE很可能是PyCharm。它具有智能搜索、代码补全和错误检测和修复的智能代码编辑器。只需点击一下，您就可以从代码编辑器跳转到任何上下文相关的窗口，包括测试、超级方法、实现、声明等。PyCharm支持Anaconda和许多科学包，例如NumPy和Matplotlib。

它与最重要的版本控制系统以及测试运行器、性能分析器和调试器集成。为了完善交易，它还与Docker和Vagrant集成，提供跨平台开发和容器化。

RStudio

对于那些更喜欢使用R的数据科学家来说，IDE的选择应该是 RStudio，因为它具有许多功能。您可以在Windows、macOS或Linux桌面上安装它，或者如果您不想在本地安装它，可以在Web浏览器中运行它。两个版本都提供了语法高亮、智能缩进和代码补全。当需要浏览表格数据时，集成的数据查看器非常方便。

调试模式允许在运行程序或脚本时交互地查看数据如何动态更新。对于版本控制，RStudio集成了对SVN和Git的支持。一个不错的附加功能是可以使用Shiny和其他库来创建交互式图形。

你的个人工具箱

到目前为止，您应该对在数据科学领域中卓越所需的工具有一个完整的了解。此外，我们希望我们为您提供了足够的信息，以便在每个工具类别中选择最方便的选项。现在就看你了。数据科学是一个繁荣的领域，develop a career。但是如果你想这样做，你必须跟上趋势和技术的变化，因为它们几乎每天都在发生。