因此，当数据集涉及多种类型的数据时
容量大小限制 Excel的最大行数为行，这意味着当数据集的大小超过这限制时，Excel将无法正常工作。 一般情况下，Excel文件的大小上限为MB/MB左右，这限制了可以存储在单Excel文件中的数据量。随着数据集的增长，可能需要将数据分散到多Excel文件中，这将导致数据管理和维护变得复杂和低效。 所以，对于大规模的数据集，特别是深度学习等需要大量数据的任务，Excel可能无法满足需求。 不支持复杂数据类型 复杂数据类型通常指的是那些无法通过简单的数值或文本表示的数据，例如图像、音频或视频等。Excel在面对这类数据时，就会明显暴露其局限性。 不适合多模态数据 多模态数据是指同时包含两种或更多种形式的数据的数据。这类数据可能是一产品描述，它包含文本描述（如产品的功能和规格），以及图像信息（如产品的外观和颜色）。 在这种情况下，我们需要同时考虑和处理文本和图像信息，以便更好地理解和分析数据。这时，通过Excel就无法对数据进行有效处理。我们通常需要寻找更灵活的存储和处理方式。例如，我们可以使用数据库或者专门的数据 购买特殊营销数据 处理软件来存储和处理多模态数据。 不止这些 当然，AI数据集中的格式远远不止以上列举的这些，还有很多在专业领域派上用场的数据格式，比如TFRecord、Avro、Feather、DICOM等。 我们知道，在AI项目中，数据是推动模型训练和性能提升的核心。选择合适的数据格式对于不同类型的AI项目至关重要。所以我们对图像，文本，音频，视频，时间序列甚至是传感器等等各类数据，都需要找到匹配的数据格式。 在大规模数据集和实时应用中，匹配的数据格式能够提高数据处理的效率和速度。一些数据格式在存储和读取时更为高效，可以减少数据预处理的时间，加速模型的训练和推理过程，提高整体效果。 考虑到AI项目中的数据大小和存储成本，以及不同的数据格式对存储空间的需求不同。比如有些格式具有高度的压缩性，适合大规模数据集的存储，而有些则不需要。所以，我们在考虑存储成本和资源限制时，选择匹配的数据格式可以降低整体成本。
https://lh7-us.googleusercontent.com/uXQDNzmXBxNpE-z9ooc7aQZlYRoDhHQmuRZcih1tEXdKwy3xg9G31-GUbVunInOOYrcvWikRrk7Tuph1osdM2eLhkKElm3YduFNxsgab9IDinO5ZHHVy3Sh4DTnyQniOgAILNjP8FON5KbhIJCZOSp8
为了更好地训练监督学习模型，选择匹配的数据格式也有助于更好地处理数据标注和标签。一些格式支持多种数据类型的同时保持标签信息，也可以让数据集的标签管理更为方便。 总而言之，考虑到AI项目的特定需求、模型结构、数据处理效率、存储成本等多方面因素，我们提前选择好合适的数据格式有助于提高AI模型性能、降低成本，并简化整工作流程。这样做起来好处多多，我们何乐不为呢。 三、推荐几人工智能数据集 人工智能早已成为各行各业最受关注的网红。好像凡事不和AI有关，就仿佛被时代淘汰了。然而实际情况是，大多数AI项目由于种种原因无法实现成功部署。这其中一重要因素就是数据质量低或数据不足。 数据集对机器学习模型的性能日益重要，现在有许多站点都托管数据存储库，涵盖主题广泛，应有尽有。无论机器学习项目是什么，都可以找到相关的数据集。 但是，我们在寻找合适的数据集时，需要先问自己两问题： 我想用AI项目达成什么目标？我需要数据涵盖哪些情景？然后，带着答案去有目的地寻找。 如果想清楚了，就去网上看看有没有你想要的公开数据集。
頁:
[1]