【.com快译】数据科学项目专注于通过使用数据来解决社会或商业问题。对于该领域的初学者来说，解决数据科学项目可能是一项非常具有挑战性的任务。根据您要解决的数据问题的类型，您需要不同的技能组合。在本文中，您将学到一些技术技巧，可以帮助您在处理不同的数据科学项目时提高工作效率并实现目标。1.花时间准备数据数据准备是清理原始数据并将其转化为可用于分析和创建预测模型的有用特征的过程。这一步很关键，可能很难完成。这将花费你很多时间（60%的数据科学项目）。数据是从不同的来源以不同的格式收集的，这使得您的数据科学项目与其他项目非常不同，您可能需要应用不同的技术来准备数据。请记住，如果您的数据没有准备好，不要指望您的模型会得到最好的结果。以下是您可以在数据准备中执行的活动列表：探索性数据分析：分析和可视化您的数据。数据清理：识别和纠正数据中的错误。一个例子是缺失值特征选择：识别与任务最相关的特征。数据转换：改变特征/变量的规模或分布。特征工程：从可用数据中导出新变量。拆分数据：准备您的训练和测试集，例如75%用于训练，25%用于测试2.交叉验证训练交叉验证是一种评估预测模型有效性的统计方法。这是一项非常有用的技术，因为它可以帮助您避免模型中的过度拟合问题。建议在数据科学项目的早期阶段建立交叉验证技术。您可以尝试如下所述的不同交叉验证技术。强烈推荐使用K折交叉验证技术。留一法交叉验证leave-p交叉验证persist交叉验证重复随机抽样验证k折交叉验证分层k折交叉验证时间序列交叉验证嵌套交叉验证3.训练多种算法并运行许多实验，除了用不同的算法进行训练之外，没有其他方法可以找到比数据性能更高的最佳预测模型。您还需要运行不同的实验（许多实验）以找到产生最佳性能的最佳超参数值。建议尝试几种算法，看看模型的性能如何变化，然后选择产生最佳结果的一种。4。调整您的超参数超参数是一个参数，其值用于控制算法的学习过程。超参数优化或调整是为学习算法选择最佳超参数集以提供最佳结果/性能的过程。以下是推荐使用的技术列表：随机搜索网格搜索Scikit优化OptunaOTHKeras调谐器这是一个简单的示例，展示了如何使用随机搜索来调整超参数。fromsklearn.linear_modelimportLogisticRegressionfromsklearn.model_selectionimportRandomizedSearchCV#instatiatelogisticregressionlogistic=LogisticRegression()#definesearchspacedistribution=dict(C=uniform(loc=0,scale=4),penalty=['l1','l2'])#definesearchdisbudistclf=Randomizedistrandom_state=0)#executesearchsearch=clf.fit(X,y)#printbestparametersprint(search.best_params_){'C':2,'punishment':'l1}5.我们本地机器无法处理大数据集使用云平台训练创建预测模型.该过程可能会非常缓慢，您将无法运行所需的尽可能多的实验。云平台可以帮你解决这个问题。简单来说，云平台就是指在互联网上提供不同服务和资源的操作系统。与本地机器相比，它们还具有强大的计算能力，可以帮助您使用大型数据集训练模型并在短时间内运行大量实验。例如谷歌云、Azure、AWS等。这些平台大多自带免费试用版，你可以试用，选择适合你的数据科学项目并能提供专业服务的试用版。6.应用集成方法有时多个模型比一个模型的性能更好。您可以通过应用将多个基本模式组合到一个组模型中的集成方法来实现这一点，从而比每个单独的模型表现得更好。这是一个结合多种算法进行预测的投票分类器算法的简单示例。#instantiateindividualmodelsclf_1=KNeighborsClassifier()clf_2=LogisticRegression()clf_3=DecisionTreeClassifier()#Createvotingclassifiervoting_ens=VotingClassifier(estimators=[('knn',clf_1),('lr',clf_2),('dt',clf_3)],投票='hard')#Fitandpredictwiththeindividualmodelandensemblemodel.forclfin(clf_1,clf_2,clf_3,voting_ens):clf.fit(x_train,y_train)y_pred=clf.predict(X_test)print(clf.__class__.__name__,accuracy_score(y_test,y_pred))结果表明VotingClassfier优于单一模型。希望以上这些技术技巧对您的数据科学项目有用。掌握这些技术需要大量的练习和实验，然后才能实现数据科学项目目标并获得最佳结果。【翻译稿件，合作网站转载请注明原译者和出处.com】
