LightGBM超参数优化-贝叶斯,网格

admin2024-05-15  1

LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第1张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第2张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第3张

import hyperopt
from hyperopt import hp,fmin,tpe,Trials,partial
from hyperopt.early_stop import no_progress_loss
#参数的搜索空间
LGBM_params_space={'max_depth':hp.choice('max_depth',np.arange(10,50).tolist()),
'num_leaves':hp.choice('num_leaves',np.arange(10,50).tolist()),
'n_estimators':hp.choice('n_estimators',np.arange(10,100).tolist()),
'boosting_type':hp.choice('boosting_type',['gbdt','goss']),
'colsample_bytree':hp.uniform('colsample_bytree',0.2,1.0),#连续性的参数
'learning_rate':hp.uniform('learning_rate',0.001,0.5),
'reg_alpha':hp.uniform('reg_alpha',0.01,0.5),#L1
'reg_lambda':hp.uniform('reg_lambda',0.01,0.5)#l2
}

choice里的参数是独立的,如果用了randint模型会推测参数之间的大小,不太好对调参
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第4张

def hyperopt_lgbm(params):
    max_depth=params['max_depth']
    num_leaves=params['num_leaves']
    n_estimators=params['n_estimators']
    boosting_type=params['boosting_type']
    colsample_bytree=params['colsample_bytree']
    learning_rate=params['learning_rate']
    reg_alpha=params['reg_alpha']
    reg_lambda=params['reg_lambda']#会根据搜索出的子参数空间,赋值,并进行下列实例化
    #实例化模型
    lgbm=LGBMClassifier(random_state=12,
                       max_depth=max_depth,
                       num_leaves=num_leaves,
                       n_estimators=n_estimators,
                       boosting_type=boosting_type,
                       colsample_bytree=colsample_bytree,
                       learning_rate=learning_rate,
                       reg_alpha=reg_alpha,
                      reg_lambda=reg_lambda )
    #输出交叉验证的结果
    res=cross_val_score(lgbm,xtrain263,ytrain263).mean()
    return res
    
#定义优化函数
def param_hyperopt_lgbm(max_evals):
    params_best=fmin(fn=hyperopt_lgbm,#目标函数
                    space=LGBM_params_space,
                    algo=tpe.suggest,#算法
                    max_evals=max_evals)#迭代次数
    return params_best

LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第5张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第6张
超参数结果不如原始模型,最好是迭代次数的增加
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第7张
针对上面的升级改造:训练模式和测试模式两套放在一起,根据最优秀的参数来实例化一个模型
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第8张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第9张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第10张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第11张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第12张
二、基于网格搜索的超参数优化—枚举原理,TPE是根据迭代次数猜的,不会穷尽参数
,需要人工辅助判断
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第13张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第14张
从大区间逐步缩小区间范围

#设置超参数空间
parameter_space={
    'num_leaves':range(20,51,5),
    'max_depth':range(5,15,2),
    'learning_rate':list(np.linspace(0.01,0.2,5)),
    'n_estimators':range(10,160,70),
    'boosting_type':['gbdt','goss'],
    'colsamp_bytree':[0.6,0.8,1.0]
}
#实例化模型与评估器
lgbm_0=LGBMClassifier(random_state=120)
grid_lgbm0=GridSearchCV(lgbm_0,parameter_space)
#模型训练
grid_lgbm0.fit(xtrain263,ytrain263)

LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第15张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第16张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第17张
进行多轮探索
下面使用交叉训练:
超参数调完之后如何有更好的效果,–单独模型的交叉训练-非常有bagging的原理
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第18张
取5次预测结果的均值作为最终的预测结果
–不一定有效果,但是可以试一下的
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第19张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第20张

LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第21张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第22张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第23张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第24张

LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第25张
LightGBM超参数优化-贝叶斯,网格,在这里插入图片描述,第26张

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!