# 导入必要的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.datasets import fetch_california_housing # 使用加州房价数据作为替代

# ============================================================
# 阶段1：定义问题与设定目标
# 目标：根据房屋特征预测房价中位数（回归问题）
# 评估指标：均方误差（MSE）和 R² 分数
# ============================================================

# ============================================================
# 阶段2：获取与探索数据
# ============================================================
# 加载数据
housing = fetch_california_housing()
df = pd.DataFrame(housing.data, columns=housing.feature_names)
df['target'] = housing.target # 'target' 是房价中位数（单位：$100,000）

# 初步探索
print("数据集形状:", df.shape)
print("\n前5行数据:")
print(df.head())
print("\n数据基本信息:")
print(df.info())
print("\n描述性统计:")
print(df.describe())

# 可视化其中一个特征与目标的关系
plt.figure(figsize=(10, 6))
plt.scatter(df['MedInc'], df['target'], alpha=0.3) # MedInc: 中等收入
plt.xlabel('Median Income')
plt.ylabel('Median House Value')
plt.title('Income vs House Value')
plt.show()

# ============================================================
# 阶段3：数据预处理
# ============================================================
# 检查缺失值（此数据集通常无缺失值）
print("\n缺失值统计:")
print(df.isnull().sum())

# 分离特征和目标变量
X = df.drop('target', axis=1)
y = df['target']

# 划分训练集和测试集（70% 训练，30% 测试）
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 特征缩放（对基于距离的模型很重要，对树模型影响不大，但作为好习惯）
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test) # 注意：使用训练集的缩放参数来处理测试集

# ============================================================
# 阶段4：特征工程（本例简单，可跳过，但实际项目至关重要）
# 思考：能否基于现有特征创建新特征？例如：人均房间数 (AveRooms / population)
# ============================================================
# 我们这里暂时跳过复杂的特征工程，直接进入模型训练。

# ============================================================
# 阶段5：模型选择与训练
# ============================================================
# 选择随机森林回归器
model = RandomForestRegressor(n_estimators=100, random_state=42, n_jobs=-1)

# 在训练集上训练模型
print("\n开始训练模型...")
model.fit(X_train_scaled, y_train)
print("模型训练完成！")

# ============================================================
# 阶段6：模型评估与调优
# ============================================================
# 在测试集上进行预测
y_pred = model.predict(X_test_scaled)

# 计算评估指标
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)

print(f"\n模型在测试集上的表现：")
print(f"均方误差 (MSE): {mse:.4f}")
print(f"均方根误差 (RMSE): {rmse:.4f}")
print(f"R² 分数: {r2:.4f}")

# 查看特征重要性（有助于理解和改进特征工程）
feature_importance = pd.Series(model.feature_importances_, index=X.columns)
feature_importance.sort_values(ascending=False).plot(kind='bar', figsize=(10, 6))
plt.title('Feature Importance')
plt.show()

# ============================================================
# 阶段7：部署准备 - 保存模型和预处理器
# （这是一个模拟，我们将在下一课详细学习具体方法）
# ============================================================
import joblib

# 保存训练好的模型
joblib.dump(model, 'house_price_model.pkl')
# 保存缩放器
joblib.dump(scaler, 'scaler.pkl')
print("\n模型和缩放器已保存为 .pkl 文件。")

# 模拟一个简单的预测函数（未来可被部署为API）
def predict_house_price(income, house_age, avg_rooms, population, ...): # 这里应包含所有特征
    # 加载模型和缩放器（在实际应用中，只在服务启动时加载一次）
    loaded_model = joblib.load('house_price_model.pkl')
    loaded_scaler = joblib.load('scaler.pkl')
    
    # 构造特征数组（需与训练时顺序一致）
    features = np.array([[income, house_age, avg_rooms, population, ...]])
    # 预处理
    features_scaled = loaded_scaler.transform(features)
    # 预测
    prediction = loaded_model.predict(features_scaled)
    return prediction[0]

# 测试我们的预测函数（使用一个虚拟数据）
# 注意：需要提供所有特征的合理值
# test_price = predict_house_price(5.0, 30.0, 6.0, 1200.0, 400.0, 3.0, 34.0, -118.0)
# print(f"\n预测的房价中位数: ${test_price*100000:.2f}")