大数据导论课程记录————基于 Docker 构建 Hadoop 平台
基于 Docker 构建 Hadoop 平台
10.13大数据导论课程记录
课程内容:安装ubuntu虚拟机并使用Docker构建Hadoop平台
ps.此文章为课程记录,即表示部分观点或内容可能有误或表述不清,读者需自行辨别,记录顺序或逻辑可能混乱,敬请谅解(我tm自己做的笔记,你要实在要杠就别看)
注意:此篇文章涉及大量命令操作,对不熟悉的读者可能有些困难,可以多了解Linux后仔细阅读本文。
资料
https://polar-bear.eu.org/files/基于Docker构建Hadoop平台.pdf
0. 绪论
使⽤Docker搭建Hadoop技术平台,包括安装Docker、Java、Scala、Hadoop、 Hbase、Spark。
集群共有5台机器,主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master,其他的为slave。
虚拟机配置:建议1盒2线程、8G内存、30G硬盘。最早配置4G内存,HBase和Spark运⾏异常。
JDK 1.8
Scala 2.11.12
Hadoop 3.3.3
Hbase 3.0.0
Spark 3 ...
记一次惨痛的经历
今天本想用之前嫖的那台linux搭建一个后端API
但是试了许久都连接不上
看CPU,内存和网络都高占用
但是上面没有部署什么东西
估计就是被矿了,然后关了端口
在服务商下还有一台win
蛙趣啊,都用的弱密码
qaq
上面开的mc服务器(平时假期和朋友打一打)
存档什么的都被勒索了
图方便用的弱密码
但是,这世上每天都有无数机器扫ip,跑字典。
注意数据安全…
非安知鱼主题添加音乐馆
部署
安知鱼教程很清楚
此次仅说明几个不太清楚的地方和一些问题的解决方法
安知鱼教程(点击查看)
效果(点击查看)
需要引入meting会与原来的aplayer冲突
如果你使用了aplayer的音乐播放器
原来的播放器会失效
需要更改为meting的引入方式
易出错的地方主要出现在js和css文件引入上
易错
第一个引入meting.js
在butterfly的config文件最下面(config里有很多不同插件的CDN引入,注意分辨)
正确的设置如下(注意缩进,meting_js是属于在option下引入)
CDN12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485# CDN# Don't modify the following settings unless you know ho ...
vercel部署教程
本篇为hexo部署vercel教程第三篇
第一篇 ssh key连接到git
第二篇 hexo deploy快速方便的一键部署功能配置
第三篇 vercel部署教程
前提:
已经托管至GitHub pages
vercel部署
https://vercel.com/
进入vercel官网
使用github登录
绑定GitHub后直接拉取github仓库你的github-io
无需其他配置直接到仪表盘
这样即是部署成功
绑定自定义域名
vercel分配的域名在国内被墙
挂梯可以访问
但是
国内无法正常访问
多级域名
域名不美观
建议绑定自己的域名
仪表盘点击Domains
在Domains These domains are assigned to your Production Deployments. Optionally, a different Git branch or a redirection to another domain can be configured for each one.下面的mywebsite.com种输入你自己的域名
add
建议选择 ...
hexo deploy快速方便的一键部署功能配置
本篇为hexo部署vercel教程第二篇
第一篇 ssh key连接到git
第二篇 hexo deploy快速方便的一键部署功能配置
第三篇 vercel部署教程
使用插件前先配置git
hexo deploy
Hexo 提供了快速方便的一键部署功能,让您只需一条命令就能将网站部署到服务器上。
1$ hexo deploy
在开始之前,您必须先在 _config.yml 中修改参数,一个正确的部署配置中至少要有 type 参数,例如:
12deploy: type: git
您可同时使用多个 deployer,Hexo 会依照顺序执行每个 deployer。
123deploy:- type: git repo:
Git
安装 hexo-deployer-git。
1$ npm install hexo-deployer-git --save
修改配置。
12345deploy: type: git repo: <repository url> #https://bitbucket.org/JohnSmith/johnsmith.bitbucket.io ...
友链朋友圈——添加鱼塘
hexo-circle-of-friends后端
项目https://github.com/Rock-Candy-Tea/hexo-circle-of-friends
文档https://fcircle-doc.yyyzyyyz.cn/#/
前端
安知鱼https://blog.anheyu.com/posts/3753.html
开始
效果:https://polar-bear.eu.org/fcircle/
后端部署
按照文档即可https://fcircle-doc.yyyzyyyz.cn/#/
推荐github部署,sqlite存储
直接开始https://fcircle-doc.yyyzyyyz.cn/#/backenddeploy
fork友链朋友圈的项目仓库
更改/hexo_circle_of_friends/fc_settings.yaml文件
添加4个环境变量
fork后进入自己的仓库,依次settings>>左侧secrets and variables>>Actions
按照文档新建:()
添加4个环境变量secr ...
1.20.12基岩版雪球菜单
如图
国际版基岩1.20.12
看图
注意命令方块方向,类型,和是否有条件
最后是自己琢磨,不会也可以照抄
改于老版本雪球菜单,命令格式已经个性设置
说在前面
没啥好说
注意就行,一般不会出错
功能实现需要先创建
/scoreboard objectives add 雪球菜单 dummy
命令方块有提示,会刷屏,可以关掉提示
对于部分权限管理对玩家使用tag标记来判断是否拥有权限
/tag @s add yn
/tag @s add op
两个标签分别表示是否可以使用异能增益和转为创造模式的权限
有点生草,可能开会有部分问题,希望各位能够告知(我也是刚摸索,不太会)
A
初始化雪球菜单的操作
1replaceitem entity @a slot.hotbar 8 destroy snowball 2 0 {"minecraft:item_lock":{"mode":"lock_in_slot"}}
1execute as @e[type=snowball] at @s run ...
ssh key连接到git
本篇为hexo部署vercel教程第一篇
第一篇 ssh key连接到git
第二篇 hexo deploy快速方便的一键部署功能配置
第三篇 vercel部署教程
生成ssh密钥添加到Github
这一步的目的是可以使用Github的ssh地址pull、push仓库。
设置使用ssh密钥的好处是可以使用ssh连接,提交代码的时候可以不用输入密码,免密提交。
Github下载代码有三种方式,http下载、ssh下载、zip下载,到个人仓库页面就可以看到这三种下载方式。
在本地博客文件夹中右键选择Git Bash Here调出命令行,输入以下命令:
12git config --global user.name "YourGithubName" //双引号内填写你的GitHub用户名git config --global user.email "YourGithubEmail" //双引号内填写你的Github个人邮箱
用户名和邮箱根据你Github自己的信息自行更改。
然后输入以下命令生成SSH密钥:
注:
1输入以下命令:ssh-k ...
GitHub贡献图api500: INTERNAL_SERVER_ERROR的问题
GitHub贡献图api
This Serverless Function has crashed.
Your connection is working correctly.
Vercel is working correctly.
500: INTERNAL_SERVER_ERROR
Code: FUNCTION_INVOCATION_FAILED
ID: hkg1::crjjw-1691212510196-1a44a38e168c
GitHub仓库
https://github.com/Zfour/python_github_calendar_api
问题原因
github更新,更新正则匹配就行 。
操作
具体部署步骤看教程即可
fork到自己仓库后之需要更改api/index.py文件即可
改为
12345678910111213141516171819202122232425262728293031323334353637383940414243# -*- coding: UTF-8 -*-import requestsimport refrom http.server ...
提问的智慧
4630436162ade97ba2718b7d0c4b3b6351ade09e539dfebeb5402828e29e64b0c4b0d657b9011eec26a8f9fa546deb2df9036f4692097e8fc67283cd6e451b004e80947361d1dd0521eb502113c520e4bc5c4b6abdc140b218c9242ab3bff97a8aa2bf883836ae56c99e9a8c6488df3ba9b14c832681cc3f1a4d1e982dafe7ccd2c8200c63fdb5238003c9704e6e68a7ce72896f99b5bc0c63ebe416a604dfd6e3dc77800e8999c05de1e292f1185179c4fbb0f0a6d65c206aeb0ea3888e5123e26dc9148a894097581022656717da51a31be23ba8073cd9157fbeecedbb3a230d8a7fe3fe1020937f271ef81c8cf98f4f61ea25d90738e13 ...
数据库加载中