山羊博客

搭建本地 ubuntu 12.04 和 ubuntu-cloud 镜像

Tue, 10 Sep 2013 00:59:38 +0800

我们知道，ubuntu 是通过 apt-get 这套包管理软件来安装软件的，比如你要安装 screen， apt-get install -y screen 就可以了，apt-get 就会从网络上的一个软件源里面把 screen 相关的包下载下来，然后安装。apt-get 是从网络端的软件源来安装的，所以在我们装好操作系统后，经常会有这么一步，选择最近的软件源，来替代 /etc/apt/sources.list 配置的默认的软件源，一般我们会用 ustc, 163, souhu 等国内比较快的源。

如果是个人电脑的话，这种方式没有问题，可是如果是公司有很多服务器的情况下，这种方式就不合适了。因为每台服务器升级安装软件都要单独从网络下载一份软件包，一方面由于公司网络带宽的限制，速度不会太快，另一方面，重复下载，浪费带宽。所以考虑在公司内部搭建一个 ubuntu 镜像，作为缓存或者代理，定时和网络上的镜像源同步，把公司里的电脑的源配置成本地源，这样就能既提升速度，又节省带宽。

下面是本人在给公司部署 OpenStack 时候搭建镜像源的过程：

镜像服务器

这里我们用到 apt-mirror

[code lang=”bash”]

sudo apt-get install apt-mirror

[/code]

配置文件在 /etc/apt/mirror.list，默认是下面的内容

[code lang=”text”]

############# config ##################

# set base_path /var/spool/apt-mirror

# set mirror_path $base_path/mirror

# set skel_path $base_path/skel

# set var_path $base_path/var

# set cleanscript $var_path/clean.sh

# set defaultarch

# set postmirror_script $var_path/postmirror.sh

# set run_postmirror 0

set nthreads 20

set _tilde 0

############# end config ##############

deb http://archive.ubuntu.com/ubuntu precise main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu precise-security main restricted universe multiverse

deb http://archive.ubuntu.com/ubuntu precise-updates main restricted universe multiverse

#deb http://archive.ubuntu.com/ubuntu precise-proposed main restricted universe multiverse

#deb http://archive.ubuntu.com/ubuntu precise-backports main restricted universe multiverse

deb-src http://archive.ubuntu.com/ubuntu precise main restricted universe multiverse

deb-src http://archive.ubuntu.com/ubuntu precise-security main restricted universe multiverse

deb-src http://archive.ubuntu.com/ubuntu precise-updates main restricted universe multiverse

#deb-src http://archive.ubuntu.com/ubuntu precise-proposed main restricted universe multiverse

#deb-src http://archive.ubuntu.com/ubuntu precise-backports main restricted universe multiverse

clean http://archive.ubuntu.com/ubuntu

[/code]

改成这样

[code lang=”text”]

############# config ##################

# set base_path /var/spool/apt-mirror

# set mirror_path $base_path/mirror

# set skel_path $base_path/skel

# set var_path $base_path/var

# set cleanscript $var_path/clean.sh

# set defaultarch

# set postmirror_script $var_path/postmirror.sh

# set run_postmirror 0

set nthreads 20

set _tilde 0

############# end config ##############

# Precise 64Bit Mirror

deb-amd64 http://cn.archive.ubuntu.com/ubuntu precise main restricted universe multiverse

deb-amd64 http://cn.archive.ubuntu.com/ubuntu precise-security main restricted universe multiverse

deb-amd64 http://cn.archive.ubuntu.com/ubuntu precise-updates main restricted universe multiverse

deb-amd64 http://cn.archive.ubuntu.com/ubuntu precise-proposed main restricted universe multiverse

deb-amd64 http://cn.archive.ubuntu.com/ubuntu precise-backports main restricted universe multiverse

# Precise 32Bit Mirror

deb-i386 http://cn.archive.ubuntu.com/ubuntu precise main restricted universe multiverse

deb-i386 http://cn.archive.ubuntu.com/ubuntu precise-security main restricted universe multiverse

deb-i386 http://cn.archive.ubuntu.com/ubuntu precise-updates main restricted universe multiverse

deb-i386 http://cn.archive.ubuntu.com/ubuntu precise-proposed main restricted universe multiverse

deb-i386 http://cn.archive.ubuntu.com/ubuntu precise-backports main restricted universe multiverse

deb-src http://cn.archive.ubuntu.com/ubuntu precise main restricted universe multiverse

deb-src http://cn.archive.ubuntu.com/ubuntu precise-security main restricted universe multiverse

deb-src http://cn.archive.ubuntu.com/ubuntu precise-updates main restricted universe multiverse

deb-src http://cn.archive.ubuntu.com/ubuntu precise-proposed main restricted universe multiverse

deb-src http://cn.archive.ubuntu.com/ubuntu precise-backports main restricted universe multiverse

clean http://cn.archive.ubuntu.com/ubuntu

deb-amd64 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-updates/grizzly main

deb-amd64 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-proposed/grizzly main

deb-i386 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-updates/grizzly main

deb-i386 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-proposed/grizzly main

clean http://ubuntu-cloud.archive.canonical.com/ubuntu

[/code]

如果不需要源文件的话，可以把 deb-src 给去掉， deb-amd64 是针对 64 位的包，deb-i386 是针对 32 位的包，根据需要可以删减。

[code lang=”text”]

deb-amd64 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-updates/grizzly main

deb-amd64 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-proposed/grizzly main

deb-i386 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-updates/grizzly main

deb-i386 http://ubuntu-cloud.archive.canonical.com/ubuntu precise-proposed/grizzly main

[/code]

这一段是针对 OpenStack G 版的，可以根据需要换成相应的版本，ubuntu 官方现在提供 folsom, grizzly, havana 三个版本。

配置完成后，开一个 screen 窗口

[code lang=”bash”]

sudo apt-mirror /etc/apt/mirror.list

[/code]

然后就可以去干别的事了（喝咖啡调代码什么的）

按我上面的配置同步完成后，一共有 144G 大小。

上面的是手动同步更新，可以设置 cron 任务自动同步更新

apt-mirror 在安装完成后会自动创建一个 cron 任务 /etc/cron.d/apt-mirror，

[code lang=”text”]

# Regular cron jobs for the apt-mirror package

0 4 * * * apt-mirror /usr/bin/apt-mirror > /var/spool/apt-mirror/var/cron.log

[/code]

把最后一行的注释去掉，表示每天早晨 4 点进行自动同步

安装 apache

[code lang=”bash”]

sudo apt-get install apache2

sudo ln -s /var/spool/apt-mirror/mirror/cn.archive.ubuntu.com/ubuntu /var/www/ubuntu

sudo ln -s /var/spool/apt-mirror/mirror/ubuntu-cloud.archive.canonical.com/ubuntu /var/www/ubuntu-cloud

[/code]

其它服务器配置

其它 ubuntu 服务器就可以把 /etc/apt/sources.list 配置成这台镜像服务器啦！

mirrors.hengtiansoft.com 是我们的刚装好的镜像服务器

[code lang=”text”]

# deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ dists/precise/main/binary-i386/

# deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ dists/precise/restricted/binary-i386/

# deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ precise main restricted

#deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ dists/precise/main/binary-i386/

#deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ dists/precise/restricted/binary-i386/

#deb cdrom:[Ubuntu-Server 12.04.1 LTS _Precise Pangolin_ – Release amd64 (20120817.3)]/ precise main restricted

# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to

# newer versions of the distribution.

deb http://mirrors.hengtiansoft.com/ubuntu/ precise main restricted

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise main restricted

## Major bug fix updates produced after the final release of the

## distribution.

deb http://mirrors.hengtiansoft.com/ubuntu/ precise-updates main restricted

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise-updates main restricted

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu

## team. Also, please note that software in universe WILL NOT receive any

## review or updates from the Ubuntu security team.

deb http://mirrors.hengtiansoft.com/ubuntu/ precise universe

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise universe

deb http://mirrors.hengtiansoft.com/ubuntu/ precise-updates universe

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise-updates universe

## N.B. software from this repository is ENTIRELY UNSUPPORTED by the Ubuntu

## team, and may not be under a free licence. Please satisfy yourself as to

## your rights to use the software. Also, please note that software in

## multiverse WILL NOT receive any review or updates from the Ubuntu

## security team.

deb http://mirrors.hengtiansoft.com/ubuntu/ precise multiverse

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise multiverse

deb http://mirrors.hengtiansoft.com/ubuntu/ precise-updates multiverse

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise-updates multiverse

## N.B. software from this repository may not have been tested as

## extensively as that contained in the main release, although it includes

## newer versions of some applications which may provide useful features.

## Also, please note that software in backports WILL NOT receive any review

## or updates from the Ubuntu security team.

deb http://mirrors.hengtiansoft.com/ubuntu/ precise-backports main restricted universe multiverse

deb-src http://mirrors.hengtiansoft.com/ubuntu/ precise-backports main restricted universe multiverse

deb http://mirrors.hengtiansoft.com/ubuntu precise-security main restricted

deb-src http://mirrors.hengtiansoft.com/ubuntu precise-security main restricted

deb http://mirrors.hengtiansoft.com/ubuntu precise-security universe

deb-src http://mirrors.hengtiansoft.com/ubuntu precise-security universe

deb http://mirrors.hengtiansoft.com/ubuntu precise-security multiverse

deb-src http://mirrors.hengtiansoft.com/ubuntu precise-security multiverse

## Uncomment the following two lines to add software from Canonical’s

## ‘partner’ repository.

## This software is not part of Ubuntu, but is offered by Canonical and the

## respective vendors as a service to Ubuntu users.

# deb http://archive.canonical.com/ubuntu precise partner

# deb-src http://archive.canonical.com/ubuntu precise partner

## Uncomment the following two lines to add software from Ubuntu’s

## ‘extras’ repository.

## This software is not part of Ubuntu, but is offered by third-party

## developers who want to ship their latest software.

# deb http://extras.ubuntu.com/ubuntu precise main

# deb-src http://extras.ubuntu.com/ubuntu precise main

deb http://mirrors.hengtiansoft.com/ubuntu-cloud precise-proposed/grizzly main

deb http://mirrors.hengtiansoft.com/ubuntu-cloud precise-updates/grizzly main

[/code]

apt-get update，更新下缓存

之后就可以 apt-get install -y xxxxx 啦，体验飞一般的速度～～～

参考：

create an apt-mirror with ubuntu 12.04 lt （要爬墙）

apt-mirror

VMware ESXi 的故事

Wed, 01 May 2013 02:42:26 +0800

VMware ESXi是一个免费的虚拟化产品，它是VMware vSphere 云架构产品线最基础的部分，提供底层的虚拟化技术。任何人都可以去VMware的官网下载，在物理机上安装，然后就可以创建虚拟机了，并且VMware还贴心的提供了免费的管理软件——VMware vSphere Client，在你自己的PC上装上这个软件，然后通过网络连接ESXi服务器，就可以在Client界面上用鼠标点点拖拖创建虚拟机啦，这样一套企业级别虚拟化解决方案就有了，而这些完全free of charge，哦，多么伟大的VMware！如果你真这么想，那么你就too simple了，不要忘记了，VMware是一家商业公司，还有一句话是这么说的“没有免费的午餐”。

这种免费解决方案完全是个鸡肋，看下面的图就知道了。。。

VMware ESXi 免费解决方案

ESXi Server与Client是一对一的，每一个ESXi Server都要一个Client来连接，对一个企业来的Infra说，这是不能容忍的。。。当一个虚拟机出故障，Infra要一个一个client窗口去翻，这是多么boring的事情，看下图就懂了。。

多个 vSphere Client

我企业这么多虚拟机跑在ESXi上，我不想让Infra花这么多在人力在虚拟机管理上，有没有一个集中的控制台呢，并且能够在不同ESXi上迁移虚拟机，做到负载均衡这些东西呢，有，VMware早就替你想到了，VMware vCenter，它是VMware的一个私有云解决方案，但是这个东东可是价格不菲呢。。。随着ESXi服务器的增多，企业你要么支付Infra一直增长的管理费用，要么花钱买vCenter，谁让你当初选择了“免费的”ESXi，上了VMware的贼船呢。。VMware在一旁窃笑不已。。

VMware ESXi 私有云解决方案

有没有第三方的统一管理工具，或者我自己开发管理工具来管理ESXi呢。VMware说，有，我们提供web service，你可以编程调用这些web service，我们的vSphere Client就是调用这些web service来做的。。但是，这些web service接口不是免费开放给你的，我自家的vSphere Client可以随便调，并且我们做好给你用，如果你要自己编程写工具的话，就要给我们接口搞用费。。。

看看过里的说明吧

VMWARE END USER LICENSE AGREEMENT

VMware Forcing Third Parties to NOT Sell Products for Free ESXi

Veeam and Free ESXi

在开源的虚拟化技术（KVM，XEN等）这么成熟的今天，还有OpenStack，CloudStack这类开源云平台，我们是不是可以抛弃ESXi了呢。。

（VMware已经意识到这种变化，现在已经加入OpenStack了呢。。）

本文同步发表在网新恒天私有云团队博客，谢谢关注，转载请注明出处。

Openstack 管理 VMware ESX/ESXi (1) 架构

Mon, 29 Apr 2013 22:42:58 +0800

关于OpenStack的研究，大家基本都是集中于KVM，XEN这类开源虚拟化技术，对VMware的研究比较少。我们公司（网新恒天）由于之前采用的虚拟化技术是VMware的，所以在OpenStack研究开始之初就以VMware为虚拟化平台，希望能用OpenStack将VMware管理起来，经过4个月左右的研究开发，已经实现这个目标。现在我们决定将自己的研究成果分享出来，希望能和大家一起交流。

本文主要讨论OpenStack管理 VMware ESX/ESXi 时的部署架构。

因为VMware vSphere ESX/ESXi 的特殊性，导致Openstack管理ESX/ESXi时的部署架构会与KVM、XEN等不一样，所以刚开始安装的时候会有这样的疑问：nova-compute 装哪里，怎么装呢？下面就来说明下这个问题。

因为VMware ESX/ESXi 是非常封闭的，ssh上去之后，会发现之个系统连一些常用的命令都没有，更不用说python、gcc了，是一个非常精简的系统，所以在ESX/ESXi上直接安装nova-compute基本是不可能的。要单独找一台计算机（物理机/虚拟机），在上面安装ubuntu，然后再在这个上面安装nova-compute，让nova-compute来通过网络的方式来连接ESX/ESXi。ESX/ESXi对外提供web services(SOAP实现)编程接口，nova-compute就是通过调用这些接口，将OpenStack命令转化成web services请求来实现对ESX/ESXi的控制。

概念架构图如下所示：

OpenStack 管理VMware 架构概念图

在实际部署中，我们这样来做，用虚拟机来做nova-compute结点，并且将这个虚拟机建在它上面的nova-comppute所连接的ESX/ESXi上，因为nova-compute结点只负责和ESX/ESXi通信，虚拟化工作由ESX/ESXi来承担，nova-compute结点的负载非常小，对原有ESX/ESXi影响也非常小，实事证明这种做法是完全可行的。（我们实验用的虚拟机配置1vCPU，2G内存，毫无压力）

OpenStack VMware ESXi 部署架构

OpenStack官方关于VMware ESX/ESXi Server Support的图如下所示，比较详细。nova-compute通过SOAP使ESX/ESXi执行虚拟机相关操作，如创建、重启、删除，快照等；在创建虚拟的时候，能过glance取镜像传到ESX/ESXi上，在打快照的时候，先在ESX/ESXi执行快照命令，然后将生成的快照传到glance上。可以看到，OpenStack类似一个中转层代理，在两边分别实现OpenStack和ESX/ESXi的接口，然后将两者连接起来。

VMware ESX/ESXi Server Support 官方示意图

本文同步发表在网新恒天私有云团队博客，谢谢关注，转载请注明出处。

MOD9 去九法

Mon, 29 Apr 2013 06:39:53 +0800

MOD9叫做去九法或者弃九法，是十进制数的一个性质：任何一个整数模9同余于它的各数位上数字之和。经常被用来检验几个数相加、相减、相乘的结果是否正确。

原理

ABC
  
=100A+10B+1C
  
=(99+1)A+(9+1)B+1C
  
=99A+9B+(A+B+C)
  
=9M+(A+B+C)

因此可得知：

ABC≡A+B+C (mod9)

Refer: 去九法

练手题 HDOJ 1013 Digital Roots

OpenStack VMware ESXi 相关资料

Sat, 27 Apr 2013 00:15:46 +0800

OpenStack对VMware的支持不是太好，并且由于VMware的商业产品，并不像KVM，XEN那样开放，使用时会涉及License等原因，所以大家在使用OpenStack时对VMware的关注一直很少，这方面的资料也非常少。从12年10月份，我们就一直在研究OpenStack对VMware的支持，中间遇到了不少问题，也获得了不少经验。这篇文章分享下我们在研究OpenStack时有帮助的资料。

VMware vSphere Support bluprit

OpenStack在C版的时候加入对VMware的支持，当时VMware还没有加入OpenStack，这份代码是由Citrix的人花了3个月写的。

VMware vSphere Support full specification

这篇文档非常有用，包含环境需求、设计scope、测试标准和License问题，刚开始没有太注意其中的License问题，后来掉到大坑里了，官方文档要好好读读。

VMware ESX/ESXi Server Support

官方安装文档里对ESXi的架构说明和安装指导，但这个文档不够详细。

VMware ESX/ESXi Server Support for OpenStack Compute

这篇文档应该是详细的官方安装指导，可是不知道什么原因在F版的时候就被从代码库里删掉了，在D和E版里都有。非常详细，nova-compute配置，netwrok配置(Flat＋VLAN)，VNC配置(G版的时候已经不用这个配置，更加方便)，IP注入实现。要好好读。

[Openstack] ESXi documentation..

ESXi配置问题的邮件列表，里面的配置有问题，但可以参考。

Using VMWare ESXi with openstack

又一个可供参考的邮件列表。

VMDK images will not start on ESXi 4.1 Reason: The file specified is not a virtual disk

OpenStack Image Registry and Delivery Service (Glance)

How to add vmware and VirtualBox image in openstack

VMware 操作系统类型对应关系。

Incorrect machine id parameters in vmx for guest_tool.py

VMware IP 注入问题。

在12年8月份的时候,宣布加入OpenStack，并参加G版本的summit，决定对社区贡献代码等等。

之后，在G版的blueprint中，提出一个新的设计，加强对VMware的支持，由VMware自己的员工Sean Chen亲自贡献代码。

G版VMware Compute Driver

加强后的driver支持很多新功能

Enhancing VMware Compute Driver

• Launch OVF disk image

• VNC console

• Attach and Detach iSCSI volume

• Guest info

• Host ops

• VLAN

• Quantum

• Cold migration

• Live migration

• VirtualCenter support

VMware Nova Compute Driver full specification in Grizzly

slidshare上的一个slide，讲了vmware driver的历史，和新的功能，需要爬墙。

VMware Compute Driver For Folsom

虽然新功能是针对G版的，但Sean Chen也对F版做了新功能补丁，非常好。我们现在用的就是基于这部分代码的。

Openstack 支持ESXI

这篇应该是国内研究OpenStack支持VMware最早的，有一定参考价值。

Openstack整合esxi 测试总结

国内一篇比较新的关于OpenStack使用VMware ESXi作为虚拟化技术的，写得不错。

本文同步发表在网新恒天私有云团队博客，谢谢关注，转载请注明出处。

Vagrant：程序员的VirtualBox（一）

Fri, 22 Feb 2013 01:02:28 +0800

前言

VirtualBox相信很多人都用过，它是一个虚拟化软件，用来在我们的电脑上虚拟出一电脑来，和 VMware Workstation, kvm, xen等是一类东西（专业点的说法叫Hypervisor），不过它提供易用的界面(VMware也有)，对各平台的支持（Linux, Win, Mac）,又非常的轻量，最关键的free呀，所以使用非常广泛。

我们平时使用VirtualBox最常见的情况就是，自己电脑是个Win，想跑个Linux，或者电脑是个Linux，要跑win上网银啊，QQ什么的 win only之类的，虽然有wine这样的东东，可以在Linux下跑win下的软件，但有个win系统稳定性不更好么，并且现在的电脑配置，完全不用担心虚拟机消耗内存CPU什么的，你不用那才是浪费呢，何况VirtualBox这么轻量。个人体验，弄个xp虚拟机跑QQ资源消耗比chrome或者ff登webQQ要少，可恶的用了多少js。。。

对天天码代码的苦逼程序员来说，VirtualBox就不能是简简单单的挂个Q这么用了->_->

程序员搞最多的就是码代码了，可能做很多个项目，公司里搞java的，php的，自己回家再玩个python什么的，想体验下新版本的mongodb或者nginx，Emacs或者vim的配置啦，保不准哪个项目前个版本的数据库是mysql，下个版本用了postgresql, 这么多东西全都搞在一起，装在一个电脑上，肯定会被这各种配置环境搞的晕晕的，烦不胜烦。

怎么办呢，最好是每个项目都有一个干净的开发环境，只为这个项目，可是我们不可能为每一个项目配一个电脑吧，有了，虚拟机，给每一个项目配一个虚拟机，开发A的时候就启A的虚拟机，这样各个开发环境互相独立，干干净净。还有一个问题，我们的项目有多个开发人员，如何保障大家的开发环境都一样呢，总不能每个人都一个个点击鼠标，填写配置参数，建好后上支一个个软件安装吧，这太麻烦了，太不geek了。我们想要的是，环境只配置一遍，然后可以把这个环境打包deliver给别人，别人拿到后，直接启起来就可以用。那有没有这样的东西呢，肯定是有的，Vagrant，它就是用来干这个的。

下面主角登场，来看看Vagrant是多么适合程序员。

介绍篇

“Vagrant uses Oracle’s VirtualBox to build configurable, lightweight, and portable virtual machines dynamically.”

Vagrant 是 Mitchell Hashimoto 用 ruby 写的，去年11月份，Mitchell 专门成立了一个公司 HashiCorp 来更好的开发 Vagrant, 并且申明，Vagrant会一直开源。Announcing HashiCorp

感兴趣的还可以看下作者在就HashiCorp成立在Hacker News上发的一个topic http://news.ycombinator.com/item?id=4843508

安装篇

确保安装了VirtualBox，fedora 用户可以参考本人以前写的 Fedora 15 安装 virtualbox 及 Extension Pack

Vagrant有2种安装方式，一种是通过平台的安装包，一种是通过RubyGems，官方推荐首选安装包的方式安装

Vagrant官方发布了各种平台的安装包，可以去下载

点开一个版本后会看到有 mac, win，以及各常用的Linux distro（debain, arch, redhat），下载下来安装就好了，就像装一个普通软件一样。

安装包里已经打包了ruby，所以不用事先安装ruby环境。

如果没有发现自己系统的安装包的话，请采用RubyGems方式安装

1) 先安装Ruby和RubyGems，请自行google安装

2) 安装vagrant

gem install vagrant

安装完成之后可以使用vagrant -v命令来查看vagrant的版本号

使用篇

安装后好，我们就可以来玩vagrant了 ^_^

先建一个文件夹，然后进到文件夹里

mkdir vagrant-test && cd vagrant-test

按照官网教程，敲下面命令，第一条要从网上下载大约260M的box文件，所以会等一会，视网速情况了。

[bash]

$ vagrant box add lucid32 http://files.vagrantup.com/lucid32.box

$ vagrant init lucid32

$ vagrant up

[/bash]

这样之后，就启动一个虚拟机了，系统是ubuntu lucid 32位，可以在VirtualBox的控制台界面看到多了一个，如下图

但是不能通过控制台访问，要想进去的话，输入

vagrant ssh

然后就进虚拟机里面了，可以各种操作了

关闭虚拟机

vagrant halt

删除虚拟机

vagrant destroy

http代理环境下使用github

Fri, 23 Nov 2012 22:53:16 +0800

公司上网一般是通过http代理，只能访问外网的443和80端口，github现在本身就支持https的方式提交代码，这里讲的是如何通过默认方式即git协议提交代码，我们知道git是基于ssh的，端口是22，github这个服务器的ssh端口我们又不能像自己的服务器一样改成443，怎么办呢。在基于http做好的ssh代理之上，再连接github，已经开启的ssh代理是不受端口限制的。

首先参考用ssh突破公司http代理，把ssh代理建立起来。

然后按照github的官网Generating SSH Keys，生成密钥，并相应的配置github的帐户。

配置好后在 .ssh/conifg 里添加配置如下：

  
Host github.com
    
HostName github.com
    
User git
    
PreferredAuthentications publickey
    
IdentityFile ~/.ssh/github.rsa
    
ProxyCommand nc -x 127.0.0.1:7070 %h %p

然后就可以正常使用git clone/pull/push这些命令啦！

这里有个介绍如何直接使用http代理的，没试过，估计是可以的

如何让 Git 使用 HTTP 代理服务器

irssi在http代理条件下登录irc聊天室

Fri, 23 Nov 2012 22:25:36 +0800

公司上网一般是通过http代理，然后只能访问外网的443和80端口，而irc服务器的端口是6667，如irc.freenode.net。那么我们该怎么做呢，可以用ssh的本地端口（Local Forwarding）转发来实现。关于ssh的各种端口转发，SSH Cheat Sheet有详细的介绍。

前提是要能连上ssh服务，如何在http代理环境下连ssh，参考用ssh突破公司http代理。

然后就可以这样来打开本地转发功能了

[code lang=”bash”]

ssh -L 1234:irc.freenode.net:6667 user@homemachine

[/code]

也可以参考SSH Cheat Sheet那篇文章，把所有的转发配置都写在 ~/.ssh/config 里面。

然后就可以

在irssi的控制台这样来配置代理了

[code lang=”bash”]

/set proxy_address 127.0.0.1

/set proxy_port 1234

/set use_proxy ON

[/code]

irssi的配置文件.irssi/config 里面会多了这样几行

[code lang=”bash”]

proxy_address = “127.0.0.1”;

proxy_port = “1234”;

use_proxy = “yes”;

[/code]

irssi是cli下面一个非常好用的irc工具，与screen可以说是天作之合，A Guide to Efficiently Using Irssi and Screen 介绍两者如何搭配，非常详细，以后有使用心得的话也写一点。

参考：

irssi behind proxy (via ssh port forwarding)

用ssh突破公司http代理

Fri, 23 Nov 2012 20:37:34 +0800

公司出于安全考虑一般都通过防火墙将内网和外网隔离开来，然后为了控制监控员工的上网行为，架设专门与外网交互的代理，所有的电脑要想上网必须通过这个代理。代理的形式一般是HTTP和HTTPS的，这样做不仅可以限制员工上哪些网站，还能看上网在干啥，http是完全透明的，没有隐私。

作为一个技术人员，我们是不能容忍上网被限制和监控的，怎么办，代理！可以代理的前提是，你要能与外界互通，而现在只能通过公司的http代理与外界互通(当然，你可以突破公司的这种代理限制，另寻与网络互联的方法，不过这种从风险和技术角度来说都有点太过了)，所以代理必须能基于http才行。常用的代理是ssh的socks，有没有方法可以在http上打通一层socks通道呢，有，Corkscrew就是专门来干这事的，官方主页的介绍 “Corkscrew is a tool for tunneling SSH through HTTP proxies”，这正事我们想要的。

背景故事讲完了，下面说说如何用这个螺丝锥(Corkscrew)在http上钻出一条socks通道出来。

前提条件

1、外网有一台支持sshd服务的服务器，一般的linux vps是肯定有的

2、sshd服务监听在443或者80端口（因为公司的http代理一般只允许访问外网的80-http或443-https服务，如果你的vps本身就用到这2个端口的话，考虑端口复用）

3、本地有一台linux（因为我是在linux下面配的，Windows应该也可以，用putty，因为putty配置里有基于其它代理的配置选项）

首先从corkscrew下载最新的代码来编译安装喽

wget http://www.agroman.net/corkscrew/corkscrew-2.0.tar.gz
  
tar zxvf corkscrew-2.0.tar.gz
  
cd corkscrew-2.0
  
./configure
  
make install

然后配置~/.ssh/config文件了

如果要让所有ssh登录都走代理的话（一般也是这种情况）

  
Host *
  
ProxyCommand corkscrew http-proxy-server-address 80 %h %p

当然，也可以只上部份ssh登录，只须指明host就行了

  
Host external.com example.com
  
ProxyCommand corkscrew http-proxy-server-address 80 %h %p

host也支持一些正则匹配，这是ssh config 文件的语法，这里就不详细说明了

配置改好后就可以登录外网的vps啦

ssh -D 7070 -p 443 username@vps-address

然后就可以在本地用7070这个socks端口，随便访问什么网站了，使用任何端口了，例如使用git。

最后一步也可以写到配置文件里

  
Host vps-proxy
    
HostName vps-address
    
User username
    
PreferredAuthentications publickey
    
IdentityFile ~/.ssh/vps-host.ira
    
DynamicForward 0.0.0.0:7070
    
Port 443

不过这个配置要写在 corkscrew 配置的前面，配置文件默认是找到第一个名字匹配的就不往下找了。

参考：

Tunneling SSH over an HTTP-Proxy Server

Corkscrew offical site

Disable corkscrew for local addresses

从hibernate criteria 或者 HQL 得到 SQL

Tue, 20 Nov 2012 19:26:56 +0800

啥也不说，直接无节操上代码

  
import java.lang.reflect.Field;
  
import java.util.Collections;

import org.hibernate.Criteria;
  
import org.hibernate.SessionFactory;
  
import org.hibernate.engine.SessionFactoryImplementor;
  
import org.hibernate.hql.QueryTranslator;
  
import org.hibernate.hql.QueryTranslatorFactory;
  
import org.hibernate.hql.ast.ASTQueryTranslatorFactory;
  
import org.hibernate.impl.CriteriaImpl;
  
import org.hibernate.impl.SessionImpl;
  
import org.hibernate.loader.OuterJoinLoader;
  
import org.hibernate.loader.criteria.CriteriaLoader;
  
import org.hibernate.persister.entity.OuterJoinLoadable;

public class HibernateHqlAndCriteriaToSqlTranslator
  
{
      
private SessionFactory sessionFactory;

public void setSessionFactory(SessionFactory sessionFactory)
      
{
	  
this.sessionFactory = sessionFactory;
      
}

public String toSql(Criteria criteria)
      
{
	  
try
	  
{
	      
CriteriaImpl c = (CriteriaImpl) criteria;
	      
SessionImpl s = (SessionImpl) c.getSession();
	      
SessionFactoryImplementor factory = (SessionFactoryImplementor) s.getSessionFactory();
	      
String[] implementors = factory.getImplementors(c.getEntityOrClassName());
	      
CriteriaLoader loader = new CriteriaLoader((OuterJoinLoadable) factory.getEntityPersister(implementors[0]), factory, c,
		      
implementors[0], s.getEnabledFilters());
	      
Field f = OuterJoinLoader.class.getDeclaredField("sql");
	      
f.setAccessible(true);
	      
return (String) f.get(loader);
	  
}
	  
catch (Exception e)
	  
{
	      
throw new RuntimeException(e);
	  
}
      
}

public String toSql(String hqlQueryText)
      
{
	  
if (hqlQueryText != null && hqlQueryText.trim().length() > 0)
	  
{
	      
final QueryTranslatorFactory translatorFactory = new ASTQueryTranslatorFactory();
	      
final SessionFactoryImplementor factory = (SessionFactoryImplementor) sessionFactory;
	      
final QueryTranslator translator = translatorFactory.createQueryTranslator(hqlQueryText, hqlQueryText,
		      
Collections.EMPTY_MAP, factory);
	      
translator.compile(Collections.EMPTY_MAP, false);
	      
return translator.getSQLString();
	  
}
	  
return null;
      
}
  
}

参考：

hibernate criteria to sql translation