Archivo de la categoría: Cacharreo

Emergiendo

Actualizado. Hace unos días encontré una página sobre discos duros multimedia basados en procesador MIPS. Aunque no es sobre el mismo modelo que mi disco, sí tiene cosas lo suficientemente parecidas como para que funcione. Una de ellas es la idea de utilizar una Debian para MIPS mediante chroot para poder añadir cosas extra.

Aunque la idea es buena, por cuestiones personales prefería utilizar Gentoo, así que me bajé la stage3 para MIPS, la copié en el disco duro e intenté hacer un chroot. Pero como siempre, las cosas nunca son sencillas: decía que no podía ejecutar bash. Extrañado, copié el ejecutable a mi equipo de sobremesa y lo analicé con GHex, comparándolo con el ejecutable de BusyBox.

El problema resultó ser que los stages de Gentoo para MIPS están en formato big-endian, mientras que mi disco duro trabaja en little-endian (parece ser que los procesadores MIPS, aunque pueden trabajar con ambos formatos, no pueden utilizarlos a la vez, sino que se escoge a nivel hardware durante el arranque). Cuando un sistema trabaja en little-endian se dice que es un MIPSel.

Rebuscando encontré unos stages para MIPSel, pero eran del año 2005. Intenté usarlos y, aunque funcionaban, en cuanto intentaba actualizar el sistema al más reciente, fallaba (todo apuntaba a la versión de python, que era demasiado vieja para ejecutar el último portage). Seguí buscando y encontré que las estaciones de trabajo Cobalt trabajaban en little-endian, así que probé de nuevo con unos stages diseñados para ellas, pero seguía fallando.

Decidí entonces probar con la Debian de la página inicial, pero al hacer un dist-upgrade volvía a fallar.

Ante esto, decidí que sólo tenía dos opciones: o utilizaba sólo cross-compiling, o intentaba generar yo mismo un stage de Gentoo para MIPSel. Como no podía ser de otra manera, tiré por la segunda 🙂 Por supuesto, es la primera vez que lo hago, así que, aunque me ha funcionado, puede ser que haya metido la pata en algo, o que alguna cosa se pueda hacer mejor, así que los comentarios están abiertos para cualquier sugerencia o corrección.

AVISO: a partir de aquí empiezo a tocar en el sistema operativo del disco duro multimedia, lo que significa que estas acciones sólo las deben realizar aquellos que sepan muy bien lo que hacen. Si alguien se carga su disco, será el único responsable.

Avisados estáis.

Lo primero que hice fue instalar una Gentoo para x86 en mi sistema. Pero como no quería formatear mi actual Ubuntu, decidí hacer una instalación virtual. Veamos como:

Para empezar, descargamos las versiones más recientes del stage3 y el portage de Gentoo, y las descomprimimos en un directorio (el portage se descomprime dentro del directorio /usr del stage3), en mi caso llamado gentoo:

mkdir /home/raster/gentoo
sudo tar -xjvf stage3-i686-20090915.tar.bz2 -C /home/raster/gentoo/
sudo tar -xjvf portage-lastest.tar.bz2 -C /home/raster/gentoo/usr/

La razón de utilizar sudo es que, si no, no podrá crear algunos ficheros especiales en el directorio.

A continuación montamos una copia de los sistemas de archivos especiales de Linux (/proc, /dev, /dev/pts y /sys), además de copiar el fichero resolv.conf para poder conectarnos a Internet. Sin ellos no podríamos hacer muchas cosas básicas:

sudo mount -o bind /proc /home/raster/gentoo/proc
sudo mount -o bind /dev /home/raster/gentoo/dev
sudo mount -o bind /dev/pts /home/raster/gentoo/dev/pts
sudo mount -o bind /sys /home/raster/gentoo/sys
sudo cp /etc/resolv.conf /home/raster/gentoo/etc/resolv.conf

Notar el parámetro -o bind en mount: lo que hace es coger un sistema de archivos ya montado y montarlo también en el nuevo directorio, de manera que esté disponible en ambos a la vez.

Por último, hacemos un chroot para entrar en el sistema:

sudo chroot /home/raster/gentoo/ /bin/bash

Ya estamos dentro de nuestra Gentoo, pero antes de empezar tenemos que cargar el entorno:

env-update
source /etc/profile

Con ésto ya podemos empezar a trabajar. Lo primero es actualizar todo el sistema a los últimos paquetes, para lo que hacemos:

emerge --sync
emerge --update --deep world

Y ya podemos empezar a crear nuestro stage. Lo primero es instalar crossdev, un paquete que automatiza la generación de entornos de compilación cruzada (la documentación oficial está aquí y aquí):

emerge portage-utils crossdev

A continuación, editamos el fichero /etc/make.conf y añadimos la línea PORTDIR_OVERLAY=/usr/local/portage (podemos utilizar el editor nano, o vi) y, opcionalmente, la línea MAKEOPTS=»-jX» (siendo X el número de procesadores más 1; yo, como tengo un doble núcleo, uso -j3). Por último, creamos el directorio /usr/local/portage, y ya podemos generar un compilador para MIPSel, linux, y uclibc:

crossdev -v --target mipsel-unknown-linux-uclibc

Las distintas combinaciones de procesadores, núcleos y bibliotecas están en la documentación de crossdev, en una tabla.

Se tirará un buen rato compilando, tras el cual podemos comprobar si todo fue correctamente con:

gcc-config -l

En mi caso devuelve:

[1] i686-pc-linux-gnu-4.3.2 *
[2] mipsel-unknown-linux-uclibc-4.3.4 *

Con este toolchain podremos compilar cosas de manera nativa pra el disco duro. Para probarlo escribimos el típico Hola mundo y lo compilamos con:

mipsel-unknown-linux-uclibc-gcc -o holamundo holamundo.c

lo copiamos al disco duro multimedia y probamos a ejecutarlo. Debería funcionar a la primera.

Una vez que tenemos el toolchain para compilación cruzada, vamos a crear nuestra stage. Para ello tenemos que instalar el paquete crossdev-wrappers, tal y como se explica en su página, e inicializarlo. Por desgracia, por defecto está enmascarado, así que tenemos que desenmascararlo para que podamos instalarlo. Para ello escribimos:

echo "sys-devel/crossdev-wrappers ~* *" >> /etc/portage/package.keywords/i686-unknown-linux-gnu

Asumiendo, por supuesto, que /etc/portage/package.keywords es un directorio. Si es un fichero, entontes sería

echo "sys-devel/crossdev-wrappers ~* *" >> /etc/portage/package.keywords

Ahora ya podemos instalar crossdev-wrappers:

emerge crossdev-wrappers
emerge-wrapper --init

Este paquete nos permite instalar cualquier paquete de Gentoo, pero compilándolo para el sistema para el que tenemos compilador cruzado, e instalando el sistema de archivos en un directorio aparte (por defecto en /usr/arquitectura; o sea, /usr/mipsel-unknown-linux-uclibc en este caso), que podremos comprimir con tar e instalar en el sistema destino. Pero antes de empezar a utilizarlo tenemos que configurarlo adecuadamente. Lo primero es editar el fichero /usr/mipsel-unknown-linux-uclibc/etc/make.conf y ajustarlo a nuestros intereses. En mi caso, por defecto estaba así:

CHOST=mipsel-unknown-linux-uclibc
CBUILD=i686-pc-linux-gnu
ARCH=mips

HOSTCC=i686-pc-linux-gnu-gcc
E_MACHINE=EM_MIPS

ROOT=/usr/${CHOST}/

ACCEPT_KEYWORDS="mips ~mips"

USE="${ARCH} zlib bindist make-symlinks minimal"

#MARCH_TUNE="-march=armv4t -mtune=arm9tdmi"     #arm-softfloat-linux-uclibc
#MARCH_TUNE="-march=armv5t -mtune=xscale"       #armv5teb-softfloat-linux-gnueabi

CFLAGS="-Os -pipe ${MARCH_TUNE} -fomit-frame-pointer -I${ROOT}usr/include/ -I${ROOT}include/"
CXXFLAGS="${CFLAGS}"
LDFLAGS="-L${ROOT}lib -L${ROOT}usr/lib"

FEATURES="-collision-protect sandbox buildpkg noman noinfo nodoc"
# Be sure we dont overwrite pkgs from another repo..
PKGDIR=${ROOT}packages/
PORTAGE_TMPDIR=${ROOT}tmp/

ELIBC="glibc"

PKG_CONFIG_PATH="${ROOT}usr/lib/pkgconfig/"
#PORTDIR_OVERLAY="/usr/portage/local/"

LIBDIR_${ARCH}="lib"
LIBDIR_amd64=lib64
MAKEOPTS=-j2

Hay varios cambios a realizar. Para empezar, hay que añadir MARCH_TUNE=»-march=4kec», de manera que optimicemos para el procesador específico de mi disco duro (esto hay que cambiarlo para el modelo específico del procesador del disco duro que se quiera utilizar). Por otro lado, hay que cambiar MAKEOPTS=-j2 por MAKEOPTS=-j3, porque yo tengo dos núcleos. Al final tenemos:

CHOST=mipsel-unknown-linux-uclibc
CBUILD=i686-pc-linux-gnu
ARCH=mips
MARCH_TUNE="-march=4kec"

HOSTCC=i686-pc-linux-gnu-gcc
E_MACHINE=EM_MIPS

ROOT=/usr/${CHOST}/

ACCEPT_KEYWORDS="mips ~mips"

USE="${ARCH} zlib bindist make-symlinks minimal"

CFLAGS="-Os -pipe ${MARCH_TUNE} -fomit-frame-pointer -I${ROOT}usr/include/ -I${ROOT}include/"
CXXFLAGS="${CFLAGS}"
LDFLAGS="-L${ROOT}lib -L${ROOT}usr/lib"

FEATURES="-collision-protect sandbox buildpkg noman noinfo nodoc"
# Be sure we dont overwrite pkgs from another repo..
PKGDIR=${ROOT}packages/
PORTAGE_TMPDIR=${ROOT}tmp/

ELIBC="glibc"

PKG_CONFIG_PATH="${ROOT}usr/lib/pkgconfig/"
#PORTDIR_OVERLAY="/usr/local/portage"

LIBDIR_${ARCH}="lib"
LIBDIR_amd64=lib64
MAKEOPTS=-j3

También hay que ajustar el perfil deseado. Por defecto nos ha puesto embedded, que es perfecto para nuestro caso; pero si queremos cambiarlo basta con borrar /usr/mipsel-unknown-linux-uclibc/etc/make.profile y enlazarlo al perfil deseado de los disponibles en /usr/portage/profiles.

Y ya sólo queda por compilar todos los paquetes que queramos, utilizando el comando emerge-mipsel-unknown-linux-uclibc. Así, el primero que, probablemente, queramos instalar será system.

emerge-mipsel-unknown-linux-uclibc system

que instalará BusyBox con todas las librerías de uClinux. Una vez hecho esto sólo tenemos que crear los directorios que faltan con:

cd /usr/mipsel-unknown-linux-uclibc
mkdir dev proc root sys

y ya tendremos un sistema de ficheros que podremos probar. Para ello basta con empaquetarlo con tar (no comprimirlo, porque al menos mi disco duro no tiene ni gzip ni bzip2), descomprimirlo en el disco duro, montar proc, dev, dev/pts y sys como al principio de esta entrada, copiar /etc/resolv.conf y hacer un chroot, aunque esta vez con /bin/ash, porque busybox no dispone de bash.

Otra cosa que podemos hacer es añadir en/usr/mipsel-unknown-linux-uclibc/etc/make.conf una línea USE con las opciones que nos interesen de cara a compilar (opciones que se pueden consultar aquí).

Tuneando discos

Esta semana hice varias pruebas del disco duro. Para empezar, probé varios formatos diferentes, y el resultado es que DivX lo soporta perfectamente, en SD, HD y FullHD. Parece que en FullHD (probado con Big Buck Bunny) se atasca una pizca en algún que otro momento, mientras que en HD y SD va todo como la seda.

Sin embargo, probé a cambiar el sistema de archivos por EXT3 en lugar de NTFS y parece que los atascos han desaparecido.

Respecto al tema de que se encendiese él sólo al encender la luz del salón, lo he solucionado cambiando la bombilla por otra de otra marca.

Formatear la partición de EXT3

Las razones por las que he cambiado la partición principal a EXT3 son dos: por una parte me da más confianza ese sistema porque, a fin de cuentas, es nativo de Linux y se conoce perfectamente, mientras que NTFS es un sistema que se conoce por ingeniería inversa; por otro lado, parece que consigo una pizca más de rendimiento (2,2MB/seg frente a 2,0MB/seg de NTFS), lo que deduzco que es lo que elimina los pequeños tirones que se notaban al reproducir DivX en FullHD.

AVISO: a partir de aquí empiezo a tocar en el sistema operativo del disco duro multimedia, lo que significa que estas acciones sólo las deben realizar aquellos que sepan muy bien lo que hacen. Si alguien se carga su disco, será el único responsable.

Avisados estáis.

Para cambiar el sistema de archivos basta con seguir los siguientes pasos:

Si echamos un vistazo a como están montadas las particiones, vemos lo siguiente:

/ # mount
/dev/root on / type squashfs (ro)
none on /dev type devfs (rw)
none on /proc type proc (rw,nodiratime)
devpts on /dev/pts type devpts (rw)
none on /sys type sysfs (rw)
/dev/mtdblock/2 on /usr/local/etc type jffs2 (rw,noatime)
none on /tmp type ramfs (rw)
/dev/rd/0 on /mnt/rd type vfat (rw,nodiratime,fmask=0022,dmask=0022,codepage=cp437,iocharset=iso8859-1)
/dev/ide/host0/bus0/target0/lun0/part2 on /tmp/hdd/root type ext3 (rw)
/dev/ide/host0/bus0/target0/lun0/part3 on /tmp/hdd/volumes/HDD1 type NTFS (rw)

La partición /dev/ide/host0/bus0/target0/lun0/part2 (/dev/hda2) contiene parte del sistema operativo; en concreto los módulos SMB para acceso por red y el cliente bittorrent, mientras que /dev/ide/host0/bus0/target0/lun0/part3 (/dev/hda3) contiene la partición visible desde el exterior.

Antes de nada copiamos a otro lado todos los ficheros que tengamos en el disco (pues se borrará todo lo que contenga), desmontamos la partición, formateamos en EXT3, volvemos a montarla y creamos el directorio BT:

umount /tmp/hdd/volumes/HDD1
mke2fs -j /dev/ide/host0/bus0/target0/lun0/part3
mount /dev/ide/host0/bus0/target0/lun0/part3 /tmp/hdd/volumes/HDD1
mkdir /tmp/hdd/volumes/HDD1/BT

Vemos que, si apagamos el disco y lo volvemos a encender, la partición sigue montada, lo que parece sugerir que el sistema es capaz de montarla sea del tipo que sea. Por desgracia, en realidad esto no es así: cuando le damos al botón de apagado, el disco se hiberna en lugar de apagarse, por lo que, cuando se enciende, no arranca desde el principio sino que vuelve al estado en que estaba cuando se apagó. Sin embargo, si lo apagamos «de verdad» (por ejemplo desenchufándolo de la red eléctrica, o porque se va la luz), entonces, cuando volvamos a encenderlo, veremos que no ha montado la partición en EXT3.

Para solucionarlo vamos a modificar los scripts de arranque para que monte la partición automáticamente si es necesario. Para ello nos vamos a /tmp/hdd/root/scripts y vemos que hay varios ficheros. Nos interesan uno de éstos: o btpd o samba. Estos scripts se lanzan durante el arranque para arrancar los servicios de BitTorrent y Samba. En principio podría parecer que basta con añadir un nuevo script para que lo ejecute, pero no lo es: sólo ejecuta esos scripts durante el arranque. Así pues, lo que haremos será modificar uno de ellos para que, al encender el equipo, monte la partición correspondiente. Para ello editamos, utilizando vi, uno de ellos y añadimos al principio las líneas:

if [ -e "/tmp/hdd/volumes/HDD1/lost+found" ]
then
    echo "Particion EXT3 ya montada"
else
    mount /dev/ide/host0/bus0/target0/lun0/part3 /tmp/hdd/volumes/HDD1
    echo "Montando particion EXT3"
fi

Este código comprobará si existe el directorio /tmp/hdd/volumes/HDD1/lost+found (que siempre existe en cualquier partición EXT3), en cuyo caso la partición estará montada y no hará nada; pero si no existe, entonces es que no está montada, así que procederá a hacerlo.

La próxima entrada espero empezar a intentar programar cosas para él.

Multimediando

Paseando por un centro comercial cualquiera acabé dentro de una cadena de electrodomésticos cualquiera, en la que había un interesante disco duro multimedia de 1 tera con conexión de red y bittorrent integrado: un MemUp LX Series. Por si fuera poco anunciaban que soportaba MKV y H.264 en FullHD, con lo que no me lo pensé y me lo compré. Luego resultó que esos dos formatos sólo los soporta si pones un ordenador a trascodificar para que le envíe los datos masticados por red, pero aún así, el cliente bittorrent integrado tenía buena pinta. Además, con suerte usaría un Linux embebido (empotrado siempre me sonó mal 🙂 ), con lo que incluso era posible que pudiese hacerle modificaciones. Y aunque no fuese así, al menos podría ver mis series favoritas en la tele sin tener que andar de un lado para otro con un DVD regrabable.

La primera prueba, reproducir un DivX, fue excelente: buena calidad de imagen y sonido, buenos menús (incluso tiene una previsualización y todo)… buena pinta. El acceso por red, por su parte, lo considero simplemente aceptable: es por SMB (red de windows), lo que no me convence mucho porque, aunque una vez que has entrado funciona bien, a veces da algún problemilla, así que añadir un servidor FTP sería una buena idea.

Por desgracia, en cuanto intenté usar el cliente BitTorrent desde la (espartana) interfaz web, empezaron los problemas: la descarga no arrancaba, e incluso el aparato se colgaba en según qué momentos (!). Un poco mosca, decidí dejar de lado el cliente BT de momento e investigar por otro lado a ver qué descubría.

AVISO: a partir de aquí empiezo a tocar en el sistema operativo del disco duro multimedia, lo que significa que estas acciones sólo las deben realizar aquellos que sepan muy bien lo que hacen. Si alguien se carga su disco, será el único responsable.

Avisados estáis.

Comencé con un escaneo de puertos, y apareció nada menos que un servicio de telnet. La cosa se ponía interesante. Me conecté, puse root como usuario, y p’adentro, sin clave ni nada (así da gusto). Lo primero que hice fue echar un vistazo a /proc/version, /proc/cpuinfo y /proc/meminfo, que devolvieron lo siguiente (he marcado en rojo las partes interesantes):

Trying 192.168.1.103...
Connected to 192.168.1.103.
Escape character is '^]'.
Venus login: root
warning: cannot change to home directory

BusyBox v1.1.3 (2008.12.15-01:58+0000) Built-in shell (ash)
Enter 'help' for a list of built-in commands.

/ # cat /proc/version
Linux version 2.6.12.6-VENUS (root@localhost.localdomain) (gcc version 3.4.4 mipssde-6.03.01-20051114) #13 Mon Mar 9 14:40:01 CST 2009

/ # cat /proc/cpuinfo
system type             : Realtek Venus
processor               : 0
cpu model               : MIPS 4KEc V6.4
BogoMIPS                : 199.06
wait instruction        : yes
microsecond timers      : yes
tlb_entries             : 16
extra interrupt vector  : yes
hardware watchpoint     : yes
ASEs implemented        :
VCED exceptions         : not available
VCEI exceptions         : not available

/ # cat /proc/meminfo
MemTotal:        56984 kB
MemFree:          9460 kB
Buffers:           760 kB
Cached:           6436 kB
SwapCached:          0 kB
Active:           6812 kB
Inactive:         2976 kB
HighTotal:           0 kB
HighFree:            0 kB
LowTotal:        56984 kB
LowFree:          9460 kB
SwapTotal:          32 kB
SwapFree:           32 kB
Dirty:               0 kB
Writeback:           0 kB
Mapped:           7208 kB
Slab:             3476 kB
CommitLimit:     28524 kB
Committed_AS:     7848 kB
PageTables:        368 kB
VmallocTotal:  1048560 kB
VmallocUsed:       696 kB
VmallocChunk:  1047804 kB

¡Sí, un Linux con entorno BusyBox! Eso simplificaba mucho las cosas. Por otra parte, un procesador MIPS es buena cosa también. Habría sido mejor un ARM, sin duda, pero éste también está bastante bien soportado. Sin embargo, lo que no me cuadraba era la memoria: ¿sólo 57MB de RAM y sin Swap? Un poco raro. De hecho, esa falta de memoria podría tener algo que ver con los cuelgues.

Al principio sospeché que el sistema podría ser un uClinux, el cual, al ser para sistemas sin MMU, no puede utilizar Swap. Pero por otro lado, hasta donde yo sabía, todos los micros MIPS llevan gestor de memoria, por lo que no tenía mucho sentido.

Decidí echar un vistazo al sistema de archivos para ver si podría probar a crear una partición de Swap que aliviase el escaso margen de memoria, y entonces apareció la segunda sorpresa:

/ # fdisk /dev/hda

The number of cylinders for this disk is set to 121601.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
 (e.g., DOS FDISK, OS/2 FDISK)

Command (m for help): p

Disk /dev/hda: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

 Device Boot    Start       End    Blocks   Id  System
/dev/hda1               2          21      160650   82  Linux swap
/dev/hda2              22          41      160650   83  Linux
/dev/hda3              42      121581   976270050    7  HPFS/NTFS

¡Ya había una partición de Swap definida! ¿Pero por qué no la usaba? Probé a activarla a mano con swapon /dev/hda1 pero sólo conseguí un mensaje de error. Sospechando que algo raro pasaba con ella, decidí hacer un volcado a mi ordenador de sobremesa y examinarla con Ghex2 (un editor hexadecimal) para ver qué contenía, no fuese a ser una partición de datos con un tipo incorrecto. La sorpresa fue mayúscula cuando descubrí ¡que estaba completamente a cero! La partición de Swap no estaba formateada, y por eso no la reconocía el sistema como tal.

Mi primer impulso fue formatearla manualmente, pero entonces recordé que en el menú Ajustes -> Sistema había una opción para formatear el disco. Decidí probarla a ver si también hacía algo con ésta, y así fue: después de ordenar el formateo desde el menú del disco multimedia, no sólo se borró la partición principal, sino que formateó también la partición de Swap y la montó correctamente. Sin embargo, la interfaz web había desaparecido, y en su lugar sólo aparecía una página de demostración de CGIs.

¿Qué había pasado? Nada más terminar de formatear, el disco pregunta si queremos instalar BT/SAMBA, y nos da cinco escasos segundos para pulsar OK si queremos hacerlo. Yo me despisté, el temporizador venció, y no instaló nada. Así que decidí formatearlo de nuevo y esta vez estuve atento para pulsar el OK en el momento adecuado. Una vez hecho todo quedó perfecto: la interfaz Web apareció y el cliente BitTorrent funcionó perfectamente, sin cuelgues.

Así pues, si teneis un disco de este tipo y os da problemas, probad a formatearlo desde el menú principal. Con un poco de suerte puede ser que se solucione (pero no os olvidéis de copiar antes los archivos que tuvieseis en el disco duro multimedia, ya que se perderán por completo durante el formateo).

Dado que la entrada me está saliendo algo larga pararé aquí y seguiré con mis descubrimientos sobre el sistema de archivos, el entorno de desarrollo y otras hierbas en otra entrada.