Видео с конференции PyData

PyData - это конференция и семинар, посвященный вопросам управления, анализа и представления данных различных типов и объемов. Акцент в основном делается на обработку больших объемов данных. В этом году PyData прошел в Санта-Клара, США

Домашняя страница PyData
Видео с конференции на vimeo

Неблокируемая imap функция для gevent библиотеки

В состав библиотеки gevent для работы с группой или пулом greenlet-ов входят функции imap и imap_unordered. Функции удобны для распараллеливания однотипных сетевых задач, таких как резолвинг DNS имен, получение данных RSS лент и т.д. Для случаев, когда необходимо в параллель с работой пула или группы greenlet-ов выполнять обработку уже полученных данных или иметь возможность добавлять в очередь на обработку новые исходные данные, стандартные функции не всегда могут быть удобны.

pyactors - модель акторов на python

Предыдущий пост о модели акторов стал началом небольшого экспериментального проекта pyactors - реализация модели акторов на python. Этот проект вернул к жизни наработки одного из ранних проектов pyflowctrl и стал частью функционала pyactors. Главная идея акторов хорошо раскрыта в посте "Модель вычислений на базе акторов (видео)", поэтому остановлюсь лишь на специфике библиотеки pyactors.

Библиотека доступна на github ownport/pyactors, а также через PyPi. Установка через pip:

$ pip install pyactors

Модель вычислений на базе акторов (видео)

Карл Хьюитт объясняет суть модели вычислений на базе акторов.


Источник: letitcrash.com

Сетевая установка Ubuntu 12.10

Недавно нужно было установить Ubuntu, http://www.ubuntu.com/ на лептоп. Казалось на первый взгляд простая задача обернулась небольшими сложностями. Вопрос в том, что согласно политик безопасности загрузка операционной системы для этого лептопа возможна только с жесткого диска или по сети, а изменение параметров BIOS закрыт по паролю.

Сергей Яковлев. Программирование на python

Подборка ссылок на статьи Сергея Яковлева, Программирование на python

• Часть 1. Возможности языка и основы синтаксиса
• Часть 2: Строки в питоне
• Часть 3: Списки в питоне
• Часть 4. Словари
• Часть 5. Модули
• Часть 6. Классы
• Часть 7. Специальные методы и атрибуты классов
• Часть 8. Файловая система
• Часть 9. Процессы и потоки
• Часть 10. Сетевое программирование
• Часть 11. Web-программирование: Django

Потоковая обработка данных с помощью модели акторов (Actor Model)

В компьютерных науках модель акторов представляет собой математическую модель параллельных вычислений, которая трактует понятие "актор" как универсальный примитив параллельного численного расчета: в ответ на сообщения, которые он получает, актор может принимать локальные решения, создавать новых акторов, посылать свои сообщения, а также устанавливать, как следует реагировать на последующие сообщения. Модель акторов возникла в 1973 году. Она использовалась как основа для понимания исчисления процессов и как теоретическая база для ряда практических реализаций параллельных систем. Wikipedia, Модель акторов

В презентации рассмотрена модель акторов и опыт промышленного использования её реализации на языке Scala в фреймворке Akka, позаимствовавшем успешные решения из мира Erlang, на примере систем потоковой обработки данных, разрабатываемых в Яндекс.

Преобразование относительных URL в абсолютные

Небольшой скрипт на python rel2abs.py позволяющий выполнить преобразование относительных URL в абсолютные.

rel2abs(<html_code>, <base_url>)

Пример:

>>> from rel2abs import rel2abs
>>> rel2abs('<a href="/page/1">', 'http://www.example.com')
''<a href="http://www.example.com/page/1">'

Книга "Deploying OpenStack"

Давно не попадалась в руки техническая книга, где все собрано по существу, кратко, понятно, которая читалась бы легко и непринужденно. Единственное, правильнее было бы назвать ее как "OpenStack Introduction". Если интересна технология, архитектура IaaS платформы OpenStack, то эту книгу можно порекомендовать как первую к прочтению. После нее, следующий этап - основная документация и Wiki

Ссылка на O'Reilly "Deploying OpenStack"

Трейнинги Udacity для offline обучения

Если раньше для обучения в Udacity требовалось подключение к Интернет, то сейчас трейнинги доступны для скачивания.

• CS101 - Intro to Computer Science: Building a Search Engine
• PH100 - Intro to Physics: Landmarks in Physics
• ST101 - Intro to Statistics: Making Decisions Based on Data
• CS215 - Algorithms: Crunching Social Networks
• CS222 - Differential Equations: Making Math Matter
• CS253 - Web Application Engineering: How to Build a Blog
• CS259 - Software Debugging: Automating the Boring Tasks
• CS262 - Programming Languages: Building a Web Browser
• CS212 - Design of Computer Programs: Programming Principles
• CS313 - Introduction to Theoretical Computer Science
• CS373 - Artificial Intelligence: Programming a Robotic Car
• CS387 - Applied Cryptography: The Science of Secrets
• EP245 - How to Build a Startup: The Lean LaunchPad