How to decode the response returned by powerprofiles.com

15.2k views Asked by At

Using python2.7.3 IDLE

urllib2.urlopen( "http://www.powerprofiles.com/search?keyword=wholesale&location=&ctry=&sls=&yrs=&emps=&sort=").read()

It returns me the following response data.

'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xed\\}s\xa2\xc8\xd6\xff\xfb\xa6j\xbeC/\xf7\xb9C\xa6\x10Q\x14_&\xca>\x88\x988Aq\x01\'\x93\xdd\xda\x9aB%\xca\x06\xc1\x05L\xc6{\xef~\xf7{\xba\x1b\xd0\xbcO\x9c\x9d\xaa\xc9\xd4$\x95\x08\xdd\xe7\x9c~\xf9\x9dW\xb4m\xfd\xd45T\xfb|\xa4\xa1\x13{\xa0\xa3\xd1\xb8\xa3\xf7U\xc4\xf0\x82pVQ\x05\xa1kwiG\xb5X*\x0b\x826d\x10\xb3H\x92\xd5[A\xb8\xbe\xbe.^W\x8aa4\x17lSX$K\xbf*\xc4I\xe4M\x93\xe2,\x991\xf2A\x0b\xb7\xe1\x17\xd7\x99\xc9\x07\x08\xb5\xe2i\xe4\xad\x12\x94lVn\x9bI\xdcO\x89\xf0\x87s\xe5\xd0V\x06\xc5\xd1\xb4\xcd\n\xd3p\xb9\x0c\x83\xe2\x1f1+\xb7\x04\xdaEx\x13/\xf1]\xd9r\x9dh\xbah\t\xf4\x0e\xda\xa1g\xe9&\x0eZE\xe1\xca\x8d\x92M\x9b\xb9\x98\xbcufK/\x88\x194\r\x83\xc4\r\x926S\x16\xa5f\xb5R+WJ\x0c\x12\x888\xc2\x148K\x98\xc8\x95\x1by\x17\x1b\xfe\xaa\xbc\xc3\xd0\xfc\xf5\x93\xd1o~P&\xd3\xcb\x7f\xabzi\xde\xd5\x9aC3\x8e\xc6\xd7^\xa7\xfa\xabUy\x17G\xbd\x0f\xbf\x98\xea\x1f\xfa\xf5/\xedL\xa4\xef\x05\x97(r\xfd6\x13\'\x1b\xdf\x8d\x17\xae\x0b\xab\xdaY\xec4\x869-"\xf7\xa2\xcd\x08\x91\x1b\xbb\t\x7f\x01\xe3\xc5\xfc<\xf2fq\x11\xf7\xee!\x88\x90l\x99\x0f\x0e\x0e\x1e\xdff\xf9\x00\xa8\xae\x9c\x08}\x9c;\x7f\xa26}\xf9\xef\x7f\xd1o\xbf\x1fA\x07\xbe+\xae\xd6\xf1\xe2\xf07\xf6#\xccP\x99N\xc3u\x90\xb0\x05\xc4\x8e\x15\xbeV\x95*\xcd\x86\xc8\x97\xd9\xdf\xdf\xdc\xa1N"gz9r\xe6\xee\x95\xe7^\x13\x02\xa08\xbcX\x07\xd3\xc4\x0b\x83\xc37\xe8?\x04.<\xf4\xdc\x81\x81g\xe1t\xbd\x84\xcd.N#\xd7I\\\xcdw\xf1\xdd!K\xe7\xc9\xbe9\x02\xb2"^\x03\xd0\xb2\xb7V\xc1\x92N\'\xde\x04S\xe8M\xa2\xb5{D\x84C#h\x114\x1d\xb2XI\xe3\xb7,j\xef\x8c\xe4\x87S\x07O\xa6\x08\xda\x92\x84\xd3\xd0G?\xa3\x94P\x10\xe2\xd8g\xd1[zO\xb5\x9b}\x838\xc4\x16\xe7a8\xf7]\xde\t\x1c\x7f\x93xS@*\\\n0\x12\xa8\xe8Q\xbe\xa4xwEs7I\x97\x13w6\xb63\x1f\x82\x9em\x17\xf6[\xe9\xf7#\x14\x17WN\x04\x04\xc3p\xe6\x16AYAw;\xeeE\x18\xb9\x87s\xa7\x80b\xb2\xbd\x7f\xbd9\xc4\xbb\xb85\x83\xa7\x90\xcd6\x1b]\xc0~\xd3\xed\xce\xe6\x17%\x01\xccP]\xb8\xd3\xcb^\x18\xa9\xbe7\xbd<|s\x94\x93x\x17\x87@\xf1S\xfb\xc2\xf1cw\x875\xfb\xb9\xf6\x82Yx\x9do`\x9be\xb7\xbc\x7f\x1d\xfc\xb5;G\x81\x9a{k\x12\xce6D\x9dg\xde\x15\xf2fm\x06\xb6\xa7\n&\xe6;q\xdcf6k\x8fO\xaaLj\xc2\x19\xc9b\x96\xb6@\x9b\x93j\xf8\x8e\xb7Y\x85\xd7n\x04\xd8]x`\x15\x18\x06\x86p\xf9\xe1<d\xe4\x96\xb7\x9c\x13\x1f\xc2\x08\xde\x12\xd40\x16p{q\xee]0\xc8\xf1\xc1\xa6G\x98{\xb4\xcb-\x80\x8bq\xee\x0c(P\xa9@\xb0r\x82\r\xc6\x8e\x91\xef\xf0\xee0\xa2[\xaf\xad\xb5\x9f\xad\x12f\xe0\x05\x8c\x8c\xee\xec\'\xb1r\x19\x86\xa4\x84l\x12\xae>b\xb3g\xb39\xa4\x9c:~\xc1c\xb5\x04\xa0\xbfG\xcc\r\x91\xc2\xda\xbf\x7fR-\x01v\xf8\xd6^\xc7\xc4\x95\x9ey3\xd0VF~\x85\x91\x02\xfd[R\xa7\xc8\xd2\xde\x8f\xb8\x85E\xe0,\x17\xe1\xac\xcd\x02%\x8b\x9c)\xd5\x00\x81\x92\xb0\x84\xf5\x8e\xdc~\xb0Z\'1\x93vB\xb7\x87\x1b\xa8\xe6\x12kf11{\xe9n\xae\xc3h\xc6\xa6\xa3\xe6\xb7W\x8e\xbf\x86\xfb\xebE\x08\xfb\xed\xf8.\x8bb\xef\xdf\xd0P\x11Y\x14\x06=04\xd8\xdd\xc8]\x86W\xeeG\xb2\x85\x87\xc9\xc2\x8b\x0b\xe9\xb4O\\\x7f\x05\x0e\x84\x01\xd2\x8e\xbf\x8e\xda\xcc\xc4w\x82\xcb\xc7\x08\x97\xce\'\xdf\r\xe6\xc9\xa2\xcd\xd6K,J\x9c\t(\xbc\xfb\xa9\xcd\x96Y\xf0\xee\x8f.!\xb3\x89l\r\xdb\xfbt\x11\xbbsO\xe1\xceh\xc8\xf8\x8f.\xe8\x06\xe5\xe3K\xbaC\xfa\x8cE\xe1\x85\xa4x\xa6\xde%^O\x96\x1e\x84\x1d\xba\x08&7\xdc\xc9:I\xc2\x00\xcfc\x8a\x9d\x08\x9et\xb2\x8e\x02\xb4p\xe2\x8f\x84\xf60G\x11\xe6 d\xdaA\x14\xf0\x96\xa6\xcc"\x07\xacjGG\xb2\x0e\x98\xe9\xb65\xd7ngg\x96\x1f\x93p>\xc7jA\xcde\xeb\x05!\xf6_9\xc1\xd4\x9d\x81wK}\x02\xe6J\xae\xbd8\xf1\xb0\x1a\xed:\x08pi\x01q\x10\xd4\x11\xdc\x1cqw\xca\xd4\xa8\xf1\xd42\xf1\x90\xae\xe0\xc0\xdbfg^\xbc\xf2\x9d\xcd\xdb \x0c\\vG\x04\xb1o\xdf\x99\xb8\xbe\xac\xe2\x10\x1am\xc0\x84\xc9m+v}wJ\xf7|\n\xed\x99\xe2\xd0\xeb]\x94\xe4V\xb8"\xfe|\xabI\x84\xd5%\xfb@\xafXY\xf1\xfd\x96@\to3\x8c-V\x1e[\xcaC\xdd\xaa\xc2\xca*\xc4\xb5\x99\xb3\xa5\x10\xa8`\xeap\xee]\x8e\x05\xf6\x18\xdf\xb7\x98\xd8\x8f\xb3\xb5\x90\xcb\xbfu)\xe5\x12\xfea\xe5\xff\x83\x8b\x02\\q\x0f\x11V\xa4\x94\x10.\x1e%\xacg\x84\xf5\'\x08\xc5R6\xb6\x88\xe9n\xd1>\xbda\xe7\xa0\xb21\xf2\x024Y\xc7^\xe0\xc6\xf7n\xde&\xca7\x8f\\\xfe\xad\x9b\'\xb1\xb2\xf4\xe0\xf2\xca\xb0\xb2\xf2c\xabge\xf1\xe1n\t\xba\xa5\xe7\xed\xc7?Qx\x81\xdc\xe5\xca\x0f7\xee\xfd\x9a\x04\x9d\xf9n\xd0\xeb\xbfu;D\xd8\x0f\xf1\xb1\r!;\xf2\xa8\x8a\xb1rEzT\xb5X\xb9\xfe\xf4\xb6\x90\x88}\x8f\x87\xdc\x8d4\x0bo6s\x03\x1ak\xe20Jr\x13#\xd7\xf9\x16`\x87\xde\x12p\xbc\x06!\xf7\xba\xdb\t\xa9\xc9\xd2;v\tz\x88\x9d`\x1e\x93\xd2qd\xca\x0b|\x0b1-\xb7\x90\xe9\xc6k?\x89\x11HGL\x1e\x93\x99\x02*#\x1e\x89\x12\x86S\xac\xd6%\tr?\x91f\x12i\xa2J\xbc\xedN\x02GSi\x92@;\xb3\xd8\x85\xb47\xcd"\xf0-$\xd4\xccC\xa9m\x9e_\xa2WOd\xc1h\xba\x00ks!\xdf[\'\x17|\x83\xc1\x1c8\x01^\xc1b\r\x82\x05N\xd5\xff\x83\xf04\xd9\xd5z\xd2\x9f\x91\xac\x1f\xaex\xb1\xd6\xa8\x89\xb5f\xad)\x95\x9b\xb5r\xa9\xce\x16\x08\xd1\x9fk\x17;f \xca\x97\x8e\xd2\xaeko\x96,H\x97\xb3N\xc2\xb4\x11jO;\\\xe1\xd6*m\xf0\xb1\xd1\xe3{\x91\xdeC\xe1\x11F\x1d\xa8\x96\xe6\x11D\x06:\xfe?{\xbd^\xa3\xdbe_\x1d\xfcu\xf4\xea\x80N\xd9\x99M \xa6_\x96\xb7\xf3\xc5\xf5\xa9\x03\xd2":\xe6E\xac\xe6\r\x19c\xe0^\xa3t\x9b\xf1\x9e\xd2\xed-*\xb3\xf8pg\x07\n\xb9\xec7G\xaf\xb6\xc9\xfb\xab\\=\x98]\xd9\x8c|3\x16\xe2j\xdc\x99\xc0.\xa4)\x01\x1d#U\x92\x9dp\x9eD\x19\x05.\tv#=\xee\x9c\x81T\xf8w\xab\xc9\xb9\x1b\xd1\xb1\xa2\x1f\xb2i:\x8e\x93\n\x08\xa8\xe4\x9a\xe6\xc5\xcf\x90\x91\xa7fX\x88\x9e\xde<[\n\x8em$\xb9\x08\xc2I$kqRDiH$\r\xcf\x96\x87\xdd\xfd-y\xf7D\x8c\xfdd\x13\xe7\x89\x85\x13\xb1\xda\xd6\xe7\xde\x92\x037\xd1\xdd\x8c+\x07\x90]Aj\xea\xad\x97\xec\r\x1a2tVu\xb1iN\x05\xc9P\xe2\x05\xeb\xa5\xb5t|\xbf\xf8\xc7j\xce\n\xb7\xa7L9oe[y\xf5\x95\xd6w\x02\x0e\xb9R\xb9Z\xaaW\xc5\x8a\xd4\x14,e\xc0\x9d*C\x8d\xebhZ\x8f\x1b\x99\x86\xaaY\x96aZ\xff\x12U\xae?T\x8b\xbcj\x98\xa3\xb1\xc5\xa9\'f\xdf\xb2\xfb\xbc\xfd\x81\x91\x81\x07a\x1e\x84y\xd0\x96\xa7\x800\xc7\xdd\x94og:\xf7\xcd\x98\x8e\x80\xd2\x11\n\xc8\xfep\x1fY\xa6\xf3S\xa8\xee\xb1\xce\xbf\x9e\'G\xaf\x83I\xbc:\xda\xa6\x0f\xcf\xe3\x93\x9eI_\xbf\xc3\xf0\r\xc3\xdb\xa8U\x1aUI83\xf4\xf7\x9a\xd9\x07|G\xc6\x99fr\xd6x4\xd2\xcf9\xd50F\x9a\xa9\xd8\xfd\xf7\xda\x16h\xa5\xdb\xd7uE\xe5\x07}F\xce\xf9\x10\xe1C\x94\x0f\xed\xf0\xed\x0bv:J\x01\r\xfa_\x13f\xb1\x041\xf4\xf3\x10\x86\x94\x04h+/\x07\xddZ\xa9\xd2\xac7\xaa5a\xa8\xbd\xcb\xe1\xebh\x8aj\x0c\xb9\x9e\xa2\xeb\x16\xaf\xda\x8c\x0c\x9d\x0fa\xd4\x9aD\x82|84L\xfbDS,\x1b\xbd3:\x1d\xcd\xb4\xde<\x81\x1d\x1d\x02\x91!\nH\xb5\xbf\x11\xfc S\xe2Q\xf9\x8e\xd8o\x16>H\xe9\x9a%\xf8\x13\x86`H\xc6P\xd1\xc16\xcdS\xaec(f\x97\xefj\x1670\xc0\xf0,\xbe\xaf\x00\x88)\t\xc2$\x88\x90<\xdb\xe4@$\xa2"A\x1f\x94\x1f\xa0\xed\x05\x9a$I\xcdjS\xaa\x0b\xea\xb8\xd3\xff\xc0\xe9\x80\xcb\x90S\x06\xe0#U\x05\xdb\xa0\xae\xab|\xd70\x15\x9d\xef\xe9\x90Ia"D\x88PJT@@\xf2|\xec\xb0\xc8\x02\xea\xe9_\x136\n\xc5g\x8d\xe0g#\x88\xd2KA\x0eba\xa5^\x97\x1a\xc2\xf1X\xefA\xe4\x03\x87\x97\x85\xc1\x7f\x895n\xa0\x0c\xc7=E\xb5\xc7\x10\xed\x8esoz\x02\xe9\x8cf\x9d\x188/R\xd4\x13\x02*\xe6G\x84?\x0b\x87\xaf\x9d\xe5\xea\x08\xdd\x90\xb0gX\xcc\xc7Cd\xbc\xaf\x8dx\x19\x1b\xaa\xf8\xfdB.\xd5j\r\xa9Q\x12l@\xf8\x8c\xb3lM\xd3\x01\xf9b\x0e\xaf\xae\x81\x9b\xb5\xc6\x83A\xdf\xe6\x07\x06#\xdb\x04\xc93D(\x01\xe3\xe2\x9e0b\xb9\x88\xca\x85\x04\xc7\xf8\x01\xe1\x17XmS\x14\x9b\x95\x92`\x98\xda1\xe45\xfax\x00)\n\x06\x91\xd7\x95S\x8d3\xac3h\xe7\r\x93\x91)\x05\xa2\x14\x18\xbc\xe7\xc3\x06\x12\x11\x95X@\x86\xf9M\x95\x1f/\x11;\xb1V\xaf4DQ\x18h\xdd\x11$\x1evnw\x83\xbe2\xe8\x13g\x9au\xedihD\xd0\x0f/\xf9ee\x84T\xafVD\xf0\x92\x961\xb6O8\x88>\xa6\xc6\xe9P\x10@\x18\xe3\x94a\x97\xb3\x14\x1d\xdc$.\xcf\r\x93\xe4\xa1;\xf8\x11\x1eDxP\xca\x83\x80\x07\x11\x1e\xb4\xc3\xf3mB\xfb\x8cL\xf5%B[\x15\x9b\rIl\xd6\x04m\xf8\xbeo\x01\n\x9c\xad\xa9\'CC7\x8e\xfb\x00)\xb1EK\x19r\xef\xc6\xca\x90\x1f\x81\x0f\xcd\xe8\xd0.\xdd~\xa6\tr\x11\x96[@\xa3\xaf\xeaI\x9fa\x9d/\xad\xd8\xa86\xa4f\x19\xfe\x0b\x1d\xa5{\x0cQ\xaf\x07V\x06Y\xeb\xc84\xbac\xd5N\xf13\x94S\x1d,\x8eW\xa1L\xa4t\x88\xd2\xa1\x8cn?\xfcR\xb9P\xe0\x7f+\xb5\xe2\x8b\xb4\xc0\x06\xfe\x15\x9b\x82U\xec\x14\x010[3\xb3Z>\x8f\x86C\xc5:y\xdf\xd7u\x8d\xb7\x87\xe0Q\x81\x10\xdd \xdc36\xe6b\x0b\xc8\x1e~#\x10\xbe8\x0bl\xd6!\x03\xad7\x05\xf5D3\xcds\xce\x18\xd9P\xc3o\xa1;65m\xc8u\x94s\xfe\xac\x0f\xe5>!B)\xd1\x9e\xb0\x11\x91\x08D\x16\xd0\xd9W}4\xfa=;\xcej\xbd\xd6\xacW\xea\x82\xa2\xaacK3\xdfk\x9c\xf6\xcb\xb8?\x1ahC\x9bT\xfb\xb4p\'\x0fl\x8az\x11W\x82\xc6\xb8oQ#<=g\xe4\x8c\x0f\xe5li\x91O\x19\x1fz\x94\x9a\x0f\xf7\x00_\x01\xd1\xe1\x9ez\xc2\xba\x9dM\x01\x9d\x9e\x7f#J\xf0"\xdd\xaf$\x95\xebb\xb5)(\x1d\xd5\xb8\x91\xc2B~\xfa\x01\xc2\x9b\xd9W\xf8\xf7\x109q\xff\x17\xa5\xab[y\x05\xf4\xfeG\xc4\xfc\x92w5$\x11\xdb\xaf\xd0\xd3\xba\xf8=&\xad\xcb\x9d\x9d\x18PM\xc0\x0e\xe7~W\xb1!7\xb1\x15\xfe\x18\xa0\xcb\xe9PN\xb7\xa7\xebM\xa5\x16\xd0\xf1\x0f\x00\xbf\xe0\x11y\xbd\xd4\xa85\xc5\xb2\x00V\x06aP\x07gk\x1e\xe3\x80\xc8a\xd7\xd8W5+{PN\x9e\xe0t\xf4q\xaf\xc7\xf7\xa1\x96L\xe9QF\x8f2\xfa\xfd\x9e\x99\x93\xa79D:\xa8\xc3\x8f\x07\xe7\xfb\x1b$\xfc\x88RM\x04\x83T\xec\xb1\xa9q\x03\xc5<\xd5\xec\xdd\xc7\xe4\x96j\xd8\xb6\xd5\x05\xcb\xe3\x95_\xb1E\x12B\x94\x13\xeei\x8f[\xb1\x05\xa4\xfc\xfa9\xfb\x9b}\xd8\x10\x00\xf9a\x9370\x94\xaa\xcdZY\x12\x00\x92\xbe\xc1\xbd\xe7N5H.LR\xfc\x83\xcb3\x86}\x83|\xa4\x83t\xa3\xf7\x88v?\x94\xe6\xd0^\xc0\xb4;\xb6l\x13?!\xc0\xc5~*\xe7\xa9\xdcf\x87\xf4s?\xe3\xf1\x03\xd5\x07<m\xa9Y\xa9\xd4*%\xe1\xc4\x18h\x9ce\x8cMU\xe3\xb6\xa8\x10\x1fk\x85\xebd\xc1\x9d8\xd3K7\x88\xe1??|\xc7\xc8\x98\x1eQ\xfa]\x14\xf7\xf1\xb2D>\xda\xca/\xa0\xe1\xbb\xaf\x8a\xe9\xf7\xedl!_\xad\xd4\xca\x8d\xba\xa0A\xb84t\xaeg\x18]k\xa7N9\xee\xeb\x1d\xcd\xb4\x89\x9b\xd5 B\x1a:"$Ye\xf1\xfcr\x93\n\xfc\xea\x0e\xf6\xfb\x86\xadZ\xa9\x95\xea\xf5r\t\xbf\xd51\xd4l\xae\xdb75\xd5&\x05\x07\x94\x17\xe0-\xcf9\xb01M\x19\xf0\xc3s\xf2\xa6\x07\x10!JD\xaa\x8eg\xc3F\x85"*\x14l\xee\xb3\x8a\xc4\xbd\xc1\xdbBr\x1b\x91\xef\x06\xc1Z\xad\xd1h\x94jM\x01\xe7\x1c\xba\x86\xe1R\xce:\xe4\xa1\xcfplB&z\x9eg;=\xa5oA\xae:T\x19\x99\x12\xa3-1\xc2\xc4i\xcd\xdfS\xcc\x81\xf5P\x0c\xbd\x9f\x13\x86\xa1\xb9\xd2SQ\x94\xce\x01\x80W\xbf*\xf0\xdf\xf9\xe3\x01\xa9Y\xad\xd5\x9bRC85\xba}\xe5\x94\x1bh\xb6\xa2[;O\x880\xe0<\xed\xe4\x95SF\xa6\x97\x88\xd2\xddx\xb4\x83Q{\xb6\x15Sq\xe0{O_b\x1a\x04\r\xf8s\xeai\xdb\xf6\\&\x8b?\nOO>\xb2r\xcb\xf7\xb2f\xfcy\xfc\x95\x8d\x8f\x96\xb3\xe9Y\x15|\xe4\x81\x92\xb32>\xdb\x9c\x1fV!\x1f\xc6&GZ<\xb9\x9c_e0f\x87#\x7fN\x8f\xc2\xb5\xf3\x93\x03\x04\x11,\xaf-\xb2\xb2\x98\x9f\xec|.s\x85\x95+{3WY\xb9\xba73>J\xb47s\x8d\x95k{3\xd7Y\xb9\xbe7s\x83\x95\x1b{37Y\xb9\xb973=^\xb5?{\x99\x95\x87\xee\xa7\x04r\x93\xd7\x91\xf3\xe7:<\xda\x8a\xc2\xa7\x87\x88fO\xf2\x93\x16S\x1f$\xe2\xf3\x8c\xd8\x87\xa7z\xbf\x92\xcf\x9c AI\x88\x9c\xd9\x0cm\xc25P\xd3\x13\x14?#r\xc8c\x9a\xa0\xe9:N\xc2\xa5\x1b\xa1\xd8\x8d\xae\xbc\xa9\x8b\x9c\xe4m\xee\x95\xd8\xa5\xe3\xf9I\xf86^\xafVa\x94\xfc\xff\x9d\xd3\xd0\xac\xfc`\x17\x9d\xed\x8a\xcc\x05\xffm\x8fi\xa7\xe7\x82\xbcI\xd1\x99\x05\x9f\xe8\xb1\xfa\xd5\xa7\x9f\xbdY\xbbN\x96?\xc1\x07\x92\xa2\xb6\xc4 r\xcc\xa6\xcd\x94\x19\xb4p\xbd\xf9"!\x97ty\x9f#\xae\xf1\x05\xe2\x9cYq\xe3\xb9\xfel\xe9\x04\x80FD\xa5z\x9f\\\x1f\x0b\x96j\x15Q\xaa\x12\xe9I[|Dp\n\xc4=\xa7\xb0/\x12q{\xe4==c:s\x97!\xb3=\xec\xbd\xab1\xd9\xb4\x92\x85\x1b9\xab\xcd\xdd\x13\xf1\x02#w\xfcp\x1e\xbfE6%\xb9{x\xfc\x86<!\xd5\x04\xd5w\xbc%#\x8f"o\xea\x05\xf3\xa7\x98.\x9c?\x19\x88\xf0\xbf\xdc\xa6\xdb=\x81\xde\xda9\x8c~\x8b\xdd\x99@M\xc6\xc8\n~A74\xe6\xe9\xd9\x12u\xc5G\x80\xa8\xde\x8e\x9fdYE\xde\x953\xdd\x90\xb5\xe1\x0b\x18\xd0\xf7\xa6O\xee\x0b\x04\x9be\xcc\xc86~\xc1\x07\xdc,j\x17\x8f\xae8\x86\x9d\x94;k\xcf\x9f!\xb1\xd8(\xd6\xd1\xebi\xb8\xda\x1cA~R.\xa3;\x96A\x1e\x1a\x16q$\xc9e\xe5\xfa\x81\xd0?\xf2\xfb\x83\xed7\x0b\xfc\xc4\xf3\xa8\xa3\x1d\xf7\x87\xa8\x1f\\y\t9\xbf\x04\x82c\x0f_\x00n\x08\xf1|\xaa`\x96j\xf6G6\xf2\x9d`\xbe\xc6~\x84\xd9=#\xf7\xd0\x17H`N|\xf2\xcc_\x81\xd0s\xd4\xc6o\xa9\x1d\xa5\xbaK\x05\xa6\xd2\xf1D\xb4a\xf7\x89i\xb4\x04\xfa%\x10-\x81~\x13\xcc\xff\x00\xcb\x80\x01\x9elF\x00\x00'

How can I decode it to get the actual data?

1

There are 1 answers

0
dbr On

The response is compressed with gzip. With urllib/urllib2 you need to handle this explicitly (whereas a higher level library like requests will decompress automatically)

For example, given the response you included in your question (truncated for tidyness):

>>> response = '\x1f\x8b\x08\x00\x00 [...]'

..this can be decoded like so:

>>> import gzip
>>> from StringIO import StringIO

>>> buf = StringIO(response)
>>> f = gzip.GzipFile(fileobj=buf)
>>> f.read()
'<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/ [...]'

See "Does python urllib2 will automaticly uncompress gzip data from fetch webpage" for details, or maybe consider using requests