You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-26 - 07:28
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot6.osadl.org (updated Fri Apr 26, 2024 00:44:54)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
353742299132121,8cyclictest2158010-21systemd-journal00:04:020
353742499110100,7cyclictest3542164-21kworker/u8:3+flush-179:020:00:311
35374229910495,7cyclictest3543714-21latency_hist19:30:000
35374229910292,8cyclictest3598907-21apt-get22:20:120
35374229910289,10cyclictest3624632-21apt-get23:40:100
3537422999888,8cyclictest3617880-21gpgv23:20:010
3537424999484,7cyclictest3625976-21apt-get23:44:591
3537424999380,10cyclictest3577704-21apt-get21:15:001
3537424999084,4cyclictest3576105-21latency_hist21:10:011
3537424998975,11cyclictest3573474-21diskstats21:00:151
3537422998977,9cyclictest3556988-21/usr/sbin/munin20:10:250
3537424998880,6cyclictest3584317-21latency_hist21:35:011
3537424998877,8cyclictest3540782-21/usr/sbin/munin19:20:171
3537422998676,8cyclictest3551727-21apt-get19:55:000
3537424998574,8cyclictest3610009-21/usr/sbin/munin22:55:261
3537422998575,8cyclictest3595713-21apt-get22:10:090
3537424998475,6cyclictest3603401-21kworker/u8:0+flush-179:023:20:011
3537422998374,7cyclictest3579814-21apt-get21:20:100
3537422998171,7cyclictest3550130-21latency_hist19:50:020
3537422998171,7cyclictest3550130-21latency_hist19:50:010
3537422998165,14cyclictest2158010-21systemd-journal22:00:000
3537424998072,6cyclictest3609773-21latency_hist22:55:021
3537424997965,11cyclictest3603952-21diskstats22:35:131
3537422997871,5cyclictest3579593-21kworker/u8:1+flush-179:022:15:230
3537422997767,8cyclictest3611624-21/usr/sbin/munin23:00:250
3537424997664,10cyclictest3631278-21apt-get00:00:091
3537424997663,11cyclictest3548496-21apt-get19:41:501
3537422997668,6cyclictest3545301-21latency_hist19:35:000
3537424997570,3cyclictest2158010-21systemd-journal00:00:011
3537424997563,9cyclictest3637682-21apt-get00:20:091
3537424997464,8cyclictest3540540-21latency_hist19:20:021
3537424997362,8cyclictest529-21rs:main1
3537424997361,9cyclictest2158010-21systemd-journal23:15:001
3537424997266,4cyclictest3621172-21kworker/u8:2+flush-179:023:30:211
3537422997265,6cyclictest3592946-21kworker/u8:3+events_unbound22:05:250
3537422997263,7cyclictest3634232-21latency_hist00:10:000
3537422997162,7cyclictest2158010-21systemd-journal20:59:550
3537424997062,5cyclictest3631046-21kworker/u8:1+flush-179:000:15:201
3537424997061,6cyclictest3538971-21kworker/u8:0+flush-179:019:50:011
3537424997061,6cyclictest3538971-21kworker/u8:0+flush-179:019:50:001
3537422997066,2cyclictest3622806-21kworker/u8:3+flush-179:000:40:000
3537424996957,9cyclictest2158010-21systemd-journal19:15:011
353742499690,66cyclictest0-21swapper/119:25:581
3537422996961,6cyclictest3624381-21latency_hist23:40:020
3537422996961,6cyclictest3624381-21latency_hist23:40:010
3537422996961,6cyclictest3576099-21kworker/u8:0+flush-179:021:15:020
3537422996958,9cyclictest2158010-21systemd-journal00:00:010
3537422996657,7cyclictest3603401-21kworker/u8:0+flush-179:022:50:010
3537424996557,6cyclictest3589073-21kworker/u8:0+flush-179:021:50:001
353742999630,61cyclictest0-21swapper/320:45:593
3537424996354,6cyclictest2158010-21systemd-journal21:55:001
3537422996152,7cyclictest3608424-21/usr/sbin/munin22:50:180
3537424996053,6cyclictest3538971-21kworker/u8:0+events_unbound19:55:001
3537424996047,11cyclictest3584572-21apt-get21:35:131
3537424995951,6cyclictest3571076-21apt-get20:55:031
3537424995949,7cyclictest3612975-21latency_hist23:05:011
3537422995947,10cyclictest3640614-21apt-get00:30:040
3537424995851,5cyclictest3542164-21kworker/u8:3+events_unbound20:20:221
353742299589,34cyclictest725-21Xorg19:40:580
3537422995850,5cyclictest3561566-21kworker/u8:1+events_unbound20:25:020
3537422995751,5cyclictest3559914-21kworker/u8:0+flush-179:020:20:000
3537422995750,5cyclictest3634217-21kworker/u8:0+flush-179:000:15:200
353742299571,34cyclictest3589261-21latency_hist21:50:010
3537422995651,4cyclictest3561569-21kworker/u8:2+flush-179:020:50:270
3537422995645,8cyclictest3603401-21kworker/u8:0+flush-179:022:40:220
353742299560,9cyclictest3611550-21cat23:00:010
3537424995548,6cyclictest3561566-21kworker/u8:1+flush-179:020:55:001
3537422995548,5cyclictest3619587-21kworker/u8:1+flush-179:023:45:190
3537422995446,6cyclictest3613230-21apt-get23:05:100
3537422995444,8cyclictest3563356-21/usr/sbin/munin20:30:290
353742299541,51cyclictest3552261-21grep19:55:120
3537424995349,2cyclictest3581142-21cron21:25:001
3537424995341,11cyclictest3561569-21kworker/u8:2+flush-179:020:45:001
3537422995348,4cyclictest3579593-21kworker/u8:1+events_unbound22:35:010
3537422995348,4cyclictest3579593-21kworker/u8:1+events_unbound22:35:000
3537422995346,5cyclictest3619587-21kworker/u8:1+flush-179:023:30:010
3537422995344,7cyclictest3634217-21kworker/u8:0+flush-179:000:25:000
3537424995246,4cyclictest725-21Xorg20:07:581
3537422995244,6cyclictest3576099-21kworker/u8:0+flush-179:021:30:150
3537422995226,22cyclictest3547114-21latency_hist19:40:020
3537424995148,2cyclictest0-21swapper/100:32:591
3537424995142,7cyclictest3595458-21latency_hist22:10:011
353742299510,4cyclictest3578073-21latency_hist21:15:010
3537424995040,7cyclictest3590978-21grep21:55:121
3537422995043,5cyclictest3603401-21kworker/u8:0+flush-179:022:40:000
3537422995042,6cyclictest2158010-21systemd-journal23:55:000
3537422995040,7cyclictest2158010-21systemd-journal21:42:500
3537422995039,9cyclictest3564962-21apt-get20:35:120
4652991490,13ptp4l61790irq/134-eno1-TxRx-019:10:013
4652991490,13ptp4l61790irq/134-eno1-TxRx-019:10:013
3537424994946,1cyclictest725-21Xorg23:28:591
3537424994946,1cyclictest3576099-21kworker/u8:0+flush-179:021:15:041
3537424994938,9cyclictest3592540-21apt-get22:00:101
3537424994937,8cyclictest0-21swapper/120:35:121
3537422994929,17cyclictest3537586-21/usr/sbin/munin19:10:180
353742299490,7cyclictest3617762-21apt-get23:20:040
3537424994841,4cyclictest3606840-21/usr/sbin/munin22:45:191
3537424994840,6cyclictest3614558-21latency_hist23:10:011
3537424994813,8cyclictest3623263-21expr23:35:141
3537424994813,8cyclictest3623263-21expr23:35:141
3537422994841,6cyclictest2158010-21systemd-journal21:39:500
3537422994840,6cyclictest3579593-21kworker/u8:1+flush-179:021:30:000
3537422994838,8cyclictest3621172-21kworker/u8:2+flush-179:023:30:210
353742299481,44cyclictest3574510-21kworker/0:2+events21:50:590
353742299480,44cyclictest0-21swapper/020:05:130
3537424994741,5cyclictest3561566-21kworker/u8:1+flush-179:020:25:241
3537424994740,5cyclictest2158010-21systemd-journal20:11:491
3537422994738,7cyclictest2158010-21systemd-journal20:03:510
3537422994731,15cyclictest0-21swapper/000:13:590
3537422994726,18cyclictest0-21swapper/020:45:110
3537424994643,2cyclictest0-21swapper/120:46:001
3537424994642,3cyclictest3564793-21latency_hist20:35:021
3537424994613,32cyclictest3639512-21cstates00:25:141
353742499460,45cyclictest3603428-21perf22:35:011
353742499460,45cyclictest3603428-21perf22:35:011
3537427994543,1cyclictest0-21swapper/221:34:592
3537424994539,5cyclictest3547049-21latency_hist19:40:011
3537424994534,9cyclictest3597299-21apt-get22:15:111
3537422994538,6cyclictest3561566-21kworker/u8:1+flush-179:020:25:200
3537422994535,8cyclictest2158010-21systemd-journal19:20:010
353742999440,42cyclictest3587520-21turbostat21:45:003
3537424994435,7cyclictest0-21swapper/119:55:131
3537424994432,10cyclictest0-21swapper/122:20:131
3537424994419,14cyclictest3635712-21grep00:10:271
3537424994412,4cyclictest3582135-21ntp_192.168.11421:25:221
3537424994411,5cyclictest3634343-21date00:10:011
3537424994410,31cyclictest0-21swapper/100:35:151
3537422994427,16cyclictest0-21swapper/021:02:590
3537424994335,6cyclictest3592946-21kworker/u8:3+flush-179:022:40:291
3537424994310,5cyclictest0-21swapper/123:20:041
3537422994336,5cyclictest3631046-21kworker/u8:1+flush-179:000:30:020
3537422994336,5cyclictest3603401-21kworker/u8:0+flush-179:023:10:220
353742299432,7cyclictest0-21swapper/022:26:590
3537427994239,2cyclictest0-21swapper/221:09:552
353742799420,39cyclictest0-21swapper/221:23:592
3537422994230,10cyclictest2158010-21systemd-journal21:10:000
3537422994225,14cyclictest0-21swapper/022:01:000
4652991410,6ptp4l431rcuc/322:55:013
3537429994139,1cyclictest0-21swapper/320:56:593
353742999410,39cyclictest3642458-21turbostat00:35:003
3537424994131,8cyclictest3558591-21apt-get20:15:101
3537424994112,28cyclictest3601233-21ntpq22:25:201
353742299412,8cyclictest0-21swapper/020:41:590
353742999400,5cyclictest3632662-21turbostat00:04:593
3537424994035,3cyclictest725-21Xorg19:34:001
3537424994023,10cyclictest3596152-21hwlatdetect22:10:151
353742999390,4cyclictest3592287-21turbostat22:00:003
3537427993936,2cyclictest0-21swapper/222:45:592
3537427993936,2cyclictest0-21swapper/222:28:002
353742499390,37cyclictest725-21Xorg21:41:591
4652991380,4ptp4l431rcuc/322:30:013
3537429993834,2cyclictest0-21swapper/320:25:593
3537429993830,7cyclictest0-21swapper/300:13:593
353742999380,1cyclictest0-21swapper/322:40:013
353742999380,1cyclictest0-21swapper/321:15:013
3537427993836,1cyclictest0-21swapper/222:20:002
3537427993834,2cyclictest0-21swapper/220:06:582
353742799380,36cyclictest0-21swapper/220:22:582
3537424993829,7cyclictest2158010-21systemd-journal23:45:031
4652991370,28ptp4l61790irq/134-eno1-TxRx-019:45:013
3537429993735,1cyclictest0-21swapper/320:10:593
3537429993734,2cyclictest0-21swapper/319:24:593
353742999370,36cyclictest0-21swapper/320:20:123
353742999370,2cyclictest0-21swapper/322:04:593
3537427993734,2cyclictest0-21swapper/222:50:582
3537427993734,2cyclictest0-21swapper/219:29:002
3537427993734,2cyclictest0-21swapper/200:20:122
353742799370,35cyclictest0-21swapper/221:39:592
353742799370,35cyclictest0-21swapper/220:41:002
353742799370,35cyclictest0-21swapper/219:52:592
3537422993734,2cyclictest0-21swapper/019:24:590
3537429993634,1cyclictest0-21swapper/323:36:593
3537429993634,1cyclictest0-21swapper/323:36:583
3537429993634,1cyclictest0-21swapper/323:14:553
3537429993634,1cyclictest0-21swapper/322:16:583
3537429993633,2cyclictest0-21swapper/319:50:003
3537429993633,2cyclictest0-21swapper/319:49:593
353742999360,35cyclictest0-21swapper/323:41:003
353742999360,35cyclictest0-21swapper/321:55:013
353742999360,35cyclictest0-21swapper/321:34:553
353742999360,35cyclictest0-21swapper/319:11:583
353742999360,28cyclictest0-21swapper/321:50:003
353742999360,1cyclictest0-21swapper/319:51:583
353742799360,1cyclictest0-21swapper/223:25:592
353742799360,1cyclictest0-21swapper/200:39:002
3537429993532,2cyclictest0-21swapper/322:20:593
3537429993529,4cyclictest3597058-21turbostat22:15:003
353742999350,2cyclictest0-21swapper/321:15:013
353742999350,28cyclictest0-21swapper/319:55:123
353742999350,21cyclictest0-21swapper/323:00:013
3537427993533,1cyclictest0-21swapper/223:59:592
3537427993532,2cyclictest0-21swapper/222:14:552
3537427993531,2cyclictest0-21swapper/223:09:542
353742999340,27cyclictest0-21swapper/321:20:123
353742999340,22cyclictest0-21swapper/323:05:123
353742999340,1cyclictest0-21swapper/322:30:143
353742999340,1cyclictest0-21swapper/322:30:143
353742999340,1cyclictest0-21swapper/319:40:023
3537427993431,2cyclictest0-21swapper/219:36:592
3537429993331,1cyclictest0-21swapper/323:33:593
3537429993326,6cyclictest0-21swapper/321:02:593
353742999330,27cyclictest0-21swapper/320:35:133
3537427993330,2cyclictest0-21swapper/221:28:592
3537427993330,2cyclictest0-21swapper/221:00:132
353742799330,30cyclictest0-21swapper/220:39:552
3537429993230,1cyclictest0-21swapper/321:27:593
3537429993229,2cyclictest0-21swapper/320:08:583
3537429993228,2cyclictest0-21swapper/323:50:593
353742999320,26cyclictest0-21swapper/319:25:133
3537427993229,2cyclictest0-21swapper/220:55:132
3537427993229,2cyclictest0-21swapper/220:51:592
3537427993229,2cyclictest0-21swapper/200:27:582
353742799320,1cyclictest0-21swapper/220:00:132
3537429993129,1cyclictest0-21swapper/322:43:003
3537429993126,2cyclictest0-21swapper/323:00:003
353742999310,24cyclictest0-21swapper/323:25:003
3537427993128,2cyclictest0-21swapper/222:20:122
353742799310,29cyclictest0-21swapper/223:20:022
353742799310,29cyclictest0-21swapper/221:10:122
3537429993028,1cyclictest0-21swapper/323:19:593
3537429993028,1cyclictest0-21swapper/320:05:023
3537429993027,2cyclictest0-21swapper/320:40:103
3537429993027,2cyclictest0-21swapper/300:30:023
353742999300,28cyclictest0-21swapper/319:30:133
353742999300,28cyclictest0-21swapper/300:20:093
353742999300,23cyclictest0-21swapper/300:05:113
353742999300,1cyclictest0-21swapper/322:05:123
3537427993027,2cyclictest0-21swapper/223:10:132
3537427993027,2cyclictest0-21swapper/222:00:102
3537427993027,2cyclictest0-21swapper/221:55:112
3537427993027,2cyclictest0-21swapper/220:48:592
3537427993027,2cyclictest0-21swapper/220:30:132
3537427993027,2cyclictest0-21swapper/219:10:162
353742799300,2cyclictest0-21swapper/221:45:142
353742799300,2cyclictest0-21swapper/220:15:112
353742799300,2cyclictest0-21swapper/200:30:042
353742799300,28cyclictest0-21swapper/223:45:022
353742799300,28cyclictest0-21swapper/221:50:222
353742799300,28cyclictest0-21swapper/219:30:112
353742799300,28cyclictest0-21swapper/200:10:112
4652991290,6ptp4l61790irq/134-eno1-TxRx-000:00:013
3537429992926,2cyclictest0-21swapper/321:05:113
3537429992926,2cyclictest0-21swapper/319:20:003
353742999290,28cyclictest0-21swapper/323:45:583
353742999290,27cyclictest0-21swapper/300:20:013
353742999290,26cyclictest0-21swapper/320:15:593
3537427992927,1cyclictest0-21swapper/221:40:102
3537427992926,2cyclictest0-21swapper/222:40:112
3537427992926,2cyclictest0-21swapper/220:25:132
3537427992926,2cyclictest0-21swapper/220:12:592
3537427992926,2cyclictest0-21swapper/200:00:202
353742799290,27cyclictest0-21swapper/223:50:112
353742799290,27cyclictest0-21swapper/223:35:132
353742799290,27cyclictest0-21swapper/223:35:122
353742799290,27cyclictest0-21swapper/223:15:112
353742799290,27cyclictest0-21swapper/222:35:112
353742799290,27cyclictest0-21swapper/200:15:102
353742799290,27cyclictest0-21swapper/200:05:132
353742799290,1cyclictest0-21swapper/223:30:232
4652991280,6ptp4l61790irq/134-eno1-TxRx-020:55:013
3537429992825,2cyclictest0-21swapper/323:30:013
353742999280,2cyclictest0-21swapper/320:35:013
353742999280,26cyclictest0-21swapper/300:35:143
3537427992825,2cyclictest0-21swapper/222:57:002
3537427992825,2cyclictest0-21swapper/222:05:142
3537427992825,2cyclictest0-21swapper/219:50:012
3537427992825,2cyclictest0-21swapper/219:50:012
3537427992825,2cyclictest0-21swapper/219:44:002
353742799280,2cyclictest0-21swapper/223:40:122
353742799280,27cyclictest0-21swapper/223:00:152
353742799280,27cyclictest0-21swapper/222:30:162
353742799280,27cyclictest0-21swapper/222:30:162
353742299280,8cyclictest3537438-21ls19:10:020
353742299280,8cyclictest3537438-21ls19:10:020
3537429992725,1cyclictest0-21swapper/322:45:153
3537429992724,2cyclictest0-21swapper/321:35:593
3537427992725,1cyclictest0-21swapper/221:15:032
3537427992724,2cyclictest0-21swapper/219:55:232
3537427992623,2cyclictest0-21swapper/219:15:112
176399250,13rtkit-daemon3536042-21apt-get19:05:131
176399250,13rtkit-daemon3536042-21apt-get19:05:131
3537427992422,1cyclictest0-21swapper/219:20:142
35374279920,1cyclictest0-21swapper/219:10:022
35374279920,1cyclictest0-21swapper/219:10:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional