You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-18 - 14:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot6.osadl.org (updated Tue Nov 18, 2025 00:44:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
163870399127118,6cyclictest1731696-40logrotate00:00:010
1638707999788,6cyclictest1688231-21apt-get21:45:041
1638703999684,9cyclictest1673909-21latency_hist21:00:010
1638707998978,7cyclictest1645033-21kworker/u8:2+flush-179:019:40:001
1638707998373,7cyclictest1740091-21cp00:25:011
1638703998276,4cyclictest1710741-21kworker/u8:0+events_unbound23:00:010
1638703998069,8cyclictest1688224-21latency_hist21:45:010
1638707997866,8cyclictest1672537-21/usr/sbin/munin20:55:281
1638703997873,3cyclictest1619240-21kworker/u8:0+flush-179:020:00:260
1638703997868,7cyclictest1680513-21/usr/sbin/munin21:20:250
1638703997770,5cyclictest1637153-21kworker/u8:3+events_unbound19:20:000
1638703997770,4cyclictest1685065-21kworker/u8:2+events_unbound21:35:000
1638703997465,7cyclictest1741855-21kworker/u8:2+events_unbound00:35:280
1638703997165,5cyclictest1713976-21kworker/u8:2+events_unbound23:15:260
1638703997165,4cyclictest1645033-21kworker/u8:2+flush-179:019:30:150
1638703996862,4cyclictest1723473-21kworker/u8:2+flush-179:000:03:590
1638703996861,4cyclictest1701288-21sed22:25:000
1638707996657,6cyclictest1645033-21kworker/u8:2+flush-179:019:30:221
1638703996658,6cyclictest271-21systemd-journal00:15:010
1638707996454,8cyclictest1726926-21apt-get23:45:121
1638707996360,2cyclictest723-21Xorg20:09:001
1638703996354,7cyclictest1693497-21/usr/sbin/munin22:00:240
1638707996144,14cyclictest1709162-21latency_hist22:50:001
1638703996152,7cyclictest1680279-21latency_hist21:20:010
1638703996151,7cyclictest1690067-21latency_hist21:50:010
1638703995953,4cyclictest1677075-21kworker/u8:4+flush-179:022:05:190
1638703995953,4cyclictest1619240-21kworker/u8:0+flush-179:019:45:200
1638709995855,2cyclictest0-21swapper/222:21:592
1638707995648,6cyclictest1738122-21apt-get00:20:001
1638707995523,24cyclictest1668786-21kworker/u8:0+flush-179:020:40:271
1638703995550,4cyclictest1710984-21kworker/u8:3+events_unbound23:40:270
1638703995549,4cyclictest1710984-21kworker/u8:3+events_unbound23:50:010
1638703995548,5cyclictest1728752-21kworker/u8:0+events_unbound00:15:250
1638703995545,7cyclictest1677081-21latency_hist21:10:010
1638703995445,5cyclictest271-21systemd-journal23:37:280
1638703995347,5cyclictest1677075-21kworker/u8:4+flush-179:022:40:250
1638703995347,5cyclictest1677075-21kworker/u8:4+flush-179:021:35:270
1638707995242,8cyclictest1713917-21kworker/u8:1+flush-179:023:20:001
1638707995242,7cyclictest1663002-21/usr/sbin/munin20:25:251
1638703995244,6cyclictest1664331-21kworker/u8:2+events_unbound20:40:000
1638703995238,7cyclictest1645033-21kworker/u8:2+events_unbound19:35:210
1638707995143,5cyclictest1644997-21latency_hist19:30:011
1638707995143,5cyclictest1644997-21latency_hist19:30:011
1638703995144,5cyclictest1677075-21kworker/u8:4+events_unbound22:00:000
1638703995142,6cyclictest1658019-21kworker/u8:1+flush-179:020:45:190
1638712995048,1cyclictest0-21swapper/321:25:593
1638712995048,1cyclictest0-21swapper/321:25:583
1638707995042,6cyclictest1619240-21kworker/u8:0+flush-179:019:15:001
1638707995042,5cyclictest281ktimers/119:50:141
1638703995045,4cyclictest1709153-21kworker/u8:2+events_unbound22:50:000
1638703995043,5cyclictest1658019-21kworker/u8:1+flush-179:020:40:260
1638707994934,14cyclictest0-21swapper/100:04:001
1638703994938,9cyclictest1712610-21apt-get23:00:130
1638707994839,7cyclictest1723480-21latency_hist23:35:011
1638707994838,9cyclictest1731721-40mandb00:00:011
1638707994835,11cyclictest723-21Xorg19:58:591
1638703994840,5cyclictest1658019-21kworker/u8:1+events_unbound20:20:250
4670791470,14ptp4l441ktimers/319:09:593
1638703994742,4cyclictest723-21Xorg19:23:000
1638707994640,4cyclictest1714197-21apt-get23:05:151
1638707994632,12cyclictest723-21Xorg23:12:591
1638703994641,4cyclictest1637153-21kworker/u8:3+flush-179:019:28:040
1638703994641,4cyclictest1637153-21kworker/u8:3+flush-179:019:28:030
1638703994637,6cyclictest1648689-21/usr/sbin/munin19:40:200
1638703994540,3cyclictest1658015-21systemd-run20:10:010
1638703994535,7cyclictest1735515-21kworker/u8:1+events_unbound00:20:150
163870399451,38cyclictest1742077-21apt-get00:30:140
1638707994430,13cyclictest1693817-21fschecks_count22:00:161
1638703994435,6cyclictest1736760-21kworker/u8:3+events_unbound00:25:220
1638703994337,5cyclictest1713917-21kworker/u8:1+flush-179:023:05:210
1638703994331,9cyclictest1668786-21kworker/u8:0+flush-179:020:50:220
1638707994223,18cyclictest1698028-21dump-pmu-power22:15:001
163870999410,39cyclictest0-21swapper/200:14:592
163870799411,12cyclictest1640473-21apt-get19:15:141
1638703994134,5cyclictest1653444-21/usr/sbin/munin19:55:190
1638703994133,6cyclictest1710984-21kworker/u8:3+flush-179:023:10:220
1638703994132,6cyclictest1704384-21latency_hist22:35:010
1638707994034,4cyclictest1709166-21turbostat22:54:551
1638707994030,8cyclictest1740778-21diskstats00:25:171
1638707994019,3cyclictest2126-10pipewire-media-19:20:231
1638707994018,3cyclictest0-21swapper/121:35:011
1638703994032,5cyclictest1718736-21kworker/u8:0+flush-179:023:30:010
163871299390,4cyclictest1640230-21turbostat19:15:003
1638707993922,15cyclictest723-21Xorg21:42:591
163870799390,37cyclictest723-21Xorg00:05:591
163870799390,2cyclictest723-21Xorg21:12:581
1638703993934,3cyclictest1723473-21kworker/u8:2+events_unbound23:50:250
1638703993934,3cyclictest1619240-21kworker/u8:0+flush-179:019:50:260
163870399392,32cyclictest1658240-21apt-get20:10:160
163870999380,35cyclictest0-21swapper/223:22:592
163870999380,35cyclictest0-21swapper/222:39:552
1638707993835,2cyclictest0-21swapper/122:42:591
1638707993835,2cyclictest0-21swapper/122:06:591
1638707993832,5cyclictest1619240-21kworker/u8:0+flush-179:020:00:231
1638707993830,6cyclictest1702224-21sed22:25:221
163870799380,2cyclictest723-21Xorg20:32:591
1638703993835,2cyclictest0-21swapper/021:25:580
1638703993835,2cyclictest0-21swapper/021:25:580
1638703993834,3cyclictest1677075-21kworker/u8:4+flush-179:022:10:170
1638703993833,4cyclictest1709153-21kworker/u8:2+events_unbound22:50:240
1638703993832,4cyclictest1668786-21kworker/u8:0+flush-179:021:15:000
1638703993829,5cyclictest1722148-21apt-get23:30:130
163871299370,1cyclictest0-21swapper/319:30:593
1638709993734,1cyclictest0-21swapper/220:50:002
163870999370,35cyclictest0-21swapper/219:19:592
163870999370,29cyclictest0-21swapper/219:47:582
1638707993735,1cyclictest0-21swapper/121:24:551
1638707993734,2cyclictest0-21swapper/123:43:591
1638707993714,6cyclictest502-21rs:main1
1638712993634,1cyclictest0-21swapper/323:57:593
1638712993634,1cyclictest0-21swapper/323:29:553
1638712993634,1cyclictest0-21swapper/323:13:593
1638712993634,1cyclictest0-21swapper/300:24:543
163871299360,35cyclictest0-21swapper/323:53:593
163871299360,35cyclictest0-21swapper/322:50:003
163871299360,35cyclictest0-21swapper/300:20:003
163871299360,1cyclictest0-21swapper/322:08:583
1638709993634,1cyclictest0-21swapper/223:04:592
1638709993634,1cyclictest0-21swapper/220:30:002
1638709993633,2cyclictest0-21swapper/223:27:592
1638709993633,2cyclictest0-21swapper/220:53:002
1638709993633,2cyclictest0-21swapper/200:26:582
1638709993633,2cyclictest0-21swapper/200:22:592
163870999360,34cyclictest0-21swapper/219:29:592
163870999360,34cyclictest0-21swapper/219:29:582
163870999360,1cyclictest0-21swapper/222:12:592
163870999360,1cyclictest0-21swapper/220:40:002
163870999360,1cyclictest0-21swapper/220:15:012
1638707993631,3cyclictest723-21Xorg22:35:591
1638707993625,9cyclictest1671258-21diskstats20:50:161
1638703993631,4cyclictest723-21Xorg22:36:580
1638703993630,4cyclictest1658019-21kworker/u8:1+flush-179:020:30:190
1638703993629,5cyclictest1702804-21/usr/sbin/munin22:30:010
1638712993533,1cyclictest0-21swapper/323:05:593
1638712993533,1cyclictest0-21swapper/320:39:583
163871299350,1cyclictest0-21swapper/322:43:593
163871299350,1cyclictest0-21swapper/300:29:593
1638709993532,2cyclictest0-21swapper/221:58:002
163870999350,1cyclictest0-21swapper/200:40:002
1638707993531,3cyclictest1686345-21timerandwakeup21:35:271
1638707993530,4cyclictest475-21dbus-daemon19:45:011
1638707993527,5cyclictest0-21swapper/119:47:591
1638707993526,7cyclictest1668786-21kworker/u8:0+flush-179:021:05:231
1638712993432,2cyclictest0-21swapper/319:24:563
1638712993432,1cyclictest0-21swapper/322:27:003
1638709993431,2cyclictest0-21swapper/221:35:592
1638707993429,4cyclictest1736760-21kworker/u8:3+flush-179:000:35:201
1638707993429,4cyclictest1653241-21kworker/u8:2+flush-179:020:15:181
1638707993413,5cyclictest723-21Xorg21:29:001
1638707993413,5cyclictest723-21Xorg21:28:591
163870799341,29cyclictest1661435-21apt-get20:20:141
1638703993419,13cyclictest1674450-21diskstats21:00:180
1638712993331,1cyclictest0-21swapper/319:49:563
1638712993327,4cyclictest1726690-21turbostat23:45:003
1638709993331,1cyclictest0-21swapper/221:09:582
1638709993330,2cyclictest0-21swapper/223:55:592
1638709993330,2cyclictest0-21swapper/200:19:002
163870799334,6cyclictest723-21Xorg22:18:591
163870799333,8cyclictest723-21Xorg00:30:581
1638707993329,3cyclictest1720994-21hwlatdetect23:25:201
1638703993323,8cyclictest1690323-21apt-get21:50:150
1638703993323,8cyclictest1690323-21apt-get21:50:150
4670791320,12ptp4l441ktimers/319:59:593
1638712993230,1cyclictest0-21swapper/321:13:583
1638712993225,5cyclictest1710756-21turbostat22:55:003
1638707993230,1cyclictest0-21swapper/122:34:551
1638707993229,2cyclictest723-21Xorg23:01:591
1638707993225,5cyclictest661-21lldpd21:50:161
1638707993225,5cyclictest661-21lldpd21:50:161
1638703993227,4cyclictest515-21gdbus22:15:280
163870399321,29cyclictest0-21swapper/020:15:140
1638712993129,1cyclictest0-21swapper/321:06:003
1638712993129,1cyclictest0-21swapper/321:03:003
1638709993128,2cyclictest0-21swapper/223:37:592
1638709993128,2cyclictest0-21swapper/222:18:002
1638707993125,4cyclictest1670760-21kworker/u8:3+events_unbound21:00:211
1638703993127,2cyclictest1-21systemd19:15:000
1638712993027,2cyclictest0-21swapper/300:00:133
1638709993027,2cyclictest0-21swapper/219:38:002
1638707993027,2cyclictest1667582-21systemd-run20:40:001
1638707993026,3cyclictest1653241-21kworker/u8:2+flush-179:020:10:591
1638707993026,3cyclictest0-21swapper/123:40:001
163870799300,2cyclictest723-21Xorg21:20:001
163870399300,28cyclictest723-21Xorg00:08:590
1638712992927,1cyclictest0-21swapper/319:19:553
1638712992926,2cyclictest0-21swapper/323:15:593
163871299290,28cyclictest0-21swapper/320:30:143
163871299290,27cyclictest0-21swapper/323:00:143
163871299290,27cyclictest0-21swapper/322:55:153
163871299290,26cyclictest0-21swapper/323:45:143
163871299290,1cyclictest0-21swapper/300:30:143
1638709992926,2cyclictest0-21swapper/223:15:152
1638709992926,2cyclictest0-21swapper/222:25:152
1638709992926,2cyclictest0-21swapper/221:20:142
1638709992926,2cyclictest0-21swapper/219:10:142
1638709992925,2cyclictest0-21swapper/222:55:592
163870999290,28cyclictest0-21swapper/223:05:162
163870999290,27cyclictest0-21swapper/221:45:012
163870999290,27cyclictest0-21swapper/221:30:132
163870999290,27cyclictest0-21swapper/220:00:132
163870999290,27cyclictest0-21swapper/219:54:002
163870999290,27cyclictest0-21swapper/200:05:142
1638712992826,1cyclictest0-21swapper/320:50:143
163871299280,2cyclictest0-21swapper/323:30:133
163871299280,2cyclictest0-21swapper/319:40:013
163871299280,26cyclictest0-21swapper/320:40:153
163871299280,26cyclictest0-21swapper/320:25:153
1638709992825,2cyclictest0-21swapper/219:30:142
163870999280,2cyclictest0-21swapper/221:00:152
163870999280,2cyclictest0-21swapper/220:55:172
1638707992825,2cyclictest1735192-21apt-get00:10:131
163870799280,27cyclictest723-21Xorg23:22:591
1638703992823,4cyclictest1718736-21kworker/u8:0+flush-179:023:20:180
4670791270,5ptp4l441ktimers/321:00:013
1638712992725,1cyclictest0-21swapper/300:37:593
1638712992724,2cyclictest0-21swapper/321:32:593
1638712992724,2cyclictest0-21swapper/319:37:003
1638712992723,3cyclictest1662783-21sleep20:25:013
1638712992722,4cyclictest1681878-21turbostat21:25:013
163871299270,1cyclictest0-21swapper/322:20:133
163871299270,1cyclictest0-21swapper/321:43:593
1638709992725,1cyclictest0-21swapper/222:44:592
1638709992723,2cyclictest0-21swapper/223:54:552
163870999270,25cyclictest0-21swapper/221:29:562
163870999270,25cyclictest0-21swapper/221:29:562
163870999270,24cyclictest0-21swapper/221:15:002
1638707992721,5cyclictest1700447-21latency22:20:191
163870799270,2cyclictest723-21Xorg21:56:591
1638703992724,2cyclictest0-21swapper/020:25:150
1638712992624,1cyclictest0-21swapper/319:26:593
1638712992624,1cyclictest0-21swapper/319:26:583
1638712992623,1cyclictest0-21swapper/300:05:593
1638709992622,2cyclictest0-21swapper/221:16:592
163870999260,24cyclictest0-21swapper/220:34:002
4670791250,6ptp4l61690irq/136-eno1-TxRx-020:10:013
4670791250,6ptp4l61690irq/136-eno1-TxRx-020:05:013
4670791250,6ptp4l441ktimers/322:15:003
4670791250,6ptp4l441ktimers/322:05:003
4670791250,5ptp4l61690irq/136-eno1-TxRx-022:40:003
4670791250,5ptp4l441ktimers/323:40:003
4670791250,5ptp4l441ktimers/320:19:593
1638712992523,1cyclictest0-21swapper/323:21:003
1638712992523,1cyclictest0-21swapper/321:48:593
1638712992523,1cyclictest0-21swapper/320:14:593
163871299250,1cyclictest0-21swapper/320:46:003
1638709992523,1cyclictest0-21swapper/222:35:002
1638709992523,1cyclictest0-21swapper/219:59:592
1638709992522,2cyclictest0-21swapper/220:20:132
1638709992522,2cyclictest0-21swapper/220:15:592
4670791240,6ptp4l61690irq/136-eno1-TxRx-000:15:013
4670791240,5ptp4l441ktimers/322:35:003
4670791240,5ptp4l441ktimers/322:19:553
4670791240,5ptp4l441ktimers/322:00:003
4670791240,5ptp4l441ktimers/321:20:003
4670791240,4ptp4l61690irq/136-eno1-TxRx-021:39:563
4670791240,4ptp4l441ktimers/319:55:003
1638709992421,2cyclictest0-21swapper/222:51:592
1638709992421,2cyclictest0-21swapper/222:45:592
163870999240,1cyclictest0-21swapper/223:15:002
1638703992419,3cyclictest0-21swapper/019:10:000
1638712992321,1cyclictest0-21swapper/321:54:563
1638712992321,1cyclictest0-21swapper/321:54:553
1638709992321,1cyclictest0-21swapper/220:09:582
1638709992321,1cyclictest0-21swapper/219:41:592
1638709992320,2cyclictest0-21swapper/223:46:592
1638707992317,5cyclictest1710741-21kworker/u8:0+flush-179:023:00:001
202199220,13rtkit-daemon685-21ntpd19:06:051
1638709992219,2cyclictest0-21swapper/223:42:592
1638709992119,1cyclictest0-21swapper/219:25:002
1638709992118,2cyclictest0-21swapper/222:05:592
163870799213,17cyclictest0-21swapper/120:45:171
1638709991815,2cyclictest0-21swapper/221:40:592
1638709991815,2cyclictest0-21swapper/200:01:592
1638709991714,2cyclictest0-21swapper/220:43:582
1638709991614,1cyclictest0-21swapper/221:51:592
1638709991614,1cyclictest0-21swapper/221:51:592
1638709991612,2cyclictest1723499-21turbostat23:35:012
1638709991412,1cyclictest0-21swapper/222:02:592
1638709991411,2cyclictest0-21swapper/200:30:592
16387099951,3cyclictest67-21kworker/2:1+events19:10:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional