You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-05 - 12:34

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Sun Jul 05, 2026 00:45:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
349813998766,16cyclictest349816-21cat19:10:020
349813998621,17cyclictest451022-21ssh00:31:130
349813998427,51cyclictest16850irq/134-800000022:30:010
34981399841,64cyclictest446732-21ssh00:22:040
349813998328,51cyclictest453681-21ssh00:37:050
349813998327,51cyclictest401150-21ssh22:45:270
349819998238,39cyclictest1-21systemd22:50:001
349813998228,37cyclictest384595-21ssh22:10:170
349813998228,37cyclictest384595-21ssh22:10:170
349813998218,59cyclictest16850irq/134-800000023:48:260
349813998026,50cyclictest436745-21ssh00:00:340
349813998017,42cyclictest16850irq/134-800000023:10:510
349813998017,42cyclictest16850irq/134-800000023:10:510
349813997927,35cyclictest433030-21ssh23:52:570
349825997724,20cyclictest405383-21sh22:54:493
349825997722,16cyclictest427668-21ssh23:41:263
349825997722,16cyclictest427668-21ssh23:41:263
34981999773,59cyclictest386655-21ssh22:15:021
34981999773,59cyclictest386655-21ssh22:15:011
349813997720,15cyclictest412158-21ssh23:08:530
349813997714,41cyclictest16850irq/134-800000022:16:400
34981999752,67cyclictest48-21kcompactd020:30:051
349813997522,36cyclictest373810-21ssh21:47:420
349825997424,15cyclictest350056-21cut19:15:023
349825997422,15cyclictest369593-21ssh21:38:483
349813997421,15cyclictest383454-21ssh22:08:090
34981399741,68cyclictest0-21swapper/023:33:000
34981399741,67cyclictest0-21swapper/021:37:370
349813997414,55cyclictest16850irq/134-800000000:25:270
349813997413,15cyclictest399428-21ssh22:42:030
349813997411,41cyclictest16850irq/134-800000023:23:170
349825997322,13cyclictest417744-21ssh23:20:193
349813997364,5cyclictest19350irq/34-mmc100:00:010
349825997223,18cyclictest451609-21sh00:32:433
349825997219,15cyclictest386575-21systemd-run22:15:013
349825997219,15cyclictest386575-21systemd-run22:15:013
349825997122,14cyclictest424475-21systemd-run23:35:013
349813997133,33cyclictest358288-21sh21:15:020
349813997133,33cyclictest358288-21sh21:15:020
349813997120,12cyclictest390599-21ssh22:23:220
349813997118,6cyclictest16850irq/134-800000000:14:490
349813997117,13cyclictest360342-21ssh21:19:220
349813997113,15cyclictest370743-21ssh21:41:010
349825997018,15cyclictest410063-21ssh23:04:373
349813997024,29cyclictest364596-21ssh21:28:030
34981399701,5cyclictest131rcu_preempt20:10:010
349819996930,36cyclictest432742-21sh23:52:211
349813996926,37cyclictest275-21dbus-daemon23:00:010
349813996922,10cyclictest429320-21cat23:45:020
349813996922,10cyclictest429320-21cat23:45:020
349813996918,14cyclictest420411-21ssh23:26:070
34981399691,29cyclictest380182-21ssh22:00:530
349813996828,36cyclictest410277-21munin-run23:05:010
349813996819,13cyclictest445495-21ssh00:19:480
349825996720,15cyclictest414830-21ssh23:14:413
349825996720,15cyclictest414830-21ssh23:14:413
349819996727,36cyclictest352870-21cron20:10:001
349825996621,15cyclictest373048-21ssh21:45:523
34981999666,55cyclictest397685-21ssh22:38:351
349813996622,3cyclictest0-21swapper/022:54:030
34981399661,8cyclictest441057-21cat00:10:020
34981999652,58cyclictest446457-21ssh00:21:281
349819996524,37cyclictest23-21ksoftirqd/123:13:221
349819996524,37cyclictest23-21ksoftirqd/123:13:221
34981999652,19cyclictest352386-21munin-run20:00:011
34981999652,19cyclictest352093-21munin-run19:55:011
349825996423,9cyclictest425923-21ssh23:37:583
349825996421,13cyclictest400594-21ssh22:44:353
349819996426,34cyclictest411495-21sh23:07:191
34981999641,18cyclictest442666-21ssh00:13:371
349819996323,36cyclictest23-21ksoftirqd/121:57:361
34981999632,17cyclictest450095-21sh00:29:311
34981999632,14cyclictest422153-21cat23:30:021
34981999632,14cyclictest416558-21ssh23:18:121
349819996318,40cyclictest3467602-21systemd-journal21:25:001
34981399632,6cyclictest3467602-21systemd-journal21:20:320
349813996325,34cyclictest0-21swapper/021:33:380
349813996325,34cyclictest0-21swapper/021:33:380
34981399632,17cyclictest356143-21cat21:10:020
349825996217,13cyclictest402607-21ssh22:48:533
349819996218,41cyclictest23-21ksoftirqd/122:17:581
34981999621,17cyclictest436760-21ssh00:00:361
34981399622,55cyclictest395988-21latency_hist22:35:020
34981399621,23cyclictest0-21swapper/020:16:460
34981999612,53cyclictest376036-21ssh21:52:181
34981999612,53cyclictest376036-21ssh21:52:181
34981999611,4cyclictest405001-21ssh22:53:531
34981399611,27cyclictest0-21swapper/023:16:560
349825996031,23cyclictest352626-21cut20:05:013
349825996031,23cyclictest352626-21cut20:05:003
349825996017,13cyclictest435285-21ssh23:57:463
349821996050,5cyclictest393648-21kworker/2:023:20:592
34981999602,20cyclictest363631-21ssh21:25:531
34981999602,15cyclictest417820-21ssh23:20:361
349819996018,38cyclictest355996-21diskmemload23:43:171
349819996018,38cyclictest355996-21diskmemload23:43:171
349813996027,30cyclictest19350irq/34-mmc119:35:010
349813996022,32cyclictest309-21in:imuxsock23:36:120
349825995932,22cyclictest430176-21sh23:46:473
349825995931,23cyclictest446504-21sh00:21:353
349825995913,16cyclictest439728-21ssh00:07:113
34982199596,39cyclictest364-21snmpd21:45:022
34982199595,42cyclictest436218-21kworker/u8:400:30:012
34981999593,51cyclictest452455-21ssh00:34:371
34981999592,53cyclictest395013-21ssh22:32:461
34981999592,18cyclictest443877-21ssh00:16:091
349819995917,38cyclictest432440-1kworker/u9:123:55:551
34981999591,4cyclictest440699-21ssh00:09:361
34981999591,4cyclictest398780-21ssh22:40:331
34981999591,4cyclictest392333-21ssh22:26:531
34981999591,16cyclictest381543-21sh22:04:051
34981399593,53cyclictest0-21swapper/022:00:020
349813995916,5cyclictest350293-21sendmail19:19:590
349825995830,22cyclictest361135-21sh21:20:403
349821995842,12cyclictest0-21swapper/219:10:022
34981999588,46cyclictest408705-21ssh23:01:261
349819995826,28cyclictest23-21ksoftirqd/120:45:011
34981999582,19cyclictest356022-21munin-run21:10:011
34981999582,18cyclictest406227-21sh22:56:151
34981999582,18cyclictest356437-21ssh21:10:501
34981999582,18cyclictest356437-21ssh21:10:501
34981999581,5cyclictest453691-21ssh00:37:071
34981999581,5cyclictest368282-21ssh21:35:451
34981999581,51cyclictest351854-21munin-run19:50:011
34981999581,4cyclictest431273-21ssh23:49:251
34981999581,4cyclictest426478-21ssh23:39:081
34981999581,4cyclictest423694-21ssh23:33:161
34981999581,4cyclictest389567-21ssh22:21:021
34981999581,4cyclictest382305-21ssh22:05:251
34981999581,4cyclictest358983-21ssh21:16:151
34981399589,11cyclictest3467602-21systemd-journal20:45:010
34981399582,26cyclictest388847-21kworker/u8:322:37:240
349813995822,5cyclictest0-21swapper/021:52:130
349813995822,5cyclictest0-21swapper/021:52:130
349825995731,21cyclictest438728-21latency_hist00:05:023
349825995730,22cyclictest433128-21sh23:53:133
349825995729,22cyclictest444491-21sh00:17:353
349825995717,12cyclictest355996-21diskmemload22:09:013
34982199573,50cyclictest443413-21rm00:15:032
349821995713,34cyclictest351297-21modprobe19:40:012
34981999572,50cyclictest365608-21ssh21:30:031
34981999572,50cyclictest365608-21ssh21:30:031
349819995714,39cyclictest374898-21cat21:50:021
34981399572,21cyclictest284-21systemd-logind19:15:010
349825995634,18cyclictest389627-21ssh22:21:073
349825995630,20cyclictest358942-21ssh21:16:083
349821995636,14cyclictest1-21systemd20:50:012
349819995626,24cyclictest23-21ksoftirqd/120:40:011
34981399562,21cyclictest355472-21munin-run21:00:000
349825995531,20cyclictest377121-21ssh21:54:463
349825995531,20cyclictest377121-21ssh21:54:463
349825995529,22cyclictest371906-21ssh21:43:383
349825995529,21cyclictest410854-21ssh23:05:583
349821995545,6cyclictest393648-21kworker/2:022:47:342
349821995533,17cyclictest30-21ksoftirqd/221:27:272
34981999552,6cyclictest350313-21munin-run19:20:011
34981999551,4cyclictest370787-21ssh21:41:061
34981399552,18cyclictest3467602-21systemd-journal19:25:010
349825995428,22cyclictest379570-21latency_hist22:00:013
349825995428,20cyclictest351706-21latency_hist19:45:023
349825995419,28cyclictest353655-21sshd20:24:453
349821995445,5cyclictest436299-21kworker/2:200:32:572
349821995429,20cyclictest3467602-21systemd-journal00:00:022
34981999541,14cyclictest353235-21sed20:15:011
34981399542,13cyclictest3467602-21systemd-journal20:00:010
349825995330,18cyclictest394013-21ssh22:30:303
349825995326,24cyclictest380762-21ssh22:02:173
349825995326,22cyclictest453691-21ssh00:37:063
34982199535,39cyclictest291rcuc/220:55:012
349821995344,5cyclictest436299-21kworker/2:200:16:222
349821995343,6cyclictest334574-21kworker/2:119:21:042
349821995340,7cyclictest334574-21kworker/2:121:25:012
34981999532,47cyclictest364-21snmpd20:16:311
34981999531,4cyclictest364-21snmpd20:21:171
34981399533,18cyclictest354968-21unin-run20:50:010
349813995326,24cyclictest12-21ksoftirqd/019:50:020
34981399531,16cyclictest353127-21modprobe20:15:000
349825995233,14cyclictest421810-21ssh23:29:213
349825995230,18cyclictest367848-21latency_hist21:35:023
349825995230,18cyclictest367848-21latency_hist21:35:023
349825995230,17cyclictest388258-21ssh22:18:253
349825995229,19cyclictest415679-21sh23:16:103
349825995226,23cyclictest441957-21ssh00:11:543
349825995225,22cyclictest355205-21latency_hist20:54:593
349821995244,5cyclictest393648-21kworker/2:000:23:372
349821995243,5cyclictest349799-21kworker/2:319:30:112
349821995232,14cyclictest3467602-21systemd-journal23:00:002
349821995227,17cyclictest275-21dbus-daemon20:40:012
349819995235,12cyclictest3467602-21systemd-journal19:40:001
349819995225,24cyclictest1-21systemd21:00:011
34981999521,3cyclictest48-21kcompactd020:54:291
34981999521,3cyclictest150-21pr/ttyS220:00:541
34981999521,3cyclictest150-21pr/ttyS220:00:541
349813995235,13cyclictest1-21systemd20:40:000
349825995136,11cyclictest355728-21cron21:05:003
349825995131,16cyclictest355126-21cat20:50:023
349825995130,16cyclictest350628-21cut19:25:023
349825995128,19cyclictest407001-21ssh22:58:063
349825995128,18cyclictest396441-21ssh22:35:393
349825995126,20cyclictest354915-21date20:45:023
349825995123,24cyclictest450440-21latency_hist00:30:023
349821995143,5cyclictest393648-21kworker/2:023:04:262
349821995143,5cyclictest334574-21kworker/2:121:54:212
349821995143,5cyclictest334574-21kworker/2:121:54:212
349821995137,10cyclictest30-21ksoftirqd/223:30:002
349821995121,12cyclictest0-21swapper/220:05:012
349821995121,12cyclictest0-21swapper/220:05:012
34981999511,4cyclictest350553-21munin-run19:25:001
349813995111,8cyclictest0-21swapper/020:35:000
349825995035,11cyclictest351335-21modprobe19:40:013
349825995033,12cyclictest355982-21cron21:10:003
349825995030,15cyclictest356501-21sh21:10:593
349825995030,15cyclictest356501-21sh21:10:593
34982199508,28cyclictest352094-21grep19:55:012
34982199506,27cyclictest352336-21modprobe20:00:002
34982199504,4cyclictest131rcu_preempt21:15:022
34982199504,4cyclictest131rcu_preempt21:15:012
349821995042,5cyclictest334574-21kworker/2:122:34:492
349821995041,6cyclictest436299-21kworker/2:200:36:492
349821995040,6cyclictest393648-21kworker/2:023:17:372
349821995040,6cyclictest334574-21kworker/2:121:15:152
349821995037,8cyclictest436299-21kworker/2:200:03:182
34981399503,21cyclictest1-21systemd19:45:010
349825994935,11cyclictest391577-21ssh22:25:063
349825994926,19cyclictest352555-21latency_hist20:00:023
349825994923,21cyclictest351836-21cron19:50:003
349825994913,6cyclictest131rcu_preempt20:40:013
349821994941,5cyclictest393648-21kworker/2:023:06:102
349821994941,5cyclictest393648-21kworker/2:022:50:302
349821994941,5cyclictest334574-21kworker/2:122:20:182
349821994940,6cyclictest334574-21kworker/2:122:40:312
349821994937,8cyclictest334574-21kworker/2:121:37:162
349821994932,13cyclictest3467602-21systemd-journal21:33:452
349821994932,13cyclictest3467602-21systemd-journal21:33:452
349821994932,13cyclictest3467602-21systemd-journal00:05:262
34981999491,4cyclictest350012-21munin-run19:15:011
34981999491,43cyclictest351036-21sshd19:33:451
349825994834,10cyclictest351031-21sshd19:32:453
349825994832,13cyclictest363985-21ssh21:26:473
349825994831,12cyclictest350810-21true19:30:003
349825994830,13cyclictest353375-21cron20:20:003
349825994829,15cyclictest353178-21latency_hist20:15:023
349825994825,19cyclictest354098-21grep20:30:023
349821994840,5cyclictest334574-21kworker/2:123:35:222
349821994839,6cyclictest334574-21kworker/2:122:19:472
349821994836,8cyclictest334574-21kworker/2:123:47:072
34981999482,7cyclictest364-21snmpd20:25:271
34981999481,3cyclictest364-21snmpd19:41:091
349825994722,21cyclictest350351-21sed19:20:023
349825994720,23cyclictest353030-21cut20:10:023
349821994739,5cyclictest393648-21kworker/2:023:30:372
349821994739,5cyclictest334574-21kworker/2:122:35:332
349821994739,5cyclictest334574-21kworker/2:122:01:582
349821994735,7cyclictest334574-21kworker/2:121:57:112
34981999473,39cyclictest355843-21wc21:05:021
34981999472,7cyclictest354943-21cron20:50:001
34981999472,40cyclictest1-21systemd19:25:481
349813994715,9cyclictest355752-21systemd-run21:05:010
349821994638,5cyclictest393648-21kworker/2:023:50:282
349821994637,6cyclictest334574-21kworker/2:123:40:382
349821994637,6cyclictest334574-21kworker/2:123:40:382
349821994636,6cyclictest334574-21kworker/2:121:00:032
349821994631,7cyclictest309-21in:imuxsock19:45:002
34981999463,39cyclictest0-21swapper/119:10:021
34981399462,17cyclictest354099-21latency_hist20:30:020
349825994522,18cyclictest352079-21cron19:55:013
349821994538,5cyclictest334574-21kworker/2:122:29:142
34982199453,27cyclictest355983-21modprobe21:10:002
349821994529,12cyclictest30-21ksoftirqd/223:15:012
349821994529,12cyclictest30-21ksoftirqd/223:15:012
349821994525,14cyclictest1-21systemd20:25:002
349813994518,11cyclictest12-21ksoftirqd/020:55:010
34981399451,4cyclictest351309-21latency_hist19:40:020
349825994428,12cyclictest1-21systemd20:35:013
349821994429,10cyclictest349993-21sshd19:13:452
349821994422,17cyclictest3467602-21systemd-journal22:15:002
349821994422,17cyclictest3467602-21systemd-journal22:15:002
349825994328,11cyclictest355472-21munin-run21:00:003
349821994335,5cyclictest334574-21kworker/2:121:46:362
349821994332,8cyclictest349799-21kworker/2:320:19:592
349821994328,12cyclictest3467602-21systemd-journal20:05:032
349821994234,5cyclictest334574-21kworker/2:122:05:492
349821994232,6cyclictest334574-21kworker/2:120:59:592
349813994234,4cyclictest16950irq/224-800000020:05:010
349813994234,4cyclictest16950irq/224-800000020:05:010
34981399421,24cyclictest0-21swapper/019:28:460
349825994127,11cyclictest349847-21latency_hist19:10:013
349821994130,8cyclictest275-21dbus-daemon20:35:012
34981399411,36cyclictest3467602-21systemd-journal20:24:230
349813994112,25cyclictest0-21swapper/019:55:010
34982199387,20cyclictest353124-21latency_hist20:15:032
349821993829,6cyclictest349799-21kworker/2:319:48:312
349821993824,10cyclictest30-21ksoftirqd/219:16:452
349821993819,13cyclictest275-21dbus-daemon20:30:012
34982199381,32cyclictest350814-21systemctl19:30:002
349821993618,14cyclictest275-21dbus-daemon20:45:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional