You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-15 - 08:32

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Fri May 15, 2026 00:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
715328998624,17cyclictest815456-21ssh00:24:391
715328998524,20cyclictest767861-21ssh22:45:371
715324998337,29cyclictest779006-21ssh23:09:080
715324998226,39cyclictest728421-21ssh21:23:590
71532499815,8cyclictest0-21swapper/000:00:010
71532499815,8cyclictest0-21swapper/000:00:000
715324998014,16cyclictest808836-21ssh00:10:370
715328997924,18cyclictest788593-21sh23:28:571
715324997917,6cyclictest16850irq/134-800000022:58:250
715328997827,13cyclictest0-21swapper/123:07:491
715324997827,47cyclictest757267-21ssh22:23:570
71532499782,6cyclictest724041-21unin-run21:15:010
71532499782,6cyclictest724041-21unin-run21:15:010
715324997822,51cyclictest758398-21ssh22:26:040
71532499781,14cyclictest743376-21latency_hist21:55:010
715328997728,15cyclictest740830-21ssh21:49:501
715328997724,17cyclictest743841-21ssh21:55:511
715324997720,39cyclictest743968-21ssh21:56:070
715328997632,15cyclictest731098-21ssh21:29:491
715328997631,15cyclictest760720-21ssh22:30:441
715328997631,15cyclictest760720-21ssh22:30:431
715328997622,15cyclictest765258-21ssh22:40:091
715328997618,19cyclictest742408-21ssh21:53:021
715324997626,45cyclictest812329-21ssh00:18:000
71532499761,59cyclictest749645-21ssh22:07:570
715328997535,14cyclictest717847-21sendmail-mta19:59:401
715328997531,8cyclictest775199-21ssh23:00:561
715328997524,14cyclictest811987-21ssh00:17:181
715328997522,15cyclictest722506-21ssh21:11:321
715328997522,15cyclictest722506-21ssh21:11:311
715328997520,16cyclictest818550-21ssh00:30:371
715324997519,15cyclictest774852-21ssh23:00:040
71532499751,57cyclictest798027-21ssh23:48:270
715328997426,17cyclictest735327-21rm21:38:281
715328997426,11cyclictest747114-21ssh22:02:431
715328997422,20cyclictest772634-21ssh22:55:381
715328997422,14cyclictest810295-21ssh00:13:561
715324997418,43cyclictest16850irq/134-800000022:51:350
715324997417,6cyclictest16850irq/134-800000000:27:030
715324997417,6cyclictest16850irq/134-800000000:27:020
71532499741,55cyclictest0-21swapper/022:40:270
715328997332,16cyclictest725641-21ssh21:18:131
715328997323,14cyclictest751197-21ssh22:11:011
715328997322,15cyclictest759300-21ssh22:28:041
715328997320,18cyclictest721517-21diskmemload23:32:001
715324997334,35cyclictest16950irq/224-800000020:12:100
715324997329,27cyclictest785833-21ssh23:23:090
715324997329,26cyclictest792713-21ssh23:37:200
71532499732,5cyclictest815634-21munin-run00:24:590
715324997226,29cyclictest735340-21ssh21:38:280
71532499721,64cyclictest805918-21munin-run00:04:590
715324997211,5cyclictest16850irq/134-800000023:33:310
715328997121,17cyclictest771313-21ssh22:53:021
715328997120,14cyclictest793260-21ssh23:38:421
715328997119,18cyclictest738418-21ssh21:44:481
715328997119,14cyclictest799155-21ssh23:50:301
715324997127,27cyclictest753471-21ssh22:15:500
71532499712,6cyclictest764998-21munin-run22:40:020
715324997126,28cyclictest747522-21ssh22:03:420
715328997022,14cyclictest749983-21ssh22:08:491
715324997021,44cyclictest819023-21ssh00:31:430
71532499701,64cyclictest738589-21latency_hist21:45:010
715328996922,14cyclictest756727-21ssh22:22:401
715328996920,14cyclictest754428-21ssh22:17:571
715324996925,40cyclictest751550-21ssh22:11:560
715328996825,12cyclictest763720-21ssh22:37:091
715328996820,19cyclictest733245-21ssh21:34:101
715324996824,40cyclictest767752-21ssh22:45:250
71532499681,62cyclictest806393-21ssh00:05:320
715328996752,12cyclictest796895-21ssh23:45:571
715328996729,6cyclictest820926-21ssh00:35:331
715328996729,6cyclictest820926-21ssh00:35:331
715328996726,13cyclictest780464-21ssh23:12:041
715328996724,13cyclictest0-21swapper/100:28:491
715328996724,13cyclictest0-21swapper/100:28:481
715324996720,32cyclictest799702-21ssh23:51:480
715324996718,32cyclictest821084-21ssh00:35:520
715324996718,32cyclictest821084-21ssh00:35:520
71532499671,47cyclictest0-21swapper/021:00:020
71532499671,2cyclictest0-21swapper/021:32:470
715328996629,13cyclictest786243-21sh23:24:151
715328996624,13cyclictest721517-21diskmemload00:06:531
71532499663,5cyclictest784256-21munin-run23:20:020
71532499661,31cyclictest0-21swapper/021:26:240
71532499661,17cyclictest717329-21sshd19:46:430
715328996522,14cyclictest364-21snmpd19:41:181
715328996451,10cyclictest804235-21ssh00:01:061
715328996425,11cyclictest0-21swapper/123:43:331
715328996425,11cyclictest0-21swapper/123:43:331
715328996422,13cyclictest728051-21ssh21:23:131
715324996317,38cyclictest309-21in:imuxsock20:05:000
71532499631,5cyclictest3467602-21systemd-journal19:15:260
715328996249,10cyclictest801824-21ssh23:56:081
715328996249,10cyclictest801824-21ssh23:56:071
715328996243,15cyclictest715528-21munin-run19:15:011
71532499623,14cyclictest717873-21munin-run20:00:000
715324996225,32cyclictest794764-21ssh23:41:270
715324996225,32cyclictest794764-21ssh23:41:260
715324996225,32cyclictest780054-21ssh23:11:000
715324996222,23cyclictest726065-21ssh21:19:170
71532499622,16cyclictest720480-21grep20:50:010
715324996212,11cyclictest762336-21ssh22:34:340
715324996212,11cyclictest762336-21ssh22:34:330
715328996146,12cyclictest782562-21ssh23:16:161
715324996127,29cyclictest788609-21ssh23:29:010
715328996038,17cyclictest720971-21cron21:00:001
71532499602,16cyclictest741034-21grep21:50:030
715328995945,10cyclictest719927-21sshd20:39:441
71532499591,54cyclictest721234-21sshd21:01:430
71532499591,54cyclictest721234-21sshd21:01:430
71532499591,53cyclictest718908-21modprobe20:20:010
715328995834,17cyclictest720224-21munin-plugin-st20:45:001
71532499582,14cyclictest717626-21munin-run19:55:010
71532499582,14cyclictest717626-21munin-run19:55:010
715328995743,10cyclictest721235-21sshd21:02:351
715328995743,10cyclictest721235-21sshd21:02:351
715328995743,10cyclictest718649-21munin-run20:15:011
715324995721,31cyclictest718534-21latency_hist20:10:020
715333995631,17cyclictest3467602-21systemd-journal20:20:012
715328995642,10cyclictest364-21snmpd20:16:251
71532499563,14cyclictest716062-21modprobe19:25:000
71532499562,13cyclictest720731-21munin-run20:55:000
715333995537,13cyclictest1-21systemd23:05:002
715328995543,9cyclictest716040-21sshd19:21:431
715328995542,10cyclictest720696-21sshd20:50:431
715324995514,4cyclictest1-21systemd20:45:010
715333995446,5cyclictest707675-21kworker/2:122:07:242
715333995444,6cyclictest707675-21kworker/2:121:27:492
715328995437,13cyclictest364-21snmpd20:28:131
71532499548,9cyclictest0-21swapper/021:10:000
71532499542,14cyclictest716588-21munin-run19:35:000
715333995344,6cyclictest760197-21kworker/2:322:35:132
715333995344,6cyclictest707675-21kworker/2:122:24:152
715328995341,9cyclictest721498-21sshd21:09:431
715328995341,9cyclictest3467602-21systemd-journal20:20:451
715328995335,14cyclictest3467602-21systemd-journal20:30:321
71532499532,11cyclictest716822-21modprobe19:40:000
71532499531,48cyclictest0-21swapper/020:20:330
715338995235,13cyclictest275-21dbus-daemon22:45:013
715338995218,8cyclictest131rcu_preempt20:25:013
715333995244,5cyclictest707675-21kworker/2:122:15:042
715333995243,6cyclictest707675-21kworker/2:121:35:002
715333995243,5cyclictest760197-21kworker/2:322:50:022
715333995242,8cyclictest30-21ksoftirqd/222:45:012
715328995241,8cyclictest48-21kcompactd019:15:051
715328995240,9cyclictest717579-21sshd19:50:431
715328995240,9cyclictest717579-21sshd19:50:431
715328995240,9cyclictest48-21kcompactd019:36:101
715328995240,8cyclictest716548-21sshd19:32:431
715328995239,9cyclictest364-21snmpd20:46:311
715328995232,16cyclictest717473-21cat19:50:021
71532499521,47cyclictest0-21swapper/019:26:570
71532499521,47cyclictest0-21swapper/019:26:570
715324995213,6cyclictest311-21rs:main0
715333995145,3cyclictest707675-21kworker/2:121:13:472
715333995145,3cyclictest707675-21kworker/2:121:13:462
715333995143,5cyclictest707675-21kworker/2:120:35:022
715333995142,6cyclictest764994-21kworker/2:200:23:182
715333995142,5cyclictest707675-21kworker/2:122:11:142
71533399512,4cyclictest131rcu_preempt23:13:122
715328995138,10cyclictest364-21snmpd19:29:451
715328995138,10cyclictest364-21snmpd19:29:451
71532499512,14cyclictest719915-21sshd20:37:340
715338995033,14cyclictest37-21ksoftirqd/323:00:003
715333995042,5cyclictest764994-21kworker/2:223:42:202
715333995042,5cyclictest764994-21kworker/2:223:42:192
715333995042,5cyclictest760197-21kworker/2:323:17:002
715333995042,5cyclictest707675-21kworker/2:121:45:352
715333995041,6cyclictest707675-21kworker/2:122:28:002
715333995041,5cyclictest764994-21kworker/2:223:45:252
715333995041,5cyclictest764994-21kworker/2:200:36:242
715333995041,5cyclictest764994-21kworker/2:200:36:242
715333995041,5cyclictest707675-21kworker/2:122:05:022
715328995038,9cyclictest364-21snmpd20:02:201
715328995032,14cyclictest364-21snmpd20:08:431
715333994942,4cyclictest764994-21kworker/2:200:07:532
715333994941,5cyclictest764994-21kworker/2:223:56:222
715333994941,5cyclictest764994-21kworker/2:223:56:222
715333994941,5cyclictest764994-21kworker/2:222:56:592
715333994941,5cyclictest764994-21kworker/2:200:31:432
715333994941,5cyclictest718411-21kworker/2:021:20:042
715333994941,5cyclictest707675-21kworker/2:120:45:022
715333994940,6cyclictest707675-21kworker/2:121:53:022
715333994940,5cyclictest707675-21kworker/2:122:00:042
715338994830,14cyclictest275-21dbus-daemon00:10:003
71533899481,14cyclictest775483-21ssh23:01:323
71533399487,27cyclictest716826-21modprobe19:40:002
715333994841,4cyclictest764994-21kworker/2:223:53:472
715333994840,5cyclictest760197-21kworker/2:323:34:112
715333994840,5cyclictest760197-21kworker/2:323:21:422
715333994839,6cyclictest707675-21kworker/2:119:45:022
715333994839,5cyclictest718411-21kworker/2:021:18:162
715333994829,14cyclictest1-21systemd20:55:002
71533399482,8cyclictest771549-21ssh22:53:392
715338994737,7cyclictest37-21ksoftirqd/321:10:023
71533399474,33cyclictest719955-21munin-run20:39:592
715333994740,4cyclictest760197-21kworker/2:323:39:452
715333994739,5cyclictest764994-21kworker/2:200:26:442
715333994739,5cyclictest764994-21kworker/2:200:26:442
715333994738,5cyclictest764994-21kworker/2:200:20:002
715333994726,15cyclictest275-21dbus-daemon22:35:012
715333994726,15cyclictest275-21dbus-daemon22:35:002
71532499472,14cyclictest715628-21cat19:15:010
715338994636,7cyclictest37-21ksoftirqd/322:30:033
715338994630,12cyclictest3467602-21systemd-journal20:32:343
715333994636,6cyclictest707675-21kworker/2:121:44:052
71532499462,13cyclictest717080-21sshd19:42:280
71533899452,10cyclictest816234-21ssh00:25:483
71533899452,10cyclictest816234-21ssh00:25:473
715333994538,4cyclictest760197-21kworker/2:323:09:042
715333994537,5cyclictest764994-21kworker/2:200:05:012
715333994537,5cyclictest760197-21kworker/2:323:28:492
715333994537,5cyclictest707675-21kworker/2:121:00:422
715333994537,5cyclictest707675-21kworker/2:121:00:422
715333994535,7cyclictest764994-21kworker/2:200:14:142
715333994530,9cyclictest715774-21cron19:20:012
715338994433,8cyclictest37-21ksoftirqd/323:15:013
715338994427,13cyclictest37-21ksoftirqd/300:12:053
715333994436,5cyclictest707675-21kworker/2:121:37:152
715333994428,10cyclictest3467602-21systemd-journal19:34:592
71532499442,12cyclictest719681-21modprobe20:35:010
715338994327,12cyclictest37-21ksoftirqd/300:15:033
71533899431,7cyclictest0-21swapper/323:19:333
71533899431,4cyclictest131rcu_preempt23:43:253
71533899431,4cyclictest131rcu_preempt23:43:243
71533399433,26cyclictest719418-21kworker/u8:020:30:032
715333994323,13cyclictest30-21ksoftirqd/219:59:592
715338994227,11cyclictest3467602-21systemd-journal23:55:033
715338994227,11cyclictest3467602-21systemd-journal23:55:023
715333994235,5cyclictest30-21ksoftirqd/219:30:032
715333994235,5cyclictest30-21ksoftirqd/219:30:022
715328994221,16cyclictest715430-21sed19:10:011
715338994132,6cyclictest717891-21sendmail-msp20:00:003
715338994129,9cyclictest3467602-21systemd-journal23:25:433
715338994128,10cyclictest37-21ksoftirqd/323:20:443
715338994128,10cyclictest37-21ksoftirqd/320:30:023
715338994128,10cyclictest3467602-21systemd-journal22:05:013
715338994127,12cyclictest37-21ksoftirqd/321:15:033
715338994127,12cyclictest37-21ksoftirqd/321:15:023
715338994127,11cyclictest37-21ksoftirqd/300:40:013
715338994127,11cyclictest37-21ksoftirqd/300:40:003
715338994126,10cyclictest1-21systemd22:10:013
715338994123,12cyclictest1-21systemd19:40:003
715333994133,5cyclictest707675-21kworker/2:121:10:012
715338994029,9cyclictest37-21ksoftirqd/320:55:003
715338994027,7cyclictest310-21in:imklog22:54:083
715338994026,11cyclictest3467602-21systemd-journal21:30:003
715338994024,12cyclictest37-21ksoftirqd/321:41:103
715338994012,23cyclictest1-21systemd00:35:003
715333994032,5cyclictest707675-21kworker/2:120:03:442
715338993929,6cyclictest724319-21sh21:15:113
715338993929,6cyclictest309-21in:imuxsock19:50:003
715338993927,10cyclictest37-21ksoftirqd/321:25:023
715338993926,9cyclictest1-21systemd19:45:013
715338993926,11cyclictest37-21ksoftirqd/323:48:013
715338993926,10cyclictest37-21ksoftirqd/322:47:103
715338993925,10cyclictest37-21ksoftirqd/323:32:263
715338993925,10cyclictest37-21ksoftirqd/323:05:023
715338993922,11cyclictest309-21in:imuxsock20:05:003
715333993930,5cyclictest707675-21kworker/2:120:15:012
715333993925,10cyclictest3467602-21systemd-journal20:25:002
715338993829,6cyclictest37-21ksoftirqd/320:20:023
715338993828,8cyclictest37-21ksoftirqd/321:32:223
715338993827,9cyclictest37-21ksoftirqd/323:37:113
715338993826,9cyclictest37-21ksoftirqd/322:22:223
715338993826,8cyclictest37-21ksoftirqd/319:15:013
715338993825,9cyclictest719923-21sshd20:38:443
715338993825,8cyclictest3467602-21systemd-journal00:20:023
715338993825,10cyclictest37-21ksoftirqd/322:36:553
715338993825,10cyclictest37-21ksoftirqd/321:51:163
715338993825,10cyclictest37-21ksoftirqd/321:49:033
715338993824,11cyclictest37-21ksoftirqd/300:00:523
71533899382,3cyclictest131rcu_preempt22:00:023
715338993823,12cyclictest37-21ksoftirqd/323:53:423
71533899382,12cyclictest754981-21ssh22:19:153
715338993817,16cyclictest1-21systemd19:35:013
715338993811,21cyclictest361rcuc/321:00:013
715333993824,11cyclictest3467602-21systemd-journal19:25:002
715338993729,5cyclictest750943-21sh22:10:303
715338993726,8cyclictest716308-21cron19:30:003
715338993726,8cyclictest716308-21cron19:30:003
71533899371,32cyclictest37-21ksoftirqd/319:25:013
715333993727,7cyclictest721030-21latency_hist21:00:022
715333993722,11cyclictest30-21ksoftirqd/219:14:422
715338993623,10cyclictest37-21ksoftirqd/322:33:173
715338993623,10cyclictest37-21ksoftirqd/322:33:173
715333993628,5cyclictest707675-21kworker/2:119:46:192
715338993523,9cyclictest37-21ksoftirqd/321:35:233
715338993520,11cyclictest37-21ksoftirqd/320:05:033
715338993520,10cyclictest3467602-21systemd-journal20:13:433
715338993520,10cyclictest275-21dbus-daemon19:55:023
715338993520,10cyclictest275-21dbus-daemon19:55:013
71533899351,30cyclictest1-21systemd21:05:023
71533899351,30cyclictest1-21systemd21:05:013
715333993526,7cyclictest30-21ksoftirqd/220:50:022
715338993423,8cyclictest715763-21sshd19:17:243
71533399345,22cyclictest3467602-21systemd-journal20:10:002
715333993420,10cyclictest30-21ksoftirqd/219:55:022
715333993420,10cyclictest30-21ksoftirqd/219:55:012
715338993319,11cyclictest37-21ksoftirqd/320:50:013
715333993319,10cyclictest715462-21sed19:10:012
71532499331,28cyclictest0-21swapper/019:10:020
715338992917,7cyclictest720330-21sort20:45:013
71533899283,3cyclictest131rcu_preempt19:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional