You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-18 - 15:21

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Fri Sep 18, 2026 00:45:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1837655998217,61cyclictest1598077-21munin-node19:10:021
183765399759,35cyclictest0-21swapper/000:39:450
1837653997428,10cyclictest1914136-21latency_hist23:40:020
1837653997329,41cyclictest1-21systemd22:35:010
1837663997232,35cyclictest309-21in:imuxsock22:45:003
1837653997230,38cyclictest1867068-21tr22:00:000
1837653997230,38cyclictest1867068-21tr22:00:000
1837653997218,37cyclictest1880847-21ssh22:29:120
1837653997027,37cyclictest1895880-21ssh23:01:020
1837653996928,36cyclictest1855722-21ssh21:35:170
1837653996927,37cyclictest1848939-21sh21:20:270
1837653996918,34cyclictest1844837-21ssh21:11:470
1837653996917,24cyclictest1930994-21ssh00:16:250
1837653996822,40cyclictest1936391-21ssh00:28:190
1837663996729,34cyclictest1881910-21sh22:31:083
1837658996719,10cyclictest30-21ksoftirqd/221:28:152
1837653996722,17cyclictest1851543-21ssh21:26:210
1837653996719,14cyclictest1-21systemd19:40:000
1837653996717,34cyclictest150-21pr/ttyS221:45:570
1837658996613,15cyclictest1893951-21ssh22:57:092
1837658996613,15cyclictest1893951-21ssh22:57:082
1837653996538,23cyclictest1923205-21unin-run00:00:010
1837653996518,42cyclictest1840442-21modprobe20:05:000
1837653996518,42cyclictest1840442-21modprobe20:05:000
183766399641,59cyclictest1923138-40mandb00:00:023
1837655996425,9cyclictest23-21ksoftirqd/123:48:041
1837653996423,12cyclictest1847115-21sshd21:16:420
183766399639,50cyclictest1541989-1kworker/3:1H22:55:293
183766399639,50cyclictest1541989-1kworker/3:1H22:55:293
183766399632,55cyclictest1839638-21sshd19:47:293
1837663996321,37cyclictest37-21ksoftirqd/323:28:553
1837663996314,41cyclictest275-21dbus-daemon21:55:013
1837653996322,37cyclictest1906643-21ssh23:24:290
1837663996225,33cyclictest37-21ksoftirqd/300:30:053
1837663996223,35cyclictest1851173-21sh21:25:213
1837663996223,34cyclictest1898112-21sh23:05:393
1837663996223,34cyclictest1898112-21sh23:05:393
183766399622,15cyclictest1851007-21sed21:25:033
183766399621,7cyclictest1888632-21ssh22:45:273
1837653996223,35cyclictest1872936-21ssh22:12:230
1837653996219,38cyclictest1904800-21latency_hist23:20:030
1837653996219,38cyclictest1904800-21latency_hist23:20:020
1837663996128,30cyclictest1855785-21sh21:35:263
183766399612,5cyclictest1855433-21ssh21:34:593
183766399612,55cyclictest1-21systemd00:15:003
183766399612,54cyclictest1896719-21sshd23:02:583
183766399612,4cyclictest1877624-21ssh22:22:073
183766399611,7cyclictest1924426-21ssh00:02:203
183766399611,7cyclictest1920681-21ssh23:54:253
183766399611,6cyclictest1938433-21ssh00:32:323
183766399611,4cyclictest1906925-21munin-run23:25:013
1837653996124,4cyclictest1937676-21ssh00:30:400
183766399602,6cyclictest1915313-21ssh23:42:463
183766399602,5cyclictest1933892-21ssh00:22:533
183766399602,53cyclictest1932581-21wc00:20:013
183766399602,53cyclictest1913950-21munin-run23:40:013
183766399602,4cyclictest1911242-21ssh23:34:083
183766399601,7cyclictest1903600-21ssh23:17:393
183766399601,7cyclictest1903600-21ssh23:17:393
183766399601,7cyclictest1892429-21ssh22:54:003
183766399601,6cyclictest1940209-21ssh00:36:123
183766399601,6cyclictest1917192-21ssh23:46:363
183766399601,6cyclictest1884343-21ssh22:36:213
183766399601,6cyclictest1884343-21ssh22:36:213
183766399601,5cyclictest1900447-21ssh23:10:433
183766399601,54cyclictest1845807-21ssh21:14:013
1837658996019,10cyclictest30-21ksoftirqd/222:31:312
1837658996018,9cyclictest30-21ksoftirqd/222:22:262
183765599607,10cyclictest23-21ksoftirqd/123:55:021
1837653996025,4cyclictest1885993-21munin-run22:40:020
1837653996025,4cyclictest1885993-21munin-run22:40:010
1837653996024,32cyclictest1888336-21latency_hist22:45:010
1837653996023,33cyclictest1888779-21rm22:45:450
1837653996021,35cyclictest1918383-21ssh23:49:330
1837653996020,10cyclictest1933099-21ssh00:21:030
183766399593,51cyclictest1840715-21munin-run20:10:013
183766399593,49cyclictest1843803-21cron21:10:003
183766399592,6cyclictest1872252-21ssh22:10:433
183766399592,6cyclictest1843032-21munin-run20:55:013
183766399592,6cyclictest1-21systemd20:25:013
183766399592,52cyclictest1840930-21sshd20:12:423
1837663995920,34cyclictest37-21ksoftirqd/320:41:423
1837663995919,33cyclictest275-21dbus-daemon20:50:003
183766399591,7cyclictest1871422-21ssh22:09:103
183766399591,6cyclictest1860376-21ssh21:45:073
183766399591,6cyclictest1846739-21ssh21:15:423
183766399591,5cyclictest1927903-21ssh00:09:533
183766399591,5cyclictest1880771-21ssh22:29:023
183766399591,5cyclictest1868303-21ssh22:02:183
183766399591,4cyclictest1858008-21ssh21:40:103
1837658995918,9cyclictest30-21ksoftirqd/200:08:002
1837658995917,8cyclictest30-21ksoftirqd/223:01:562
1837658995915,8cyclictest30-21ksoftirqd/222:14:292
183766399585,48cyclictest1837686-21latency_hist19:10:013
183766399583,48cyclictest1838645-21unin-run19:30:013
1837663995823,31cyclictest37-21ksoftirqd/319:15:003
1837658995818,10cyclictest30-21ksoftirqd/222:54:022
1837655995810,6cyclictest131rcu_preempt21:25:061
1837653995821,33cyclictest0-21swapper/021:05:000
1837653995821,30cyclictest16850irq/134-800000021:53:220
1837653995818,36cyclictest0-21swapper/022:05:020
1837653995816,21cyclictest16850irq/134-800000021:41:130
183766399574,47cyclictest1843667-21wc21:05:023
183766399572,50cyclictest1841977-21sshd20:33:423
183766399572,14cyclictest1843260-21sshd20:57:423
1837658995718,8cyclictest30-21ksoftirqd/200:37:422
1837655995718,8cyclictest23-21ksoftirqd/121:43:241
1837653995727,26cyclictest0-21swapper/023:25:130
1837653995724,10cyclictest0-21swapper/000:15:020
1837653995720,33cyclictest0-21swapper/022:50:250
1837653995718,6cyclictest16850irq/134-800000023:45:010
1837653995718,35cyclictest0-21swapper/022:21:450
183766399564,46cyclictest1865387-21ssh21:56:023
183766399564,46cyclictest1865387-21ssh21:56:023
183766399562,16cyclictest1838912-21sed19:35:013
183766399561,50cyclictest1875750-21ssh22:18:173
1837658995616,9cyclictest30-21ksoftirqd/221:18:262
1837653995627,13cyclictest1893316-21ssh22:55:330
1837653995627,13cyclictest1893316-21ssh22:55:330
1837653995622,26cyclictest184381750diskmemload22:07:200
1837653995615,36cyclictest16850irq/134-800000022:15:160
183766399552,48cyclictest1842215-21sshd20:35:423
183766399552,47cyclictest1840149-21sshd19:58:423
1837658995516,10cyclictest30-21ksoftirqd/200:25:312
183765599555,8cyclictest23-21ksoftirqd/121:31:351
1837653995528,13cyclictest1926524-21ssh00:06:370
1837653995526,25cyclictest1909488-21ssh23:30:030
183765399552,37cyclictest1899371-21ssh23:08:450
183765399552,37cyclictest1899371-21ssh23:08:440
1837653995518,12cyclictest1842258-21systemctl20:40:000
1837653995517,33cyclictest1900701-21ssh23:11:240
1837653995517,30cyclictest16850irq/134-800000023:52:590
1837658995438,12cyclictest1-21systemd21:55:012
183765599549,4cyclictest131rcu_preempt21:58:301
183765599549,4cyclictest131rcu_preempt21:58:301
1837655995445,6cyclictest221rcuc/100:37:021
183765599544,13cyclictest23-21ksoftirqd/121:36:321
1837653995421,28cyclictest1925053-21ssh00:03:510
1837653995416,34cyclictest1855496-21latency_hist21:35:020
1837653995412,32cyclictest16850irq/134-800000021:10:010
183766399532,6cyclictest1838379-21munin-run19:25:013
183766399531,5cyclictest1839890-21sshd19:52:293
183766399531,16cyclictest1839580-21latency_hist19:45:023
183766399531,15cyclictest1841261-21latency_hist20:20:023
1837658995338,11cyclictest3467602-21systemd-journal19:20:022
1837658995315,8cyclictest30-21ksoftirqd/223:13:482
183765599536,6cyclictest23-21ksoftirqd/121:12:361
183765599535,8cyclictest23-21ksoftirqd/123:18:501
183765599535,8cyclictest23-21ksoftirqd/123:18:501
183765599535,12cyclictest23-21ksoftirqd/122:57:481
183765599535,12cyclictest23-21ksoftirqd/122:57:471
183765599535,11cyclictest23-21ksoftirqd/100:20:001
1837653995312,15cyclictest1842542-21systemd-run20:45:010
183766399522,45cyclictest1841735-21cron20:30:003
1837658995241,7cyclictest1840711-21kworker/2:120:40:012
1837658995212,8cyclictest30-21ksoftirqd/200:04:392
183765599528,9cyclictest23-21ksoftirqd/123:42:441
183765599527,12cyclictest23-21ksoftirqd/123:22:441
183765599526,12cyclictest23-21ksoftirqd/122:24:421
1837655995215,8cyclictest23-21ksoftirqd/121:50:251
1837653995232,15cyclictest1841204-21cron20:20:000
183766399514,42cyclictest1839122-21cron19:40:003
1837658995135,12cyclictest1840205-21systemd-run20:00:002
183765599516,10cyclictest23-21ksoftirqd/123:07:041
183765599516,10cyclictest23-21ksoftirqd/123:07:041
183765599515,9cyclictest23-21ksoftirqd/100:23:251
1837655995142,6cyclictest221rcuc/122:04:361
1837653995124,22cyclictest1840158-21cron20:00:000
183766399501,4cyclictest1838070-21sshd19:17:243
1837658995018,7cyclictest30-21ksoftirqd/222:36:242
1837658995018,7cyclictest30-21ksoftirqd/222:36:242
183765599507,8cyclictest23-21ksoftirqd/100:08:471
183765599506,9cyclictest23-21ksoftirqd/122:51:041
183765599506,9cyclictest23-21ksoftirqd/100:28:251
183765599506,8cyclictest23-21ksoftirqd/122:39:521
183765599506,8cyclictest23-21ksoftirqd/122:39:521
183765599506,13cyclictest23-21ksoftirqd/123:37:441
183765599504,9cyclictest23-21ksoftirqd/122:10:261
1837655995042,6cyclictest221rcuc/123:02:581
1837655995034,9cyclictest3467602-21systemd-journal19:50:011
1837655995034,12cyclictest3467602-21systemd-journal19:25:011
1837655995018,8cyclictest23-21ksoftirqd/100:10:261
1837655995011,10cyclictest23-21ksoftirqd/119:55:421
1837653995029,16cyclictest1838634-21cut19:30:010
1837653995024,19cyclictest1837723-21latency_hist19:10:020
1837653995017,28cyclictest1840865-21latency_hist20:10:020
183766399492,41cyclictest364-21snmpd20:01:023
183766399492,41cyclictest364-21snmpd20:01:023
1837658994941,5cyclictest1860139-21kworker/2:023:25:332
1837658994941,5cyclictest1842305-21kworker/2:321:57:152
1837658994941,5cyclictest1842305-21kworker/2:321:57:152
183765599499,5cyclictest131rcu_preempt21:24:331
183765599495,8cyclictest23-21ksoftirqd/122:46:501
1837655994936,10cyclictest23-21ksoftirqd/123:25:171
1837655994920,19cyclictest221rcuc/122:31:061
1837653994928,16cyclictest1840066-21sed19:55:020
1837653994921,25cyclictest150-21pr/ttyS219:44:440
1837653994917,28cyclictest0-21swapper/020:55:020
1837658994841,4cyclictest1860139-21kworker/2:022:17:582
1837658994841,4cyclictest1842305-21kworker/2:322:07:132
183765599486,11cyclictest23-21ksoftirqd/100:32:081
183765599486,10cyclictest23-21ksoftirqd/122:28:331
183765599486,10cyclictest23-21ksoftirqd/122:06:481
183765599485,9cyclictest23-21ksoftirqd/122:15:091
183765599485,5cyclictest131rcu_preempt00:00:041
1837655994821,22cyclictest221rcuc/121:45:471
1837653994815,29cyclictest0-21swapper/020:23:420
1837658994740,5cyclictest1860139-21kworker/2:023:38:482
1837655994736,8cyclictest221rcuc/123:57:281
1837655994710,6cyclictest131rcu_preempt22:44:101
1837653994733,10cyclictest1843294-21munin-run21:00:010
1837653994726,16cyclictest1839680-21unin-run19:50:010
1837658994633,9cyclictest3467602-21systemd-journal21:34:422
183765599467,22cyclictest23-21ksoftirqd/120:40:021
183765599466,10cyclictest23-21ksoftirqd/123:10:401
183765599464,13cyclictest23-21ksoftirqd/121:18:111
1837653994629,13cyclictest1-21systemd20:35:010
1837653994628,14cyclictest364-21snmpd19:20:010
1837653994625,17cyclictest1837844-21systemd-run19:15:010
1837653994623,19cyclictest3467602-21systemd-journal20:50:000
183765899457,6cyclictest1843817-21diskmemload00:24:392
1837658994535,8cyclictest30-21ksoftirqd/223:58:462
1837658994532,10cyclictest1844795-21sshd21:11:422
183765599452,6cyclictest23-21ksoftirqd/123:30:351
1837653994528,10cyclictest1838556-21cat19:25:020
1837653994525,14cyclictest284-21systemd-logind19:35:010
1837658994437,5cyclictest1842305-21kworker/2:322:00:302
1837655994433,7cyclictest23-21ksoftirqd/120:45:021
183765899439,5cyclictest131rcu_preempt22:49:492
1837658994322,17cyclictest1915662-21ssh23:43:412
183765899432,12cyclictest1843817-21diskmemload23:32:152
1837658994317,21cyclictest1855876-21ssh21:35:372
183765599435,11cyclictest23-21ksoftirqd/121:10:011
1837655994333,8cyclictest23-21ksoftirqd/120:10:021
1837653994322,18cyclictest1840918-21sshd20:10:420
183765899427,4cyclictest131rcu_preempt22:41:232
183765899425,5cyclictest131rcu_preempt21:10:012
1837658994228,10cyclictest1-21systemd20:20:012
1837658994226,13cyclictest275-21dbus-daemon22:30:022
1837658994222,14cyclictest275-21dbus-daemon19:40:012
1837655994234,6cyclictest23-21ksoftirqd/119:25:421
1837658994132,5cyclictest1840940-21cron20:15:002
1837658994128,10cyclictest1903138-21sshd23:16:422
1837658994128,10cyclictest1903138-21sshd23:16:422
1837658994127,10cyclictest1-21systemd19:30:012
1837658994122,15cyclictest3467602-21systemd-journal19:30:032
183765899411,14cyclictest0-21swapper/223:08:512
183765899411,14cyclictest0-21swapper/223:08:512
183765899411,12cyclictest0-21swapper/221:41:272
1837655994129,9cyclictest23-21ksoftirqd/121:00:021
1837655994110,9cyclictest1840448-21munin-plugin-st20:05:011
1837655994110,9cyclictest1840448-21munin-plugin-st20:05:011
183765899406,7cyclictest30-21ksoftirqd/223:50:272
1837658994031,6cyclictest30-21ksoftirqd/200:30:582
1837658994031,6cyclictest1842305-21kworker/2:300:15:002
1837658994030,8cyclictest30-21ksoftirqd/220:55:022
1837658994029,8cyclictest3467602-21systemd-journal19:54:422
1837658994025,11cyclictest3467602-21systemd-journal20:07:432
1837658994025,11cyclictest3467602-21systemd-journal20:00:022
1837658994025,11cyclictest3467602-21systemd-journal20:00:022
1837658994023,13cyclictest275-21dbus-daemon00:20:002
1837658994022,14cyclictest1916702-21ssh23:45:332
183765899401,13cyclictest0-21swapper/221:22:432
1837655994033,5cyclictest23-21ksoftirqd/119:45:021
1837653994032,5cyclictest1841927-21grep20:30:030
1837658993926,10cyclictest30-21ksoftirqd/220:35:002
1837658993925,11cyclictest30-21ksoftirqd/220:20:342
1837658993925,11cyclictest1861229-21ssh21:47:122
1837658993924,11cyclictest3467602-21systemd-journal19:45:422
183765899392,32cyclictest1843296-21munin-plugin-st21:00:012
1837658993921,13cyclictest311-21rs:main2
183765899383,3cyclictest131rcu_preempt23:21:432
1837658993826,10cyclictest30-21ksoftirqd/219:25:012
1837658993825,9cyclictest3467602-21systemd-journal20:25:022
1837655993829,6cyclictest23-21ksoftirqd/120:45:031
1837655993819,13cyclictest275-21dbus-daemon20:25:011
1837658993725,9cyclictest30-21ksoftirqd/219:10:432
1837658993722,11cyclictest275-21dbus-daemon19:45:002
1837655993730,4cyclictest1839882-21sshd19:50:421
1837655993726,9cyclictest23-21ksoftirqd/119:35:021
1837658993617,13cyclictest1837685-21latency_hist19:10:012
1837655993623,10cyclictest1838078-21sshd19:18:421
1837655993620,12cyclictest3467602-21systemd-journal20:35:001
183765899346,6cyclictest30-21ksoftirqd/220:42:322
1837655993424,7cyclictest23-21ksoftirqd/120:55:021
1837655993424,7cyclictest23-21ksoftirqd/120:20:021
1837658993324,6cyclictest1843703-21latency_hist21:05:022
1837655993323,8cyclictest23-21ksoftirqd/119:38:581
1837655993219,10cyclictest23-21ksoftirqd/120:15:011
1837655993218,10cyclictest275-21dbus-daemon21:05:011
1837655993120,6cyclictest309-21in:imuxsock20:30:011
1837655992513,9cyclictest23-21ksoftirqd/119:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional